총괄평가가 학습에 영향을 미치는 메커니즘(Adv in Health Sci Educ, 2010)

The mechanism of impact of summative assessment on medical students’ learning (Adv in Health Sci Educ, 2010)

Francois J. Cilliers • Lambert W. Schuwirth • Hanelie J. Adendorff • Nicoline Herman • Cees P. van der Vleuten

Introduction

I think, as a result of assessment, I know much less than I otherwise would have. (6(V)F65)

It has become axiomatic to refer to the powerful impact of assessment on student learning. Terms like the ‘‘backwash effect’’ (Biggs 1996; Elton 1987, used in general educational literature) and the ‘‘washback effect’’ (Alderson and Wall 1993; Bailey 1996, used in language teaching and testing literature) of assessment, ‘‘consequential validity’’ (Boud 1995), ‘‘test-enhanced learning’’, the ‘‘testing effect’’ or the ‘‘testing phenomenon’’ (Glover 1989; Roediger and Karpicke 2006) and ‘‘test expectancy’’ (Lundeberg and Fox 1991) have been used in this regard.

The impact of assessment on student learning is generally held to be profound. Elton and Laurillard (1979) went so far as to state that ‘‘the quickest way to change student learning is to change the assessment system’’. Boud et al. (1999) state that ‘‘[a]ssessment is the single most powerful influence on learning in formal courses’’. If this is the case, then assessment may well be one of the most powerful tools we have at our disposal to influence student learning. However, even after a almost a century of research, efforts to positively influence learning through assessment do not always yield encouraging results (Gijbels et al. 2009).

Internal-to-programme summative assessment may well exert both a stronger and a more pervasive influence on learning than other assessment practices in higher education (HE), however. As Boud (1995) highlighted, students cannot escape the impact of summative assessment. Given the stakes, the design of such assessment is more typically informed by psychometric than learning considerations and so even if other aspects of assessment in a course have been designed to promote meaningful learning, the impact of summative assessment could trump beneficial effects achieved by other means. Furthermore, more students in HE probably encounter internal-to-programme summative assessment than external-to-programme standardised testing.

As for ‘‘learning’’, it is often not the only phenomenon that authors highlight when writing about the impact of assessment. In HE, the impact of assessment on not just learning but also on non-learning student behaviours intended to enhance marks e.g., ingratiating themselves with lecturers, on student stress and on students’ choice of courses has been highlighted by various authors (Becker et al. 1968; Miller and Parlett 1974; Snyder 1971). From the opposite perspective, assessment is typically identified as one of the contextual factors that impact on learning in models of learning (Biggs 1987; Ramsden 1984; Ross et al. 2003; Vermunt 1996).

There is some descriptive literature focussing on the ‘‘what’’ of the impact of internal-to-programme summative assessment on the process of student learning in HE as Maxwell (2004a: 4) puts it, ‘‘whether x caused y’’ (emphasis in original). In contrast, very little has been written explaining ‘‘how it did so’’ (Maxwell 2004a: 4, emphasis in original). As Bunge (2004: 199) noted, ‘‘any mechanism-free account must be taken to be shallow and therefore a challenge to uncover unknown mechanism(s)’’.

From a process theory perspective, this paper deals with ‘‘events and the processes that connect them’’ (Maxwell 2004b: 248) specifically in one distinctive, internal-to-programme, high-stakes assessment system; thus, the local mechanisms at play in a ‘‘complex network of events and processes in a situation’’ (Miles and Huberman 1994: 146; 147).

외적 동기부여

Extrinsic motivation

평가는 학생의 학습 노력의 양과 분포에 대한 외부의 동기와 영향을 제공합니다. 평가가 있다는 사실만으로도 학생들로 하여금 학습하도록 유도하고 따라서 학습에 소비되는 노력의 양에 영향을 미친다 (Miller and Parlett 1974; Snyder 1971; van Etten 외. 1997). 그러나 평가의 영향이 항상 긍정적 인 것은 아닙니다. 학생들이 점수를 얻기를 희망하지 않거나 뒤늦게 따라 잡을 수 없다고 생각해서 예를 들어 점수가 성공적으로 협상을 할 수 없다고 판단하면 학습을 중단 할 수 있습니다 (Becker 외 1968). 또한 외적 동기 부여에 대한 평가에 대한 반응이 모든 학생에게 균질하지도 않다.

Assessment provides extrinsic motivation and impacts on the amount and distribution of students’ learning efforts. The mere fact of assessment motivates students to learn and therefore influences the quantum of effort expended on learning (Miller and Parlett 1974; Snyder 1971; van Etten et al. 1997). The impact of assessment on effort is not necessarily always positive, however. If students perceive they are unable to successfully negotiate assessment, for example because their marks are so bad they cannot hope to achieve a pass or they are so far behind they believe they cannot catch up, this can result in them stopping learning (Becker et al. 1968). Nor is the response to assessment as extrinsic motivation uniform.

결과

Consequences

평가의 잠재적 결과는 또한 학생 학습에 영향을 미칩니다. 학생들은 배운 내용과 학습 된 내용을 이해하는 것보다 강사의 요구 사항을 충족시키기 위해 무엇을 어떻게 배우는지 적응합니다 (Becker et al., 1968; Ramsden 1984, 1992; Snyder 1971). 이것은 적어도 부분적으로는 그렇게하지 않는 위험이 크고, 자기 존중과 단기 및 장기간의 물질적 이익면에서 일치하는 상당한 보상 (Parlett 1969; Snyder 1971)이기 때문입니다. 주제가 평가에서 다루어질 가능성은 학생들이 학습할 내용을 선택하는데 영향을 미친다 (Becker 등 1968, Becker 등 1961, Miller and Parlett 1974, Snyder 1971, Vermunt 1996) Snyder (1971)가 언급 한 것 '선택적 무시'로 간주합니다. 또한 학생들이 학습 자료에 참여하는 데 철저하게 영향을 미칩니다 (Laurillard 1979, van Etten 외. 1997). 이것은 또한 학생이 선택하도록하는 과제 (Snyder 1971)와 학생들이 과제에 기울이는 노력의 양 (Becker 외 1968; Janssens 외 2002, Struyven et al 2005에 인용)에도 적용됩니다. 학생들이 학습 자료에 참여하는 철저한 방법은 주어진 과제에 대한 성과가 최종 성적을 계산하는 데 기여할 때 영향을받습니다 (Ramsden 1992, Snyder 1971). 구두 평가에서 무지하게 나타날 위험 같은 개인적인 결과 또한 학생들의 철저한 준비에 영향을주었습니다 (Joughin 2007).

The potential consequences of assessment also impact student learning. Students adapt both what and how they learn so as to meet the lecturers’ requirements as manifested in assessment rather than understand the material being learned (Becker et al. 1968; Ramsden 1984, 1992; Snyder 1971). This is at least in part because the risks of not doing so are great, the rewards for conforming, substantial, both in terms of self-esteem and in terms of short and longer term material benefits (Parlett 1969; Snyder 1971). The likelihood of subject matter featuring in assessment impacts on what content students select to learn (Becker et al. 1968; Becker et al. 1961; Miller and Parlett 1974; Snyder 1971; Vermunt 1996) or not—what Snyder (1971) referred to as ‘‘selective negligence’’. It also influences the thoroughness with which students engage with learning material (Laurillard 1979; van Etten et al. 1997). This also holds for assignments students choose to do or not (Snyder 1971) and the amount of effort students devote to tasks (Becker et al. 1968; Janssens et al. 2002, cited by Struyven et al. 2005). The thoroughness with which students engage with learning material is impacted by the contribution that performance on any given assign- ment will make towards the calculation of a final grade (Ramsden 1992; Snyder 1971). Personal consequences like the risk of appearing ignorant in an oral assessment also impacted how thoroughly students prepare (Joughin 2007).

바람직한 결과를 얻기 위하여

Achieving a desired outcome

주어진 학습 결과가 원하는 평가 결과를 가져올 가능성은 학생들의 행동에 영향을 미칩니다. 학생들이 공부하는 데 소비하는 시간은 학습자료의 양과 그것과는 독립적으로 학습자료의 난이도가 증가함에 따라 점차 증가한다 (van Etten et al. 1997). 학생들은 평가 과제의 요구에 가장 잘 대비 한 평가 준비를위한 자원과 활동을 선택합니다 (Frederiksen 1984; Newble and Jaeger 1983). 또한 학생들은 학습 결과를 평가 과제의 요구와 일치시켜 원하는 결과를 얻습니다 (Becker et al., 1968; Sambell and McDowell 1998).

The likelihood of any given learning behaviour bringing about a desired assessment outcome influences students’ actions. The amount of time students spend studying increases, up to a point, as the volume of material and, independent of that, the degree of difficulty of the material, to be studied, increases (van Etten et al. 1997). Students select resources and activities to prepare for assessment that best prepare themfor the demands of the assessment task (Frederiksen 1984; Newble and Jaeger 1983). Student also match the nature of their learning to the demands of the assessment task to achieve a desired outcome (Becker et al. 1968; Sambell and McDowell 1998).

학생들은 학습자가 원하는 결과를 평가 (Becker et al., 1968, 1961) 할 수 있도록 학습하기 위해 내용 선택을 안내하기 위해 신호기, 다른 학생 및 과거 논문을 찾고 심지어이를 끝내기 위해 속일 수 있습니다 (Becker et al., 1968). 많은 양의 작업으로 학생들은 원하는 결과를 얻으려는 목적으로 어떤 내용에 대해보다 선별 적으로 선택하고 낮은 수준의인지 처리 전술을 채택해야합니다 (Ramsden 1984; Snyder 1971; van Etten 외. 1997). 노력은 주어진 시간에 혜택이나 보상이 가장 유용하다고 여겨지는 곳을 기초로 코스에 할당됩니다 (Becker 외 1968)

Students seek cues from lecturers, other students and past papers to guide their selection of content to learn, in the interests of achieving their desired outcome with assessment (Becker et al. 1968, 1961), and may even cheat to achieve this end (Becker et al. 1968). High volumes of work drive students to be more selective about what content to engage with and to adopt low level cognitive processing tactics in the interests of achieving a desired outcome (Ramsden 1984; Snyder 1971; van Etten et al. 1997). Effort is allocated across courses based on where generating benefit or reward is deemed most useful at any given time (Becker et al. 1968).

목표

Goals

학생들의 목표는 평가에 대한 그들의 반응에 영향을 미칩니다. 학생들은 자신이 원하는 수준의 학업 성취도를 측정합니다 (Becker et al., 1968; Miller and Parlett 1974; van Etten 외. 1997). 학생들이 주제를 향상시킬 필요가 있는지 여부, 자료가 흥미로운 지 여부, 자료가 다루기가 쉽지 않은지 (예 : 이해하기가 불가능하지 않은지 여부) 및 과제가 주요 연구 영역에 있는지 여부 (van Etten et al., 1997). 흥미롭게도, 학생들이 인식하는 평가 요구를 충족시키기 위해 채택하는 학습 유형은 장기 목표에 따라 달라질 수 있습니다.

Students’ goals influence their response to assessment. Students gauge the magnitude oftheir efforts by what grade they aimto achieve (Becker et al. 1968; Miller and Parlett 1974;van Etten et al. 1997). Various factors influence the priority students accord reading assignments, including 

• whether they need to improve in the subject, 

• whether the material is interesting, whether the material is manageable (e.g., not impossible to understand) and 

• whether the assignment is in their major area of study (van Etten et al. 1997). 

Interestingly,the type of learning students adopt to meet the perceived demands of assessment may be discordant with their long-term goals.

규범

Norms

평가에 대한 개별 반응은 동료 집단 내에서 사회적으로 구성되고 공유 된 기준 틀에 의해 조절 될 수있다 (Becker et al., 1968). 피어 그룹 내의 규범은 학생이 학습을 시작할 때 조절할 수 있으며, 그렇지 않으면 나중에 선택하기 시작합니다 (Thomson and Falchikov 1998).

Individual responses to assessment can be modulated by a socially constructed and shared frame of reference within a peer group (Becker et al. 1968). The norms within a peer group can modulate when a student starts learning, resulting in them starting later than they would otherwise have chosen to (Thomson and Falchikov 1998).

에이전시

Agency

학습에 대한 평가가 학습 성과에 영향을 미칠지에 대한 학생들의 신념은 학습 동기에 영향을 미칩니다 (van etten 외. 1997). 학생들이 학습을 시작할 때, 주어진 작업량을 고려할 때, 주어진 지각과 복잡성에 대한 대처 능력에 대한 그들의 인식에 영향을 받는다 (Snyder, 1971).

Students’ beliefs as to whether studying would influence their performance on assessments affects their motivation to learn (van Etten et al. 1997). When students start learning is influenced by their perception their ability to cope with a task of given magnitude and complexity, given the prevailing workload (Snyder 1971).

감정

Emotion

Fransson (1977)은 또한 학습에 대한 학생들의 접근 방식은 평가와 관련된 두 가지 요소 인 위협과 불안의 정도에 영향을 받음을 보고했습니다. 평가에 대한 걱정은 학습 노력 배분에 영향을 미치는 것으로보고되었다 (Miller and Parlett 1974).

Fransson (1977) also reported students’ approach to learning is impacted by the degree of threat and anxiety they experience, both factors associated with assessment. Worry about assessment has also been reported to influence allocation of effort to learning (Miller and Parlett 1974).

기존 문헌에서 두 가지 사실이 두드러진다. 첫 번째는 대부분이 연구가 학습에 대한 평가의 영향을 체계적으로 조사하도록 고안되지 않았기 때문입니다. 학습에 대한 평가의 영향에 대한 증거를 제공하는 것으로 종종 인용되는 다양한 연구가 있습니다. 그러나 이들 중 많은 것들이 생태 학적 타당성이 제한된 통제 된 환경에서 수행 된 실험적 작업이었다 (Lundeberg and Fox 1991). 또한, 이러한 많은 연구는 초등 학교를 포함한 학교 환경에서 실시되었으므로 HE 환경에서의 유용성을 더욱 제한하고 있습니다.

Two things about this literature are striking. The first is that, for the most part, these studies were not designed to systematically investigate the impact of assessment on learning. There are various studies that are often cited as providing evidence of the impact of assessment on learning. However, many of these were experi- mental work conducted in controlled settings with limited ecological validity (Lundeberg and Fox 1991). Furthermore, many of these studies were conducted in school settings, including elementary schools, further limiting their usefulness in HE settings.

이 문헌에 두드러진 두 번째 점은 이론적 틀 내에서 평가의 영향을 설명하기위한 제한된 시도 만이 이루어 졌다는 점입니다.

The second thing that is striking about this literature is that only limited attempts have been made to explain the impact of assessment within a theoretical framework.

방법

Methods

맥락

Context

This study was conducted at the Faculty of Health Sciences of Stellenbosch University in South Africa. Medical students there follow a 6 year, modular program.

대상 및 윤리

Subjects and ethics

Thirty-two students volunteered for interviews.

Some characteristics of respondents are summarized in Table 1.

자료 수집 및 분석

Data collection and analysis

In-depth, unstructured interviews (Charmaz 2006; DiCicco-Bloom and Crabtree 2006; Kvale 1996) were conducted with individual students, each lasting approximately 90 min. In keeping with the inductive nature of the study, no formal interview schedule was used. Interviews were loosely constructed around exploring three issues: how respondents learned, what assessment they had experienced and how assessment had impacted on their learning. Open-ended questions were used and statements respondents made were probed to clarify meaning, obtain additional detail and ascertain what assumptions underlie them. For example, vague statements like ‘‘I learn differently for long questions and multiple choice questions’’ were probed for detail about what respondents did differently in the two situations and why they did so.

Although the interviews were conducted at one point in time, students’ experience of different assessment methods and how they learned in varying contexts across all of their years of study were explored, compared and contrasted during interviews, though typically not chronologically. This revealed qualitative and quantitative differences and changes in respondents’ learning across varying assessment contexts and time. Each interview was

allowed to develop its own direction within the broad three-topic framework, so as to allow in-depth exploration of each respondent’s experiences and conceptions of the relationships being studied. Given that data collection proceeded in tandemwith, and was later informed by, data analysis, as analysis proceeded, emerging constructs were also discussed with respondents to confirminterpretation and explored in greater depth in subsequent interviews.

All interviews were conducted by the same investigator, an educational adviser involved in curriculum development in the faculty with little direct student interaction, but much interaction with lecturers. All interviews were conducted in a setting suggested by respondents. Interviews were conducted in either English or Afrikaans, according to respondents’ preference. Care was taken to alert respondents to the fact that their personal accounts were of interest, so that they recounted their own experiences and views rather than what they may have perceived the interviewer to want to hear. Several respondents had to be encouraged to relate their personal experiences and approaches ‘‘warts and all’’, rather than their sanitized impressions of how they thought they should be learning or of how they perceived the nebulous ‘‘they’’ (i.e., other students) to approach learning and assessment. Despite being given an undertaking regarding the confidentiality of data at the start of each interview, several respondents also had to be reassured during their interview about the confidentiality of their comments, before they proceeded to share information they perceived could elicit unfavourable responses from the lecturers concerned. That said, almost all interviews ‘‘caught fire’’ and had to be carefully kept on track as respondents enthusiastically discussed the topic at hand.

All interviews were audio recorded and transcribed verbatim, to ultimately generate almost 1,000 pages of transcripts. Data analysis commenced even as data collection pro- ceeded. Before progressing to more detailed analysis, field notes were reviewed and each transcript was read to obtain a global impression of how assessment impacts on student learning. Initial open coding was then undertaken by one of us (FC). As data collection and analysis progressed, codes were developed, refined and revised in an iterative process (Charmaz 2006; Dey 1993; Miles and Huberman 1994). Ongoing data collection, com- parisons of codes within and between interviews and discussions between team members served to confirm and clarify codes. Clustering and partitioning of codes led to the emergence of categories as data analysis progressed, which categories were also iteratively refined, revised, discussed and ultimately related to one another.

As analysis progressed and relationships between constructs became more established, it became evident that various dimensions of motivation and emotion featured prominently when exploring the link between assessment and learning. Focussed coding of the existing dataset at that point was undertaken. However, while confirming a role for motivation and emotion, this proved to be an inadequate explanatory framework. In many instances, it was simply not possible to label a mechanism by which assessment exerted an influence on learning using this framework. Despite extensive efforts re-appraising existing data and exploring constructs in subsequent interviews, no further useful constructs could be dis- cerned. In fact, nothing new emerged during data collection subsequent to interview fourteen, despite the individualized nature of each interview and adaptations that were made on the basis of preliminary data analysis. Analysis stalled at this point, it being apparent that a framework was needed that transcended motivation and emotion.

결과

Results

Respondents’ learning behaviour was influenced by appraising the impact of assessment, appraising their learning response, by their perceptions of agency and by contextual factors (Fig. 1).

영향력에 대한 판단

Appraisal of impact

응답자는 평가의 영향과 관련하여 두 가지 요인, 즉 발생할 가능성이 얼마나 될지와 결과의 크기가 어느 정도인지를 고려했습니다.

Respondents considered two factors relating to the impact of assessment: how likely consequences were to accrue and what the magnitude of consequences was likely to be.

Likelihood of impact

Magnitude of impact

반응에 대한 판단

Appraisal of response

평가를 심사숙고 할 때 응답자는 특정 결과, 응답의 비용 및 응답자의 개인 목표 및 성공과 건강에 대한 개념에 대해 측정 한 응답의 가치를 달성 할 때 주어진 학습 반응의 효용성을 다양하게 고려했습니다. 평가에 대한 학습 반응은 일반적으로 고립되어 고려되지 않았으며 응답자의 삶의 다른 차원에 대한 요구와 관심과 균형을 이루었습니다.

When contemplating assessment, respondents variously considered the efficacy of any given learning response in achieving a particular outcome, the costs of that response and the value of that response as measured against the respondent’s personal goals and their conceptions of success and wellness. The learning response to assessment was typically not considered in isolation, but rather balanced against demands from and interests in other dimensions of respondents’ lives.

Response efficacy

Response costs

Value attached to expected outcome

자기효능감에 대한 인식

Perceived self-efficacy

자기 효능감은 역경에도 불구하고 상황에 대해 어느 정도 통제력을 발휘할 수 있다는 인식과 관련이 있습니다. 응답자들은 주어진 시간대에 학업 적으로 성취 할 수있는 것을 시간이 지남에 따라 개발하고 평가 될 때 미리 정해진 목표를 달성하기위한 학습 노력의 규모, 분포 및 성격을 조정할 수 있다고보고했습니다 (인용 4, 6).

A sense of self-efficacy has to do with the perception of being able to exert some control over a situation, even in the face of adversity. Respondents reported developing a sense over time of what they were able to achieve academically in any given time frame, and being able to calibrate the magnitude, distribution and nature of their learning efforts to achieve their predetermined goals when being assessed (cf. Quotes 4, 6).

맥락적 요인

Contextual factors

응답자의 맥락에서 가장 중요한 맥락 적 요인은 다양한 referent이었다. Referent은 개인의 가치관이 의도와 행동에 영향을 미치는 데 중요한 역할을하는 사람들입니다. 그들은 동기 부여가된다면 개인이 자신의 행동을 조정할 수있는 규범 적 신념을 제공합니다. 응답자의 경우 주요 referent 그룹은 강사 및 기타 학생들이었습니다. 강사는 직접적으로나 간접적으로 referent이되었다. 학생들은 응답자의 동료와 이전에 특정 학습 연도를 성공적으로 협상 한 학생을 모두 포함시킬 수 있습니다. 일부 응답자는 밀러와 파렛 (Miller and Parlett, 1974)이 기술 한 것과 같이 큐 레이서 (cue seeker)라는 범주에 속하게되었습니다. 다른 사람들은 큐 의식이 있었고 더 많이 그들이 자신이 있다고 느끼는 문제의 정도가 커졌습니다.

The most important contextual factors in respondents’ context were various referents. Referents, people whose opinion an individual values, play an important role in influencing intent and behaviour. They provide normative beliefs against which an individual can calibrate their behaviour, if so motivated. For respondents, two key groups of referents were lecturers and other students. Lecturers served as referents both directly and indirectly. Students could include both peers of the respondent and students who previously success- fully negotiated the particular year of study. Some respondents clearly fell in the category of cue seekers as described by Miller and Parlett (1974). Others were cue conscious and became more so the greater the degree of trouble they perceived themselves to be in.

Normative beliefs

Motivation to comply with normative beliefs

Negative cases

고찰

Discussion

이 연구에서 설명한 요인들이 개입의 단순한 목표가 되지 못합니다. 주어진 시간에 주어진 모든 학생에 대해 이러한 요인들이 모두 작용하는 것은 아니며, 시간 및 상황에 따라 주어진 학생의 일정한 요소에 대한 요인도 아닙니다. 두 학생의 동일한 요소가 작용한다고하더라도, 그 영향의 강도는 개인적 또는 다른 상황에 따라 달라질 수 있습니다. 이것은 "현상의 사회적 및 문화적 맥락이 인과 적 메커니즘의 작동을 이해하는데 결정적이다"(Maxwell 2004a : 6)는 것을 강조한다. Gebhardt와 Maes (2001)가 건강 행동의 맥락에서주의하는 것처럼, 모든 행동이 행동을 유도하는 요인들에 대한 고려 된 반응의 결과 인 것은 아니다. 따라서 학습에 영향을 미치기 위해 평가가 조작되면 학생은 처음에는 고의적 인 변화를 고려하기 위한 노력을하기보다는 확립 된 행동 패턴을 취할 수 있습니다. 이것은 신중하게 설계된 평가 개입의 바람직한 영향력 부족을 설명하는 부분적 방법이 될 수 있습니다.

The factors described in this study do not form a simple target for intervention. Not all of these factors are in play for any given student at any given time, nor are the factors in play for any given student constant across time and context. Even if the same factors are in play for two students, the intensity of that impact may vary based on personal or other contextual influences individual to each. This serves to underline that ‘‘the social and cultural contexts of the phenomenon studied are crucial for understanding the operation of causal mechanisms’’ (Maxwell 2004a: 6). To complicate matters even further, as Gebhardt and Maes (2001) caution in the context of health behaviour, not all behaviour is the result of a considered response to the factors inducing the behaviour. Hence, when assessment is manipulated to influence learning, students may initially act out established patterns of behaviour rather than making the effort to make considered, deliberate changes. This might go part way to explaining the lack of desirable impact of thoughtfully designed assessment interventions.

또한 평가는 전형적으로 학생들이 반응하는 단일한 동질적 존재가 아니라는 점을 강조합니다. 각 모듈 또는 코스는 종종 다른 학생들과 동기화 된 방식보다는 독립적으로 학생들의 요구를합니다. 궁극적으로 가능한 한 많은 학생들을 대상으로 여러 차원의 학습에 영향을 미치기 위해서는 개별 평가 이벤트를 조정하는 것보다 평가 시스템 즉, 평가 시스템을 다룰 필요가 있습니다. 그러나 이러한 복잡성을 고려하지 않으면 평가를 통한 학습에 긍정적 인 영향을 미치는 노력이 실패하게됩니다.

It also bears emphasising that assessment is typically not a single, homogeneous entity to which students respond. Each module or course makes its own demands of students, often independently of rather than in synchronised fashion with others. Ultimately, to have an impact on as many dimensions of learning of as many students as possible, it will be necessary to manipulate multiple dimensions of assessment i.e., assessment systems, rather than tweak individual assessment events. Yet not taking this complexity into account will result in failed efforts to positively influence learning using assessment.

학습에 영향을 미치기 위한 평가는 결과를 보여야하며, 학생들의 표식과 진행에 대한 결과 또는 다른 요인들, 예를 들면 프로젝트 발표 나 동료 평가 또는 대행 감각의 경우 동료 학생의 눈에 띄는 존중 피드백의 경우처럼

Assessment that is intended to impact learning should have consequences, be those consequences on students’ marks and progression or on other factors e.g., their esteem in the eyes of fellow students as may be the case with project presentations or peer assessment or their sense of agency as may be the case with feedback.

어떤 평가 활동의 영향도는 아마도 그것과 관련된 결과의 심각성의 정도와 강하게 상관 될 것이다. 학생의 학년 중 10 %를 기여하는 독창적 인 과제에 대한 피드백을 도입하면인지 적 과제의 수준을 리콜에서 문제 해결로 변경하는 것보다 덜 성공적인 개입이 될 가능성이 높습니다. 객관식 평가에서 50 % 학생의 학년 중.

The degree of impact of any assessment activity will probably be strongly correlated with the magnitude of the severity of consequences associated with it. Introducing feed- back on a one-of-a-kind assignment contributing 10% of a student’s grade is likely to be a less successful intervention than changing the level of cognitive challenge from recall to problem-solving in a multiple choice assessment contributing 50% of a student’s grade.

평가는 학생들이 학습 반응의 효능을 평가할 때 평가가 학계에서 그들이 배워야한다고 생각하는 방식으로 학습하도록 유도해야합니다. 분명히 Newble and Jaeger (1983)와 Frederiksen (1984)은 이러한 변화를 가져올 수있었습니다. 이론 모듈에서는 길고 짧은 질문 유형의 혼합 백을 사용하면 학생들이 학습 내용과 학습 방법 측면에서 학습 자료와 다르게 참여해야합니다. 그들은 물어볼 질문의 길이 나 유형에 따라 단순히 일을 생략 할 수 없습니다. 평가 당 한 번 더 긴 질문 (예 : 20 점)을 짧은 질문과 섞으면 학생들의 학습에서 질적 인 차이가 발생합니다. 분명히, 그런 디자인은 심리 측정 적 및 정치적 고려 사항을 포함하여 다양한 다른 것에 대해서 또한 무게를 달아야 할 것이다 (van der Vleuten 1996).

Assessment should be designed in such a way that when students make their appraisal of the efficacy of their learning response, that appraisal leads them to learn in ways we as academics believe they should be learning. Evidently, Newble and Jaeger (1983) and Frederiksen (1984) were able to bring about just such changes. In theory modules, using a mixed bag of longer and shorter questions types would force students to engage differently with learning material, both in terms of what they learn and in terms of how they learn. They would be unable to simply leave out work based on the length or type of questions to be asked. Having one longer (e.g., 20 mark) question per assessment mixed with shorter questions should lead to qualitative differences in students learning. Clearly, such a design would also have to be weighed against various other, including psychometric and prag- matic, considerations (van der Vleuten 1996).

주어진 학습 반응에 대한 학생들의 비용은 너무 높아서는 안됩니다. 평가 시스템의 요구가 너무 부담 스럽기 때문에 비용 편익 분석을 통해 학생들은 지름길을 찾을 수 있습니다. 여기서 평가를위한 포트폴리오의 도입을 생각합니다. 이것은 건전한 교육 근거를 기반으로하지만 학습에 항상 유익한 영향을 미치지는 않습니다 (Driessen 외. 2007).

The costs to students of any given learning response should not be too high. Where the demands of an assessment system become too onerous, the cost-benefit analysis will lead students to find short cuts. One thinks here of the introduction of portfolios for assessment. This is based on sound educational grounds, but does not always lead to a salubrious impact on learning (Driessen et al. 2007).

마찬가지로, 학생들이 알 수 없거나 복잡하거나, 너무 복잡한 자료 (van Etten 외 1997)에 기반하거나, 학술 모듈 내에서 제한된 시간 내에 의미있게 참여하기에는 너무 방대하다면, 학생 학습에 긍정적 인 영향을 미치지 않을 것입니다.

Equally, assessment tasks that challenge students’ sense of agency by virtue of being unknown or complex, or based on material too complex (van Etten et al. 1997) or too voluminous to engage with meaningfully in the limited time available within an academic module, will be unlikely to have a positive impact on student learning.

마지막으로, 모듈 및 / 또는 강사 주위에 소용돌이 치는 평가에 대한 '신화 및 전설'의 영향은 시야에서 사라져서는 안됩니다. 과거 세대의 학생들에게서 다음 세대의 학생들에게 과거의 시험 서류가 전달되지 않는 대학은 실제로는 드물다. 이들은 많은 학생의 학습을 알리는 내용 및 스타일 분석의 기초를 형성합니다. 따라서, 그들은 그림자에서 벗어나 평가 시스템에 공개적으로 통합되어야합니다.

또한이 모델은 총괄평가의 맥락을 넘어서는 유용 할 것으로 기대된다. 피드백을 사용하는 수수께끼 중 하나는 잠재적으로 학생 학습에 강력한 영향을 미치는 것으로 밝혀졌지만 (Black and Wiliam1998), 종종 학생들이 놓치거나 잘못 이해하게됩니다 (예를 들어 Gibbs and Simpson 2004 참조). 피드백에 대한 연구 결과의 일부에 영향 평가 및 반응 평가 렌즈를 적용하면 이러한 현상을 밝힐 수 있다고 추측하는 것은 유혹스러운 일입니다. 이 연구에서 강사의 피드백이 학습에 영향을 미치는 요인으로 작용하지 않았다는 점은 흥미 롭습니다.

It is also anticipated that this model might be useful beyond the context of summative assessment. One of the conundrums with using feedback is that whilst it has been found to potentially have a powerful impact on student learning (Black and Wiliam1998), it is often missed or misunderstood by students (see Gibbs and Simpson 2004 for examples). It is tempting to speculate that applying the lens of impact appraisal and response appraisal to some of the findings of research on feedback could shed some light on these phenomena. It is interesting to note that feedback from lecturers did not feature as a factor influencing learning in this study.

램스 덴 (Ramsden, 1992)은 다음과 같이 지적했다. "부적절한 평가 방법은 학생들에게 잘못된 학습 접근법을 강요하는 불가항력적인 압력을 부과한다." 평가가 학생 학습에 미치는 영향에 대해 더 잘 이해하면 의미있는 학생 학습을 유도하고 이러한 상황을 개선하기 위해 평가를 더 잘 활용하는 방법을 모색하는 것이 가능할 것으로 기대됩니다. 평가가보다 효과적으로 활용되도록하는 중요한 링크에는 학생들을 평가하는 학계와 학계가 책임 져야하는 요구 - 평가 - 관련 및 기타 사항의 혼합을 점점 더 결정하는 관리자가 포함됩니다. 더 큰 학문적 기계에서 이러한 톱니 바퀴를 이해하면 앞으로 수십 년 동안 학습에 대한 평가의 비통 한 영향을 아직도 애도하지 않고 있음을 확인할 수 있습니다.

As Ramsden (1992) pointed out: ‘‘Unsuitable assessment methods impose irresistible pressures on a student to take the wrong approaches to learning tasks’’. With a better understanding of how assessment impacts on student learning, it will hopefully be possible to start exploring how assessment can be better utilized to bring about meaningful student learning and remedy this situation. Crucial links in ensuring that assessment is utilized more effectively will include the academics who assess students, and administrators who increasingly decide on the mix of demands—assessment-related and otherwise—to which academics should be answerable. Understanding these cogs in the greater academic machine will hopefully ensure that we are not still lamenting the deplorable impact of assessment on learning some decades hence.

Adv Health Sci Educ Theory Pract. 2010 Dec;15(5):695-715. doi: 10.1007/s10459-010-9232-9. Epub 2010 May 9.

The mechanism of impact of summative assessment on medical students' learning.

교육평가에서 새로운 심리측정 모델을 위한 항변(Med Educ, 2006)

A plea for new psychometric models in educational assessment

Lambert W T Schuwirth & Cees P M van der Vleuten

도입

INTRODUCTION

특히 평가에서의 현재의 발전에 비추어 볼 때, 우리는 엄격한 심리측정 모델이 더 이상 지속 가능하지 않다고 생각하며 통계 개념 및 평가 접근법의 주요 개정에 대한 항변을 하고 싶습니다.

Particularly in the light of current developments in assessment, we think that the strict psychometric model is no longer sustaina- ble and we would like to make a plea for a major revision of the statistical concepts and approaches to assessment.

오랫동안 의학적 역량에 대한 지배적인 이론에서는 역량을 잠재된 형질이나 구인으로 접근하였다. 이 모델에서 구인은 서로 "독립적으로 측정 할 수있는 일반적이고 안정적이며 균질한 특성"이다.

For a long time, the dominant theoretical approach to medical competence has been that of latent traits or constructs. In this model, constructs are used as generic, stable and homogenous characteristics, which can be measured independently of each other.

의료역량에서 가장 유명한 모델은 지식, 기술, 문제 해결 능력 및 태도였다. 이 모델은 1980 년대 초에 폐기되었지만 여전히 일상적으로 일상 언어로 사용되고 있다1

In medical com- petence the most popular model was that of know- ledge, skills, problem-solving ability and attitudes. Although this model was abandoned in the early 1980s, it is still used in our everyday language.1

위에서 언급했듯이, 모델은 기본적으로 최소한 측정 기간 동안에는 측정 대상 (구조물)이 안정하다는 것을 전제로 한다. 따라서 central trait로부터의 모든 관찰의 deviation은 자동으로 오류로 간주된다. 

예컨대, 자녀 2 명과 함께 소아과 의사를 방문한다고 가정 해보십시오. 첫 번째 자녀는 잘 치료하지 못해 사망하였지만, 두 번째 자녀는 완전히 잘 치료받아 회복됩니다. 이 때 이 성적을 평균적으로 수용가능하다고 말할 수 있습니까? 그렇지 않을 것이다. 그러나 현재의 통계 모델은 우리에게 그렇다라는 대답을 강요한다. 통계 모델은  이소아과 의사가 평균적으로는 합리적인 의료를 수행했으며, 이 평균치에서 벗어난 편차는 측정 오류라고 제안한다.

As we stated above, innate to the model isthe premise that the object of measurement (the construct) is stable, at least during the time of measurement. A corollary of this is that any deviationin observations from this hypothesised central trait must automatically be treated as error. 

An illustrationmay clarify what we mean here. Suppose you visit a paediatrician with your 2 children. He performs poorly in 1 case, leading to the death of your first child, and extremely well in the other, leading to thecomplete recovery of your second child. Would you  then say that on average his performance was acceptable? We would not. Yet the statistical model to describe, measure and predict this performance forces us to do so. The statistical model in fact suggests that on average the paediatrician performed reasonably and that the deviation fromthis average is measurement error.

실제 세계를 기술하고 예측하는 데 사용되는 모델은 종종 우리가 관찰 된 분산의 대부분을 오차 분산으로 버리도록 강요합니다.

the model used to describe and predict the real world often forces us to throw away most of the observed variance as error variance.

또 다른 희생은 정보의 낭비이다. 100 개 항목의 객관식 테스트에도 상당한 정보가 포함되어 있습니다. 그것은 학생들에게 어떤 대답을했는지 그리고 어떤 대답을하지 않았는지를 알려주지 만, 어떤 비틀 거리기가 선택되었고 어떤 오해가있을 수 있는지 알려줍니다. 그러나 단일 점수를 얻기 위해서는 이 모든 측정 정보가 버려져야합니다. 심지어 이것은 0 %와 100 % 사이에서 학생이 득점 한 위치를 알려주는 점에서 다소 유익합니다. 심지어 더 많은 측정 정보를 폐기함으로써 합격 / 불합격 결정을 내린다.

Another sacrifice concerns the waste of information. Even a 100-item, multiple-choice test contains con- siderable information. It tells you not only which answers the student knew and which he or she did not, but it tells you also which distractors were chosen and which possible misconceptions may exist. In our model, all this measurement informa- tion has to be thrown away to arrive at a single (percentage) score. Even this is still somewhat informative, in that it does tell us whereabout between 0% and 100% the student scored. But this is then dichotomised into a pass ⁄ fail decision by the throwing away of even more measurement information.

신뢰성의 본래적 의미는 테스트 점수가 우주 점수를 나타내는 정도이다

Reliability according to its original meaning indicates the extent to which the test score is a representation of the universe score

신뢰도 추정에는 흔히 항목 간 상관관계와 같은 내적 일관성이 사용된다. 사실, 이 때 시험(테스트)는 가능한 한 많은 부분으로 분할된다. 그리고 테스트의 모든 항목은 테스트의 다른 항목과 더 잘 연관 될수록 우리는 우주 점수의 표현이 더 낫다고 가정합니다.

Popular estimates of reliability are based on internal consistency, such as the use of inter-item correlations. In fact, this involves splitting up the test into as many parts as possible. This means that the better every item correlates with any other given item in the test, the better we assume the representation of the universe score is.

지금까지 접근법은 (논리적으로 보일지 모르지만) 우주의 동질성을 전제로하고있다.

그러나 우리는 우주가 동질적이지 않다는 것을 이미 알고 있습니다. 영역 특이성은 1970 년대 후반에 처음 언급되었다 .2 그래서 신뢰성은 우리가 내용의 타당성보다 우주에 대해 다른 가정을하도록 강요한다. 서로 반대되는 가정이 동시에 발생할 수 있다는 것은 논리적 인 것처럼 보이지 않습니다. 이 문제는 새로운 것이 아니며 타당성과 신뢰성 사이의 고전적 역설로 이미 알려져 있습니다. 그러나 이것은 이론의 진정한 모순이자 근본적인 약점입니다.

이러한 모순은 종종 테스트 설계 및 품질 보증에있어서 특이한 행동을 하게 만든다. 한 가지 예는 문항분석을 사용하여 테스트의 품질을 최적화하는 것입니다. 많은 기관에서는 문항통계에 따라 테스트에서 불량한 통계를 보여주는 문항을 자동으로 제거합니다. 그러나 이 문항들이 relevant하고, 정확하게 표현되고, 코스 목표의 일부로 올바르게 교육되고 있으며, 적절한 내용을 포함한다면 어떻게 될까요? 이렇게 문항을 제거하면 의심 할 여지없이 문항통계와 Cronbach's 알파는 나아질 것이지만, 표본에서 타당한 요소가 삭제되고, 샘플 크기가 줄어들고, 유니버스 표현이 불량 해집니다. 오히려 이 경우에 올바른 결론은 이 항목을 시험에 포함시키는 것이며, 그 이유는 우주가 원래 가정 된 것보다 더 변종 적이기 때문이다..

Outlier를 제거하거나 합의를 위한 전문가 패널의 회의(예 : 표준 설정 절차)에서도 유사한 문제가 발생할 수 있습니다. 이것은 아마도 새로운 것은 아니지만 사실 마이크로 수준에서 도메인 특이성을 가지고하는 것입니다. 우리는 우주가 동질성이라는 가정에서 출발하기 때문에 관측자 들간의 차이를 오류로 기각합니다. 그러나 사실 더 논리적인 결론은 우주가 더 변종적이라는 것입니다. 우리는 포트폴리오 및 다중 소스 피드백과 같은 현재 널리 사용되고있는 평가 방법에 동일한 원칙을 적용하는 경향이 있습니다. 우리는 모든 평가자를 동일하게 만들기 위해 평가자 훈련을 연장하는 경향이 있습니다. 우리는 심사관 역할에서 이상치를 제거 할 수도 있습니다. 즉, 우리는 피평가자가 완전히 훈련되지 않은 다양하고 혼란스러운 상황에서 일할 준비가되었는지를 평가하기 위해, 동질성을 확립하는 것을 목표로하는 수렴적 전략을 사용합니다.

A similar problem may arise in expert panels – for example in standard-setting procedures – in the process of eliminating outliers or holding consensus meetings. This is probably not new, but it is in fact what we do with domain-specificity at the micro level. We dismiss variance between observers as error because we start from the assumption that the universe is homogenous, where in fact the more logical conclusion would have been that the universe is more variant. We have a tendency to apply the same principle to currently popular assessment methods, such as portfolios and multi-source feedback. We tend to extend the training of examiners to make sure all examiners are the same. We may even eliminate outliers from the examiner role. Thus, we use a convergent strategy aimed at establishing homogeneity to assess whether a candidate is ready to work in a completely untrained, diverse and some- what chaotic context.

학생과 평가자 모두가 동일한 제약상황에서 구체적인 처방을 받아 수행하는 것보다, 더 중요한 것은 다양한 평가자에게 적응할 수있는 유연성이다. 따라서 테스트에서 항목의 분산 및 상호 작용의 분산을 없애고 최적화하는 데 노력해야합니다.

It is the flexibility to adapt to different examiners that is more important than the ability to perform in a certain prescribed strat- egy, to which both students and examiners are trained to the same confinement. In tests we should therefore not strive to eliminate item variance and interaction variance but to optimise it.

통계적 접근법을 적용하기 위해 충족되어야하는 또 다른 기본 가정은 해당 항목의 국소적 독립성local independency입니다. 지역 독립성은 2 개 문항간에 자연적 상관 관계가 없어야 함을 의미합니다. 체크리스트의 항목이 유사한 기술에 속하거나, 이전 항목의 결과로 평가 대상이 변경된 경우가 여기에 해당 될 수 있습니다.

Another basic assumption that must be met to apply our statistical approaches is local independency of the items. Local independency means that there should be no natural correlation between 2 items. This could be the case if items in a checklist belong to a similar skill or when the object of the assessment changes as a result of the previous item.

심장 질환 2 개, 심근 경색 2 개, 흉통 2 개는 어떨까요? 영역 특이성은 일반적으로 예측할 수 없지만 개인 수준에서는 국소적 독립성의 존재 또는 부재를 가정 할 수 없다는 것이 너무 불확실합니다. 그러나 우리는 일상적으로 어떤 것들을 객관적으로 독립적으로 취급하기도 하고(객관식 검사의 항목), 다른 것들(객관적 구조화 임상 검사 체크리스트의 항목)은 그렇지 않기도 한다. 또한 국소적 독립성은 포트폴리오, 진행 테스트 및 작업장 평가와 같은 종단 적 평가 접근법에서 어려운 가정입니다. 이러한 접근법에서 이미 관측의 국소적 의존성은 그 방법에 자체에 내재되어있다. 그것은 피할 수 없으며 피할 수도 없습니다. 그것은 실제로 극대화되어야하는 의도 된 교육 효과입니다.

But what about 2 items on cardiac disease, 2 items on myocardial infarction or 2 items about chest pain? Domain specificity is very unpredictable in general, but at the individual level it is so uncertain that we cannot assume the presence or absence of local independ- ency. Yet we routinely treat certain things as locally independent (items in a multiple-choice test) and others not (items in an objective structured clinical examination checklist). In addition, local independ- ency is a difficult assumption in longitudinal assess- ment approaches, such as portfolio, progress testing and workplace assessment. In these approaches local dependency of observation is inherent to the method. It cannot and should not be avoided. It is the intended educational effect, which should actually be maximised.3

특성 접근법trait approach는 무언가를 측정한다는 것은 일정한 안정된 특성을 지칭한다는 개념에 기초한다. 특정 테스트가 의미를 갖기 위해서는 많은 항목에 대해 점수를 합산해야합니다. 이것은 거의 항상 문항 간의 무한한 상호보완가능성을 의미합니다. 성격검사에서는 이러한 접근법이 수용가능할 것이다.

The trait approach is based on the notion that the measurement refers to a certain stable trait. in order for a certain test to make sense, we need to sum the scores on the many items. This nearly always implies an unlimited compensation between items. In the personality inventories from which our test statistics are derived, this is acceptable.

예를 들어 MMPI (Minnesota Multiphasic Personality Inventory)와 같은 no로 채점 된 항목은 MMPI의 동일한 차원에있는 다른 항목으로 대체 될 수 있습니다.

Any item scored with a  no , such as, for example, on the Minnesota Multiphasic Personality Inventory (MMPI), can be replaced by any other item loading on the same dimension of the MMPI.

그러나 이 원칙이 성취도 평가에서도 마찬가지일 것인가? 폐렴에 대한 지식이 풍부하면 심근 경색에 대한 부족한 지식을 보상 할 수 있습니까? 또는 좋은 복부 검사 기술로 가난한 소생술에 대한 보상을 할 수 있습니까?

One might wonder, though, whether this principle is also true in achievement tests. Can you compensate for poor knowledge about myocardial infarction by good knowledge about pneumonia? Or can you compensate for poor resuscitation skills with good abdominal examination skills?

1983 년 에벨(Ebel)은 시험에서의 문항의 타당성은 문항의 본질적인 의미에서 비롯한다고 제안했습니다 .4 예컨대, 소생술을 수행 평가에서, 테스트중인 유일한 것은 소생술을 수행 할 수 있는지 여부이며, generic trait를 테스트하는 것이 아니다.

In 1983 Ebel suggested that the validity of items in study tests comes from the intrinsic meaning of the item.4 So if you are asked to perform resuscitation, the only thing that is being tested is whether you are able to perform resuscitation, not some sort of generic trait.

개별 항목을 항상 결합해야한다는 생각은 현재 평가 도구에서 이상한 접근 방식을 초래합니다. 환자를 진단하는 능력과 질병의 심리 사회적 측면에 대처능력이 합산되어 평균될 수 있는가? 이는 결과를 단일 숫자로 표현하고 싶거나 둘 다 단일 공통 요소에서 기반한다고 생각하는 경우에만 가능합니다. 그러나 피드백을 주려고 할 경우, 두 항목은 다른 항목으로 보완 할 수 없으며 보완해서는 안되는 본질적인 의미를 가지고 있습니다.

The idea that individual items should always be combined leads to strange approaches in current assessment instruments. Does the ability to diagnose patients and the ability to respond to psychosocial aspects of illness really need to be averaged? Only if you want to express the results in a single number or if you think they both load on a single common factor. However, in feedback both items have an intrinsic meaning that cannot and should not be compensated for with other items.

만약 의사가 이러한 치료한다고 가정 해보십시오. 예를 들어 혈압, 나트륨 수준 및 적혈구 침강 속도 (ESR)의 곱으로 환자의 건강 상태를보고합니다. "이 환자의 건강 상태는 1 260 000입니다." 임상의료행위에서는 완전히 다른 방식으로 정보를 처리합니다. 

• 병력 복용, 신체 검사 및 추가 진단 절차를 통해 각 환자에 대한 데이터를 기록합니다. 

• 이러한 데이터는 환자 차트에 기록되며 합격 / 불합격 결정에서 백분율 점수로 변환되거나 이분법 화되지 않으므로 정보가 풍부한 것으로 취급됩니다. 

• 치료 중 차트의 정보는 추가 진단 방법을 결정하고 확실하지 않은 것을 재검사하고 치료 계획을 수립하고 진행 상황을 지속적으로 평가할 수있는 기반이됩니다. 

• 결국 퇴원이나 추가 관리에 관한 이분법적인 결정이 내려 지지만, 정보가 풍부한 전체 론적 평가에 기반하고 숫자 정보가 부족한 환원 주의자 평가는 아닙니다.

Suppose we were to treat medicine in the same way. Then, for example, we would report the health status of a patient as the product of blood pressure, sodium level and erythrocytes sedimentation rate (ESR):  The health status of this patient is 1 260 000.  Medical evaluation deals with information in a completely different way. 

• It records data for each individual patient through history taking, physical examination and additional diagnostic procedures. 

• These data are recorded in a patient chart and are treated as information-rich, in that they are not converted into a percentage score nor dichotomised in a pass ⁄ fail decision. 

• During the treatment the information in the chart serves as a basis to determine further diagnostic approaches, to retest what you are not sure of, to set out a treatment scheme and to evaluate the progress continuously.

• In the end the dichotomous decision concerning discharge or further manage- ment is made, but based on an information-rich holistic appraisal and not on a numerical informa- tion-poor reductionist assessment.

따라서 우리는 평가의 초점을 "교육 활동의 결과를 측정하는 것"에서 "교육의 필수적인 부분으로서의 평가"로 전환 할 필요가 있다. 이 역시 의료행위에 대응될 수 있다. 현재 우리는 스크리닝 검사와 같은 방식으로 평가하고 있으며, 일반적으로 개별적으로 환자를 개별적으로 검사하지 않고 일반적으로 고안된 검사로서 검사에 대한 예 / 아니오 응답 만 요구합니다 (위험도가 높거나 질병의 초기 단계). 이를 위해서는 검사를 표준화해야합니다. 감수성과 특이성 사이의 최적을 결정하기 위해 cut-off 점수를 결정할 필요가있다. 긍정적이고 부정적인 예측 값은 우리의 기준 타당도 접근법과 유사한 방식으로 수립되어야합니다. 

Thus, in our opinion, we need to shift the focus of assessment from measurement of the outcome of an educational activity to assessment as an integral part of education. There is – again – a parallel in medicine. At the moment we often treat assessment the way medicine treats screening programmes, as tests that are designed generically, largely independ- ently of the individual patient to be tested, and require only yes ⁄ no answers to the questions (con- cerning elevated risk or early stage of disease). Tests therefore need to be standardised; cut-off points need to be determined to establish an optimum between sensitivity and specificity. Positive and neg- ative predictive values need to be established in a way that is comparable with our criterion validity approach. 

그러나 이것은 의학의 작은 부분 일뿐입니다. 

• 대부분은 환자 차트가 양적 및 질적 정보를 결합하는 평가 및 평가 도구로 사용되는 의료 환경에서 발생합니다. 

• 여기 신뢰성은 절차적 접근법에서 비롯됩니다. : 의사가 확신이 없으면 특정 측면에 대한 추가 정보를 얻습니다. 모든 정보는 다른 정보와 관련하여 평가됩니다. 

• 이것은 완전히 보상적이거나 완전한 결합적인 방식으로 수행되는 것이 아니라 신중하게 균형 잡힌 전문가 판단으로 수행됩니다. 

• 의사가 환자의 상태가 불만족 스럽다고 느끼면 환자는 동료 또는 다른 전문가에게 문의합니다. 

• 환자를 종단적으로 모니터링하여 어떤 조치의 영향을 확인하고 변화하는 상황에 맞게 진단을 최적화하고 조정합니다. 

• 이러한 맥락에서는 신뢰성을 위해 generic stability를 가정할 필요가 없다.

But this is only a small part of medicine. 

• Most of it takes place in care settings where a patient chart is used as an assessment and evaluation instru- ment to combine quantitative and qualitative infor- mation. 

• Reliability here comes from a procedural approach: if the doctor is unsure, he or she seeks further information about the specific aspect. 

• All information is evaluated in relation to other infor- mation. 

• This is not carried out in a fully compensa- tory nor a fully conjunctive way, but as a carefully balanced expert judgement. 

• If the doctor encoun- ters aspects of a patient’s condition about which he or she does not feel sufficiently qualified, he or she confers with a colleague or other expert. 

• The patient is followed longitudinally to monitor the effects of any action and to optimise and tailor the diagnostics to the changing situation. 

• In this context the assumption of generic stability is not needed for reliability.

우리가 벗어나고 싶지 않은 안정적인 평균에 대한 통계를 목표로하는 대신, 새로운 정보의 비중이 이미 존재하는 정보에 따라 확률론적으로 결정되는 베이지안 방식을 채택하기를 원할 수 있습니다. 이 질문에 대한 대답은 이 후보자의 안정적이거나 평균적인 능력이란 무엇입니까? 그 학생의 역사와 새로 수집 된 정보를 감안할 때, 미래의 사례에서이 학생이 표준보다 심각하게 수행 할 위험이 얼마나 큽니까?

Instead of aiming statistics on the stable average from which we do not want to deviate, we may want to adopt a more probabilistic or Bayesian approach, in which the value of new information is weighed against already existing information. In this the question to answer is not  What is the stable or average competence of this candidate?  but  How big is the risk of this student performing seriously below the standard in a future case, given his or her history and the newly collected information? 

1 Schmidt HG, Norman GR, Boshuizen HPA. A cognitive perspective on medical expertise: theory and implica- tions. Acad Med 1990;65(10):611–22.

A plea for new psychometric models in educational assessment.

임상역량의 Authentic 평가: 역량 추구의 함정 (Acad Med, 2010)

Toward Authentic Clinical Evaluation: Pitfalls in the Pursuit of Competency

Shiphra Ginsburg, MD, MEd, Jodi McIlroy, PhD, Olga Oulanova, MA, Kevin Eva, PhD, and Glenn Regehr, PhD

의학 교육자들은 수십 년 동안 레지던트의 임상적 능력을 평가하는 최선의 방법에 대해 고심하고있다. 흥미롭게도, 임상 수행에 대한 대부분의 평가는 여전히 연수생의 행동에 대한 판단을 내리는 평가자에게 크게 의존합니다. 이 수수께끼에 대한 지배적 인 해결책은 표준화를 통해 이러한 주관적인 효과를 완화하려는 시도이며, 이를 위해

• 무엇이 평가되어야 하는지(예 : 의사 소통과 같은 영역에서 특정 지식, 태도 또는 기술이 평가되고 있음), 

• 어떻게 다양한 성과 수준으로 구성되는지(예 : "뛰어난 성과", "기대치 초과"및 "개선 필요"와 같은 용어가 의미하는 것)

...에 대한 합의가 이루어졌습니다 

Medical educators have struggled for decades with the question of how best to evaluate the clinical competence of residents. Interestingly, most evaluations of clinical performance, still rely extensively on evaluators making judgments about trainees’ behaviors. The dominant solution to this conundrum has been to try to mitigate these subjective effects through standardization, so that there is some consensus about 

• what is being evaluated (e.g., what specific knowledge, attitudes, or skills are being assessed in a domain such as communication) and 

• what constitutes various levels of performance (e.g., what is meant by such terms as “outstanding performance,” “exceeds expectations,” and “needs improvement”).

동시에 의학 교육자 (및 사회)는 "훌륭한 의사"가된다는 것을 더 확실하게 표현하는 방향으로 나아갔습니다.

At the same time, medical educators (and society) have moved toward the development of a more authentic representation of what it means to be a “good doctor.”

(CanMEDS)

(ACGME)

이러한 프로젝트는 "역량 획득여부를 평가하기 위한 유용하고 신뢰할 수있는 유효한 방법"을 개발하는 데 도움을주기위한 것입니다.

The project was also meant to assist programs to develop “useful, reliable, and valid methods for assessing attainment of the competencies.”

이러한 목표에도 불구하고, 최근 문헌을 체계적으로 검토 한 결과, 하나의 역량을 다른 역량과 구분되는 독립적 구인으로서 신뢰성있게 측정 할 수있는 평가 방법이 없음을 발견했습니다.5 저자는 역량 자체가 "틀린 것"은 아니지만 평가 방법은 그렇지 않음을 결론지었습니다 프레임 워크와 깔끔하게 대응합니다. 또한 일부 역량 (시스템 기반 실습과 같은)은 다른 개인 및 외력에 크게 의존하므로 레지던트가 속해있는 시스템에서 레지던트만을 분리하여 평가할 수 없습니다.

Despite these goals, a recent systematic review of the literature found no assessment methods that can reliably measure the competencies separately from one another as independent constructs.5 The authors concluded that it is not that the competencies themselves are “wrong” but that assessment measures do not correspond neatly with the framework. In addition, some of the competencies (like systems-based practice) are so dependent on other individuals and external forces that it may not be possible to evaluate a resident separate fromthe systemin which the resident is functioning.

의학 교육자들이 학습 체계를 구성하고 안내하는 학습 도구로서의 역량을 평가 도구로서의 역량으로 직접 번역하려고 시도하는 것이 이 둘 사이의 구분을 모호하게했을 수도 있습니다. 우리는 역량 프레임 워크와 교수의 일상 생활 평가에 대한 경험 사이에 존재하는 명백한 긴장을 더 잘 이해하려고 노력했습니다.

It may be that medical educators have blurred the distinction between using competencies as an educational framework to organize and guide learning, and attempting to translate themdirectly into evaluation tools. With this in mind, we sought to better understand the apparent tensions that exist between competency frameworks and faculty’s experience in the day-to-day evaluation of residents.

방법

Method

Participants and interviews

Potential participants included all clinical faculty at two Canadian universities (University of Toronto and McMaster University) who had at least two years of experience in teaching and evaluating residents in internal medicine. Sampling was purposive, in that we initially targeted faculty in general internal medicine who attended on the general medical wards at any of our five main teaching hospitals, as they would likely have the most experience in the areas we were exploring.

Analysis of the interviews began alongside data collection...

• to ensure the interviews were effectively eliciting the types of descriptions we had anticipated and 

• to determine when theoretical saturation had been reached.6 

This occurred after 15 interviews were done at the first university and 4 at the second, resulting in a final sample of 19 interviews that were analyzed using grounded theory. We chose grounded theory for this analysis because we were attempting to develop a theoretical framework to describe how faculty actually thought—and talked—about their residents.7 Each researcher read the initial transcripts during the open coding process. We then met repeatedly as a group and refined the coding using constant comparison, where categories were further defined, merged, or deleted. Agreement was achieved through consensus, and discussions proceeded until the coding structure was deemed stable. It was then entered into NVivo software, which was used by the research assistant to code all 19 transcripts.8

결과

Results

녹취록을 분석 한 결과, 지식, 전문성, 환자 상호 작용, 팀 상호 작용, 체계, 처분, 신뢰 및 직원에 대한 영향 등 거주자에 대한 의견을 표명 할 때 참석자가 고려한 사항을 모두 반영하는 8 개의 주요 영역 또는 주제가 파악되었습니다. 이 영역의 정의와 예는 표 1에서 볼 수 있으며 각 빈도는 그림 1에서 그래픽으로 표시됩니다.

Analysis of the transcripts resulted in the identification of eight major domains, or themes, that together reflect what faculty attendings consider when forming opinions about their residents: knowledge, professionalism, patient interactions, team interactions, systems, disposition, trust, and impact on staff. Definitions and examples of these domains can be seen in Table 1, and the frequencies with which each was mentioned are presented graphically in Figure 1.

성과 영역과 그것이 다뤄진 방법

Domains of performance and how they were discussed

첫 번째 중요한 발견은 역량 영역의 본질, 그리고 그것이 레지던트에 대한 전반적인 인식에 어떻게 통합되었는지이다. 그러나 개별 설명에서 참석자는 모든 레지던트에 대해 모든 도메인을 논의하지는 않았다.

Our first major finding related to the nature of the domains of competence discussed and how they were incorporated into the overall impression of the resident. However, in their individual descriptions, attendings did not discuss every domain for every resident,

더 흥미롭게도 도메인은 해당 레지던트의 다른 퍼포먼스 영역에 따라 중요성이 달라졌다. 각 테마는 긍정적이거나 부정적인 용어로 논의 될 수 있지만 토론 된 레지던트의 유형에 반드시 의존하지는 않습니다.

More interestingly, a domain could take on variable importance, depending on other areas of performance for that resident. Each of the themes could be discussed in either positive or negative terms, but this was not necessarily dependent on the type of resident being discussed.

흥미롭게도 "탁월한 레지던트가 되려면 탁월한 지식 기반을 보유해야합니다. 다른 모든면에서 뛰어나더라도, 내과적 지식이 부족하다면 뛰어나다고 말할 수 없다. "이러한 상대적인 결함은 지식 기반이나 지식 번역 (n = 9) 분야에서 가장 빈번하게 발생했습니다.

Interestingly, despite such comments as “To be outstanding you have to have outstanding knowledge base, I think. You can be outstanding in everything else but if you don’t know enough internal medicine you can’t,” these relative deficiencies were most often in the area of knowledge base or knowledge translation (n = 9).

또한 지식 자체에 대한 접근성이 높다고 여겼기 때문에 ( "모르는 것은 누구나 바로 구글에서 찾아볼 수 있다"), 대부분은 지식을 수월성의 진정한 표식으로 고려하지 않았습니다.

Furthermore, because knowledge itself was seen as being easily accessible (“You don’t know what it is, you Google it, you go on any of the online resources—most people have themon a handheld”), it was not considered by most to be a true marker of who is excellent.

흥미롭게도, 세 명의 주치의는 자신의 일에 "너무 투자"하거나 번아웃 위험에 처한 우수한 레지던트에 대한 우려를 제기했습니다.

Interestingly, three attendings brought up concerns about excellent residents who seemed “too invested” in their work and at risk of burning out.

요약하면, 참석자들은 자신들이 뛰어난 것으로 생각하는 레지던트의 결점을 간과하거나 변명하는 것처럼 보였던 반면, 일부 '문제있는 레지던트'에 대해서는 일부 도메인에서 우수성을 보여주더라도, 이것이 그들을 '구해save'주지 못했다. 주치의가 가진 인상은 레지던트에게 노출된 수의 선형적 합산 결과가 아니며, 더욱이, 무엇이 가장 중요하거나 덜 중요한지는 가변적이며 idiosyncratic하였다.

In sum, attendings seemed to overlook, or excuse, deficiencies in residents they thought of as being outstanding, whereas competence or even excellence in some domains did not “save” other residents from being thought of as problematic. Attendings’ impressions did not result from a linear sum of dimensions; further, what was weighted most or least heavily in any one description seemed to be variable and idiosyncratic.

테마의 상대적 중요성

Relative prominence of themes

우리의 두 번째 발견은 그림 1에서 묘사 된 바와 같이 주제의 상대적 빈도와 관련이 있습니다. 직업윤리는 전체 데이터 세트에서 가장 자주 사용되는 코드였으며 참석자들이 우수한 레지던트에 대해 토론했을 때 특히 두드러졌습니다. 

Our second finding relates to the relative frequencies of the themes, as depicted in Figure 1. Work ethic was by far the most frequently used code in the entire data set and was especially prominent when attendings discussed excellent residents.

또 다른 사람은 "그는 항상 자리에 있었고, 민감하게 반응했다. 그는 능동적으로 문제를 예측했다. 그는 그들에게 일어날 일을 기다리지 않았다. 그는 그것이 발생할 것으로 미리 예상했다. "

 Another stated, “He was available, he would always respond. He was proactive in anticipating problems. He did not wait for them to happen; he expected them to develop.”

"역량이라고 분류할 수 없는 것들"

“Noncompetency” constructs

우리의 세 번째 주요 결과는, 참석자들이 사실상 전혀 역량이라고 할 수 없는 것들에 대해서 자세히 설명했다는 점이다. 예를 들어 '성향'이 있다. 참석자가 레지던트가 문제가 있다고 생각하는 이유에 대한 설명으로, 태도 및 성격 특성에 대해 자주 언급하였다.

Our third major finding was that attendings elaborated several constructs that affected their opinions of residents that were not in fact competencies at all. Consider, for example, the theme of disposition. Attendings frequently commented on residents’ attitudes and personality characteristics, as typified by this explanation of why one attending thought a resident was problematic:

마찬가지로, 'Staff에 대한 영향'이라는 주제는, 레지던트가 교수 구성원의 삶에 어떻게 영향을 주었는지에 따라 레지던트에 대한 의견이 달라짐을 보여준다. 다시 말하지만, 이러한 의견은 특정 분야의 역량이나 역량을 설명하지는 않았으며, 오히려 참석자의 명시된 의견에 대한 설명으로 제공되었습니다.

Similarly, the theme of impact on staff evolved to capture comments attendings made in which their opinion of a resident was shaped by how that resident affected the faculty member’s life. Again, these comments did not describe a particular area of performance or competency but, rather, were offered as support or as explanation for attendings’ stated opinions.

고찰

Discussion

"핵심 역량"을 평가하기 위한 평가 도구를 개발하는 것은 어려웠습니다. 각각의 역량이 다른 역량과 별도로 평가 될 수 없는 것처럼 보이며, 대부분의 평가는 하나의 구인만을 측정한다 (또는 다수의 구인을 측정하나 프레임 워크에 깔끔하게 매핑되지 않는다.).

이러한 어려움에 대한 한 가지 가능한 이유는 원하는 역량 중 상당 부분이 어떤 식으로든 사회적으로 결정된다고 인식하기 때문이다. 예를 들어, ACGME 역량 중 Practice-BL이나 SBP와 관련된 개인의 성과는 다른 사람들 및 환경과의 상호 작용에 의존합니다. 따라서 개인의 기여를 구분해내기가 어렵다. 5 그러나 무엇보다도, 올바른 도구만 있다면, 개인의 "진정한 점수"를 정확하게 측정 할 수 있다는 근본적인 전제가 여전히 존재하는 것 같습니다.

One possible reason for these difficulties relates to a growing recognition that many of the desired competencies are in some ways socially determined. For example, an individual’s performance related to the ACGME competencies of practice-based learning or systems-based practice is dependent on interactions with other people and the environment. An individual’s contribution cannot be easily teased out.5 Perhaps more important, however, an underlying presupposition still seems to exist that there is a “true score” within an individual that can be measured accurately once the right tools are found.

특정 상황 (필기 시험과 같은 지식을 시험하는 시험)에는 이것이 적용가능할지도 모르지만, 평가 방법의 선택은 객관성이나 표준화에 대한 맹목적인 욕구가 아니라 교육적 맥락이나 시험 상황의 목적에 따라 결정되어야합니다. 아마도 임상 환경에서 역량 평가의 어려움은, 평가의 출발점이 역량이 관찰되는 맥락이 아니라, 역량 그 자체라는 사실에서 비롯됩니다.

That may be true for certain situations (like written exams to test knowledge), but the choice of assessment method should be determined by the educational context or by the purpose of the testing situation, not by a blind desire to be as objective or standardized as possible. Perhaps some of the difficulties in evaluating competencies in a clinical setting arise fromthe fact that the starting point is usually the competency one wants to assess, rather than the context in which it is being observed.

둘째, 감독관은 개인의 성과를 고려하는 메타-역량의 집합에 따라 연수생의 성과를 개념화한다고 제안했다. 예를 들어, Bogo 등 10)은 감독자가 뛰어나거나 문제가 있는 사회 복지 연수생을 논의할 때, 해당 연수생에 대한 전반적인 의견에 따라 특정 도메인의 상대적 중요성이 높아지거나 낮아지는 것으로 드러났다.

Second, others have suggested that faculty supervisors conceptualize trainees’ performance according to a set of meta-competencies, within which they consider an individual’s performance. For example, Bogo et al10 found that, as supervisors discussed their outstanding and problematic social work trainees, they would elevate—or discount—the relative importance of a particular domain, depending on their overall opinion of a given trainee.

Bogo와 동료 연구에서, 이러한 설명은 "그러나 진술but statements"로 구성되었다. 예를 들어, 모범적인 학생이 특정 스킬에서 개선이 필요할 경우, 감독관은 이것이 공식적인 훈련이 부족한 결과라고 믿으며, 이를 감싸주었다. 이것은 귀인 이론attribution theory에 의해 설명 될 수 있습니다.이 예에서 관리자는 피교육자의 부족을 교육 부족으로 인한 것이라고 귀인한 것이다

In Bogo and colleagues’ study,10 these descriptions were framed as “but statements”; for instance, an exemplary student’s skills in a particular area needed work but the supervisor excused it, believing it was simply the result of a lack of formal training in that area. This can be explained by attribution theory, as the supervisor in this example attributed the deficiency to a lack of training

따라서 어떤 학습자에게 약점이 있다고, 그 학습자가 뛰어난 학생으로 평가받지 못하는 것이 아니었다. 유사하게, 참석자들은 문제 학습자가 적절한 (또는 잘 발달 된) 영역의 성과를 보일 때 거부감을 느꼈습니다. 따라서 레지던트에 대한 전반적인 인상은 다양한 차원의 단순한 선형 합산이 아니며, 이들 차원에 가중치를 주더라도 레지던트를 평가하는 감독자의 감각을 적절하게 포착해내지 못한다. 

 Thus, as supported by our data, a weakness does not necessarily preclude a learner frombeing considered outstanding. As a corollary to this process, attendings were often dismissive of adequate (or even well- developed) areas of performance in learners they think of as problematic. Thus, consistent with research comparing scores fromchecklists versus global ratings,12 the overall impression of the resident is far froma simple linear addition of the various dimensions being assessed, and even a weighting of these dimensions would be unlikely to adequately capture the supervisor’s sense of the resident as a clinician-in-training.

우리는 사람들에게 자신의 언어로, 예를 들어 동료들과 이야기하는 방식으로, 레지던트의 수행능력을 이야기해달라고 권고했습니다. 이에 참여자들은 모든 레지던트에 대해 모든 구인(역량)을 다루지 않았다. 그러나 일반적으로 평가 도구는 역량이 설정된 순서대로 제시되도록 설계되어 있기 때문에, 각 역량에 대해 거의 동일한 시각적 공간을 제공합니다. 이 순서는 각 역량의 상대적 중요성에 대한 레지던트 프로그램의 암묵적인 믿음을 나타낼 수 있으며, 동등한 간격은 각 역량이 동등하게 고려되어야 함을 의미합니다. 그러나 우리의 연구 결과에 따르면이 시각적 레토릭은 교수진이 레지던트의 성과를 개념화하는 방식이나 이에 대한 의견을 표현하는 방식과 일치하지 않습니다.

We explicitly encouraged them to discuss residents’ performance in their own language, the way they would speak, for example, with their colleagues. They did not, therefore, address every construct for every resident. In contrast, evaluation instruments are usually designed so that the competencies are presented in a set order, giving approximately equal visual space to each. This order may reveal the residency program’s implicit beliefs about the relative importance of each competency, and the equal spacing implies that each should be considered equally for each resident. Our findings suggest that this visual rhetoric is inconsistent with the way faculty actually conceptualize and express their opinions about the performance of their residents. 

우리가 분석 한 또 다른 중요한 주제는 레지던트가 교수들에게 미치는 영향이었습니다.

Another critical theme that arose in our analysis was a resident’s impact on the attending.

객관성을 추구 할 때 함정에 대한 van der Vleuten 등의 우려에서 보자면, 임상 교육에서는 주관적인 접근이 실제로 바람직 할 수 있습니다. 이 상황을 객관화하려는 노력이 오히려 authenticity를 상실하게 한다. 따라서 우리는 역량 프레임 워크가 "평가 영역 바깥"에 존재할 때 가장 적합하다고 생각할 수 있습니다. 역량 프레임워크는 분명히 교육지도에 매우 유용하지만, 평가 목적에 있어서는 최고의 장소가 아닐 수도 있습니다. 역량 프레임 워크는 평가에서 중요하지 않지만 평가는 단순히 다양한 차원의 합이 아니다.

Returning to the concerns of van der Vleuten et al about pitfalls in the pursuit of objectivity, in the setting of clinical teaching units, a more subjective approach to evaluation may actually be desirable. In an effort to objectify in this setting, we risk the loss of authenticity. We agree, therefore, that competency frameworks may best be thought of as “outside the realm of evaluation”; they are certainly very useful in guiding education, but they may not be the best place to start from for evaluation purposes. It is not that the competency frameworks are unimportant in assessment, but evaluation is more subtle than a sum of the various dimensions.

또한 Hodges14에서 제시 한 바와 같이 교육 및 평가 모델은 숨겨진 "부작용"을 초래할 수 있습니다. 역량의 측정과 계산을 명시적으로 지나치게 강조함으로써 우리는 오히려 역량을 인식하지 못하거나, 심지어 경우에 따라서는 incompetence를 유발할 수 있습니다.

앞 단락에서 설명한 문제는 평가 양식을 간단하게 수정하여 해결할 수 없습니다. 한 가지 역량이 항상 다른 것보다 중요하지 않은 경우가 아니기 때문에 종종 차별화 된 가중치를 지정하는 것이 좋습니다. 도메인의 상대적인 중요성은 평가 대상이 되는 특정 개인뿐만 아니라 교수 개인의 특이성이 존재하기 때문에 평가를 내리는 특정 평가자에게도 의존한다.

The issues described in the preceding paragraphs cannot be resolved with simple tweaks to the evaluation forms. Differentially weighting the scales, for example, which is often suggested, will not work because it is not the case that one competency is always more important than another. The relative importance of a domain depends not only on the particular individual being described, but also on the particular evaluator, as it has also been shown that idiosyncrasies exist in terms of what individual faculty attendings value.15

또한, 관측에서 해석에 이르기까지 추상화 한 다음 스케일상의 숫자를 변환하는 것은 문제가되는 것으로 나타 났으며 결과적으로 신뢰성이 떨어졌습니다 .16 레지던트의 성과에 대한 표준화 된 내러티브 설명을 사용하여 평가 한 결과, 임상 수퍼바이저가 실제로 사용하는 언어로 쓰여진 문장이 기존의 구조화 된 평가 양식보다 borderline 성능을 향상시키는 데 더 좋을 수 있습니다 .17

결론

Conclusions

 임상 환경에서 레지던트의 성과를 평가하는 것은 표준화 된 역량 프레임 워크를 증진하려는 노력에도 불구하고 여전히 주관적인 요인에 크게 영향을 받고 있다. 그러나 이것은 실패로 간주되어서는 안됩니다. 우리는 감독자로서의 역할을 인간으로서의 자신과 분리 할 수 ​​없다는 것을 보여주었습니다. 인간적 요소에 대한 과도한 의존, 상황에 대한 과소 평가, 우리가 학습자에 대해 갖는 주관적인 의견과 감정적 반응 등등, 인간으로서 우리에게 영향을 미치는 것은 평가자로서 우리에게도 영향을 미칩니다. 

 assessment of residents’ performancein the clinical setting is still, despite concerted efforts to promote standardized competency frameworks, heavily influenced by the subjective. But this should not be considered a failure. Along with others, we have shown that, as faculty attendings, we cannot separate ourselves as human beings from the role we play as supervisors. Whether it is our demonstrated overreliance on person factors and underappreciation of the situation19,20 or the subjective opinions and emotional reactions we have about our learners,13,21 what affects us as human beings affects us as evaluators. 

나아가 Leach가 제안한 것처럼 "평가의 relevance는 역량의 통합적 버전에 의존하는 반면, 측정은 역량의 세분화적 버전에 의존한다. 이 역설은 쉽게 해결 될 수 없습니다. 역량이 구체화될수록 전체 역량과의 관련성은 낮아진다. "

Further, as suggested by Leach,22 the relevance of evaluation is “dependent on an integrated version of the competencies, whereas measurement relies on a speciated version of the competencies. The paradox cannot be resolved easily. The more the competencies are specified, the less relevant to the whole they become.”

14 Hodges B. Medical education and the maintenance of incompetence. Med Teach. 2006;28:690–696.

Acad Med. 2010 May;85(5):780-6. doi: 10.1097/ACM.0b013e3181d73fb6.

Toward authentic clinical evaluation: pitfalls in the pursuit of competency.

미래 의사 교육훈련: 왜 코치는 심판이 될 수 없는가? (JAMA, 2011)

The Education and Training of Future Physicians: Why Coaches Can’t Be Judges

Rodrigo B. Cavalcanti, MD, MSc

Allan S. Detsky, MD, PhD

의사는 환자를 진단하고 치료할 수 있어야합니다. 필요한 임상 기술에는 데이터 수집, 중요하지 않은 사실과 중요한 차이점 조사, 추가 조사 및 치료에 대한 결정, 치료법 구현, 후속 조치, 교육 및 상담 제공이 포함됩니다. 임상기술들은 독서 또는 교실에서만 배울 수 없습니다. 실무적인 경험이 필요합니다. 현재 의사가 실무 경험에 노출되는 방법은 위계에 따른 책임 수준을 팀의 최하위 구성원으로 참여하여, 자신의 의사 결정을 더 경험이 많은 의사에게 검토받는 것입니다.

A PHYSICIAN MUST BE ABLE TO DIAGNOSE AND TREAT patients. The clinical skills required to be successful include gathering data, differentiat- ing important from unimportant facts, making de- cisions about further investigations and treatments, imple- menting therapy, and providing follow-up, education, and counseling. These skills cannot be learned through read- ing or in classrooms alone; practical experience is re- quired. The present method of exposing physicians-in- training to practical experience involves a hierarchical team approach with graded levels of responsibility whereby the decisions of the most junior members of the team are re- viewed by physicians with more experience and seniority.

견습 경험에서는 상급 계층의 구성원이 하위 계층의 구성원을 평가하게 된다. 따라서, Supervisor는 코치 (임상 기술 향상에있어서 연수생을 지시하고 보조하는)이면서 동시에 심사위원 (동일한 연수생의 성과 평가 책임자)이다 .1

연수생을 평가하는 목적은 경쟁에 대한 평가뿐만 아니라 학습에 동기를 부여하고 직접 지시하는 것입니다. 대부분의 설정에서 훈련 중 평가보고 (ITER)가 표준적 평가 방법이다 .2-4

The purpose of assessing trainees is to motivate and direct learning, as well as to provide an evaluation of compe- tence. Inmost settings, in-training evaluation reports (ITERs) form the standard method of evaluation.2-4

수련중평가(ITE)의 과제

Challenges of In-Training Evaluations

기존 연구에서 ITER은 다른 평가 척도의 상관관계가 낮다는 것을 보여 주었다 .5) 재생산성이 낮은 것은 평가자의 관대함, 점수의 범위 제한 ), 후광 효과 (1 가지 특성에 기반하여 성과의 모든 측면을 평가하는 경향), 평가받지 못한 평가자 교육, 임상 기술을 수행하는 동안 연수생의 직접적인 관찰의 부족 등이 포함됩니다 .3,4 또한 감독자는 연수생을 유급시키기를 꺼려한다 .7

Studies of the validity of ITERs have shown that they cor- relate poorly with other assessment measures.5,6 Poor re- producibility has been widely documented and explained by many factors including leniency of raters, restriction of range of scores (toward the top end), the halo effect (the tendency to rate all aspects of performance based on 1 trait), inadequate rater training, and lack of direct observation of trainees while performing clinical skills.1,3,4 In addition, su- pervisors are reluctant to fail trainees.7

피교육자는 교육자에게 압박을 느끼지만, 반대로 교육자는 건설적인 피드백조차 그것이 부정적인 내용일 경우 피드백 주기를 꺼려한다.4 주어진 이유는 연수생의 수용력이 부족하고, 추가적인 일이나 스트레스와 같은 부정적 결과, 그리고 피훈련자도 교육자을 평가한다는 사실 등이 포함됩니다. 특히 피훈련자에게 불합격 점수를주는 것은 피훈련자(교대 재 소집)와 교육자 모두에게 심각한 결과를 초래합니다 (교육자에 대한 항소가 있을 수 있고, 많은 서류작업을 해야 할 수 있음).

Despite the perception that trainees are intimidated by their medical supervisors, these same supervisors find it es- pecially difficult to provide negative feedback, even if that feedback may be presented constructively.4 The reasons given include a lack of receptivity by trainees, adverse conse- quences to the faculty such as extra work and stress, and the knowledge that trainees in turn evaluate faculty mem- bers. In particular, giving a trainee a failing grade has im- portant consequences for both the trainee (having to re- peat the rotation) and supervisor (there may be appeals and need for extensive documentation).

또한, 몇 가지 인지적 편향이 ITER의 측정 오류에 영향을 줄 수있다 .1 

• 확증 편향은 모순 된 관찰을 할인하고 확인적인 평가를 과대 평가하는 등의 초기 노출을 확인하기 위해 평가자가 정보를 찾고 해석하는 현상을 말한다. 

• 앵커링 편향는 단일 주제에 대한 탁월한 프리젠 테이션이나 훌륭한 진단과 같은 전반적인 인상을 유도하기 위해 하나의 사례에 대한 과도 의존성으로 인해 발생합니다.

In addition, several cognitive biases may contribute to measurement error in ITERs.1 

• Confirmation bias refers to the phenomenon by which evaluators seek and interpret information to con- firm initial impressions, both discounting contradictory observations and overvaluing confirmatory ones. 

• Anchoring bias results from overreliance on 1 piece of informa- tion to guide overall impression, for example, relying solely on an excellent presentation on a single topic or a brilliant diagnosis in 1 case.

연수생은 자신의 환자에 대한 토론에서, 다소 모호한 주제로 돌리는 기술을 써서 평가에 영향을 미칠 수 있습니다. 특히 감독자가 해당 분야의 전문 지식이 부족하다는 것을 알고있는 경우에는 더욱 그렇습니다.

Trainees are able to affect their evaluations by techniques such as turning a discussion about their patients toward a moderately obscure topic of which they have de- tailed knowledge, especially if they know their supervisor lacks expertise in that area.9

코치 겸 재판관 역할은 무엇이 문제인가

Why the Coach/Judge Role Is Problematic

코치와 재판관의 이중 역할에는 크게 두 가지 문제가 있습니다. 

• 첫째, 이중 역할은 연수생이 결핍을 인지하는 분야의 기술 습득에 이상적인 세팅이 아니다. 어떤 연수생도 ​​평가자에게 자신의 약점을 보여주고 싶지 않아 한다. 그러므로 교사는 이전 연수생과의 경험을 통해 연수생이 배우고 추측해야 할 것을 폭로해야합니다. 

• 두 번째로, supervisor는 코치로서 연수생의 성공에 관심을 가지게 되므로, 평가자로서 이해관계 상충이 생긴다.

There are 2 main problems with the dual role of coach and judge. 

• First, the dual role provides a suboptimal setting for trainees to seek help in gaining skills in areas in which they perceive deficiency. No trainee would want to show an evalu- ator his or her weaknesses. Therefore, the teacher has to try to expose what the trainee needs to learn or guess from ex- perience with previous trainees. 

• Second, the dual role creates a conflict of interest for the evaluator because, as coach, he or she will also have a vested interest in the trainee’s success.

이 문제에 대한 간단한 해결책은 연수생의 지식과 수행에 대한 모든 평가가 후보자의 성공에 기득권이없는 개인에 의해 수행되도록 보장하는 것입니다. 그러나 이 방법은 비현실적입니다. 

The simple solution to this problem would be to ensure that all assessments of trainees’ knowledge and performance are conducted by individuals who have no vested interest in the success of the candidate. However, this approach is unrealistic. 

• 첫째, 코치는 연수생이 기술을 얼마나 잘 배웠는지에 대한 직접적인 직접적인 정보를 얻을 것입니다. 사실, 현재의 의학교육은 평생 학습자를 육성하기위한 것이므로 특정 시점의 특정 영역에서의 역량 수준은, 미래에 다른 영역에 대한 학습능력보다 덜 중요 할 수 있습니다. 코치는 시간이 지남에 따라 성과를 평가할 수있게되어 연수생이 새로운 지식을 습득하고 기술을 개발할 수있는 능력을 평가할 수 있게 됩니다. 고정 된 시점의 외부 평가자는 역량을 한 번만 평가할 수 있습니다.

First, the coach will have firsthand direct information about how well the trainee learns skills. In fact, since the current approach to medi- cal education is to develop lifelong learners, the level of competency in any specific area at one point in time may be less important than a physician’s ability to acquire competence in other areas in the future. The coach will be able to evaluate performance over time and thereby assess a trainee’s ability to acquire new knowledge and develop skills. An external evaluator at a fixed point in time can only assess competency once.

• 둘째, 교육 위계에서 상위에 있는 의사가 전문성이 더 많기 때문에 하위 계층의 구성원은 항상 자신의 지위에 따라 어떤 식 으로든 위협을 받게됩니다. 예를 들어, 임상 감독관은 단순히 공식 ITER에 대한 평가를 제공하는 것이 아니라 공식 서한이나 비공식적 인 추천서를 참고 서적으로 작성하거나 레지던트 선발위원회 위원으로 참여한다. 그럼에도 불구하고, 높은 이해 관계에 초점을 맞추고, 임상 기술을 가르치는 동일한 개인의 합격 실패 유형 평가, 의료 훈련의 현재 구조

Second, because members at the top of an educational hi- erarchy have more seniority and expertise, members at the lower levels will always be threatened in some way by their position. For example, clinical supervisors do not simply provide assessments on formal ITERs but also make both formal and informal recommendations in reference letters or by serving as members of residency selection commit- tees. This phenomenon cannot be counteracted. Neverthe- less, by focusing on high stakes, pass-fail type assessment from the same individuals who teach clinical skills, the cur- rent structure of medical training

결론

Conclusion

임상 강습의 초점을 피드백 및 코칭 (전문 지식 습득을 위해)으로 이동시킴으로써, 교사는 연수생이 가장 도움이 필요한 분야를 개선하도록 도울 것입니다. 현재 임상 감독자의 이중 역할은 의사가 최대한의 잠재력을 발휘할 수 있도록 지원하지 못하므로, 수련중인 의사의 요구를 충족시켜주지 못한다.

By shifting the focus of clinical train- ing to feedback and coaching (for the acquisition of expertise10), tutors will help trainees improve the areas in which they need the most help. Until this change occurs, the current dual role of clinical supervisors will continue to fail the needs of physicians-in-training by not helping them to reach their full potential.

현재의 프로그램은 자신의 약점은 숨기고 강점을 드러내는 피훈련자에게 보상을 주고 있다.

programs rewards trainees for showcasing their strengths without properly addressing their weaknesses.

JAMA. 2011 Sep 7;306(9):993-4. doi: 10.1001/jama.2011.1232.

The education and training of future physicians: why coaches can't be judges.

합목적적 평가 프로그램 설계를 위한 전문가 가이드라인 (BMC Med Educ, 2012)

Expert validation of fit-for-purpose guidelines for designing programmes of assessment

Joost Dijkstra1*†, Robert Galbraith2, Brian D Hodges3, Pauline A McAvoy4, Peter McCrorie5, Lesley J Southgate5, Cees PM Van der Vleuten1, Val Wass6 and Lambert WT Schuwirth1,7

배경

Background

퀄리티에 대한 서로 다른 목표와 관점,

different aims and adopting diverse view- points on quality,

• 심리측정 관점에서의 퀄리티는 종합적 결정의 신뢰성과 "타당성에 대한 통일된 관점"으로 정의된다 [9-13]. 

• 교육적 관점에서 초점은 목표, 교육, 그리고 바람직한 학습행동을 ​​자극하기 위한 평가의 사용에 관한 것이 었습니다

From a psychometric per- spective quality has been almost exclusively defined as the reliability of combinations of decisions and a “unified view of validity” [9-13]. 

From an educational perspective the focus has been on the alignment of objectives, instruction, and on using assessment to stimulate desirable learning behaviour [14-16]

• Baartman [17]은 역량 기반 교육을 퀄리티의 기반으로 삼았고, authenticity와 유의미성과 같은 교육 기반 기준을 추가 할 것을 제안했다.

. In another study Baartman [17] took competency-based education as a basis for quality, and proposed adding education-based criteria, such as authenticity and meaningfulness, to the established psy- chometric criteria.

대부분의 연구들은 이미 평가가 수행 된 이후에 평가 품질을 결정합니다. 불행하게도, 이것은 양질의 평가프로그램을 개발하려는 디자이너에게는 크게 도움이 되지 않습니다.

Most of this research determines as- sessment quality afterwards, when assessment has already taken place. Unfortunately, this does not provide assess- ment designers with much support when they intend to construct a high-quality programme.

반면에 보다 광범위한 교육 수준의 지침이 있는데, 예를 들어 g., the Standards for educational and psychological testing 가 있다[18]. 그러나 이러한 표준은 주로 평가 프로그램 대신 단일 테스트 (즉, 측정 도구)에 집중됩니다. 그리고 표준이 전문가 판단에 개방되어 문맥상의 차이 (예 : 규정)를 인정하고 있음에도 불구하고 그들은 특정 시험 틀과 학습 평가의 관점에서 여전히 공식화되어있다.

On the other hand guidance is available at a broader educational level, e.g., the Standards for educational and psychological testing [18]. But these standards focus predominantly on single tests (i.e. the measuring instrument) instead of on programmes of as- sessment. And, despite the standards being open to expert judgement and acknowledging contextual differences (e.g. in regulations), they are still formulated from a specific testing framework and from the perspective of assessment of learning [19].

프레임 워크는 여러 계층으로 나누어지며 이해 관계자 및 인프라 (외부 계층)의 컨텍스트에 배치됩니다. 시작점은 프로그램의 목적 (프레임 워크의 핵심 요소)입니다. 이 목적을 위해 5 개의 층 (차원)이 구별되었습니다. 

• (1) 실행중인 프로그램은 프로그램의 핵심 활동, 즉 정보 수집, 정보 결합 및 평가, 후속 조치를 설명합니다. 

• (2) 프로그램 지원은 테스트 건설 및 교수진 개발 개선, 이해 관계자의 수용 가능성 및 호소 가능성 확보와 같은 현재 평가 프로그램을 최적화하기위한 활동을 설명합니다. 

• (3) 프로그램을 문서화하면 방어 가능한 프로그램을 달성하고 조직 학습을 포착하는 데 필요한 활동이 설명됩니다. 여기에는 규칙 및 규정, 학습 환경 및 도메인 매핑이 포함됩니다. 

• (4) 프로그램 개선은 프로그램이 승인 된 후에 평가 프로그램의 재 설계를 목표로하는 차원을 포함합니다. 활동은 R & D 및 변경 관리입니다. 

• (5) 프로그램을 정당화하는 최종 계층은 효과 성, 효율성 및 수용 가능성을 고려하여 프로그램의 목적이 달성되었다는 증거를 제공하기위한 활동을 설명합니다.

The framework is divided into several layers and is placed in the context of stakeholders and infrastructure (outer layer). The starting point is the purpose of the programme (key element in the framework). Around the purpose, 5 layers (dimensions) were distinguished. 

• (1) Programme in action describes the core activities of a programme, i.e. collecting information, combining and valuing the information, and taking subsequent action. 

• (2) Supporting the programme describes activities that are aimed at optimizing the current programme of assess- ment, such as improving test construction and faculty de- velopment, as well as gaining stakeholder acceptability and possibilities for appeal. 

• (3) Documenting the programme describes the activities necessary to achieve a defensible programme and to capture organizational learning. Ele- ments of this are: rules and regulations, learning environ- ment, and domain mapping. 

• (4) Improving the programme includes dimensions aimed at the re-design of the programme of assessment, after the programme is admi- nistered. Activities are R&D and change management. 

• (5) The final layer justifying the programme describes activities that are aimed at providing evidence that the purpose of the programme is achieved taking account of effectiveness, efficiency, and acceptability.

Method

Study design

The development and validation of design guidelines was divided into four phases, 

• starting with a brainstorm phase to generate ideas using a core group of experts (JD, CvdV and LWTS), 

• followed by a series of discussions with a wider group of international experts to elaborate on this brainstorm. 

• Next in a refinement phase, the design guidelines were fine-tuned based on the analysis of the discussions. 

• Finally a member check phase was initiated to validate the guidelines based on expert consensus.

Participants

Procedure and data analysis

The brainstorm was done by the research team (JD, CvdV,LWTS) based on their experience and data from the preceding study [5]. This resulted in a first draft of the set of guidelines, which served as a starting point for the discus-sion phase. The discussion took place in multiple (Skype®)interviews with the participants. Individual interviews were held with each participant and led by one researcher (JD)with the support of a second member of the research team(either CvdV or LWTS). The interview addressed the first draft of guidelines and was structured around three open questions: 

• 1. Is the formulation of the guidelines clear, con-cise,correct?

• 2. Do you agree with the guidelines? 

• 3. Are any specific guidelines missing? 

The interviews were recorded and analysed by the research team to distil a con-sensus from the various opinions, suggestion, and recom-mendations. One researcher (JD) reformulated the guidelines and to avoid overly adherence to initial formulations the interview data (expert suggestions) were taken as starting point. The goal of the new formulation was to rep- resent the opinions and ideas expressed by the experts as accurately as possible. Peer debriefing was done to check the reformulation by the research team (JD, CvdV, & LWTS) to reach initial consensus. After formulating a complete and comprehensive set of guidelines, a member- check procedure was conducted by e-mail. All participants were sent the complete set for final review and all responded. No content-related issues had to be resolved and some wording issues were resolved as a final consensus document was generated.

Results

일반사항

General

I). 결정 (및 그 결과)은 그것이 근거하고 있는 정보의 품질에 비례해야 합니다.

I). Decisions (and their consequences) should be proportionate to the quality of the information on which they are based.

II) 설계 프로세스의 모든 결정은 과학적 증거 또는 모범 사례의 증거에 의해 뒷받침되는 것이 바람직하다. 평가 프로그램을 설계 할 때 내린 선택을 뒷받침하는 증거가 없다면, 그 결정은 연구를 위해 우선 순위가 높은 것으로 식별되어야합니다.

II) Every decision in the design process should be underpinned preferably supported by scientific evidence or evidence of best practice. If evidence is unavailable to support the choices made when designing the programme of assessment, the decisions should be identified as high priority for research.

III) 평가 프로그램에서 활동을 수행하기 위해서는 특정 전문 지식을 이용할 수 있어야한다.

III) Specific expertise should be available (or sought) to perform the activities in the programme of assessment.

영역별 핵심 가이드라인 

Salient guidelines per dimensions in the framework

목적, 이해관계자, 구조

Purpose, stakeholders, and infrastructure

A1 평가 프로그램의 하나의 핵심 목적이 공식화되어야한다.

A1 One principal purpose of the assessment programme should be formulated.

A4 평가 프로그램에 대한 기회뿐만 아니라 제한 사항은 초기 단계에서 확인되어 설계 과정에서 고려되어야합니다.

A4 Opportunities as well as restrictions for the assessment programme should be identified at an early stage and taken into account in the design process.

A7 다양한 이해 관계자가 설계 프로세스에 참여하는 수준은 프로그램의 목적과 이해 관계자 자신의 필요에 따라 결정되어야합니다.

A7 The level at which various stakeholders participate in the design process should be based on the purpose of the programme as well as the needs of the stakeholders themselves.

프로그램 실행 

Programme in action

B1 프로그램의 평가 요소를 선택할 때 평가 프로그램의 목적에 기여하는 정도가 지침 원칙이어야합니다.

B1 When selecting an assessment component for the programme, the extent to which it contributes to the purpose(s) of the assessment programme should be the guiding principle.

B14 서로 다른 평가 요소에 의해 얻어진 정보의 결합은 목적, 내용 또는 데이터 패턴에 의해 정의된 유의미한 실체에 기초하여 정당화되어야한다.

B21 정보는 평가의 목적과 관련하여 이해 관계자에게 최적으로 제공되어야한다.

B21 Information should be provided optimally in relation to the purpose of the assessment to the relevant stakeholders.

프로그램 문서화

Documenting the programme

D9 도메인 맵은 평가 프로그램에서 도메인을 적합하게 보여주어야한다.

D9 A domain map should be the optimal representation of the domain in the programme of assessment.

프로그램 개선

Improving the programme

E1 정기적 인 반복적 인 평가 및 개선 프로세스가 마련되어 피드백 루프를 마감해야합니다.

E1 A regular and recurrent process of evaluation and improvement should be in place, closing the feedback loop.

E4 변화를위한 모멘텀은 필요한 우선 순위 또는 외부 압력으로부터 생성되어야한다.

E4 Momentum for change has to be seized or has to be created by providing the necessary priority or external pressure.

프로그램 합리화

Justifying the programme

F2 새로운 시도 (개발)에는 평가, 바람직하게는 과학 연구가 수반되어야합니다.

F2 New initiatives (developments) should be accompanied by evaluation, preferably scientific research.

F6 비용 편익 분석은 프로그램의 목적에 비추어 정기적으로 이루어져야한다. 장기적으로보다 자원 효율적인 대안을 모색하는 적극적인 접근 방식을 채택해야합니다.

F6 A cost-benefit analysis should be made regularly in light of the purposes of the programme. In the long term, a proactive approach to search for more resource-efficient alternatives should be adopted.

F10 기밀성 및 정보 보안은 적절한 수준에서 보장되어야합니다.

F10 Confidentiality and security of information should be guaranteed at an appropriate level.

고찰 및 결론 

Discussion and conclusion

최대한 포괄적이되도록 노력하면서 우리는 과잉 포용의 위험에 대해 인정합니다. 우리는 평가 프로그램을 설계 할 때 이러한 지침을 신중하게 적용해야한다는 점을 강조하고자합니다. 인식한 상황과 실제 상황이 다르다는 것을 강조하며, 모든 지침이 모든 상황에서 적절하지 않을 수도 있습니다. 따라서 평가 프로그램을 설계하는 것은 어떤 지침을 다른 지침보다 우선해야 하는지를 선택하는 등 선택의 폭이 넓고 타협하는 것을 의미합니다. 그럼에도 불구하고 우리는이 프로그램이 평가 프로그램의 프레임 워크와 결합되어 설계자가 평가 프로그램의 복잡한 역 동성에 대한 개요를 유지할 수 있다고 생각합니다. 상호 연관된 일련의 가이드 라인은 설계자가 문제가있는 영역을 예측하는 데 도움을 주며 그렇지 않은 경우 실제 문제가 발생할 때까지 암시 적으로 유지됩니다.

In trying to be as comprehensive as possible we acknow- ledge the risk of being over-inclusive. We would like to stress that when designing a programme of assessment, these guidelines should be applied with caution. We recog- nise and indeed stress that contexts differ and not all guidelines may be relevant in all circumstances. Hence, designing an assessment programme implies making delib- erate choices and compromises, including the choice of which guidelines should take precedence over others. Nevertheless, we feel this set combined with the frame- work of programmes of assessment enables designers to keep an overview of the complex dynamics of a programme of assessment. An interrelated set of guide- lines aids designers in foreseeing problematic areas, which otherwise would remain implicit until real problems arise.

Additional file 1 Addendum complete set of guidelines - BMC Med Educ - final.doc. This addendum contains the set of 72 guidelines developed and validated in this study.

12909_2012_589_MOESM1_ESM.docx

Expert validation of fit-for-purpose guidelines for designing programmes of assessment.

전문역량 평가: 이론 개발을 위한 구성 요소 (Best Pract Res Clin Obstet Gynaecol, 2010)

The assessment of professional competence: building blocks for theory development

C.P.M. van der Vleuten, PhD, Professor of Education a,*, L.W.T. Schuwirth, MD, PhD, Professor for Innovative Assessment a,d, F. Scheele, MD, PhD, Gynaecologist and Professor of Medical Education b,e, E.W. Driessen, PhD, Senior Lecturer in Education a,d, B. Hodges, PhD, Psychiatrist, Richard and Elizabeth Currie Chair in Health Professions Education Research c, f

a Department of Educational Development and Research, Maastricht University, P.O. Box 616, 6200 MD, Maastricht, The Netherlands

b Department of Obstetrics and Gynaecology, Saint Lucas Andreas Hospital, Jan Tooropstraat 164, 1016 AE Amsterdam, The Netherlands

c The Wilson Centre for Research in Education, 200 Elizabeth Street, 1ES 565, Toronto, Ontario, Canada, M5G 2C4

Miller의 피라미드는 이 평가 검토를 구성하는 편리한 프레임 워크 3로 사용됩니다 (그림 1).

Miller’s pyramid is used by the authors as a convenient framework3 to organise this review of assessment (Fig. 1).

처음 세 개의 레이어 : 'Knows', 'Knows how', 'Shows how'

The first three layers: ‘Knows’, ‘Knows how’ and ‘Shows how’

역량은 구체적이지 제네릭이 아닙니다.

Competence is specific, not generic

이것은 평가 문헌에서 가장 잘 입증 된 경험적 연구 결과 중 하나입니다 .4 의학 교육에서는 소위 환자 관리 문제 (PMP)에 대한 연구에서 처음 설명되었습니다 .5,6 PMP는 정교하고 작성된 환자 시뮬레이션 및 후보자의 경로와 문제 해결에서의 선택은 점수를 매겨 임상 적 추론의 적격성을 나타냅니다. 반직관적이지만, 한 케이스에 대한 성과가, 심지어 동일한 영역 내의 다른 케이스에 대해서좌, 성과를 예측하는 지표로 좋지 않다는 결과가 나왔다. 이 현상은 후에 (무엇을 측정하는가와 무관하게) 기본적으로 모든 평가 방법에서 입증되었습니다. 이것을 (임상) 능력의 '내용-특이성'문제로 부른다.

This is one of the best-documented empirical findings in the assessment literature.4 In medical education, it was first described in the research on so-called patient management problems (PMPs).5,6 PMPs are elaborate, written patient simulations, and candidates’ pathways and choices in resolving a problem are scored and taken as indications of competence in clinical reasoning. A quite discon- certing and counterintuitive finding was that candidates’ performance on one case was a poor predictor of performance on any other given case, even within the same domain. This phenomenon was later demonstrated in basically all assessment methods, regardless of what was being measured. It was termed the ‘content specificity’ problem of (clinical) competence.

역량 및 기술에 관한 많은 아이디어는 성격 특성에 대한 연구에서 나온 개념에 기반을 두었습니다. 성격 특성은 관측불가능하여, (행동에서) '유추'되고, 안정된 형질이며, 다른 형질과 구별되며 단조로운 선형 성장을 특징으로 한다. 전형적인 예는 지능입니다. 직접 관찰 할 수는 없으므로 행동에서 유추해야합니다. 다른 개성과는 무관합니다.

much of the thinking about competencies and skills was based on notions from research on personality traits. Personality traits are unobservable, ‘inferred’, stable traits, distinct from other traits and characterised by monotonous linear growth. Atypical example of a trait is intelligence. It cannot be observed directly, so it has to be inferred from behaviour; it is independent of other personality traits, etc.

내용특이성은 인지 심리학에서도 발견되었는데, 오래전부터 학습에서 transfer가 중요한 문제로 확인되었기 때문이다. 9 이것은 인지 심리학에 대한 많은 연구를 촉발하여 학습자가 문제를 어떻게 추론하는지, 현저하게 중요한 지식이 어떻게 존재하는지, 어떻게 개인적 경험의 결과로  정보가 청크되고 자동화되고 개인화되는지, 사람들이 고의적이고 지속적인 연습을 통해 전문가가 되는지 10,11

Content specificity resonated with findings from cognitive psychology, where much earlier transfer was identified as a fundamental problem in learning.9 This sparked a great deal of research in cognitive psychology, providing insights on 

• how learners reason through problems, 

• how eminently important knowledge is therein, 

• how information is chunked, automated and personalised as a result of personal experience and 

• how people become experts through deliberate and sustained practice.10,11 

인지심리학의 관점에서 볼 때 내용특이서 현상은 매우 논리적 이고 자연스러운 현상이다.

Viewed from the perspective of cognitive psychology, the phenomenon of content specificity thus becomes understandable as a quite logical natural phenomenon.

간단히 말해, 하나의 측정 값은 측정 값이 아니며, single-point 평가는 신뢰할 수 없습니다. 가장 현명한 전략은 오랜 시간에 걸쳐 다양한 평가 소스에서 정보를 결합하는 것입니다.

In short, one measure is no measure, and single-point assessments are not to be trusted. The wisest strategy is to combine information across content, across time and across different assessment sources.

객관성은 신뢰성과 동일하지 않습니다.

Objectivity does not equal reliability

신뢰도는 방법의 객관성에 따라 달라지는 것이 아니다. 즉, 주관적 테스트도 높은 신뢰성을 가질 수 있으며, 객관적 테스트도 샘플링에 따라 신뢰도가 낮을 수 있다12. 폭넓은 표본추출을 해야 하는 이유가 내용특이성만 있는 것은 아니다.

reliability does not co-vary with the objectivity of methods; so-called subjective tests can be reliable and objective tests can be unreliable, all depending on the sampling within the method.12 It became clear that content specificity was not the only reason to sample widely across content.

OSCE의 개념은 기존의 임상 평가 절차의 주관성을 극복하기 위해 창안되었습니다. 객관성과 표준화가 그 해결책이었고, 따라서 머리 글자에서 'O'와 'S'를 사용했습니다. 그러나 연구가 축적됨에 따라 OSCE의 신뢰도는 다른 방법들과 마찬가지로 표본 추출에 달려있음이 확인되었다.15) 신뢰도는 객관성과 표준화에 달려있는 것이 아니었으며, 오히려 스테이션과 평가자 샘플링에 영향을 받았다. 

The concept of the OSCE arose to combat the subjectivity of the then-existing clinical assessment procedures. The solution was sought in objectivity and in standardisation, hence the ‘O’ and ‘S’ in the acronym. However, as research accumulated, the OSCE turned out to be as (un)reliable as any method, all depending on the sampling within the OSCE.15 Apparently, reliability depended less on objectivity and standardisation than on sampling of stations and assessors. 

또 하나의 퍼즐은 글로벌 등급 척도와 체크리스트 등급 사이의 강한 상관 관계이다. 16,17 분명히 글로벌 평가에서 평가자간 신뢰도가 약간 감소하지만, 스테이션 간 신뢰도는 증가하여 이러한 손해를 보상한다. 더 분석적인 체크리스트 점수와 비교할 때 글로벌 평가는 수행능력의 특정 요소만을 집중하게 만들기도 하지만, 오히려 이것이 여러 스테이션에 걸쳐 더 일반화가능하였다. 또한 글로벌 평가 척도가 보다 타당한 것으로 판명되었다. 즉, 글로벌 평가에서 전문성 수준을 더 잘 구분할 수 있었으며, 이는 전문가의 판단이 '잡음'만 측정하는 대신 의미있는 '신호'를 잡아낼 수 있음을 보여준다.

Further research around the OSCE revealed yet another piece of the puzzle: a strong correlation between global rating scales and checklist ratings.16,17 Admittedly, global ratings were associated with a slight decrease in inter-rater reliability, but this was offset by a larger gain in inter- station reliability. Apparently, compared with the more analytical checklist scores, global, holistic judgements tended to pick up on elements in candidates’ performance, which were more generalisable across stations. In addition, global rating scales proved to be more valid: they were better able to discriminate between levels of expertise.18,19 This was a clear and intriguing first indication that human expert judgement could add (perhaps even incrementally) meaningful ‘signal’ to measurements instead of only ‘noise’.

객관성이 신뢰성과 동의어가 아니라는 개념은 광범위한 실제적 결과를 가져옵니다. 가장 중요한 것은 인간(전문가)의 판단에 대한 의존을 정당화해준다.

The notion that objectivity is not synonymous with reliability has far-reaching practical conse- quences. Most importantly, it justifies reliance on (expert) human judgement.

우리의 샘플링이 적절하다면, 우리는 우리의 평가 레퍼토리에서 주관적이고 전체론적인 판단을 금지 할 이유가 없다. 우리의 견해로 이것은 OSCE가 도입되었을 때 포기한 임상 환경에서의 평가의 재도입을 정당화한다. 다만 차이는, 이제는 이러한 움직임이 평가 이론에 의해 과학적으로 뒷받침된다는 점이다.

It is reassuring to know that, provided our sampling is adequate, we have no reason to ban subjective and holistic judgements from our assessment repertoire. In our view, this justifies the return of assessment to the clinical environ- ment, which it had abandoned when the OSCE was introduced. Only this time, the move is scientifically underpinned by assessment theory.

무엇이 측정되느냐는 응답 형식보다는 자극 형식에 의해 결정됩니다

What is being measured is determined more by the format of the stimulus than by the format of the response

모든 평가 방법은 자극 형식과 응답 형식으로 이루어져있다. 자극은 응시자에게 제공되는 작업이며 응답은 어떻게 응답이 캡처되는지 결정합니다. 

• 자극 형식은 사실을 이끌어내는 서면 과제, 진단 선택을 촉구하는 서면 환자 시나리오 일 수 있습니다. 

• 응답은 짧은 객관식 질문 (MCQ) 또는 긴 메뉴 응답, 글쓰기, 에세이, 구두 상황, 체크리스트에보고 된 직접 관찰 등으로 파악할 수 있습니다. 

Any assessment method is characterised by its stimulus and response formats.20 The stimulus is the task presented to the candidate, and the response determines how the answer is captured. 

• A stimulus format may be a written task eliciting a fact, a written patient scenario prompting a diag- nostic choice . 

• Responses can be captured by short multiple-choice questions (MCQ) orlong menu answers, a write-in, an essay, an oral situation, direct observation reported in a checklist,etc. 

하나의 평가방법이 다양한 응답 형식을 사용할 수 있지만, 평가 방법은 대개 응답 형식 (즉, MCQ, 에세이, 구강 등)을 기준으로 구분된다.

Although different response formats can be used with one method, assessment methods are typically characterised by their response formats (i.e., MCQs, essays, orals, and so on). 

경험적 연구에서 놀랍게도, 무엇이 측정되는가, 즉 타당도는 응답 형식에 의해 크게 결정되지는 않는다는 것이 밝혀졌습니다 .20 사례의 특수성과 마찬가지로,이 발견은 처음에는 반 직관적인 것처럼 보였습니다. 실제로 테스트 개발자들 사이에서는 에세이는 이해를 평가하고, 객관식 질문은 지식을 평가한다고 널리 받아들여져 왔다. 무엇을 측정하는지를 결정하는 것이 응답 형식이 아니라 자극 형식임을 부정 할 수는 없습니다. 예를 들어, 인지심리학에 대한 연구는 케이스 형태로 주어진 자극에서 유발된 사고 과정은 사실적 지식으로부터 유발된 사고 과정과 다르다는 것을 보여 주었다 .23,24 또한, 지필고사 형식의 평가가이 OSCE 성과를 상당 부분 예측한다는 증거가있다 .25

What empirical research revealed, surprisingly, was that validity – what is being measured – was not so much determined by the response format as by the stimulus format.20 Like case specificity, this finding seemed highly counterintuitive at first sight. In fact, among test developers, it remains a widely accepted notion that essays tap into understanding and multiple-choice questions into factual knowledge. Although there are certain trade-offs (as we pointed out in relation to checklists and rating scales), there is no denying that it is the stimulus format and not the response format that dictates what is being measured. Studies in cognitive psychology, for example, have shown that the thought processes elicited by the case format differ from those triggered by a factual recall stim- ulus.23,24 Moreover, there is evidence that written assessment formats predict OSCE performance to a large extent.25

타당성을 결정할 때 자극 형식이 무엇보다 중요하다는 것은 실제적인 함의를 가지고 있습니다. 적절한 응답 형식보다 적절한 자극 형식을 고안해야합니다. 자극 형식에는 authenticity가 필수적이며, 이를 위해서는 적절한 수준의 복잡성complexity가 필요하다. 짧은 시나리오는 비교적 쉽게 개발할 수 있을 뿐만 아니라 매우 효율적이었습니다 (넓은 샘플링에 적합). 미국과 캐나다의 인증 시험은 짧은 시나리오에 기반한 자극형식을 활용함으로써 'Knows'측정에서 'Knows how'측정으로 완전히 바뀌 었습니다. 26,27 적절한 authenticity를 갖춘 자극형식은 OSCE에도 필요하다. 고전적인 OSCE는 단편화된 임상 기술을 평가하는 짧은 스테이션으로 구성됩니다 (예 : 스테이션 1 : 복부 검사, 스테이션 2 : 의사소통). 비록 기술을 분절화하여 평가하는 것이 훈련 초기 단계에서는 타당할지 몰라도(이조차도 의문은 있지만), 상위 훈련 단계에서는 기술을 통합적으로 평가하는 것이 실제 임상상황과 더 근접한 자극 형식이다 .

The insight that the stimulus format is paramount in determining validity has first of all a practical implication: we should worry much more about designing appropriate stimulus formats than about appropriate response formats. An additional, related, insight concerns the stimulus format: authenticity is essential, provided the stimulus is pitched at the appropriate level of complexity. Thus, short scenarios turned out to be not only relatively easy to develop, but they were quite efficient as well (good for wide sampling). It is no coincidence that written certifying examinations in the US and Canada have completely moved from measuring ‘Knows’ to measuring ‘Knows how’, using short scenario-based stimulus formats.26,27 Pitching formats at the appropriate level of authenticity is relevant for OSCEs too. The classic OSCE consists of short stations assessing clinical skills in fragmentation (e.g., station 1: abdominal examination, station 2: communi- cation). Although fragmented skills assessment may be defensible at early stages of training (although one might question that too), at more advanced stages of training, integrated skills assessment is obviously a more appropriate stimulus format, since it provides a closer approximation of the real clinical encounter.

For example, does it make sense to add the score on a history-taking station to the score on the next station on resuscitation? Clearly, these stations measure very different skills. Why does similarity of method warrant aggregation? We see no legitimacy. Nonetheless, inour view, the prominence of the stimulus implies that we should aggregate information across sources of information that are meaningfully similar and make sense.

타당성은 '내장'될 수 있습니다.

Validity can be ‘built-in’

평가는 개발하기 쉽지 않고, 평가에 투입되는 시간과 에너지만큼만 좋다는 것입니다. 우수한 평가는 테스트 개발과 테스트 관리 둘 다에 대한 품질을 보증해야 한다. 

• 개발 단계의 시험에 대한 품질 평가는 필수적입니다. 피어 리뷰는 평가의 품질을 향상시키기위한 필수 요소입니다 .29 불행히도, 의대에서 시험자료가 시험관리 전후에 잘 검토되지 않는다. 당연히 학교 내의 테스트 자료의 질이 좋지 않은 경우가 종종 있습니다 .30 

• 테스트 관리의 경우에도 마찬가지입니다. 예를 들어, OSCE에 대해 SP 및 평가자를 훈련시키는 것은 중요합니다. 왜냐하면 측정에서 노이즈를 방지하는 측면에서 차이가 있기 때문입니다.

The general notion here is that assessment is not easy to develop and is only as good as the time and energy put into it. Good assessment crucially depends on quality assurance measures around both test development and test administration. 

• Quality appraisal of tests during the developmental stage is imperative. Peer review is an essential ingredient of efforts to improve the quality of test materials significantly.29 Unfortunately, it is not uncommon for test materials in medical schools to go unreviewed both before and after test administration. Not surprisingly, the quality of test materials within schools is often poor.30 

• The same holds for test administration. For example, it is important to train SPs and assessors for an OSCE, because it makes a difference in terms of preventing noise in the measurement.

교육 성과 테스트에 관한 초기 이론가 중 한 명인 에벨 (Ebel)은 타당성이 평가 방법의 '내장'될 수 있다고 주장했다. 밀러 피라미드의 아래 세 층에서는 모든 평가가 통제되고 최적화 될 수 있다. 평가자료를 검토하고, 이해 관계자를 준비하고, 관리 절차를 표준화하고, 심리 검사 절차를 마련하는 등의 조치를 취할 수 있다. 이러한 과정을 얼마나 잘 했느냐가 궁극적으로 평가에 의해 뒷받침되는 추론의 타당성을 결정한다.

Ebel, one of the early theorists on educational achievement testing, argued that validity can be a ‘built-in’ feature of an assessment method. We take the view that all assessment at the three bottom layers of Miller’s pyramid can be controlled and optimised: materials can be scrutinised, stakeholders prepared, administration procedures standardised, psychometric procedures put in place, etc. The extent to which this is actually done will ultimately determine the validity of the inferences supported by the assess-ment. 

이것의 실용적인 의미는, 리소스가 허용하는 한 테스트 구축 및 관리 프로세스에 많은 시간과 노력을 투자해야 한다는 것입니다. 또 다른 의미는 자원 공유에 대해 고려해야한다는 것입니다. 훌륭한 평가 자료는 비용이 많이 들기 때문에 학교와 교육 기관에서 공유하지 말아야 할 이유는 무엇입니까?

The logical practical implication is to invest as much time and effort in test construction and administration processes as resources will allow. Another implication is that we should consider about sharing resources. Good assessment material is costly, so why not share it across schools and insti- tutions?

평가는 학습을 유도한다

Assessment drives learning

"평가는 학습을 유도한다"는 말은 이제 거의 진부 해졌습니다. 좋든 나쁘든 평가가 학습에 영향을 미친다는 것을 "결과적 타당성"이라고도 부른다. [33] 그것은 내재적 동기 부여를 부정한다고 주장하는 사람들에 의해 비판 받았다. 의심 할 여지없이, 학습자는 스스로 동기를 부여하지만, 영향력지수가 연구자들의 출판행위를 유도하듯, 학습자도 성공의 기회를 극대화하려고 노력할 것입니다.

By now, it has almost become a cliché in assessment that assessment drives learning. The idea that assessment affects learning, for better or for worse, is also termed ‘consequential validity’.33 It has been criticised by some who argue that it negates intrinsic motivation.34 Without any doubt, learners are also intrinsically motivated but at the same time, learners will try to optimise their chances of success, much as researchers allow impact factors to drive their publication behaviour.

이러한 전략에 참여한 학습자를 비난 할 수는 없습니다. 그럼에도 불구하고이 관계는 제대로 이해되지 않고 있습니다.

one cannot blame learners for engaging in these strategies. Nevertheless, the relationship remains poorly understood (what happens, to whom and why?)

이것의 즉각적인 함의는 평가를 모니터하고 학습자에게 미치는 영향을 평가해야한다는 것입니다. 평가는 종종 의도한 것과 반대 효과를 얻는 것으로 알려져 있습니다. 예를 들어, 우리 학교에 OSCE를 도입했을 때, 학생들은 즉시 체크리스트를 암기하기 시작했고, OSCE에서의 퍼포먼스도 보통 수준이었다.35 이것은 우리가 품질 관리에 대해 강조한 점을 강화하고 테스트 관리를 넘어서서 확장합니다.

The immediate implication is that we should monitor assessment and evaluate its effect on learners. Assessment has been known to achieve the opposite effect to that intended. For example, when we introduced OSCEs within our school, students immediately started memorising checklists, and their performance in the OSCE was trivialised.35 This reinforces the point we made about quality control, and extends it beyond test administration.

완벽한 단 하나의 방법은 없다.

No single method can do it all

이러한 현실화는 '평가프로그램 (Assessment of Assessment)'를 옹호하는 데 영감을주었습니다 .2,36 각 단일 평가는 일종의 생검biopsy이며, 일련의 생검이 보다 완전하고 정확한 그림을 보여줄 것이다.

This realisation has inspiredus to advocate ‘Programmes of Assessment’.2,36 Each single assessment is a biopsy, and a series of biopsies will provide a more complete, more accurate picture.

평가 프로그램은 커리큘럼에 비유될 수 있다. 커리큘럼은 계획, 준비, 구현, 조정, 평가 및 개선 단계를 밟는다. 평가 프로그램에도 동일한 프로세스가 있어야 한다. 그러한 프로그램은 학생들이 한 지점에서 반성하고, 다른 장소에서 글을 쓰거나, 특정 상황을 발표하거나, 다른 배치 된 지점에서의 행동 수행을 시연하는 등의 자극을주기 위해 계획되고 의도적으로 준비되어야합니다. 

We see an analogy here with a curriculum and how it is governed. A modern curriculum is planned, prepared, implemented, co-ordinated, evaluated and improved. We believe the same processes should be in place for an assessment programme. 

Such a programme needs to be planned and purposefully arranged to stimulate students 

• to reflect at one point, 

• to write at another, 

• to present on certain occasions, 

• to demonstrate behavioural performance at other arranged points, etc. 

평가 프로그램에서 모든 방법의 효용성은 합목적성에 달려있다. 주의 깊은 유틸리티 타협에 찬성하여, 예를 들어, 학습에 유익한 효과를 사용하기에 덜 신뢰할만한 평가 방법을 포함시킬 수 있다고 주장했다.

In a programme of assessment, any method can have utility, depending on its fitness for purpose. In our earlier reviews, we argued in favour of mindful utility compromises, allowing, for example, inclusion of a less reliable assessment method to make use of its beneficial effect on learning.1

지금까지 논의한 평가에 대한 교훈과 통찰력으로 무장 한 우리는 이제 Miller 's 피라미드의 최첨단을 다룰 준비가되었습니다.

Armed with the lessons and insights on assessment, which we have discussed so far, we are now ready to tackle the top end of Miller’s pyramid.

'Does' 수준의 평가

Assessing ‘Does’

'Does'수준의 평가 방법의 특징은 지식을 가진 사람들의 정보에 의존하여 성과를 판단하는 방식이다. 본질적으로 자연 환경에서의 모든 평가는 지식이있는 다른 사람knowledgeable others 또는 '전문가'판단에 의존합니다. 때로는 간접적으로 의존할 때도 있고, 예컨대 평가가 주로 인공물 (예 : 처방전 기록, 차트 검토, 절차 완료)에 의존 할 때이다.

Any assessment method at the ‘does’ level is characterised one way or another by reliance on information from knowledgeable people to judge performance. Essentially, all assessment in natural settings relies on knowledgeable others or on ‘expert’ judgements. Sometimes reliance is indirect, as when assessment primarily relies on artefacts (e.g., prescription records, chart review, procedures done),

'전문가'라는 용어는 동료, 상사, 동료, 교사, 상사 및 평가자의 업무 또는 교육 성과에 대해 잘 아는 사람을 포함하도록 광범위하게 해석되어야합니다. 평가는 이러한 판단을 정량적 또는 정성적 형태로 수집하는 것으로 구성됩니다. OSCE와는 달리, 본질적으로 Does 평가의 자극 형식은 표준화되지 않고 덜 구조화된 authentic context입니다. 응답 형식은 일반적으로 다소 일반적이며, 특정 평가 맥락에 맞추어 tailored되지 않다.

The term ‘expert’ should be interpreted broadly to include peers, superiors, co-workers, teachers, supervisors, and anyone knowledgeable about the work or educational performance of the assessee. The assessment consists of gathering these judgements in some quantitative or qualitative form. Unlike the OSCE, however, the stimulus format is the authentic context, which is essentially unstandardised and relatively unstructured. The response format is usually more or less generic and is not tailored to a specific assessment context.

미국 대학원 의학 교육 협의회 (Canadian Acceleration Council of Graduate Medical Education)와 캐나다의 'CanMEDS (CanMEDS)'역량에서 잘 알려진 일반적인 역량은 공통적으로 의료 영역에만 국한되지 않고 다른 전문 영역과 동등한 역량에 중점을두고 있습니다. 한 예로 CanMEDS Competency 'Collaborator'또는 'Communicator'가 있습니다. 이러한 역량은 어느 정도 generic하지만, 평가를 할 때는 다른 기술이나 역량과 마찬가지로 맥락-특이적이 된다. 이러한 프레임 워크가보다 일반적인 역량을 집중적으로 강조해야한다는 것은 흥미 롭습니다. 일반적으로 임상에서 문제상황이 발생하면, 이러한 역량이 시험대에 놓인다. 연구에 따르면 노동 시장에서의 성공은 특정 영역의 스킬보다는 일반generic 스킬에 의해 더욱 강력하게 결정됩니다.

the well-known general competencies from the US Accreditation Council of Graduate Medical Education37and the Canadian ‘CanMEDS’ competencies.38 have in common is their emphasis on competencies that are not unique to the medical domain but have equal relevance to other professional domains. An example is the CanMEDS competency ‘Collaborator’ or ‘Communicator’, which has wide applicability. Although these competencies are generic to some extent, we immediately acknowledge that, for assessment purposes, they are just as context-specificas any other skill or competency. It is interesting that these frameworks should heavily emphasise more generic competencies, and they probably do so for all the right reasons. Typically, when things turn bad in clinicians’ performance, it is these competencies that are at stake. Research shows that success in the labour market is more strongly determined by generic skills than by specific domain-specific skills.39

따라서 일반적인 기술을 평가하는 것이 필수적입니다. 그러나 불행히도 이러한 능력은 정의하기가 어렵습니다. 예를 들어 professionalism의 정의는 무척 다양하다.3) 상세한 정의와 조작은 체크리스트에 통합 될 수 있지만 사소한 부분은 커진다.

Therefore, it is imperative that generic skills are assessed.Unfortunately, these competencies are as difficult to define as their assessment is indispensable. An illustration in point is professionalism, a competency that has given rise to a plethora of definitions.43 Detailed definitions and operationalisations can be incorporated in a checklist, but the spectre of trivialisation looms large.44 

영역-비특이적 역량을 평가하기 위해서는, 어떤 형태로든 전문가 판단을 활용한 피라미드 상단의 평가에 의존 할 수밖에 없다. 'does'수준에서 효과적인 평가의 핵심은 전문가 판단이다.

We would argue that, to evaluate domain-independent competencies, we have no choice but to rely on assessment at the top of the pyramid, using some form of expert judgement. It follows that expert judgement is the key to effective assessment at the ‘does’ level.

(대학원) 교수 역할을 담당하는 임상 전문가들은 전통적으로 임상 책임을지고 직접 감독없이 임상 작업을 안전하게 수행 할 수있는 능력으로 인해 연수생의 전문성을 측정합니다. '(does)'수준의 포괄적 인 평가 프로그램은 statements of awarded responsibility (STAR)를 달성해야한다.

Clinical professionals in a (postgraduate) teaching role traditionally gauge the professional maturity of trainees by their ability to bear clinical responsibility and to safely perform clinical tasks without direct supervision. It has been advocated that a summative assessment programme at the ‘does’ level should result in statements of awarded responsibility (STARs).45

'Does'수준의 모든 현대적 평가 방법은 교육적 또는 임상적 맥락과 평가자에 대한 빈번한 표본 추출을 동반한다. 내용특이성을 처리하기 위해서는, 일정한 범위의 컨텍스트에 걸쳐 샘플링하는 것이 항상 중요하다. 동시에 전문가 판단의 주관성 역시 전문가 / 평가자를 통한 추가 표본 추출에 의해 균형을 이루어야 한다. 이론적으로는 합산된 정보가 개별 평가의 주관성을 극복하기에 충분해야합니다.

All modern methods of assessment at the ‘does’ level allow for or apply frequent sampling across educational or clinical contexts and across assessors. The need to deal with content specificity means that sampling across a range of contexts remains invariantly important. At the same time, the subjectivity of expert judgements needs to be counterbalanced by additional sampling across experts/ assessors. The aggregate information must theoretically suffice to overcome the subjectivity of indi- vidual assessments.

직접 수행능력 측정

Direct performance measures

직접수행능력측정에서 기간의 길이에 따라 평가가 이루어지는 두 가지 평가 방법이 있다. 

• 'Individual Encounter'방법에서 성과 평가는 환자의 만남 (부분)과 같은 단일 구체적인 상황에 국한됩니다. 여기에는 Mini-Clinical Evaluation Exercise (Mini-CEX48), Practical Skills의 직접 관찰 (DOPS49), Professionalism Mini-evaluation (P-Mex50) 및 임상 만남의 비디오 관찰이 포함됩니다 .51 구체적인, 시간이 정해진, 짧은 (따라서 '미니'별칭), authentic encounter를 통해서, 평가자는 여러 역량을 반영하는 일반 등급 형식에 따라 평가한다.
  
  

  개별 연수생의 경우,이 평가 절차는 여러 번의 만남과 평가자에 걸쳐 반복됩니다.

Within direct performance measures, we make another distinction between two classes of assessment methods, characterised by the length of the period over which the assessment takes place. In ‘Individual Encounter’ methods, performance assessment is confined to a single concrete situation, such as one (part of a) patient encounter. Instruments that are found here include the Mini-Clinical Evaluation Exercise (Mini-CEX48), Direct Observation of Practical Skills (DOPS49), the Professionalism Mini-evaluation (P-Mex50) and video observation of clinical encounters.51 In a concrete, time-bound, usually short (hence the ‘mini’ epithet), authentic encounter, performance is appraised by an assessor using a generic rating form often reflecting multiple competencies,

For individual trainees, this assessment procedure is repeated across a number of encounters and assessors.

• 두 번째 종류의 방법은 장기간의 방법longer-term methods으로, 성능은 몇 주에서 몇 달 또는 심지어 수 년의 장기간에 걸쳐 평가됩니다. 개별적인 만남을 판단하는 대신 평가자는 오랜 시간 동안 학습자의 업무에 노출된다. 이 예로는 동료 평가 52와 다중 소스 피드백이 있습니다. Multisource 또는 360, feedback (MSF)은 피어 피드백의 연장입니다.
  
  

  MSF의 구체적인 절차는 다를 수 있습니다. 경우에 따라서는 학습자가 평가자를 선택합니다. 어떤 경우에는 학습자가는 선택권이 없습니다. 때로 평가자는 익명으로 유지되며 때로는 그들의 신분이 학습자에게 공개됩니다.

Concrete procedures around MSF may vary. In some implementations, the learner selects the assessors; in others, the learner has no say in this. Sometimes the assessors remain anonymous and sometimes their identity is disclosed to the learner.

다른 모든 성과 평가 방법과 달리 수련중평가in-training evaluation (ITE) 는 단일 평가자를 기반으로합니다. 그러나 이것이 이 평가법의 유용성을 낮추는 것이 아니며, 단지 그에 합당하게 취급되어야 함을 의미합니다. ITE는 당연히 더 큰 평가 프로그램의 일부가 될 수 있습니다 (어떤 방법도 프로그램 내의 기능에 따라 유용성을 가질 수 있다). 충분한 표본 추출이 이루어지면 이러한 글로벌 성과 평가를 신뢰하지 못할 이유가 없다.

점수 합산법

Aggregation methods

두 번째는 점수 합산법이며, 이 경우 장기간 또는 지속적으로 성능을 샘플링합니다. 로그북과 포트폴리오는 많이 사용되는 두 가지 도구입니다. 포트폴리오는 집계 도구로서 특히 유명 해졌다. 'OSCE'와 마찬가지로 포트폴리오라는 용어는 많은 표현, 사용 목적 및이를 둘러싼 절차를 포괄하는 포괄적인 용어입니다. 반 타트와 스크 (Van Tartwijk)와 드라이서 센 (Driessen)은 기능에 따라 포트폴리오를 분류한다 : 모니터링과 계획, 코칭과 성찰, 평가. 

실제로 로그북은 모니터링과 계획에 초점을 맞춘 특별한 종류의 포트폴리오로 분류 할 수있다.

The second class of methods comprises aggregation methods, sampling performance across a longer period of time or even continuously. Two much-used instruments are the logbook and the portfolio. Portfolios have become particularly popular as an aggregation instrument. Just like ‘OSCE’, the term portfolio is an umbrella term that covers many manifestations, purposes of use and proce- dures surrounding it. Van Tartwijk and Driessen classify portfolios in terms of the functions they can serve: monitoring and planning, coaching and reflection, and assessment.55 In fact, one might classify a logbook as a particular kind of portfolio with an exclusive focus on monitoring and planning.

포트폴리오는 여러 기능이 결합되었을 때 가장 잘 작동한다. 즉, 포트폴리오가 계획, 코칭, 그리고 평가에 사용될 때를 말한다. 포트폴리오는 또한 학습지도, 코칭 및 종단 역량 개발 모니터링에있어 중심 기능을 수행하는 경우에 더 효과적work best인 경향이 있습니다.

신뢰할 수있는 추론을 위해서는 어느 정도 표본이 필요합니다.

A feasible sample is required to achieve reliable inferences

연구 간 차이는 있으나, 현실적인 숫자의 표본very feasible sample만을 가지고 신뢰할 수 있는 추론을 이끌어낼 수 있다. 이 숫자는 평가도구의 유형과 측정 대상과 관계없이 8 ~ 10 사이의 어딘가에 있는 것 같다 (환자 등급을 사용할 때를 제외하고 더 많은 것이 필요합니다). 이것은 신뢰성이 표준화 또는 평가 구조화가 아니라 표본 추출의 문제임을 다시 한번 확인시켜준다. 다른 방법과 비교했을 때, 신뢰성은 실제로 표준화 된 평가보다 다소 나은 것으로 나타났습니다 2.

Despite variation between studies, we conclude that reliable inferences can be made with very feasible samples. The magical number seems to be somewhere between 8 and 10, irrespective of the type of instrument and of what is being measured (except when patient ratings are used; then many more are needed). This is a very clear confirmation that reliability is a matter of sampling, not of standardisation or structuring of assessment. Compared with other methods, the reliabilities actually appear to be somewhat better than those of standardised assessments.2

편견은 전문가 판단의 본질적인 특성입니다.

Bias is an inherent characteristic of expert judgement

신뢰성이 일정 수준이라고 해서, 글로벌 평가 판단에서 편견이 배제되는 것은 아니다. 사실, 글로벌 평가 판단은 보다 구조화되고 분석적인 방법보다 훨씬 편향적인 경향이있다 .68 직접 관찰 방법을 사용했을 때 점수의 인플레이션이 지적되었다. 다중 소스 피드백에서 평가자 선택이나 평가자의 배경이 편향의 원인이 될 수 있다. 71 편향의 또 다른 원인은 평가 맥락이다. 평가자에 따라서는 학습자와의 관계를 손상시키지 않기 위해서, 그리고 부정적인 평가로 인한 귀찮은 작업(및 문제)를 피하기 위해서 점수표에서 (긍정적인) 부분 만 사용하는 경향이 있다.

Adequate reliability does not preclude bias in global judgements. Indeed, global judgements are prone to bias, probably much more so than more structured, analytical methods.68 With direct observation methods, inflation of scores has been noted.69,70 In multisource feedback, selection of assessors or the background of assessors can introduce worrisome biases.71 Another potentially important source of bias is the assessment context. Assessors’ propensity to use only (the positive) part of the scale is heavily influenced by their desire not to compromise the relationship with the learner or to avoid more work (and trouble) consequent to negative evaluations.

평가자의 임무는 학습자가 훌륭한 의사인지 판단하는 것이 아니라, 특정 사건에서 어떤 일이 발생했는지 판단하고, 학습자가 성과를 향상시키는 데 도움이되는 방식으로 피드백을 주고, 차후에 그 자료를 가지고 의미있는 검토를 할 수 있도록 적절한 방법으로 이를 문서화하는 것이다. 이것은 정보가 어떤 식 으로든 어딘가에, 나중에 프로세스에서 합리적으로 사용될 수 없다는 것을 의미하지는 않습니다.

The assessor’s task is not to judge if the learner is a good doctor, but to judge what happens in a specific encounter, to feed this back in a way that helps the learner to improve performance and, finally, to document this in an appropriate way for later meaningful review by the learner and by others. This is not to imply that the information cannot be used summatively somewhere somehow, later in the process,

고부담 결정은 개별 평가방법 또는 평가 전반에 걸친 여러 원천을 기반으로 해야하며, 모든 풍부한 정보를 종합했을 때 견고robust해진다. 가능하다면 잠재적으로 타협 할 수있는 복수의 역할에 대한 평가자의 해소를 장려 할 것입니다.

A high-stakes decision should be based on multiple sources of assessment within or across methods, and robustness lies in the aggregation of all that rich information. Wherever possible, we would encourage relieving the assessor of potentially compromising, multiple roles. 

또 다른 중요한 편향은 자기평가에서 기인합니다. 연구 결과는 명백합니다. 우리는 자기평가를 매우 못하며73-77 자신을 과대 평가하는 것 만큼이나 과소 평가하는 경향이 있습니다 .78 샘플링의 관점에서 볼 때 이것은 놀라운 것이 아닙니다. 자체 평가는 본질적으로 단일 평가이다. 당연히, 자기평가의 타당성은 다른 단일 평가와 비교할 때 그리 좋지 않을 수 있습니다. 그러나 자기평가에서 표본 크기는 증가 될 수 없습니다. 따라서, 자기평가는 결코 독자적으로 의미를 지닐 수stand 없고, 항상 다른 정보와 triangulation 되어야한다. CPD에서도 자기평가는 항상 다른 평가, 즉 '감독 된 자기 평가directed self-assessment'라고 불리는 접근법에 의해 보완되어야한다고 제안한다.

Another important bias stems from self-assessment. The literature is crystal clear: we are very poor self-assessors,73–77 equally likely to underestimate as to overestimate ourselves.78 From a sampling perspective, this is not surprising. Self-assessment is inherently confined to a single assessment. In fact, the validity of a single self-assessment may not be so bad when it is compared with other single assessments. Nevertheless, sample size in self-assessment cannot be increased. The implication is that self-assessment can never stand on its own and should always be triangulated with other information. even in continuous professional development, it is sug- gested that self-assessment should always be complemented by other assessments, an approach sometimes referred to as ‘directed self-assessment’.79

타당성은 어떤 도구를 사용하였느냐보다 누가 그 도구를 사용하느냐에 달려있다.

Validity resides more in the users of the instruments than in the instruments that are used

Miller 's 피라미드의 하위 층위에서 우리는 가능한 한 평가도구를 '날카롭게'할 수 있지만, 'does'수준에서는 평가자가 얼마나 평가를 잘 수행하였느냐가 평가의 질을 결정한다.

In the lower layers of Miller’s pyramid, We can ‘sharpen’ the instrument as much as we can, but at the ‘does’ level, assessment can only be as good as the job done by the assessors using the instrument.

표준화, 구조화 및 객관화를 통해 시끄러운 현실 세계를보다 효과적으로 제어 할 수 있습니다. 그러나, 이는 평가를 해칠뿐 아니라 보잘것 없는 것으로 만들어버린다. 이것을 개선하기 위해서는 평가도구보다 평가자를 '날카롭게'해야합니다. 따라서 구현의 품질은 성공의 열쇠가 될 것입니다 .80 피드백을 받고 제공하려면 훈련을 받고, 연마하고, 최신 상태로 유지해야하는 기술이 필요합니다. 평가에 필요한 기술은 의사와 환자의 만남을 위한 기술과 매우 유사하다. 그럼에도 불구하고, 의사 소통 기술과 마찬가지로, 모든 교사가 이를 갈고닦는 것make up은 아니다. 그렇지만, 이러한 기술은 향상 될 수 있고 육성되어야합니다.

Increased control of the noisy real world by standardising, structuring and objectifying is not the answer. On the contrary, it will only harm and trivialise the assessment. To improve we must ‘sharpen’ the people rather than the instruments. Therefore, the quality of the implementation will be the key to success.80 Receiving and giving feedback requires skills that need to be trained, honed and kept up-to-date. we knowthat the skills required are very similar to the skills for the doctor–patient encounter. Nevertheless, like communication skills, they are not part of every teacher’s make-up: they can and must be fostered.

평가의 형성적 및 총괄적 기능은 일반적으로 결합됩니다

Formative and summative functions are typically combined

학습자가 평가에서 학습적 가치를 얻지 못하는 한 평가는 사소한 것이 됩니다. 

• 목적이 8개의 Mini-CEXs로 좁혀지면, 학습자는 게임을 시작하고 관찰자와 평가자 선정에 관한 자신의 전략적 선택을 할 것입니다 .81 평가자가 게임에 참여하면 적절한 판단없이 정보를 수집하고 루틴으로 돌아갑니다. 

• 포트폴리오에서 '성찰'의 주요 목적이 평가위원회를 기쁘게하는 것이 되어버리면, 포트폴리오는 학습자에게 모든 중요성을 잃게됩니다. 우리는 일지와 비슷한 일이 일어나는 것을 보았습니다 .82

As soon as the learner sees no learning value in an assessment, it becomes trivial. If the purpose is narrowed to doing eight summative Mini-CEXs, learners will start to play the game and make their own strategic choices regarding moments of observation and selection of assessors.81 If the assessors join in the game, they will provide judgement without adequate information and return to their routines. If the main objective of the reflections in the portfolio is to please the assessment committee, the portfolio will lose all significance to the learner. We have seen similar things happen with logbooks.82

평가가 유용하려면, 학습을 성공적으로 유도하여, 궁극적으로 학습에 없어서는 안 될 것으로 간주되어야 한다. 평가가 효과적이기 위해서는 특정 조건을 충족시켜야합니다. 우리는 피드백이 종종 무시되고 수신자에게 도달하지 못한다는 것을 알고 있습니다. 83 긍정적인 피드백은 부정적인 피드백보다 더 많은 영향을 미칩니다. 84 (부정적인 피드백은 가치가 없음을 의미하지 않습니다.) 개인에 대한 피드백은 피하고, 작업에 대한 피드백을 주어야 하며, 긍정적 학습 환경이 필수적이라는 것을 알고있다 .87 성공적인 피드백은 사회적 상호 작용, 코칭, 멘토링, 멀티 소스 피드백에 관한 포트폴리오 및 중재 토론, 이 원칙은 심지어 '할아버지'수준의 모든 평가까지 확대 될 수 있습니다.

Assessment has utility insofar as it succeeds in driving learning, and ultimately comes to be regarded as indispensable to the learning practice. For assessment to be effective, certain conditions need to be met. We know that feedback is often ignored and fails to reach the intended recipient,83 positive feedback has more impact than negative feedback,84 (not implying that negative feedback has no value) feedback directed at the individual should be avoided and task-oriented feedback is to be preferred.85 We know the rules of feedback86 and we know that a positive learning climate is essential.87 The literature suggests that successful feedback is conditional on social interaction,58 such as coaching, mentoring, discussing portfolios and mediation around multisource feedback,88 and this principle may even extend to all assessment at the ‘does’ level.

질적, 서사적 정보가 중요하다.

Qualitative, narrative information carries a lot of weight

피드백이 평가의 중심이고, 사회적 상호 작용이 효과적인 피드백에 중요하다면, 숫자와 양적 정보만으로는 분명한 한계가 있으며, 학습자는 풍부한 내러티브, 서술적 언어 및 언어 정보를 더 높이 평가할 것이다.

If feedback is central to assessment and if social interaction mediates effective feedback, numerical and quantitative information has obvious limitations, while narrative, descriptive and linguistic information is often much richer and more appreciated by learners.89,81

환자의 만남에서 상담 기술에서 5점 중 2점을 받았다는 것 자체로는, 학습자에 대해 우려를 자아냄에도, 이 단순한 수치 평점은 학습자가 실제로 무엇을했는지, 그리고 개선을 위해 무엇을해야 하는지를 알려주지 못한다. 평가에 대한 풍부함을 더 많이 제공할 수 있는 우수한 도구인 언어가 있습니다. 효과적인 형성 평가는 질적으로 풍부한 정보를 전제로 한다. 평가도구의 개발자는 모든 평가도구에 정성적 정보 (예 : 주관식 코멘트 기입 공간)를 포함시킬  수 기능이 있는지 확인하고, 평가자가 이러한 정보를 정기적으로 제공하고 문서화하도록 자극해야합니다.

It is quite clear that a rating of 2 out of 5 on counselling skills in a patient encounter should raise some concern with the learner, but a mere numerical rating fails to disclose what the learner actually did and what she should do to improve. To provide richness to the assessment to a greater extent, we have an excellent tool: language. We would argue that effective formative assessment is predicated on qualitatively rich information. We should encourage instrument developers to ensure that all their instruments have built-in facilities to elicit qualitative information (e.g., space for narrative comments) and we should stimulate assessors to routinely provide and document such information.

총괄적인 결정은 비 psychometric 질적 연구 절차로 더욱 rigorous해질 수 있습니다.

Summative decisions can be rigorous with non-psychometric qualitative research procedures

심리측정 담론에서 우리는 일반적으로 점수와 성적을 계산하고 평균화하여 수치를 정한다.

Within the conventional psychometric discourse, we typically quantify: we calculate and average scores and grades,

더 이상의 판단 전략이 필요하지 않은, 순전히 정량적인 전략만으로 충분한 상황은 거의 없습니다.

There are few situations in which purely quantitative strategies suffice, requiring no further judgement strategies.

Rigor는 내적 타당도에 대한 기존 개념을 신뢰성, 외부 유효성, 전달 가능성, 의존성에 의한 신뢰성 및 순응성에 의한 객관성으로 대체하는 'trustworthiness'전략에 의존합니다. 각 개념에 대해, 장기간 참여, 삼각 측량, 동료 심사, 구성원 점검, 구조적 일관성, 시간 샘플링, 단계별 복제, 감사 및 두꺼운 설명과 같은 연구 방법을 엄격하게 적용하는 방법 론적 전략이 제안됩니다.

Rigour depends on ‘trustworthiness’ strategies replacing conventional notions of internal validity by credibility, external validity by transferability, reliability by dependability and objectivity by conformability. For each of these notions, methodological strategies are proposed that bring rigour to the research: prolonged engagement, triangulation, peer examina- tion, member checking, structural coherence, time sampling, stepwise replication, audit and thick description.

예를 들면 질적 인 엄격함에 대한 우리의 생각을 더 잘 설명 할 수 있습니다. 평가 실례의 예시는 Driessen et al. (1994)에 의해 제시된다. 작업 기반 환경에서 학습자의 포트폴리오를 판단하기 위해 엄격한 판단을 내리기 위해서는위원회가 포트폴리오를 판단하는 것이 바람직하다 (구조적 일관성 및 동료 심사). 위원회는 학습자와 포트폴리오에 익숙한 멘토 (장기간의 참여)로부터 의견을받습니다. 학습자 - 멘토 관계를 얼마나 보호하기 원하는지에 따라,이 입력은 포트폴리오가 학습자의 진도에 대한 확실한 증거를 제공한다는 멘토 선언과 같이 제한 될 수 있습니다. 위원회는 사전 정의 된 기준을 사용하여 예를 들어 결정 범주 (감사)를 설명하는 루 브릭의 형태로 판단을보다 투명하게 만듭니다. 위원회는 서면 동의 (감사)로 의사 결정을 심의하고 정당화합니다. 결정을 내리기가 어렵다면,위원회는 더 심의하고 더 많은 정당성을 표명하고 추가 위원을 초대하거나 관련 당사자와 협의한다 (삼각 관계). 제출 포트폴리오를 준비 할 때, 학습자는 기준을 알고 있고, 어떤 형태의 사회적 상호 작용 (즉, 동료 또는 멘토와 함께)의 초기 초안에 대한 피드백을 갖게 될 것이므로위원회의 판단은 학습자 (그리고 멘토) (회원 확인)에 대한 놀랄만 한 사실. 학습자와 스승은 모두 자신의 임무를 위해 훈련을 받았습니다. 위원회 위원들은 (재) (주기적으로) 훈련을 받고 벤치 마크 포트폴리오를 사용하여 의사 결정 (장기 계약 및 구성원 점검)을 조정합니다. 위원회 결정은 문서화되고 (감사), 학습자를위한 항소 절차가 마련되어있다 (감사). 절차와 조치가 많을수록 결과 결정은 더욱 신뢰할 수 있습니다.

An example may serve to further explain our ideas about qualitative rigour. An illustration from assessment practice is given by Driessen et al.94 

• To achieve rigour in the judgement of a learner’s portfolio in a work-based setting, it is wise to have a committee judge the portfolio (structural coherence and peer examination). 

• The committee receives input froma mentor who is familiar with the learner and his or her portfolio (prolonged engagement). 

• Depending on how much one wants to protect the learner–mentor relationship this input may be limited, for example, to a declaration of the mentor that the portfolio provides authentic evidence of the learner’s progress. 

• The committee uses predefined criteria to make their judgement more transparent, for example, in the form of rubrics describing decision categories (audit).

• The committee deliberates and justifies its decisions in a written motivation (audit). 

• If the decision is difficult to make, the committee deliberates more and justifies more and perhaps even invites additional committee members or consults relevant parties (triangulation). 

• In preparing the portfolio for submission, the learner is aware of the criteria and will have had feedback on earlier drafts of the portfolio with some form of social interaction (i.e., with peers or a mentor) so that the committee’s judgement will only rarely come as a complete surprise to the learner (and mentor) (member checking). 

• Both learner and mentor are trained for their tasks; committee members are (re)trained (periodically) and use benchmark portfolios to calibrate their decision making (prolonged engagement and member checking).

• Committee decisions are documented (audit), and appeal procedures for learners are in place (audit). 

• The more procedures and measures, the more trustworthy the resulting decision will be.

평가에서 합격선 설정을 둘러싼 타당도에 대한 토론과 비슷하게, 황금률이 없는 상황에서는, 모든 기준과 그에 따른 결정에는 어느 정도 추상성이 있을 수 밖에 없다. 표준은 얼마나 절차에 충실함했느냐에 따라 신뢰성이 달라질 수 있습니다 .95

To some extent, this resonates with the validity discussion around standard setting procedures in assessment, where, in the absence of a gold standard, arbitrariness is always part of any standard and the resulting decisions. A standard is more or less credible, depending on due diligence of the procedures.95

고찰

Discussion

우리가 제시하고 다른 사람들과 일치하는 논거를 토대로, 우리는 평가 방법 내에서 그리고 평가 프로그램에서 정보의 집합 내에서 필수적인 정보 원천으로서 평가 목적을 위한 전문가 판단의 사용을 앞당긴다. 전문가 판단은 임상 실습에서 우리의 일상 업무이기 때문에 어느 정도까지는 수용되어야 한다. 그럼에도 불구하고 (임상) 전문가 판단이 틀릴 수 있고 비판받을 수 있다는 것을 인식해야합니다. 전문가가 보험 통계 또는 통계 모델보다 가난한 판단을한다는 것을 보여주는 많은 다양한 전문 분야에 대한 풍부한 연구가 있습니다

Based on the arguments we have presented and in line with others,97 we advance the use of expert judgement for assessment purposes as an indispensable source of information both within methods of assessment and in the aggregation of information in a programme of assessment. To some extent, this should be comforting, since expert judgement is our daily business in clinical practice. Nevertheless, we must also realise that (clinical) expert judgement is fallible and open to criticism. There is a wealth of research in many diverse professional areas showing that experts make poorer judgements than actuarial or statistical models

이 연구는 확률 적 및 경험적 정보를 활용해서 판단을 'scaffolding'할 것을 강력히지지합니다. 이것은 임상 적 의사 결정, 지침의 개발과 사용에 공감합니다 .100 당연히 임상 실습에서와 마찬가지로 평가에서는 개별적인 학습자에게 지침을 해석하고 맞춤화해야합니다. 우리는 판단과 의사 결정의 심리, 인식과 의학 전문 지식 개발, 자연 주의적 의사 결정과 같은 다양한 연구 전통으로부터 화해하고 이익을 얻을 필요가있다.

This research strongly advocates the ‘scaffolding’ of judgement with probabilistic and empirical information. This resonates with clinical decision making and the devel- opment and use of guidelines.100 Naturally, in assessment, as in clinical practice, guidelines must be interpreted and tailored to individual learners. We need to reconcile and benefit from various research traditions such as psychology of judgement and decision making,98 cognition and medical expertise development10 and naturalistic decision making.101

우리는 평가 자료에 대해 의미있는 정보 aggregation를 권고했다. 그러나 '충분하다'는 것은 어떻게 알 것인가? 102 질적 연구는 '포화 상태에 이르렀을 때'라고 말합니다. 이는 일정부분 심리측정연구의 신뢰성 또는 일반화 가능성에 상응합니다.

We recommended meaningful aggregation of information across assessment sources . However, when is ‘enough’ enough?102  Qualitative research would say, ‘when saturation is reached’.To some extent, this is the counterpart of reliability or generalisability in psychometric research.

전문가의 판단에 의존할 경우, 개별 평가자의 독특하고 고유한 판단에 의존합니다. 따라서 여러 심사 위원은 여러 가지 현실감을 가지고 있으며, 일부 또는 전부가 일치하지 않을 수 있습니다. 그렇다면 이것이 도움이 되지 않습니까? 아닙니다. 실제로 개별적인 학습자가 다른 관점에 노출되는 것이 관련성이 높고 유익 할 수 있습니다. 따라서 우리는 총체적 의사 결정을 유도하는 개념으로서 삼각 측량과 정보 포화를 선호합니다. 새로운 정보를 발견 할 확률이 낮 으면 포화 상태가되며 이는 추가 증거 검색의 중단을 정당화합니다.

If we have to rely on expert judgement, we rely on judgements that are idiosyncratically constructed realities unique to individual judges. Multiple judges therefore have multiple constructed realities, which may not or only partly coincide. Does this make them less useful?We think not. It may actually be highly relevant and beneficial to individual learners to be exposed to different perspectives. We therefore prefer triangulation and saturation of information as concepts to guide aggregate decision making. When the probability of finding new information is low, saturation is achieved and this justifies discontinuation of the search for further evidence.

그럼에도 불구하고이 과정을 더 공식화 할 수 있습니까? 이 결정을 내릴 수있는 확률 론적 규칙을 생각해 낼 수 있을까요? 베이 즈의 정리는 적어도 이론적으로는 매력적인 모델로 보인다. 왜냐하면 이전 정보에 비추어 새로운 정보의 가치를 해석하기 때문이다. 그러나 평가 결정에 적용하려는 시도는 적어도 우리 지식에 있어서는 존재하지 않습니다.

Nevertheless, can this process be further formalised? Can we think of certain probabilistic rules to guide this decision making? Bayes’ theorem seems an attractive model, at least in theory, because it interprets the value of new information in the light of prior information. However, attempts to apply it to assessment deci- sions are non-existent, at least to our knowledge.

학습의 효과는 평가 프로그램에 대한 학습자의 인식을 통해 이루어지며, 학습자의 인식과 학습 전략은 변화에 매우 저항적일 수 있다 .109 또한 학습자와 교사의 인식은 사실상 정반대이고 서로 상반 될 수있다. 107 , 전통적 평가 프로그램은 학습에 부정적인 영향을 미친다. 그러면 문제는 어떻게 변하는 것입니까? 피드백 연구에 대한 리뷰에서 grade 그 자체로는 poor한 피드백이며, 학습자에게 거의 영향을 미치지 못한다는 사실을 알게됩니다 .85 심지어 일부 데이터는 grade가 학습을 저해한다고 제안하기도합니다 .10 집중적인 형성적 피드백 시스템을 세심하게 도입하여, 학습행동이 근본적으로 형성평가를 통해 영향을 받도록 해야 한다80

The effect of learning is mediated by the learner’s perceptions of the assessment programme,108 and these perceptions and the resulting learning strategies can be very resistant to change.109 Perceptions of learners and teachers may actually be quite opposite and con- flicting.107 In all, traditional summative programmes of assessment appear to have quite a negative effect on learning. The question then is how to change? From reviews on feedback studies, we learn that grades provide poor feedback and hardly influence learners.85 Some data even suggests that grades impair learning.110 Solutions need to be sought in integral programmatic systems of intensive formative feedback57 with careful implementation strategies to ensure that learning behaviour is fundamentally influenced through the formative assessment.80

Best Pract Res Clin Obstet Gynaecol. 2010 Dec;24(6):703-19. doi: 10.1016/j.bpobgyn.2010.04.001. Epub 2010 May 26.

The assessment of professional competence: building blocks for theory development.

프로그램적 평가: 학습의 평가에서 학습을 위한 평가로(Med Teach, 2011)

Programmatic assessment: From assessment of learning to assessment for learning

LAMBERT W. T. SCHUWIRTH & CEES P. M. VAN DER VLEUTEN

Maastricht University, The Netherlands

도입

Introduction

최근 수십 년 동안 교육에서 평가의 역할에 대한 사고의 변화가 발생했습니다. 이러한 변화는 평가 학습에서 학습을 위한 평가로의 이행으로 가장 잘 특징 지어진다 (Martinez & Lipson 1989).

In the recent decades, a change in thinking about the role of assessment in education has occurred. This change is best characterised as a shift from assessment learning to of assessment for learning (Martinez & Lipson 1989).

학습을 위한 평가라는 아이디어는 새로운 것이 아닙니다. Martinez & Lipson (1989)은 1989 년에 이미 그것을 제안했다. 학습 평가의 초기 해석은 발달 단계에 있었고, 단지 분산 된 시험 행정과 더 많은 피드백의 개념을 능가하지는 않았지만, 평가라는 것이 교육에 필수적이고 관련성이 높다는 인식을 보여주었고, 또한 평가가 단순히 학생을 분류하고 순위를 매기는 시험만으로는 충분하지 않다는 인식을 보여주었다.

The idea of assessment for learning is not new; Martinez & Lipson (1989) already proposed it in 1989. Though their early interpretation of assessment for learning is in its developmental phase and does not surpass the notion of more dispersed test administrations and the use of more feedback, it is an early demonstration of a growing awareness that for assessment to be an integral and more relevant aspect of education, tests that merely try to classify and rank order students do not suffice anymore.

한편, 학습 프로그램 평가에 대한 이론적 관점은 상당히 진화했다. '학습의 평가'라는 개념이 20 세기 시절의 교육과 능력에 대한 확고한 뿌리를 가지고 있었다는 점에서, 이러한 진화가 비논리적이지 않다. Shepard (2009)는 교육에 대한 이전의 견해를 개념적으로 공장 생산 프로세스와 동일하게 설명합니다. 이러한 견해의 중심은 학습에 대한 행동 주의적 개념으로, 한 영역에서 유능해진다는 것은 많은 수의 작은 단계 나 모듈을 수행 한 결과이며, 각 모듈은 마지막 지점에서 평가받는다. 모듈을 성공적으로 완료 한 후에 학생은 다음 단계로 진행할 수 있습니다. 논리적으로 평가는 환원 주의적 접근법을 취해야하며, 전체를 구성 요소의 합으로 간주해야합니다.

In the mean time, the theoretical perspective of assessment for learning programmes has evolved considerably. This is not illogical because originally the concept of assessment of learning the had firm roots in 20th century discourse of education and ability. Shepard (2009) describes the previously prevailing views on education as conceptually equivalent to a factory production process. Central in these views is a behaviouristic concept of learning, implying that becoming competent in a domain is the result of following a large number of small steps or modules, each of which has to be assessed at the end. Only after successful completion of a module can the student progress to the next. It follows then logically that assessment has to take a reductionist approach as well, viewing the total only as the sum of its constituent parts.

학습 이론에서 사회적 구성주의가 새롭게 출현하고, 성과로서 역량의 개념이 등장하면서, 우리가 설정하고 사용했던 교육 과정의 지표에 급진적 변화가 요구되었다.  (Boud 1990; Brown 2004; van der Vleuten & Schuwirth 2005, Shute 2008). 이것은 전통적인 접근법에 대항하여 고도로 요구되는 반항 운동이었습니다.

With the emergence of new– social constructivist – theories on learning and the notion of competencies as outcome the indicators of educational process the call for radical changes in the way we set up and use assessment is heard in the literature (Boud 1990; Brown 2004; van der Vleuten & Schuwirth 2005; Shute 2008). This was a highly needed antithetic movement against the traditional approaches.

'학습을 위한 평가'에 대한 문헌은 이미 다양한 그림을 얻기 위해 다양한 도구가 필요할 것이라고 이미 인정했지만 (Ram 1998; Prescott et al., Epstein & Hundert 2002; Davies et al. 2005; Carr 2006), 프로그래밍 방식 평가에 대한 아이디어는 더 나아갑니다. 프로그램적 평가에서 현대의 접근법은 반드시 기존의 것을 대체하지 않고 오히려 보완한다 (Prescott et al., 2002; van der Vleuten & Schuwirth 2005, Dannefer & Henson 2007, Fishleder et al.) 프로그램적 평가의 핵심은 평가 방법의 신중한 선택, 규칙 및 규정의 수립 및 조직 시스템의 설계를 통해 학생들의 능력에 대한 전체적인 그림을 얻을 수 있도록 평가 프로그램을 설정한다는 것입니다.

And although the literature on assessment for learning already acknowledged that a variety of instruments would be needed to obtain a more complete picture (Ram 1998; Prescott et al. 2001; Epstein & Hundert 2002; Davies et al. 2005; Carr 2006), the idea of programmatic assessment goes further. In pro- grammatic assessment, modern approaches do not necessarily replace but rather supplement traditional ones (Prescott et al. 2002; van der Vleuten & Schuwirth 2005; Dannefer & Henson 2007; Fishleder et al. 2007). 

The central key is that the programme of assessment is set up to allow the whole picture of a student’s competence to be obtained by a careful selection of assessment methods, formulation of rules and regulations and design of organisational systems.

우리는 지금 어디에 있는가?

Where are we now?

많은 전통적 시험 프로그램은 의료 능력을 네 가지 별도의 구성으로 세분화했습니다 : 지식, 기술, 문제 해결 기술 및 태도 또는 전문성. 이 관점에서 훌륭한 평가 프로그램은 이러한 각각의 구성 요소에 대한 도구의 조합으로 구성됩니다. 20 세기의 의학 평가 논문은 이전의 방법보다 구인 중 하나를 더 잘 측정한다거나, 복수의 방법을 비교하여 그 중 하나의 우월성을 증명한다고 제안하는 논문이 지배합니다. 그러나 이 견해는 다음의 것들을 가정하고 있다.

Many traditional examination programmes subdivided medical competence into four separate constructs: knowledge, skills, problem-solving skills and attitudes or professionalism. A good assessment programme in this view is composed of a combination of instruments for each of these constructs. The medical assessment literature in the 20th century is dominated either by papers presenting new instruments suggesting they measure one of the constructs better than previous methods or comparing different methods to prove the superiority of one of them. This view, however, has important underlying assumptions which we will discuss here.

각 구인은 안정되고 일반적인 특성이다. (X)

Each construct is treated as a stable and generic trait

여기서 특성은 안정적이고 일반적인 것으로 가정합니다. 예를 들어 지능과 외향성과 비슷합니다. 사람의 지능은 적어도 단기간에 측정을 통해 안정적이라고 가정합니다.

Traits, here, are assumed to be both stable and generic. Much like, for example intelligence and extraversion. The intelli- gence of a person is assumed to be stable – at least in the short run – across measurements.

형질은 또한 일반적인 것으로 가정되며, 지능형 및 내향 형 또는 지능형 및 특이 형이거나 그 반대 일 수 있습니다. 유사하게, 네 가지 구조 사이에는 고유 한 관계가 없다. 지식, 기술, 문제 해결 기술 및 태도.

The traits are also assumed to be generic, one can be intelligent and introverted or intelligent and extraverted and vice versa. Similarly, there is no inherent relationship assumed between the four constructs; knowledge, skills, problem- solving skills and attitudes.

따라서 시험 점수의 재현성이 신뢰성 (또는 우주 점수 표현)을 가장 잘 결정한다는 것은 당연한 것입니다.

물론 이것은 결코 사실이 아닙니다. 행렬은 표 3에 표시된 것과 유사합니다.

개별 항목 또는 테스트 요소는 원칙적으로 의미가 없습니다.(X)

Individual items or elements of a test are in principle meaningless

만약 개별 문항에 대한 퍼포먼스가 다양할 때, 이 변동성이 오류로 간주되는 경우 개별 항목 자체는 의미가없는 것으로 간주 될 수 있습니다. 개별 항목의 유일한 가치는 그들이 총 점수에 기여하는 정도이며, 총 점수는 평가에 의미와 타당성을 줄 수있는 것입니다.

If performance on individual items can vary and this variability is seen as error, it is only logical that individual items in themselves can be treated as meaningless; their only value is the extent to which they contribute to the total score, and the total score is what can give meaning and validity to the assessment.

두 가지 항목이 직관적으로 더 의미가있는 경우, 예를 들어 인공 호흡과 OSCE의 의사 소통 스테이션과 같이 더 문제가됩니다. 대부분의 사람들은 좋은 의사 소통 기술이 열악한 소생술 기술을 보상make up할 수 있는가에 의문을 제기합니다.

It becomes more problematic if the two items are intuitively more meaningful, for example resuscitation and a communi- cation station in an OSCE. Most people would question whether good communication skills can make up for poor resuscitation skills

통계는 정보의 제거를 기반으로합니다. (X)

Statistics are based on elimination of information

학생이 객관식 테스트에 대한 답을 가져옵니다. 답변에서 어떤 정답이 주어 졌을뿐만 아니라 오답이 주어 졌는지를 도출 할 수 있습니다. 그런 다음 해답을 해답 키와 비교하여 1-0 점수로 변환합니다. 이제 부정확 한 답이 무엇인지에 대해 더 이상 알지 못하지만 주어진 질문에만 잘못된 답이 해당됩니다. 그런 다음 항목 점수가 합산됩니다. Nowit은 어느 항목에 대해 정확하고 올바르지 않은 답이 주어졌지만 얼마나 많은 항목에 대해 정확하지 않거나 정답이 주어 졌는지를 가려냅니다. 총 점수는 pass-fail 커트라인과 비교되며, 단지 정확한 답 수가 충분했는지 여부만을 알려준다. 루브릭 작성 및 표준 설정 방법에 관한 문헌은 기본적으로 평가 정보를 어떻게 버리는 것이 가장 좋은가에 관한 문헌입니다 (Cusimano 1996).

Take the answers a student gives to a multiple-choice test. From the answers, it can be derived not only which correct answers were given but also which incorrect answers were given. But then the answers are compared to an answer key and converted to 1–0 scores. Now it is not known anymore what the incorrect answers were but only to which question an incorrect answer was given. Then the item scores are totalled. Now it is obscured to which items an incorrect and correct answer was given but only to how many items an incorrect or correct answer was given. This total score is then compared to a pass–fail score and now it is only known whether the number of correct answers was sufficient or not. The literature on scoring rubrics and standard setting methods is basically literature on how best to throw away assessment information (Cusimano 1996).

각 특성에 맞는 단일한 최상의 도구가 있다(X)

One single best instrument for each trait

그 결과는 - 이전에 말했듯이 전통적 시험 프로그램은 각자의 특성에 맞는 단일 모델에 따라 구축된다는 것입니다.

우리는 어디로 가고자 하는가?

Where do we want to go?

많은 공식 기관에서 자체 역량 도메인 또는 전문 역량을 발급했습니다. 

• CanMeds (1996)에는 의료 전문가, Communicator, 공동 작업자, 관리자, 보건 옹호론자, 학자 및 전문가 영역이 포함되어 있습니다. 

• ACGME (2007)은 환자 치료, 의학 지식, 실습 기반 학습 및 개선, 대인 및 의사 소통 기술, 전문성 및 시스템 기반 실천 영역을 정의했습니다. 

• 네덜란드 의학 교육 청사진은 네 가지 역할을 수행했다. (Metz et al. 1994) : 의료 전문가, 과학자, 건강 관리 시스템의 근로자, 인간.

Many official institutes issued their own set of competency domains or professional roles. The CanMeds (1996) contain the domains: Medical expert, Communicator, Collaborator, Manager, Health advocate, Scholar and Professional. The ACGME (2007) defined the domains: Patient care, Medical Knowledge, Practice-based Learning and improvements, Interpersonal and Communication skills, Professionalism and Systems-based practice. The first Dutch blueprint for medical education used four roles (Metz et al. 1994): Medical Expert, Scientist, Worker in the health care system and Person.

교육자들이 당면한 위험은, 우리는 각 영억마다, 하나의 최상의 도구만을 사용하여 평가 프로그램을 만드는 경향이 있다는 것입니다. 이 방법으로 전통적인 평가 프로그램에서와 마찬가지로 동일한 실수를 범하게됩니다. 즉, 도메인을 일차원적이고 안정적이며 일반적인generic entity로 취급하는 것이다. 그러나 이러한 방식으로는 새로운 평가 프로그램을 구축하는 것이 아니라, 단순히 단어 ('특성' 대신 '역량')만을 대체 할 것입니다. 혁신적인 평가 프로그램에서 중요한 것은 n : n 관계의 개념에 기반한다는 것입니다. 즉, 모든 평가 역량 출처에 대한 정보를 사용하여 모든 기존 도메인 및 다양한 정보 소스를 통해 제공되는 모든 역량 도메인에 대해 알릴 수 있습니다.

The risk we as educators run now is that we would now be inclined to build an assessment programme in which one single best instrument is used for each of the domains. This way we would be making the same mistake as with the traditional assessment programmes,namely treating the domains as unidimensional, stable and generic entities. But then we would simply be replacing words(‘traits’ by ‘competencies’) instead of building a really new assessment programme. An important thing in innovative assessment programmes is that they are based on the notion of an n:n relationship. In other words, information of all assessment competency sources can be used to inform about all the are domains, and all competency domains informed by various information sources. 

임상의는 이력 수집, 신체 검사, 검사 결과, 병리학 보고서 등 관련 정보를 필요로하는지 여부, 더 나아가 진단이나 치료법, 환자의 건강 여부 등을 결정합니다. 이것은 우리가 평가 프로그램에서 사용하기를 제안하는 n : n 관계입니다.

clinician takes the relevant information from history taking, physical exam- ination, lab results, pathology reports, etc. to determine whether needed, further diagnostics are what therapy or management to start and whether the patient is healthy or not. This is exactly the n:n relationship we suggest to use in assessment programmes.

대부분의 평가 프로그램에서 전통적 접근 방식은 OSCE의 의사소통기술 스테이션에서의 결과를 소생술 결과와 합해서 결과를 낸다. 그렇게 하는 이유는 이 두 가지가 합리적으로 결합 될 수 있기 때문이 아니라 단순히 동일한 형식 사용하기 때문이다. (다시 비유하자면 나트륨과 칼륨 레벨을 합하는 것과 같다). 시험이 무엇을 평가하는가를 결정하는 것은 형식이 아니라 내용이라는 여러 연구 결과가 있다. (Ward 1982; Norman et al., 1985; Schuwirth et al.) 이론적으로는 형식이 유사하기 때문이 아니라, 내용이 유사할 때 정보를 결합하는 것이 더 논리적입니다. 그림 1과 2는 이러한 차이점을 보여줍니다.

The traditional approach in most assessment programmes relies on adding the results on the communication skills station of an OSCE to the resuscitation skills, not because they can be combined rationally but simply because they have the same format (to use the analogy again: so do the sodium and potassium level). This is strange especially because a plethora of research has shown that it is not the format which determines what a test or an item assesses but the content (Ward 1982; Norman et al. 1985; Schuwirth et al. 1996). Theoretically, it is more logical to combine information that is similar in content and not because it is similar in format. Figures 1 and 2 demonstrate this difference.

그러한 평가 프로그램에서, 구인은 안정적이고 일반적인 특성으로 정의 될 필요가 없으며, 일부는 가변적이고 일부는 안정적으로 정의되어야한다. 다시 한 번, 임상 작업과의 유추를 사용하여 : 일부 매개 변수는 너무 안정되어있어 한 번의 측정만으로도 그 값을 결정하기에 충분하고(나트륨 수준, 헤모글로빈 수준), 다른 일부는 반복적으로 여러 번 측정하더라도 상당히 달라지게 되어있어서(혈압, 혈당 수준). 다수의 측정 또는 일간 변동 커브가 도움이 된다.

In such an assessment programme, the constructs do not have to be defined in stable and generic traits, some will have to be defined as variable and some as stable. Again, using the analogy with clinical work:some parameters are supposed to be so stable that one measurement suffices to determine them (sodium level,haemoglobin level) and some others are supposed to vary considerably (blood pressure, blood glucose level) that only repeated enough. measurements or daily curves are informative

따라서 평가의 개별 요소는 그 자체로 의미가있을 수 있습니다. mini-CEX에서 '역사 기록'항목의 점수가 낮 으면 그 의미는 그 자체로 의미가 있으며 교정 작업으로 이어질 수 있습니다. 한편, 개별 항목이나 요소는 다른 테스트 요소와 조합하여 의미를 얻을 수 있습니다. OSCE의 복부 검사 스테이션에서 fail한 학생이 복부 해부학 테스트 항목에서도 fail하였다면, 환자 의사 소통 스테이션에서 열악한 학생과는 다른 판단이 적용됩니다.

So, individual elements of the assessment can be mean- ingful in themselves. The low score on the item‘history taking’ in a mini-CEX is meaningful in itself and can lead to remedial actions. On the other hand, individual items or elements can acquire meaning in a combination with elements of other tests. A failed abdominal examination station in an OSCE will have different repercus- sions for the student if s/he has also performed poorly on test items on abdominal anatomy than for the student whose patient communication is poor.

'객관적인'테스트 만 신뢰할 수 있고 '주관적인'테스트는 신뢰할 수 없다는 오해가 널리 퍼져 있습니다. 불행히도 이러한 사고 방식은 평가의 질을 개선하는 데별로 도움이되지 않습니다. 내과에 대한 단일 항목 객관식 테스트는 소위 객관적인 테스트이지만, 한 항목이 너무 작아서 신뢰할 수있는 테스트가 될 수 없습니다. 반면에 특정 퍼포먼스 (예 : 음악적 예술)에 대한 전문가 의견 모음은 매우 신뢰할 만하다.

There is a widespread misconception that only ‘objective’ tests can be reliable and that ‘subjective’ tests are unreliable. Unfortunately, this kind of thinking is not very helpful in improving the quality of the assessment. A single-item multiple choice test on internal medicine would be a so-called objective test, but it can hardly be a reliable test as one item is simply too small a sample. On the other hand, a collection of expert opinions on a certain performance (e.g. musical artistry) can be highly reliable,

객관성을 지나치게 추구하다보면, 많은 경우 평가가 trivialize될 수 있다. 예를 들어 포트폴리오에 대한 점수 루 브릭을 설계하는 것 (Koretz 1998) 등이 있습니다. 평가 프로그램에서 주관적인 요소가 trivialize되지 않아야 하며, 샘플링 절차를 최적화하여 평가해야한다 (Schuwirth et al., 2002; Driessen et al. 2005).

There are many cases in which assessment designers in their pursuit of objectivity have unnecessarily trivialised the assess- ment, for example by designing scoring rubrics for portfolios (Koretz 1998). In programmes of assessment, subjective elements should not be trivialised but should be assessed by optimising the sampling procedure (Schuwirth et al. 2002; Driessen et al. 2005).

물론 이것이 전체 평가 과정을 더 쉽게 만들지는 않습니다. 평가 과정에서 인간의 판단이 핵심적인 경우, 판단을 내리는 사람의 품질과 전문성이 평가의 질에 결정적인 요인이 될 수 있습니다.

Of course this does not make the whole assessment process easier, quite the contrary. When human judgement is central in the assessment process, it may be clear that the quality and expertise of the person who is making the judgement is decisive for the quality of the assessment.

평가의 품질을 보장하기 위해 구인타당도과 재현성에만 관심을 두는 것은 더 이상 충분하지 않습니다. 공정성, 신뢰성 및 알 필요성과 같은 개념. 의존성도 포함될 수있다 (Driessen et 2005).

To ensure the quality of the assessment then, the exclusive focus on construct validity and reproducibility do not suffice anymore. Concepts such as fairness, trustworthiness and need to al. dependability also be included (Driessen et 2005). sions for

이 방법으로, 평가 프로그램은 각 학생의 개별적인 필요에 맞게 맞춤화 될 수 있습니다. 

• 첫째, 교사 / 멘토는 개별 학생이 자신의 능력에 대한 완전한 그림을 확보 할 수 있도록 특정 평가 정보를 수집하도록 조언 할 수 있습니다. 모든 기준에 대해 7 가지 우수한 독립적 인 미니 CEX 판단을받은 학생의 경우, 데이터의 추가 수집은 아마도 유용하지 않지만, 7 가지 매우 가변적 인 판단의 경우 더 많은 정보가 필요할 수 있습니다. 이것은 학습 평가를위한 '진단 적'결정이라고 할 수 있습니다. 

• 또한 위에 설명 된대로 치료에 대한 맞춤 조언을 각 학생에게 줄 수 있는데, 이는 '치료 적'결정이라고 할 수 있습니다. 

• 마지막으로, 충분한 능력에 이르는 올바른 길을 걷고있는 학생이 각 학생에 대해 결정될 수 있다는 예후 결정이 내려집니다.

연구에 대한 함의

Implications for research

무엇이 양질의 평가프로그램을 만드는가?

What constitutes high-quality assessment programmes?

1996 년에 van der Vleuten (1996)은 개별 평가 도구의 퀄리티를 다양한 기준 간의 trade-off로 평가하도록 주장하였다. 이러한 기준은 개별 평가도구에는 유용하다고 보이지만, 평가 프로그램 전체에 대한 적용 가능성은 제한적입니다.

In 1996, van der Vleuten (1996) published a paper in which he advocated to evaluate the quality of individual assessment instruments as a trade-off between various criteria. Although these criteria have been shown to be useful for individual instruments their applicability to an assessment programme as a whole is limited.

Program in action에 관한 설계 기준을 포함하는 모델이 등장했습니다. 

• 평가 정보 수집, 

• 다양한 도구의 평가 정보 결합, 

• 최종 정보를 평가하여 결정

• 결정에 대한 조치를 취함

그러나 이에 더하여 일련의 서로 다른 계층들도이 정의되었습니다. 

• 프로그램의 지원 측면에 관한 기준, 

• 평가 프로그램에 대한 정보의 문서화 및 보급, 

• 프로그램의 지속적인 개선을위한 척도 

• 프로그램의 책임을 지탱하는 모든 procedure의 품질

a model emerged which incorporated of course the most obvious design criteria, namely those concerning the programme in action (

• collecting assessment information, 

• combining assessment information from various instruments, 

• valuing the resultant information to come to decisions, and 

• taking action upon these decisions). 

In addition, however, a series of different layers were defined: 

• criteria concerning the supporting aspects for a programme, 

• criteria for documenta- tion and dissemination of information about the assessment programme, 

• measures for continuous improvement of the programme and the quality of all procedures supporting the accountability of the programme.

어떻게 평가가 학습에 영향을 주는가?

How does assessment influence learning?

Cilliers et al. (2010) : 세 가지 주요 요소가 확인되었습니다 : 영향의 원천, 이러한 근원이 학생들의 학습에 영향을 미치는 메커니즘 및 영향의 결과.

Cilliers et al. (2010): Three main elements were identified: sources of impact, mechanisms by which these sources impact on student learning and the consequences of the impact.

영향 메커니즘은 학생들이 평가 프로그램의 영향, 학습 응답, 기관 및 문맥 적 요인에 대한 자신의 인식을 평가하는 방법을 구성합니다. 출처로는 주요 요구 사항은 작업 요구, 평가의 임박, 평가 시스템의 설계 및 단서 (Cilliers et al. 2010)였다.

심리측정모델의 확장

Extension of psychometric models

2006 년에는 mini-CEX, 360 피드백 및 포트폴리오와 같은 관측-기반 평가도구를 더 잘 충족시키는 새로운 방법이 개발 될 것이라고 주장했습니다. 1960 년대와 1970 년대에는 기준 참조 시험 (Berk 1980; Rickets 2009)과 관련하여 이미 이 분야에서 발전이 있었다. 그 이후로, 심리 측정 이론과 결과 통찰력이 크게 바뀌 었습니다.

In 2006, we advocated that new methods would be developed that cater better to more observation-based instruments, such as mini- CEX, 360  feedback and portfolios. It turns out that there have already been developments in this area in the 1960s and 1970s with respect to criterion-referenced tests (Berk 1980; Rickets 2009). Since then, psychometric theory and resulting insights have changed dramatically.

Kane은 관측 결과에서 target domain에 대한 결론에 이르는 주장-기반 추론의 필요성을 강조합니다. 이 접근법에서 연구자 또는 평가자는 target domain의 본질에 대한 명시적인 가정을 해야 하며, stable trait을 간주하지 않기 때문에 절충적입니다.

Kane highlights the need for an argument based set of inferences from observations eventually to conclusions about the target domain. This approach is eclectic because it requires the researcher and/or assessors to make explicit assumptions about the nature of the target domain, and it does not automatically subsume a stable trait.

중요한 추론 중 하나는 관찰 된 스코어에서 universe score(신뢰성의 일종)에 이르는 것입니다. 이를 위해 우주 점수의 개념화가 필요하며 이 개념화는 다른 형태를 취할 수 있습니다. 우리의 생각의 대부분은 Guttman 척도의 개념에 어느 정도 기초합니다. 그림 3은 이러한 Guttman 스케일의 예를 보여줍니다.

One of the important inferences to make is the one from observed score to universe score (as a sort of reliability). For this, a conceptualisation of the universe score is needed and this conceptualisation can take different forms. Most of our thinking is more or less based on the notion of the Guttman scale. Figure 3 shows an example of such a Guttman scale.

Guttman scale에서, 기본 가정은 일부 문항은 본질적으로 다른 문항보다 쉽다는 것입니다. 예를 들어, 나의 장녀는 보조바퀴 없이 않고 자전거를 탈 수 있습니다. 따라서 그녀는 보조바퀴를 달고 자전거를 탈 수 있다고 가정할 수 있으며, 삼륜차를 탈 수 있고, 똑바로 앉을 수 있다고 가정할 수도 있다. 이런식의 문항 세트는 Guttman 척도에 잘 부합하며, 컴퓨터 적응형 테스트와 같은 특정 평가 방법에 매우 적합합니다. Guttman scale에서는 assumed scale에 따르지 않는 모든 분산은 측정 오차로 보는 것이 논리적이다. 따라서 딸이 한 번은 보조바퀴없이 탈 수 있었다가, 그 다음에는 보조바퀴를 달고 타지 못한다면, 유일한 합리적 가정은 이것을 측정 오류로 보는 것이다. 샘플은 homogeneous universe에서 추출된다. 

평가의 모든 측면이 이러한 방식으로 가장 잘 모델링될수 있는지 궁금해 할 수 있습니다. 우리가 계면 활성제가 II 형 폐구균에 의해 생성된다는 것을 알고 있다고 해서, 자동적으로 어떤 세포가 칼시토닌을 생성하는지, 또는 II 형 폐구균이 어디 있는지까지 알 수는 없다. 그러한 경우 우주 표현의 측정은 우주의 대표에 대한 새로운 정보를 제공하는 새로운 관찰의 가능성을 설명 할 필요가 있지만 우주의 동질성을 규정하지는 않는다.

One can of course wonder whether all aspects of assess- ment in a programme of assessment are best modelled this way. If we knowthat surfactant is produced by type II pneumocytes, this does not automatically imply that we know which cells produce calcitonin, or even where the type II pneumocytes are located. In such cases measures of universe representation need to describe the probability of a new observation providing new information about the repre- sentation of the universe, but it does not prescribe homogeneity of the universe.

How to scaffold human judgement?

전통적으로 시험 시스템에서는 정성적 정보를 정량화한다.

Traditionally in examination systems, information from qualitative sources is quantified

피드백과 정보가 풍부한 절차가 요구되는 학습을 위한 평가프로그램에서, 정보는 질적 인 방식으로 결합되어야합니다. 이것은 필연적으로 인간의 판단을 포함합니다. 불행히도, 인간의 판단은 종종 실수로 간주되며, 특히 actuarial 방법과 비교했을 때 그러하다(Dawes et al., 1989). 이것은 당연한 결과인데, 왜냐하면 (결론에 도달하기 위해 모든 개별 데이터를 평가하는 것부터 시작하는) 의식적인 bottom-up 처리가 필요하며, 이를 통해 hard data conclusion을 이끌어 낼 뿐만 아니라 수치적 모델링을 가능하게 해주기 때문이다.  그러나 이것은 인간의 제한된 단기 메모리 처리 용량으로 인해서 취약한 부분이다. 이러한 경우에는 반드시 전체 데이터 세트 중 일부만 처리하는 것으로 되돌려 야합니다.

In assessment for learning programmes, in which feedback and information-rich procedures are required,information needs to be combined in a qualitative way. This involves inevitably human judgement. Unfortunately though,human judgement is often considered fallible, especially whenc ompared to actuarial methods (Dawes et al. 1989). This is of course logical, because in such comparisons conscious bottom-up processing (starting with evaluating all the individ-ual data to arrive at a conclusion) is required, which isintended to lead to hard data conclusions and which can be numerically modelled. It is obvious that this is exactly what humans with their limited short-term memory processing capacities are not good at (Van Merrienboer & Sweller 2010).In such cases they necessarily have to revert to processing only a limited part of the whole data set.

그러나 우리는 엄청난 양의 정보를 처리 할 수 ​​있기도 하다. 특히 시각 시스템의 정보는 대략 초당 10 ~ 2,000 만 비트 범위입니다. 자연주의적 의사 결정에 대한 연구에서, 인간의 결정은 hard 하거나 numerical하지 않고 judgemental하다(Klein 2008). 지나치게 정확한 데이터 모델링은 오히려 표면적인 모델링보다 부정확한 예측을 내놓는다(Marewski et al. 2009). 다시 말해, 정보의 과부하 상태에서 처리된, 막연한 인간 판단의 결과는 왜 여전히 그렇게 좋은가? 그러한 판단 과정에서 더 많은 하향식 처리 활동이 필요하다는 것은 분명합니다. 그러나, 인지 부하의 감소를위한 방법이 여전히 필요하다. 이 관점에서 필수적인 중요한 요소가 표현에 포함된다면, 정보를 불완전하게 대표하는 것이 반드시 나쁜 대표성이라고 볼 필요는 없습니다. 이것은 전문가의 이론에서 스크립트와 굉장히 흡사합니다. (Schmidt & Boshuizen 1993)

However, we are also capable of processing enormous amounts of information. Estimates, especially those including information from the visual system, are in the range of between 10 and 20 million bits per second. The research into naturalistic decision making focuses on human decisions in areas where the outcomes are not hard or numerical, but judgemental (Klein 2008), where too precise modelling of the data often leads to more inaccurate prediction than more superficial modelling (Marewski et al. 2009). In other words, why is human judgement with such an overload of information to process and vague outcomes still so good? It is clear that for such judgements processes more top-down processing activities are needed. Still, however, methods for reduction of cognitive load are required. In this view, an incomplete representation of the information is not necessarily a bad representation, provided the essential important elements are in the representation. This bears a striking resemblance with scripts in the theory on expertise. (Schmidt & Boshuizen 1993)

Govaerts et al. (2007)에 따르면 복잡한 케이스에서는 초보자보다 전문가가 더 많은 시간을 필요로 하지만, 단순한 케이스에서는 전문가가 더 빠르다.  퍼포먼스를 관측하면서 전문가들은 초보자에 비해서 추론/해석을 더 많이하며, 초보자는 프로세스에 대한 문자적 묘사를 더 많이 한다. 또한 전문가는 맥락적 단서를 더 많이 사용하고, 더 많은 평가를 내린다. 이것은 모두 진단 전문 지식에 대한 결과와 매우 일치합니다 (Schmidt & Boshuizen 1993; Eva 2004).

Govaerts et al. (2007) found that in complex case experts needed more time than novices, but in the simple case they were faster. Experts make more inferences/interpretation whilst observing the performance, while novice provides more literal descriptions of the process, experts use more contextual cues and considerations and make more evaluations. This is all highly in concordance with the findings about diagnostic expertise (Schmidt & Boshuizen 1993; Eva 2004).

Conclusion

Med Teach. 2011;33(6):478-85. doi: 10.3109/0142159X.2011.565828.

Programmatic assessment: From assessment of learning to assessment for learning.

평가자료가 단어일 때: 질적교육평가의 타당도 근거 (Acad Med, 2016)

When Assessment Data Are Words: Validity Evidence for Qualitative Educational Assessments

David A. Cook, MD, MHPE, Ayelet Kuper, MD, DPhil, Rose Hatala, MD, MSc,

and Shiphra Ginsburg, MD, MEd

계산 할 수 있는 모든 것이 중요한 것은 아니며, 중요한 모든 것을 계산할 수도 없습니다. -W. B. 캐머론 1

Not everything that can be counted counts, and not everything that counts can be counted. —W. B. Cameron1

교육자들은 양적 점수가 연수생의 모든 중요한 특성을 포착하지 못함을 점점 더 인식하게됨에 따라, 그들은 정성적 데이터를 통합하고 받아들이 기 시작했습니다 .9-11 지난 30 년 동안 교육 연구에서 벌어진 학습자 평가에서의 르네상스는 질적 방법과 혼합 방법 접근의 증가 된 경향과 유사합니다 

As educators increasingly recognize that quantitative scores fail to capture all important features of a trainee’s performance,7,8 they have begun to incorporate and embrace qualitative data.9–11 This renaissance in learner assessment parallels the increased presence of qualitative and mixed- methods approaches in education research over the past 30 years.12

유효성 프레임 워크의 간략한 개요

A Brief Overview of Validity Frameworks

3 가지 유형의 타당도 -준거, 기준, (상관성, 동시성 또는 예측 성이라고도 함) 및 구조 - 에 대한 "고전적"모델은 평가의 해석 및 사용을 지원하기 위한 보완적인 접근 방식을 제공하는 두 개의 현대 프레임 워크로 대체되었습니다. Messick's22 프레임 워크에서 모든 타당성은 다섯 가지 다른 출처 (아래 정의 됨)에서 파생 된 증거에 의해 뒷받침되는 구조 타당성의 포괄적 인 우산 아래 통합됩니다.

The “classical” model of three types of validity—content, criterion (also referred to as correlational, concurrent, or predictive), and construct—has been replaced by two contemporary frameworks that offer complementary approaches to support the interpretations and uses of assessments. In Messick’s22 framework all validity is unified under the overarching umbrella of construct validity, which is supported by evidence derived from five different sources (defined below).

그러나 Messick의 프레임 워크는 여러 증거 출처 중 우선 순위를 지정하지 않으며, 평가마다 우선순위가 다를 수 있다. 이 문제를 해결하기 위해 Kane23은 타당성 근거 프로세스(타당화), 특히 평가의 점수에 대한 타당성 주장의 계획과 평가에서 네 가지 주요 단계 또는 추론을 강조하는 프레임 워크를 개발했습니다. 실제로 스코어와 결정의 타당성을 뒷받침하기 위해 데이터를 수집하고 해석 할 때 교육자는 일반적으로 이 두 현대 프레임 워크 중 하나를 선택하여 사용한다.

However, Messick’s framework does not prioritize among the different evidence sources or indicate how such prioritizing might vary for different assessments. To address this problem, Kane23 developed a framework focusing on the process of collecting validity evidence (validation), specifically highlighting four key phases or inferences in planning and evaluating a validity argument for an assessment’s scores. In practice, an educator would typically choose to use one of these two contemporary frameworks when collecting and interpreting data to support the validity of scores and decisions.

우리가 아래에서 자세히 설명 할 때, 이러한 틀은 실증주의 패러다임 (즉, 객관적인 현실이 특정하고 발견 가능한 자연 법칙으로 존재한다는 것)으로 제한되지 않는다. 오히려 둘 다 적절하게 해석주의적 입장(즉, 현실은 언어와 공유 된 의미를 통해 사회적으로 구성되며 여러 해석에 개방되어있다)을 취한다.

우리는 질적 평가에서 "유효성"에 대해 말할 수 있습니까?

Can We Talk About “Validity” in Qualitative Assessment?

결정은 그것이 기반하고 있는 데이터만큼만 우수합니다.

A decision is only as good as the data on which it was founded.

양적 평가에서 증거는 타당도의 렌즈를 통해 그룹화되고 해석되며, 타당도는 "제안 된 시험 용도에 대한 시험 점수의 해석을 증거 및 이론이 뒷받침하는 정도"로 정의된다.

In quantitative assessment, evidence is grouped and interpreted through the lens of validity, which is defined as “the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests.”31(p11)

질적 연구자들은 연구의 타당성에 대한 개념을 피하고 credibility나 trustworthiness와 같은 용어를 사용하여 rigor함을 해석합니다 .18-21

Qualitative researchers eschew the concept of study validity, and instead interpret rigor using terms such as credibility and trustworthiness.18–21

그러나 양적연구의 타당도 개념은 그것의 핵심 가치와 질적연구의 본질적으로 다른 패러다임을 희생하지 않고도 질적 평가에 적절하게 적용될 수 있다. 이 주장에서 우리는 구체적으로 평가 타당도에 대해서만 이야기하고자 한다. 연구 타당도의 판단은 이 논문의 범위를 벗어나는 완전히 다른 방법과 표준을 구성한다.

Yet we believe that the concept of validity can, in fact, be appropriately applied to qualitative assessment without sacrificing the core values and inherently different paradigms that define this field and approach. In asserting this, we specifically restrict our claim to the evaluation of assessment validity; judgments of research validity constitute an entirely different set of methods and standards,32 and fall outside the scope of this article.

질적 평가를 언급 할 때 타당도와 타당화의 개념을 가져와야하는 이유는 적어도 세 가지입니다.

첫째, 타당도 확인은 주어진 결정의 방어력을 뒷받침하는 증거 수집을 의미한다. 타당도의 포괄적 정의는 증거의 본질에 아무런 제한을 두지, 않으며 실제로 정량적인 점수를 뒷받침하기 위해 수집 된 많은 증거는 본질적으로 정성적인특성을 갖는다 (예 : 내용 타당도 근거에는 종종 테스트 개발에 대한 서술이 포함되어 있습니다 34). 의사 결정에 중점을 둠으로써, 우리는 평가를 단지 숫자와 동일한 것으로 보는 관점을 넘어서, 정성적 분석에서 나오는 판단과 서사의 합성을 비롯하여 더 광범위하고 미묘한 범위의 평가 데이터를 수용한다는 일반 관념에 다다를 수 있다. 좋은 결정은 (숫자 정보든 단어 정보든) 무엇이든 기반으로 할 수 있으며, 아마도 이상적으로는 함께하는 것이 좋다.

First, validation refers to the collection of evidence to support the defensibility of a given decision.23,33 This broad definition makes no restriction on the nature of the evidence used, and in fact much of the evidence collected to support quantitative scores is qualitative in nature (e.g., content evidence often includes a narrative description of test development34). The focus on decisions also enables us to move beyond the lay notion that assessment is synonymous with numeric scores, and accept a broader and more nuanced range of assessment data including judgments and narrative syntheses emerging from qualitative analyses. Good decisions can be based on information presented as either numbers or words—and, perhaps ideally, both in concert.

둘째, 교육 평가 분야가 발전하고, 더욱 다양해진 데이터 유형을 수용하기 위해서는 언어와 어휘의 공통점을 찾아야합니다. 우리는 질적 평가에서 엄격함을 정의하기 위해 선택된 어휘는 사소한 문제가 아니라는 것을 인정합니다. 언어는 신념을 형성하고, 패러다임을 정의하고, 다른 사람들에 대한 어떤 담론에 권력을 부여합니다. 실제로 질적 분석의 모든 단계에서 단어가 중심적으로 설명됩니다. 어떤 사람들은 두 가지 독립적인 어휘 (별개의 언어)를 유지하기를 바랄 수도 있고, 아니면 질적 연구의 언어를 채택하고 그것을 정량적 평가 용도로 조작화하자고 주장할 수도 있다. 그러나 양적 평가 문헌의 타당도 확인 개념은 이미 상당히 잘 발달되어 있으며 많은 교육자들이 수용 할 수있는 견고한 체계를 갖추고 있다. 따라서 우리 중 두 명 (AK, SG)이 주로 질적 / 해석 주의적 연구 패러다임에서 일하는 경우 연구원과 교육자가 양적 평가 문헌에서 일반적으로 사용되는 용어를 질적 연구의 언어와 패러다임에 맞게 다시 조작하고 확장함으로써 이익을 얻을 수 있다는 실용적인 합의에 이르렀다. 

셋째, 가장 중요한 것은 질적 연구에서 엄격함을 확립하기 위해 전통적으로 사용된 증거와 패러다임은 질적 평가의 엄격 성을 뒷받침하기 위해 현대 타당도 프레임워크의 렌즈를 통해 쉽게 재해석 될 수 있다는 것이다 .17,35 고전적 타당도 모델은 심리측정 전통에 크게 의존하지만 이제 시대에 뒤 떨어진 것으로 간주됩니다. 대조적으로, Messick과 Kane의 프레임 워크는 질적 평가에 근거한 결정의 방어력을 뒷받침하는 증거의 수집과 해석을 용이하게 한다.

Third, and most important, the evidence and paradigms traditionally used to establish rigor in qualitative research can be readily reinterpreted through the lens of contemporary validity frameworks to support the rigor of qualitative assessments.17,35 The classical validity model drew heavily on psychometric traditions but is now considered out of date. By contrast, Messick’s and Kane’s frameworks readily guide the collection and interpretation of evidence that supports the defensibility of decisions founded on qualitative assessments.

질적 평가에 Messick의 프레임 워크 적용 : 증거의 다섯 가지 출처

Applying Messick’s Framework to Qualitative Assessment: Five Sources of Evidence

중요하게는, 이러한 증거의 출처들은 서로 다른 유형의 타당성이 아니라 오히려 타당성에 대한 판단에 정보를 제공하는 다양한 범주의 증거입니다. 주어진 해석을 뒷받침 할 수있는 여러 출처에서 증거를 찾아야합니다. 표 2에는 이 다섯 가지 출처에 대한 정의가 들어 있는데,

Importantly, these sources of evidence are not different types of validity but, rather, different categories of evidence that inform judgments about validity. Evidence should be sought from several sources to support any given interpretation. Table 2 contains definitions for these five sources,

간략하게 요약하면 다음과 같습니다.

• 내용 증거는 "시험 내용과 측정하려는 구인과의 관계"를 평가한다. 31 (p14) 질적 평가를 위해 내용 증거는 특정 프롬프트 (질문)를 선택하는 방법, 프롬프트의 표현 지침, 샘플링 전략 (특정 관점을 탐구하기 위해 종종 의도적으로 또는 의도적으로, 반복적으로 데이터 수집의 기간 및 초점을 조정)을 포함한다. 

• Content evidence evaluates the “relationship between the content of a test and the construct it is intended to measure.”31(p14) For a qualitative assessment, content evidence might include 

• the method for selecting specific prompts (questions), 

• the wording of prompts and instructions, and 

• the sampling strategy (often deliberate or purposeful, to explore specific perspectives; and iterative, to tailor the duration and focus of data collection). 

추가적인 관찰이 새로운 주제를 제시하지 않을 때까지 포화 36- 목적적이고 반복적인 데이터 수집 및 분석 - 에 대한 질적 연구 개념은 실제로 완전한 포화가 아니라 "충분 함"이 일반적으로 목표 일지라도 유용한 이론적 샘플링 종점을 제공합니다.

The qualitative research concept of saturation36—continuing purposeful, iterative data collection and analysis until additional observations do not suggest new themes—provides a useful theoretical sampling end point, although in practice “sufficient” rather than complete saturation will usually be the goal.

• 응답 프로세스 증거는 공식적으로 "구인와 실제로 발생하는 성능의 세부 특성 사이의 적합성"으로 정의됩니다. 31 (p15)보다 실질적인 관점에서는 관찰 자체과 그것의 문서화 기록을 연결시키는 프로세스를 반영합니다 (답변, 평가 , 내러티브) 

• 자신의 내러티브 설명의 기초가 되는 사건에 대한 평가자의 해석 (즉, 정신 프로세스), 또는 

• 그 주석이 기록되는 시스템 (예 : 사무 또는 컴퓨터 프로세스). 

• Response process evidence is formally defined as “the fit between the construct and the detailed nature of performance … actually engaged in.”31(p15) In more practical terms it reflects the processes that link the observation itself to the record (answer, rating, narrative) documenting that observation, such as 

• the assessor’s interpretations of events (i.e., mental processes) that underlie his or her narrative comments or 

• the system by which such comments are recorded (e.g., clerical or computer processes). 

이에 해당하는 근거로는...

Evidence might show 

• 평가자가 지침을 따르고 있다.that assessors follow instructions, 

• 내러티브가 풍부한 자료를 제공하고 있으며, 같은 평가자라도 학습자마다 다른 다료를 만들고 있다.that narratives offer rich data and differ between learners for the same assessor, 

• 평가자의 reflexivity가 고려되었다. that assessors’ reflexivity (such as their relationships with learners and context) has been considered, or 

• 컴퓨터 인터페이스가 확장된 내러티브를 지원한다. that the computer interface allows extended narratives.

• 내적 구조는 동일한 평가에서 데이터 요소 간의 일관성 (또는 그 결여)과 이러한 요소를 의미있는 메시지로 합성하는 근거 및 방법을 반영합니다. 질적 평가를 뒷받침하는 증거는 

• 서로 다른 데이터 요소의 삼각측량 (예 : 다른 평가자 또는 다른 상황에서 수집 한 내러티브), 

• 분석 자체의 특성 (예 : 반복해서 포화가 될 때까지 추가 데이터 수집) 또는 

• 분석가의 reflexivity. 

• Internal structure reflects the relationship among data elements in the same assessment— their coherence (or lack thereof), and the rationale and method for synthesizing these elements into a meaningful message. Evidence to support qualitative assessment might explore 

• the triangulation among different data elements (e.g., narratives collected from different assessors or different contexts), 

• the nature of the analysis itself (e.g., iteration, and often additional data collection, until saturation), or 

• the reflexivity of the analysts. 

예를 들어, 교육자는 불일치하는 내러티브를 강조하고 이러한 불일치를 설명하는 추가 데이터 또는보다 미묘한 해석을 추구 할 수 있습니다.

For example, educators might highlight discordant narratives and seek additional data or a more nuanced interpretation that accounts for this seeming inconsistency.37

• 내부 구조는 평가 내 요소 간의 연관성과 합성 접근법을 바라 보는 반면, 다른 변수와의 관계는 최종 합성과 연구중인 평가 외부의 다른 정보 소스 간의 연관성을 조사합니다. 삼각 측량 (여기서는 외부 데이터 소스와 함께)과 이전 가능성 (예 : 다른 상황 또는 미래 또는 과거 공연)에 대한 질적 연구 개념의 적용은 이러한 관계의 증거를 제공 할 수 있습니다.

• Whereas internal structure looks at associations among elements within the assessment and the approach to synthesis, relationships with other variables examines the associations between the final synthesis and other information sources outside the assessment under study. Application of the qualitative research concepts of triangulation (here, with external data sources) and transferability (e.g., to other contexts or future or past performances) can supply evidence of these relationships.

• 마지막으로, 결과의 증거는 평가의 실질적인 영향과 관련된 결정 및 행동을 조사합니다. 24 그러한 증거의 수집은 평가의 학습자 및 강사의 인상과 그것이 그들의 삶에 어떻게 영향을 미치는지를 탐구하기 위해 질적 또는 양적 연구 방법을 사용할 수 있습니다. 또한 의도되거나 의도하지 않은 결과에 대한 객관적인 증거, 결정이 다른 이해 관계자와 공존하는 정도도 여기에 포함된다.

• Finally, evidence of consequences looks at the actual impact of the assessment and the associated decisions and actions.24 The collection of such evidence might use qualitative or quantitative research methods to explore learner and instructor impressions of the assessment and how it influenced their lives, objective evidence of intended and unintended consequences, or the degree to which decisions resonate with other stakeholders.

기존 평가 접근법에 적용

Application to an Existing Assessment Approach

정의와 목적

Definition and purpose

학습 포트폴리오 (이하 "포트폴리오")는 일반적으로 학습자가 자신의 평가자 (즉, 유물 중 많은 부분을 선택하고 논평한다)이며 학습자가 (하나 이상의 교수들과 함께) 흔하게  분석(성찰 요소의 합성)에 기여한다는 점에서 비정형 적이다. . 

Learning portfolios (hereafter, “portfolios”) are atypical among assessments in that learners are usually their own assessors (i.e., they select and comment on many, if not all, of the artifacts), and learners also frequently contribute to the analysis (i.e., synthesis during the reflective component) along with one or more faculty members.42,56

• Kane의 접근법에서는 근거를 수집하기 전에 '의도한 사용'과 '해석/사용 주장'을 먼저 밝혀야 한다. 
  Applying Kane’s approach requires that we not only identify the intended use (i.e., to provide formative feedback, as noted above) but that we also articulate the interpretation/use argument38 (i.e., the evidence and interpretations that would support such use) before embarking on a search for evidence.17 

• To support the proposed use, for the scoring inference we would hope to find evidence that those collecting information (typically the residents) had proper training and/ or instructions, that they were allowed sufficient time to collect their artifacts, and that the artifacts accurately reflect the original activity being assessed and contain sufficient information to allow insightful interpretations. 

• To support generalization, we would hope to find evidence that the artifacts represent a variety of meaningful activities and collectively form a coherent, accurate, and complete picture of the resident across multiple clinical situations. Ideally, artifacts suggesting conflicting or incomplete interpretations would prompt additional data collection or a narrative explanation from the resident. We would further expect that those conducting the interpretive analysis (e.g., mentors or program directors) have appropriate training or experience, that the interpretation integrates but does not rely exclusively on the learner’s reflections, and that the analysis process is transparent and rigorous. This might include explicit consideration of personal idiosyncrasies when providing feedback (analyst reflexivity). 

• To support extrapolation, we would hope that the final synthesis is coherent with other information (e.g., qualitative or quantitative assessments) about the resident (triangulation) and that those involved in the original activities would agree with this final synthesis (member check). 

• Finally, to support the proposed implications, we would hope to find evidence that relevant stakeholders (e.g., the resident and program director) agree with the decision (in this case, specific feedback) based on these narratives, and that actions based on this feedback have the desired effect without unanticipated negative impact.

Further evidence and summary

과제, 불확실성, 다음 스텝

Challenges, Uncertainties, and Next Steps

Limitations of this work

Conclusions and next steps

우리는 양적 및 질적 평가 방법의 분리에 적극적으로 반대합니다 .71 오히려, 우리는 명확하게 진술 된 목적이 데이터 수집 및 분석의 성격과 접근 방식을 결정하는 "방법 중립적"접근법을지지합니다. Patton72가 말한 것처럼,

We vigorously oppose the segregation of quantitative and qualitative assessment methods.71 Rather, we advocate a “methods-neutral” approach, in which a clearly stated purpose determines the nature of and approach to data collection and analysis. As Patton72 stated,

중요한 도전은 목적과 질문에 대한 방법을 적절하게 일치시키는 것이지, 모든 탐구 상황에 대해 단일 한 방법 론적 접근을 보편적으로 그리고 무조건적으로 지지하는 것이 아니다.

a consensus has gradually emerged that the important challenge is to appropriately match methods to purposes and inquiry questions, not to universally and unconditionally advocate any single methodological approach for all inquiry situations.

양적 또는 질적 인 평가를 평가할 때 현대의 유효성 틀을 사용하도록 촉구하지만, 우리는 Messick이나 Kane을 강력하게 선호하지 않습니다. 검증에서 가장 중요한 것은 의도 된 결정의 방어 가능성을 평가하는 일관된 주장을 전략적으로 증거하고자하는 증거입니다.

Although we urge the use of a contemporary validity framework when evaluating any assessment, quantitative or qualitative, we do not strongly favor either Messick or Kane. What matters most in validation is that evidence is strategically sought to inform a coherent argument that evaluates the defensibility of intended decisions.

6 Cook DA, Brydges R, Zendejas B, Hamstra SJ, Hatala R. Mastery learning for health professionals using technology-enhanced simulation: A systematic review and meta- analysis. Acad Med. 2013;88:1178–1186.

7 Ginsburg S, McIlroy J, Oulanova O, Eva K, Regehr G. Toward authentic clinical evaluation: Pitfalls in the pursuit of competency. Acad Med. 2010;85:780–786.

8 Schuwirth LW, van der Vleuten CP. A plea for new psychometric models in educational assessment. Med Educ. 2006;40:296–300.

9 Kuper A, Reeves S, Albert M, Hodges BD. Assessment: Do we need to broaden our methodological horizons? Med Educ. 2007;41:1121–1123.

10 Govaerts MJ, Van de Wiel MW, Schuwirth LW, Van der Vleuten CP, Muijtjens AM. Workplace- based assessment: Raters’ performance theories and constructs. Adv Health Sci Educ Theory Pract. 2013;18:375–396.

Acad Med. 2016 Oct;91(10):1359-1369.

When Assessment Data Are Words: Validity Evidence for Qualitative Educational Assessments.

WBA의 타당도: 지평 넓히기 (Med Educ, 2013)

Validity in work-based assessment: expanding our horizons

Marjan Govaerts & Cees PM van der Vleuten

도입

INTRODUCTION

WBA에는 미니 임상 평가 운동, 실용 기술 직접 관찰, 전문성 미니 평가 운동, 다중 소스 피드백 및 연수생 개종자를 전형적으로 요구하는 연수 평가 보고서 등의 평가 도구가 포함됩니다 미리 정해진 규칙과 기준에 따라 수치로 점수를 매기고 훈련생의 능력에 대한 정확하고 쉽게 전할 수있는 설명을 얻는다.

Work-based assessments include assess- ment tools such as mini-clinical evaluation exercise, direct observation of practical skill, professionalism mini-evaluation exercise, multi-source feedback as well as in-training evaluation reports that typically require clinical assessors to convert trainee perfor- mance into a numerical score, according to prede- fined rules and criteria, to obtain accurate and easily communicable descriptions of a trainee’s abil- ity.

연구 결과는 총괄 평가 목적을 위한 WBA의 유용성에 심각한 우려를 제기합니다. 

• 첫째, 현실 세계에서의 평가 작업은 예측할 수없고 본질적으로 표준화되지 않으며 여러 부서마다 동일하지 않습니다. 심리측정 관점에서 볼 때 이것은 평가의 신뢰성과 타당성에 심각한 위협을 제기합니다. 

• 둘째, 전문가 판단이 WBA에 내재되어 있으므로 평가의 주관성에 대해 심각한 우려가 제기됩니다. 평가자는 일반적으로 측정 오류의 주요 원인으로 간주됩니다 .2.3 등급은 받아 들일 수 없도록 편향되어 있으며 후광 및 관대화 영향을받으며 성능 등급의 내부 및 내부 신뢰도는 종종 표준 이하임을 나타냅니다 .4-6

WBA에 대한 대부분의 비판은 심리측정의 정량적 틀과 일치하는 타당성과 타당화에 대한 접근에서 유래한다. 

• 타당성은 증거 또는 이론적 근거에 의해 정당화되면서 의사 결정과 행동 측면에서 제안 된 해석과 평가 결과의 사용 (예 : 성과 등급 또는 시험 점수)이 적절하고 적절하다는 정도를 나타냅니다. 

• 타당화는 다른 출처로부터 얻은 여러 종류의 증거를 축적하고 통합함으로써 시험 점수의 의도 된 해석과 제안 된 용도와의 관련성을 뒷받침하는 과학적으로 건전한 타당성 주장을 개발하는 것으로 정의 될 수있다.

• 타당화는 코흐 (Koch)와 델 루카 (DeLuca) 11에 명시된 바와 같이 : '... 타당성 확인은 평가 실무에 대한 지속적인 조사를 촉진하는 생성 과정이어야한다.'

most criticisms of WBA stem from approaches to validity and validation con- sistent with the quantitative framework of psycho- metrics. 

• In essence, validity refers to the degree to which the proposed interpretations and the uses of assessment outcomes (e.g. performance ratings or test scores) in terms of decisions and actions are adequate and appropriate, as justified by evidence or theoretical rationales.8,9 

• Validation can then be defined as ‘developing a scientifically sound validity argument to support the intended interpretation of test scores and their relevance to the proposed use’10 through accumulation and integration of dif- ferent kinds of evidence from different sources. 

• Or, as stated by Koch and DeLuca11: ‘..validation should be a generative process that promotes continuous inquiry into assessment practice’.

이 글은 WBA에서 타당성과 타당화에 대해 심리측정접근에만 초점을 맞춘 접근이 더 이상 적합하지 않을 수도 있다는 것을 보여주기 위함이다.

In this article, it is our intent to illus- trate that an exclusive focus on traditional psycho- metric approaches to validity and validation in WBA may no longer be appropriate

심리측정의 예측론적 틀 안에서, 평가는 일반적으로 일반화 가능한 설명이나 예측을 목표로한다. 9,12 현재 평가에서 심리측정적 담론의 중심은 진정한 성과true performance를 나타내는 진정한 점수true score의 추론에 거의 초점을 맞추고있다.

Within the predictive, deterministic framework of psychometrics, assessment typically aims for general- isable explanations or predictions.9,12 Central to the psychometric discourse in current assessment are its almost exclusive focus on the inference of a true score representing true performance;

WBA에 대한 현재의 접근법과 WBA의 타당성 확인에서 세 가지 가정이 특히 눈에 띈다

In current approaches to WBA and validation of WBA, three assumptions in particular seem to stand out:

1 학습 (전문성 개발)은 사전에 식별하고 지정할 수있는 결정적이고 선형적인 프로세스입니다. 과제 수행과 학습 (평가 점수로 표현됨)은 전형적으로 맥락과는 별도로 추상화되고 해석된다.

1 Learning (professional development) is a deter- ministic, linear process that can be identified and specified in advance; task performance and learning (as represented by assessment scores) are typically abstracted and interpreted indepen- dent of context;

2 능력으로부터 추론 된 능력은 고정적이고 영구적이며 탈맥락화된 속성, 즉피훈련자의 고유 한 특성 또는 능력이다,

2 Competence, as inferred from performance, is a fixed, permanent and decontextualised attri- bute, i.e. an inherent trait or ability of health care workers (or trainees), and

3 성과는 '객관화'될 수 있으며 평가자는 수행 할 수있는 경우 실제 수준의 성과를 관찰하고 관찰 할 수 있습니다.

3 Performance can be ‘objectified’ and assessors, if they were only capable to do so, would be able to rate and observe some true level of per- formance.

그러나 산업 및 조직 심리학의 연구 결과는 직무 수행능력은 복잡한 직무에서 특히 시간적 안정성이 결여되어 있음을 보여 주었다 .13,14 직무 수행의 실제 개인 내 편차는 개인의 변화로 인해 발생할 수있다. 동기, 피로, 능력 수준의 변화), 직업 환경의 변화 14) 이와 유사하게, 의학 교육에서의 연구 결과는 상황 (즉, 작업 환경 또는 작업 환경)이 의사의 진료행동에 결정적인 영향을 미친다는 것을 보여주었다. 예를 들면, 전문가(내과의사)의 임상추론능력은 상황에 따라 매우 specific했으며, 그 상황에서 누구를 만나느냐(환자와 의사) 또는 목표 및 설정이 어떠하느냐에 따라 달랐다.

however, findings from research in industrial and organisa- tional psychology show that job performance lacks temporal stability, especially in highly complex jobs.13,14 True intra-individual variation in job per- formance may result from changes in the individual (e.g. due to motivation, fatigue, changing levels of competence) as well as changes in the job environ- ment.14 Similarly, research findings in medical edu- cation indicate that context (i.e. task environment or work environment) critically influences behav- iours in practising doctors. Durning and col- leagues,15 for instance, reported that contextual factors affected clinical reasoning performance by experts (board certified internists) in ways that were very specific to the situation and were influenced by participants in the encounter (patient and doctor), their goals and the setting.

Similarly, increasing evidence from industrial and organisational psychology, as well as medical education, supports contentions that rater effects in WBA do not represent (mere) rater biases, but rather represent alternative and comple- mentary valid perspectives on trainee perfor- mance,16

최근의 연구 결과와 복잡한 사회 환경에서의 학습에 대한 이해의 증대는 WBA의 현재 타당도 증거의 중요성과 적합성이 의문시 될 수 있으며, psychometrics에 포함 된 일반적인 타당성 이론은 더 이상 유지할 수 없다고 제안합니다. 우리는 잘못된 가정하에 운영 될 수 있습니다.

WBA와 학습의 예측가능성

WBA AND PREDICTABILITY OF LEARNING

의학 교육에서 행동 주의적,인지 주의적, 구성 주의적 학습 이론에서 기인 한 시각은 오랫동안 교육 및 평가의 발전을 주도 해왔다. 이러한 학습 이론은 공통적으로 개별 학습자에 초점을 두어 학습의 인지 적 측면 (즉, 사고와 반성)을 강조하고 학습이 학습자의 마음에 위치한 '물건'으로 간주된다는 점이 공통적이다. 이 이론들은 맥락이 학습 과정의 질과 학습이 얼마나 잘 이루어지는지에 영향을 미친다는 것을 인정하지만, 학습한 내용이나 배워야 할 내용은 맥락에 상대적으로 무관하다는 견해를 가지고있다.

In medical education, perspectives originating from behaviourist, cognitivist and constructivist learning theories have long dominated developments in instruction and assessment. These learning theories have in common that they focus on individual learners, that they stress cognitive aspects of perfor- mance (i.e. thinking and reflection) and that learn- ing is treated as a ‘thing’ or product located in the mind of the learner. Although these theories acknowledge that context influences quality of learning processes and thus how well learning occurs, their view is that the nature of what is learned or is to be learned, is relatively independent of context.17

그들은 일반적으로 직무 학습을 공식 학습과 유사한 선형 과정으로 취급하는데, 학습자가 무능력incompetent에서 유능함competent으로 발전하여 학습 및 성과 개발을 형성하는 데 사회, 문화 및 조직적 요인의 역할을 거의 무시합니다.

They generally treat workplace learn- ing as a linear process, akin to formal learning, through which a learner develops from incompetent to competent, largely neglecting the role of social, cultural and organisational factors in shaping learn- ing and performance development.

그러나 지난 수십 년 동안 직장에서의 학습에 대한보다 강력한 이론이 나타 났다.

During the past decades, however, more robust theories of work- place learning have emerged,

특히 직장 학습의 사회문화이론 그룹은 직장 환경에서 학습을 이해하는 데보다 강력한 틀을 제공하는 것으로 보인다. 사회 문화적 학습 이론은 학습은 공동체의 활동에 적극적으로 참여하고 작업 환경의 복잡하고 역동적 인 시스템과 상호 작용함으로써 출현한다고 주장한다 .18 따라서 이 이론에서는 학습과 전문성 개발이 학습이 일어나는 맥락의 특징들과 불가분의 관계로 본다. 즉, 맥락이 변화함에 따라 학습 과정은 물론 학습 결과가 변한다 .17,19 연수생이 무엇을, 어떻게, 왜 배우는지는 피훈련자와 공동 참여자 (예 : 감독자, 평가자, 동료 및 임상 적 맥락에서의 환자들)들의 경험, 의미, 결과에 따라 달라진다.

Especially the group of socio-cultural theories of workplace learning seem to offer more powerful frameworks for understanding learning in workplace settings . Socio-cultural learning theories claim that learning and learning outcomes emerge through active participation in activities of a community and interaction with the complex and dynamic systems of the work environment.18 Socio-cultural learning theories therefore consider learning and expertise development to be inextricably linked to features of the context in which the learning occurs; learning processes as well as learning outcomes change as contexts change.17,19 What, how and why trainees learn is shaped by unique experiences and the meaning or consequences that trainees and co-par- ticipants (e.g. supervisors, assessors, co-workers and patients in a clinical context) attach to these experi-ences.9 

사회적 상호 작용에 의해 생성 된 지식에 중점을 둔 사회 문화적 학습 이론은 특히 임상환경의 학습에서 유용하다. 임상환경의 학습은 다음과 같은 특징을 갖는다.

Socio-cultural learning theories, with their focus on knowledge produced by social interaction, are particularly useful for thinking about learning in clinical training and health care settings. 

• In these settings, learning is produced by a trainee’s engagement in non-standardised and unpredictable tasks of authentic health care practices and the ongoing social interaction around authentic tasks, shaped by (unique) physical, social and organisational contexts.20 

• Learning in clinical work settings then inevitably becomes a dynamic, non-linear and non-deterministic process. 

• The increasing complexity of health care as well as its ever-changing context furthermore demand that we move beyond predictability of individual learning and competence towards conceptualisations of competence as a collective, sit-uated and dynamically produced through interac- tion and learning in functional clinical groups.20 

(개인 능력에서 팀 경쟁력으로 초점을 전환해야하는) 팀 기반 진료가 보건 의료 시스템에서 급속도로 표준화되고있을뿐만 아니라 헬스케어시스템의 복잡성과 역동성은 더 이상 역량을 "달성해야 하는 상태"로 볼 수 없다는 것을 의미합니다. 오히려 요즘 업무 기반 학습 및 역량의 개념에는 변화에 지속적으로 적응할 수있는 능력이 포함되어야합니다. 역량은 지식과 기술의 습득에 관한 것이 아니라 변화하는 업무 프로세스에 대한 응답으로 새로운 지식을 창출하는 능력에 관한 것입니다 .21 이러한 관점에서 학습은 지속적으로 진화하는 상황에 적응하는 사회적 네트워크 및 실천 공동체에서의 협력 적 프로세스를 통해 '아직 존재하지 않는 것'을 학습하는 것을 포함한다.22,23

Not only is team-based care rapidly becoming the norm in our health care systems (requiring a shift in focus from individual competence to team com- petence), the complex and dynamic nature of health care systems also implies that we can no longer see competence as ‘a state to be achieved’. Rather, nowadays, notions of work-based learning and competence should include the ability to con- tinuously adapt to change. Competence it is not just about acquisition of knowledge and skills, but about the ability to create new knowledge in response to changing work processes.21 From this perspective, learning involves learning things ‘that aren’t there yet’, through exchange and interactions in social networks and collaborative processes in communi- ties of practice that adapt to continuously evolving circumstances.22,23

학습자와 환경 사이의 복잡하고 역동적 인 상호 작용 프로세스에서 '학습자와 환경은 서로를 재구성합니다'. 학습은 '팽창적'이며 학습은 '끊임없이 변화하는 환경의 도전에 맞추어 유연하고 건설적이며 혁신적인 방식으로 행동하는 (집단적) 능력의 향상'이라는 개념으로 해석 될 수있다 .17 따라서 미래의 실천을위한 학습은 학습 분명한 종점이없는 진행중인 프로세스입니다. 학습은 결코 끝나지 않습니다. 이것은 학습이 잘 정의되고 안정된 학습 성과로 계획되고 공식적인 사건에 초점을 맞추는 의학 교육의 전통적인 접근 방식에 직접적으로 반대된다. 따라서 직장 학습의 최근 이론은 예측 가능하고 결정할 수있는 직장 학습 시스템이 설계 될 수 있는지에 대해 의문을 갖는다. 이론들 중 일부는 복잡성 이론에 기초를두고 있으며, 학습은 예측 불가능하고 예기치 않은 방식으로 그 맥락에서 창발적으로 발생하는 창조적 인 과정이라고 강조한다.

Complex and dynamic interactive processes between the learners and their environ- ment then ‘mutually reconstruct both the learner and the environment’. Learning is ‘expansive’22 and can be conceptualised as ‘an increasing (collective) capacity for acting in flexible, constructive and inno- vative ways appropriate to the challenges of ever changing circumstances’.17 Learning for future prac- tice thus implies that learning is an ongoing process without a clear endpoint; learning is never com- plete. This is directly opposed to traditional approaches in medical education where learning focuses on planned, formal events with well-defined and stable learning outcomes.24 Very recent theories of workplace learning therefore explicitly question whether predictable and decidable systems of work- place learning can be designed and implemented. These theories, some of which build on complexity theory, emphasise the view that learning is an ongo- ing creative process, emergent from its context in unpredictable and unanticipated ways.17

비록 사회 학습 이론이 의학 교육에서 점차적으로 사용되고 있지만, 현재의 이론의 상당 부분은 직장 학습을 이해하고 설명하려는 목적이 있어서, 양질의 학습을 지원하고 향상시킬 수 있는 균일한uniform 조건을 확인하고 실행하려고 한다. 실제로 직업 기반 학습 및 WBA를 향상시키기위한 많은 노력은 전문성 개발의 '올바른'이론 개발을 통해 훈련생의 학습을 예측 가능한 방식으로 조장하는 임상 교육의 설계를 목표로하는 것으로 보입니다. 또한 학습 환경 (예 : 주요 프로젝트)에서 사전에 정의 된 단계마다 달성해야하는 역량표준을 명시하려는 것도 한 방법이다25

이러한 (마치 법과 같은) 예측 가능성은 평가, 학습 및 성과 모델을 psychometric 프레임 워크와 호환 가능하게 만드는 데 필요합니다. 그러나 학습이 본질적으로 상황 의존적이고situated, 협동적이며, 변형적이고 팽창적인 (즉, 재생산보다는 지식 생산에 초점을 맞춘)것이라고 보는 개념은 학습 내용의 예측 가능성과 통일성에 대한 가정에 도전한다. 미리 정의 된 학습 성과에 초점을 맞춘 평가는 반드시 전문성 개발 과정의 arbitrary한 단계를 지나치게 단순화한다.

Such (law-like) predictability is neces- sary to make models of assessment, learning and performance compatible with the psychometric framework. However, conceptualisations of learning as inherently situated, collaborative, transforma- tional and expansive (i.e. focusing upon knowledge production rather than reproduction) challenge assumptions of predictability and uniformity in what is learned and what is to be learned. Assessment that focuses on predefined and specified learning outcomes then necessarily becomes an oversimplifi- cation of an arbitrary stage in the process of profes- sional development.26

WBA와 고정된 특성으로서의 역량

WBA AND COMPETENCE AS A FIXED ATTRIBUTE

과제나 상황에 따라 달라지는 맥락 특이성 또는 수행능력 변화가 의학 교육에서 잘 알려진 현상이지만, 평가 및 그 타당성 평가에 대한 접근 방식은 다음과 같은 가정을 기반으로합니다. "'측정'가능한 '진짜' 수행능력의 수준이 있고, 시간, 작업, 상황의 변화에 따라 발생하는 개개인의 수행능력의 차이variability는 측정오차로 간주한다' 역량은 전문 영역 내에서 성능 샘플링으로 추측 할 수있는 안정적인 특성으로 개념화되며, 일단 개발되고 확립 된 전문 지식은 한 상황에서 다른 상황으로 이전 할 수 있는 것으로 간주됩니다. 실제로, 대부분의 면허 및 인증 절차는 이 가정을 정확히 설명하는 듯 하다.

Although context specificity or performance variabil- ity from one case or task to the next is a well-known phenomenon in medical education,27 current approaches to assessment and its validation build on assumptions that there must be some level of true performance that can be ‘measured’: variability of an individual’s performance over time or across tasks and work settings is typically viewed as mea- surement error. Competence is conceptualised as a stable trait, to be inferred from performance sam- pling within the professional domain, and expertise, once developed and established is considered to be portable and transferable from one context to another. In fact, most licensure and certification procedures seem to build on exactly this assump- tion.

이러한 능력과 전문성의 개념화에 도전하는 연구가 점차 증가하고 있습니다. 개인 내의 편차는 상당하다. 개인 간 차이만큼 커질 수있다 .28-30 학습 과정에서 학습자의 수행능력은 전문적인 실습 참여를 통해 배우고 발전함에 따라 변화한다는 것은 자명하다. 실제로, 현재 WBA의 초점은 성과 및 전문성 개발을 향상시키기위한 지속적인 평가와 피드백이다.

There is an increasing body of research that chal- lenges these conceptualisations of competence and professional performance. Within-person variation in performance is substantial and can be as large as between-person differences.28–30 Obviously, perfor- mance of learners changes during training, as they learn and develop through participation in profes- sional practice. Indeed, the focus of current WBA is ongoing evaluation and provision of feedback to improve performance and expertise development.31

또한 우리는 학습자와 전문직 종사자가 항상 최선을 다하고있는 것은 아니며, 그 수행은 날마다 또는 심지어 같은 날안에서도 다양하다는 것을 쉽게 인정할 수 있다. 특히 복잡한 작업에서 성능은 시간적 안정성이 부족합니다 .13,14 이유는 동기 부여가 될 수 있습니다 (예 : 충돌하는 작업으로 인한 성과 목표 및 노력의 변화), 생리적 (예 : 피로) 또는 개인 성능에 영향을주는 기타 불안정한 원인 기분 또는 정서적 경험 .32

We also readily accept that learners and profession- als are not always performing at their best, and that performance varies from day to day or even within the same day. Especially in highly complex jobs, per- formance lacks temporal stability.13,14 Reasons may be motivational (e.g. changes in performance goals and effort due to conflicting tasks), physiological (e.g. fatigue) or any other unstable cause affecting individual performance, such as mood or emotional experiences.32

더 중요한 것은, 작업 환경에서의 성과의 역동적 특성이 환경 요인에 의해 유발된다는 것이다. 즉 전문가조차 작업 환경의 기회와 제약에 의해 영향을 받는다. 산업 및 조직 심리학 및 인적 자원 관리 분야의 연구 결과에 따르면 Talented performance란 한 회사에서 다른 회사로 직접 옮겨 갈 수 있는 것이 아니며, 이는 talent는 '구입가능하다'라는 조직의 인적자원의 근본 가정에 도전하는 것이다.

More importantly, however, there is an increasing body of research indicating that the dynamic nature of performance in work settings is caused by envi- ronmental factors, i.e. opportunities and constraints in the work setting, even in experts and talented performers. Research findings in industrial and or- ganisational psychology and human resource man- agement suggest that talented performance is not directly portable from one company to another, thereby challenging one of the foundational assumptions underlying human resource practices in organisations, namely that talent can be bought.

일반적으로 연구 결과에 따르면 성과는 상황에 따라 다르며 '새로운 환경에서 주어지는 과제에 맞지 않는 한 재능은 이전되지 않을 것'이라고 나타났습니다 .33 

• 예를 들어, 월스트리트의 '스타'는 다른 회사로 옮긴 후 장기간의 실적 하락이 있었고 실적 저하가 최대 5 년간 지속되었습니다 .34 

• 연구 결과에 따르면 새로운 역할과 업무 환경의 특정 기능이 성과 저하에 영향을 미쳤습니다. 작업 수행의 맥락적이고 상황적 성질은 동료 집단과 함께 움직인 스타가 단독으로 움직인 경우보다 수행능력이 뛰어났다는 사실에 의해 확인되었다. 

• 리더쉽의 이식성에 관한 연구는 뛰어난 재능을 가진 최고 경영자가 다른 회사로 옮겼을 때 항상 능력이 발휘되지는 않는다는 것을 보여주었습니다. 기술과 경험이 새 직업에서 가치있게 증명되었는지 여부는 새로운 작업 환경의 특수한 특성에 달려있다 .33 

• 마찬가지로 축구 선수의 개인별 성과 변화에 대한 연구에 따르면 변화의 상당 부분이 행동을 제한함으로써 설명 될 수 있었다 팀원을 포함한 다른 사람들의 더욱이 환경 적 제약에 대한 민감성은 플레이어와 작업의 복잡성에 따라 달라 지므로 성능은 사람, 작업 및 환경 간의 상호 작용에 의해 결정된다는 것을 암시합니다 .30 

이러한 결과는 문화적, 사회적 환경 및 특정 작업 환경에서 개인 및 그룹과의 지속적 상호작용의 산출물로서의 성과의 개념과 일치합니다. 

In general, research findings indicate that perfor- mance is contextual and that ‘talent won’t transfer unless it maps to the challenges of the new environ- ment’.33 

• For instance, ‘star’ investment analysts on Wall Street showed significant short- and long-term performance decline after moving to another firm and the drop in performance persisted for up to 5 years.34 

• Research findings suggested that specific features of the new role and work setting influenced the drop in performance. The contextual and situ- ated nature of job performance was affirmed by findings that stars who moved with a group of col- leagues performed better than those who moved solo. 

• A study on the portability of leadership also showed that highly talented chief executive officers who were recruited by other firms did not always deliver; whether skills and experience proved valu- able in the new job depended on specific character- istics of their new work environment.33 

• Similarly, research on intra-individual performance variation in football players showed that a significant portion of variance could be explained by constraining actions of others, including teammates. Moreover, susceptibility to environmental constraints varied across players and job complexity, suggesting that performance is determined by the interaction between person, task and environment.30 

These findings are consistent with the notion of perfor- mance and competence being the product of cul- tural and social circumstances and of ongoing interaction with individuals and groups (teams) in a specific work setting.

최근 의학 교육에 대한 연구는 지식의 안정과 숙달과 지식의 일반적인 이전 가능성에 대한 가정을 동등하게 다루지 않는다. 예를 들어, Wenghofer와 그의 연구진은 의사의 성과에 대한 연구에서, 의사의 작업 환경과 체계적 (지역 사회 관련) 요인이 성능에 크게 영향을 미치고 다수의 수행능력에 다양한 영향을 미친다는 사실을 발견했습니다. 이 연구는 의사 자체의 요인이 수행능력에 유의미한 영향을 주었지만, 기존에 가정한 것 만큼 중요하지는 않다는 것을 보여주었습니다. 의사 행동에 대한 상황의 비판적인 영향은 Ginsburg와 동료 연구에서도 설명되었는데, 의사의 수행능력은 '각 상황에 고유한 다중적인 상호의존적이고 특이한 힘'의 영향을 받는다고 결론 지었다.

Recent research in medical education equally chal- lenges na€ıve assumptions about performance stabil- ity and generic transferability of knowledge and skilful practice. In their study on family practitio- ners’ performance, Wenghofer and colleagues,35 for instance, found that the doctor’s work setting as well as systemic (community-related) factors signifi- cantly impacted performance, with varying effects across different performance dimensions. The study furthermore showed that, although doctor factors significantly influenced performance, they were not nearly as important as previously assumed. The criti- cal influence of context on doctor behaviour was also illustrated in a study by Ginsburg and col- leagues,36 con- cluded that a doctor’s performance was subject to ‘multiple interdependent, idiosyncratic forces unique to each situation’.

맥락적 요소와의 상호 작용으로 인한 성능 변화는 '측정 오류'로 기각되어서는 안되며 개인의 전문 역량을 평가할 때 잠재적으로 가치 있고 의미있는 정보로 간주되어야합니다 .37

perfor- mance variability resulting from interaction with con- textual factors should not be dismissed as ‘measurement error’, but considered as potentially valuable and meaningful information in the appreci- ation of an individual’s professional competence.37

WBA와 수행능력의 객관화

WBA AND OBJECTIFICATION OF PERFORMANCE

사회 문화적 관점에서 볼 때, 퍼포먼스는 사회적으로 구성되며 각 개인의 인식과 작업의 상황 별 특성과의 상호 작용에 의해 결정됩니다. 이 프레임 워크를 작업 환경에서의 성과 평가에 적용하면, 수행능력에 대한 '그림'은 결코 객관적 일 수 없으며, 항상 개별 평가자의 관점과 가치에 따라 개념화되고 구성됩니다. 평가는 평가자 자신의 독특한 경험, 평가 과제 및 그 맥락에서의 사회적 구조에 영향을 받았다.

From a socio-cultural perspective, performance is socially constructed and determined by each per- son’s perception of and interaction with situational characteristics of the task at hand. When this frame- work is applied to the assessment of performance in work settings, a picture emerges of performance that can never be ‘objective’, but is always concep- tualised and constructed according to the perspec- tives and values of an individual assessor, influenced by his or her unique experiences and the social structures in the assessment task and its context.38

실제로, 산업 및 조직 심리학에서의 연구 결과는 작업 환경에서의 성과에 대한 평가자의 판단이 현장에서만 이해 될 수 있음을 나타냅니다. 평가자의 행동은 평가가 이루어지는 맥락 내에서 이루어집니다. 

• WBA에서 평가자는 복잡하고 예측할 수없는 업무에 종사하고 있으며, 시간 압박과 상충되는 목표, 정의가 불분명한 목표를 자주 직면합니다. 39,40 

• 평가자의 행동과 평가 결과는 개인간의 관계 (학습자 및 동료와의 관계), 정치적, 정서적 및 문화적 요인과 같은 업무 환경에서의 다양한 다른 요소들에 의해서도 영향을 받는다.

In fact, research findings in industrial and organisa- tional psychology indicate that assessors’ judgements of performance in work settings can only be under- stood in situ: assessor behaviours are framed within the context in which assessment takes place. In WBA, assessors are engaged in complex and unpre- dictable tasks, more often than not in a context of time pressures and conflicting as well as ill-defined goals.39,40 Assessors’ behaviours and assessment out- comes are furthermore influenced by a broad range of other factors in the work context, such as inter- personal relationships (with the learner as well as with co-workers), political, emotional and cultural factors.41,42

구성 주의자, 사회 문화적 평가 방법에서 평가자는 더 이상 수동적 측정 도구가 아니고, 평가 컨텍스트의 자체적인 현실성을 해석하고 구성하는 능동적인 정보 처리자이다. Deres와 Petrosky가 말한 것처럼 43) : '재판관'의 가치관, 경험 및 관심사는 복잡한 수행능력을 해석 할 수있게 해주는 요소이지만, 광범위한 훈련과 보정을 하더라도 이들을 구분지어주는 특성이 절대 사라지지 않을 것이다.

Central to constructivist, socio-cultural approaches to assessment is the view that assessors can no longer be seen as passive measurement instruments, but as active information processors who interpret and construct their own personal real- ity of the assessment context. Or, as stated by De- landshere and Petrosky43: ‘Judges’ values, experiences, and interests are what makes them capable of interpreting complex performances, but it will never be possible to eliminate those attributes that make them different, even with extensive train- ing and “calibration”.’

이것은 실무 집단 내에서 그리고 그 사회 전반에 걸쳐 정직한 의견 차이가있을 수 있음을 의미한다. 예를 들어 환자와의 만남에서 적절한 감독자 평가자의 동의는 동료, 연수생 또는 환자. 평가자의 해석 및 성과 관련 행동의 점수 산정에서의 차이점은 '각각의 소스가 각기 다른 상황에서의 행동을 평가할 때, 공통된 개인의 직업 성과에 대한 별개의 견해'로 볼 수있다. 

This implies that there can be honest disagreement within and across communi- ties of practice: a specific supervisor–assessor’s con- ception of appropriate performance in, for instance, a patient encounter may be different from that of co-workers, the trainee or the patient. Differences in an assessor’s interpretation and scoring of perfor- mance-related behaviours may then be viewed as ‘distinct views of a common individual’s job perfor- mance that may be equally valid’44 or ‘meaningful differences in….. behavior across sources, especially when each source rates… behavior in different situ- ations’.16

최근 의학 교육에 관한 연구 45,46은 산업 및 조직의 정신병 학에서 발견 한 사실을 확인시켜 준다. Govaerts 등의 연구에 따르면 연수생의 성과를 관찰하고 평가할 때 평가자는 업무 효율성에 관한 판단과 결정에 도달하기 위해 작업 별 성과 이론 및 사람 스키마와 함께 일반적인 방법을 사용했습니다.

Recent research in medical education45,46 confirms findings from industrial and organisational psychol- ogy. A study by Govaerts et al.46 showed that, when observing and evaluating trainee performance, assessors interac- tively used general as well as task-specific perfor- mance theory and person schemas to arrive at judgements and decisions about performance effec- tiveness.

이러한 발견은 WBA에 대한 사회 문화적 접근을 지원하며, 평가자는 훈련, 사회화 및 업무 경험을 통해 자신의 성과 이론 및 역량 개념을 구성하고 재구성하는 '사회적 인식자'로 간주되어야합니다. 따라서 작업 환경의 평가자는 본질적으로 특이한 것idiosyncratic이므로 다수의 평가자는 다수의 현실을 구성하게됩니다.

These find- ings provide support for socio-cultural approaches to WBA, in which assessors are to be seen as ‘social perceivers’ who construct and reconstruct their own performance theories and conceptualisations of competence through training, socialisation and task experience. Consequently, assessors in work settings are inherently idiosyncratic, and multiple assessors will have multiple constructed realities.

WBA와 타당화에 대한 함의

IMPLICATIONS FOR WBA AND VALIDATION

이 논문에서 제시된 연구와 통찰력을 토대로, 우리는 WBA가 본질적으로 가치-의존적인, 사회적 해석적 행동이라고 주장하고 싶다. 평가 과정에 참여한 개인의 경험, 의미, 의도 및 해석을 반영한다 ( '해석 적 공동체'). 47 사회 문화적 이론에 근거한 학습과 수행의 개념은 학습 성과에만 중점을 두는 것이 아니라, 오히려 그보다도 역동적이고 복잡한 작업 환경 설정에서 벌어지는 학습, 퍼포먼스 및 퍼포먼스 해석의 기초가 되는 프로세스에 대해 초점을 두기를 바란다. 이는 평가의 목적이 학습이나 학습 결과를 '객관적으로' '정확하게'정량화하는 것이 아니라 피훈련자와 의사가 무엇을, 어떻게, 왜 배우고 있는지 이해하는 것임을 의미합니다. 이것은 학습자, 학습 환경 및 학습이 일어나고있는 더 큰 사회 시스템과의 관계 등의 상황을 이해하고 설명하는 것을 수반한다. 평가 질문Assessment question은 학습자의 경험, 그들이 참여한 활동 학습 성과, 학습 결과 및 성과 해석을 형성하는 사회적, 문화적, 윤리적 문제에 대한 것이어야 한다.

On the basis of the research and insights presented in this paper, we want to argue that assessment in work settings is a socially situated interpretive act, which is inherently value laden. It reflects the expe- riences, the meanings, intentions and interpreta- tions of individuals involved in the assessment process (‘the interpretive community’).47 Concep- tions of learning and performance based in socio- cultural theory call for assessment that does not just focus on learning outcomes, but also (and perhaps even more so) on the processes underlying learning, performance and performance interpretations in dynamic, complex workplace settings. This implies that the purpose of assessment is not to ‘objectively’ and ‘accurately’ quantify learning or learning out- comes, but to understand what, how and why train- ees and doctors are learning. This entails under- standing and explicating context, i.e. the relation- ship between learners, the learning environment and the larger social systems within which learning is occurring.9 Assessment questions need to address learners’ experiences, the activities that they are engaged in as well as the social, cultural and ethical issues that shape learning, learning outcomes and performance interpretations.12

질적 연구 패러다임 (예 : 구성 주의자 - 해석 적) 내에 위치하는 질의 시스템이 여기에 적합하다.

Inquiry systems that are situated within qualitative research paradigms (e.g. constructivist- interpretive) seem to be well suited for this task.

지난 수십 년 동안 사회 구성 론적, 사회 문화적 학습 이론과 이론에 입각하여 평가에 대한 '해석주의적 접근'이 제안되었다. 9,11,12,48,49 이러한 접근 방식의 중심적인 특징은 다음과 같다. 해석주의적 접근에서 성과 평가는 절대적이고 객관적인 진리가 아니라 사회적 구조 또는 그에 대한 해석으로 간주된다 49. 성과의 '진정한'점수 또는 '객관적인'점수는 없습니다. 오히려 '진실'은 특정 시점에서, 최대한 정보에 입각하여 성과에 대한 정교한 판단을 내려야 하는 평가사들 사이의 합의의 문제입니다.

During the past decades, ‘interpretivist approaches’ to assessment have been proposed, in line with social-constructivist and socio-cultural theories of learning and performance.9,11,12,48,49 A central fea- ture of these approaches is that performance assess- ments are seen as social constructions or interpret- ations, rather than absolute, objective truths49; there is no single ‘true’ score or ‘objective’ rating of per- formance. Rather, ‘truth’ is a matter of consensus among assessors who have to arrive at judgements on performance that are as informed and sophisti- cated as can be at a particular point in time.

각 접근법에는 고유 한 기원과 뉘앙스가 있지만 해석 주의적 평가 접근법의 주요 특징은 다음과 같이 요약 할 수있다 43,48,49,51 :

Although each approach has its own origin and nuances, key char- acteristics of interpretivist assessment approaches could be summarised as follows43,48,49,51:

1 WBA 평가에서 task은 상호교환가능한 것은 아니나, 학습 및 평가에 고유한 기여를 합니다. WBA는 평가자와 평가 대상자 사이에서 '사회적으로' 구성되므로, 학습자는 일반적으로 situated assessment process를 파악하기 위해 학습 및 평가 활동을 문서화 한 서류 또는 포트폴리오를 준비합니다. 평가는 학습자가 학습하고 경험하는 내용, 학습 목표 및 학습 계획, 평가 활동 (예를 들어 작업 샘플링) 및 성과 평가를 문서화하기 위해 학습자가 작업 (및 학습)하는 상황을 설명하도록 요구합니다. 학습자가 특정 평가 작업의 요구를 어떻게 인식하는지 아는 것은 퍼포먼스 해석에서 중요한 정보이다. 따라서 학습자의 관점은 일반적으로 평가 프로세스에 통합되며, 피드백 사이클과 학습 및 업무 성과에 대한 비판적인 분석 및 성찰이 포함됩니다.

1 In WBA assessment, tasks are not interchange- able, but make unique contributions to learning and assessment. As assessments in work settings are ‘socially constructed’ between assessors and the person who is being assessed, learners typi- cally prepare a paper or portfolio documenting their learning and assessment activities to cap- ture situated assessment processes. Assessment asks learners to describe the contexts in which they work (and learn), to document their learn- ing experiences, learning goals and learning plans as well as assessment activities (work sam- pling, for instance) and performance evalua- tions. Knowing how a learner perceives the demands of any particular assessment task is considered critical information in performance interpretations. Therefore, the learner’s point of view is typically incorporated in the assess- ment process, as are intermittent feedback cycles with critical analyses and reflection on learning and task performance;

2 평가는 수치 적 점수가 아닌 서술에 의존합니다. 전문가 판단 (평가가 이루어지는 맥락에 대해 가장 잘 알고있는 사람, 의도적으로 파악하고 설명하는 사람)을 통해서 성과에 대해 정교하고 서면으로 평가 된 의견을 형성함으로써, 의도적으로 성과의 맥락-특이적 측면을 잡아낸다. 점수 자체만으로는 의미가 없기 때문에, 평가 도구는 평가자가 학습자의 역량 개발을 이끌어 내고 역량 달성에 관한 의사 결정에 의미있는 서술문을 제공하는데 도움이 되어야 한다.

2 Assessments rely on narratives rather than numerical scores: assessments seek to purpose- fully generate elaborate, written evaluative state- ments about performance by expert judges – those who are most knowledgeable about the context in which assessment occurs, intention- ally capturing and accounting for context-spe- cific aspects of performance. As scores have little intrinsic meaning, assessment instruments challenge assessors to provide narrative com- ments that are useful in guiding the learner’s competence development as well as meaningful in decision making about competence achieve- ment;

3 평가 프로세스의 모든 이해 관계자는 지속적으로 도전을받으며 기본 해석과 가정 해석을 문서화해야합니다.

3 All stakeholders in the assessment process are thus continuously challenged and required to document their performance interpretations as well as to articulate underlying values and assumptions;

4 개인의 성과 레퍼토리를 심층적으로 이해하고, 다양한 업무 요구 사항에 대한 적응 능력을 알기 위해 광범위한 업무, 상황 및 평가자로부터 성과 평가가 수집됩니다.

4 Written performance evaluations are collected across a broad range of tasks, contexts and assessors, in order to gain in-depth understand- ing of a person’s performance repertoire and capability to adapt to various task requirements,

5 역량에 대한 추정은 평가과정에서 이해 관계자 간의 공개적인 심사숙고와 대화를 통해 사용 가능한 모든 성과 증거를 비판적으로 검토하는 것을 기반으로합니다. 해석적 접근에서 해석은 단일 시기의 성과 또는 단일 성과 문서에 한정되지 않는다. 의미있는 해석은 평가 및 성능 평가 전반에 걸쳐 구성 될 수 있고, 그래야 한다. 여러 출처로부터의 데이터는 작업 및 성격 전반에 걸친 성과 패턴뿐만 아니라 외향적 측면의 성과를 식별하기 위해 삼각측량, 검토 및 논의되어야한다. 전체적인 수준의 성과에 대한 일관된 해석이나 통합적 판단이 내려질 때까지 해석은 모든 가용 증거를 활용하여 반복적으로 검증된다. 필요하다면, 결정은 성과의 특정 측면에 관한 추가 정보 수집을위한 조사 전략을 포함한다. 이것은 '아무것이나 해도 된다anything goes'는 의미는 아닙니다. 

5 Inferences about professional competence are based on critical review of all available perfor- mance evidence, through open deliberative and critical dialogue among stakeholders in the assessment process. An interpretive approach does not imply that interpretations are bound to single assessment occasions or to single per- formance documentations. Meaningful interpre- tations can, and should be, constructed across assessment occasions and performance evalua- tions. Data from multiple sources are to be tri- angulated, reviewed and discussed to identify patterns of performance across tasks and con- texts as well as any outlying aspects of perfor- mance. Interpretations are repeatedly tested against all available evidence, until a coherent interpretation or an integrative judgement on an overall level of performance can be accounted for43,48. If necessary, decisions involve inquiry strategies for additional informa- tion gathering about specific aspects of perfor- mance. This does not mean that ‘anything goes’; 

본질적으로 최종 결정을 내릴 때는 전문적인 판단이 필요합니다. 전문적인 판단은 그 판단이 방어 가능하고 신뢰할 수있는 방식으로 증명되고, 동기 부여되고 구체화되어야합니다. 성과 평가를 안내하기 위해 가치 및 표준에 대한 집단 토론을 통해 상호주의적인 범주 또는 차원을 개발할 수 있습니다. 증거에 대한 비판적 검토, 의사 결정 과정의 문서화, 다른 해석 및 가정에 대한 의문 제기는 모두 필수적이며 최종 결정의 타당성과 공정성에 기여합니다. 평가의 해석적 접근의 강점 중 하나는 추적가능성이며, 이는 풍부하고 의미있는 정보와 가치와 표준에 대한 문서화에 의해 이뤄진다. 외부 평가자는 프로세스가 공정하고, 전문적인 표준을 반영하며, 무능한 전문가로부터 일반 대중을 보호하기에 충분히 엄격하다는 것을 보증하기 위해 감사 역할을 맡을 수 있습니다. 이러한 관점에서, 해석적 평가는 평가자의 생각을 숨기는 일련의 점수에 의존하는 평가보다 더 신뢰할 수있다.

essentially, final decision making requires professional judgements that should be corrobo- rated, motivated and substantiated in such a way that the judgement is defensible and credi- ble. To guide the performance evaluation, inter- pretive categories or dimensions can be developed through collective discussion of val- ues and standards. The critical review of the evi- dence, the questioning of the different interpretations and assumptions as well as the documentation of the decision-making process are all essential and contribute to the validity and fairness of the final decision. Part of the strength of interpretive approaches to assess- ment is its traceability, through documentation of rich, meaningful information and articulation of values and standards. External evaluators may then assume an auditing role to ensure that the process is equitable, reflects pro- fessional standards and is sufficiently rigorous to protect the public from incompetent profession- als. In this respect, interpretive assessment may be more trustworthy than assessments relying on a set of scores that mask assessors’ think- ing.51

평가에 대한 이러한 견해는 심리측정 기반의 환원주의적 (실증주의 중심의) 접근 방식과는 근본적으로 다르다. 그럼에도 심리측정적 기반과 구성주의- 상호주의적 평가 방법이 갖는 공통점은 신뢰할만한 증거에 근거하여 전문역량에 대한 신뢰성 있고 방어 가능한 추론을 해야 한다는 것이다. 두 가지 틀 내에서 평가 타당성 확인은 '관찰 된 성과에서 결론 및 결정으로 이어지는 일련의 추론 및 가정의 개발'과 '이러한 추론 및 가정의 타당성 평가 ... 적절한 증거의 사용'을 포함한다.

These views on assessment are fundamentally differ- ent from prevailing psychometric-based, reductionist (positivist-oriented) approaches to assessment. What both the psychometric-based and constructivist-inter- pretivist assessment approaches have in common, though, is that inferences about professional compe- tence need to be credible and defensible, based on trustworthy evidence. Within both frameworks, assessment validation comprises the ‘development of a series of inferences and assumptions leading from the observed performances to conclusions and decisions…’ and ‘evaluation of the plausibility of these inferences and assumptions ….. using appro- priate evidence’.52

분명히, 정량적 평가와 관련된 신뢰성과 타당성에 대한 전통적인 관념은 상황에 따른 성과 해석의 평가에서는 유용성이 제한적이다. 해석주의적 평가 접근법의 근본적인 가정은, 이론적인 틀로서의 타당성 이론과 질적 평가에서 타당화 과정에 사용될 개념적 도구를 요구한다. 해석주의자 평가 접근법에서 사용되는 질적탐구의 '타당성'을 결정하기 위하여 이러한 도구가 사용되어야 한다. 링컨 (Lincoln)과 구바 (Guba) 53,54의 평가에 대한 고전적 연구에서 구성주의자 - 해석주의자 평가의 적절성을 판단하는 데 사용할 수있는 기준이 제안되었습니다. 평가 품질을 평가하기위한 신뢰성 (즉, 신용, 이전 가능성, 의존성 및 확인 가능성) 및 진위성 (즉, 공평성, 개방성, 협상 및 공유 된 이해)과 같은 기준의 사용을 제안합니다.

Clearly, traditional notions of reliability and validity related to quantitative evalua- tion of assessment practices have limited usefulness in the evaluation of situated performance interpre- tations. The theoretical assumptions underlying interpretivist assessment approaches, call for validity theory that provides the theo-retical framework and the conceptual tools to guide the validation process in qualitative assessment inquiry , and we argue that they can and should be used to determine ‘validity’ (i.e., trustworthiness, credibility and defensibility) of the qualita- tive inquiry in interpretivist assessment approaches.  Criteria and standards that can be used to judge the adequacy of constructivist-interpretivist assessment have been suggested by Lincoln and Guba53,54 in their classical work on evaluation. They suggest the use of criteria such as trustworthiness (i.e. credibility, transferability, dependability and confirmability) and authenticity (i.e. fairness, openness, negotiation and shared understanding) to evaluate assessment quality.

그들은 또한 질적 탐구를 엄격하게하기 위해 다양한 기술이나 방법론적 전략의 사용을 제안한다. 이러한 기술에는 다음이 포함됩니다. 피어 브리핑; (신흥 해석에 도전하는 반박 표본을 적극적으로 추구하는) 불확실한 증거 분석, 신원 확인을위한 진보적 인 주관성, (양도 성 달성을위한) 두껍고 풍부한 설명, 감사 추적, 외부 감사 및 평가 결정 프로세스 (의존성 및 확인 가능성 확보).

They furthermore propose the use of vari- ous techniques or methodological strategies to bring rigour to the qualitative inquiry. These techniques include: 

• prolonged engagement in the assessment process; 

• peer debriefing; 

• analysis of disconfirming evidence (i.e. actively seeking counterexamples that challenge emerging interpretations), 

• member checks and progressive subjectivity (to achieve credibility) as well as 

• thick, rich description (to achieve transferability) and 

• the audit trail, external audit and documentation of the assessment decision pro- cesses (to achieve dependability and confirmability).

CONCLUDING REMARKS

Our argument, is that when building on specific frameworks in (evaluation of) assessments, one has to be very clear about assump- tions underlying its use. On the basis of socio-cul- tural learning theories we propose approaches towards WBA that are grounded in qualitative (con- structivist-interpretivist) research paradigms, to gen- erate in-depth understanding of and meaningful information about critical aspects of professional competence. Rich, narrative evaluations of perfor- mance as well as articulation of underlying perfor- mance theories and values not only enhance the formative function of the assessment system to maximise learning,58 but are indispensible for trust- worthy decision making in summative assessments. Our constructivist-interpretivist approach to WBA seems to cater to the growing awareness in the liter-ature that an exclusive focus on the psychometric discourse may no longer be helpful in facing assess- ment challenges in modern health care practices and education.60,61 

Rather, we should aim for careful balancing of quantitative and qualitative approaches in our assessment programmes, justify- ing our choices on the basis of assessment purposes as well as conceptualisations of learning and perfor- mance/competence.

Finally, we think that conceptualisations of assess- ment and validity as described in this paper apply to all kinds of unstandardised assessments – in a range of (school-based) educational contexts. Changes in assessment towards assessment for learning, increas- ingly call for reconsideration of conventional notions of assessment and assessment validity.

GLOSSARY TABLE

Social/socio-cultural learning theories emphasise learning through active participation in social (authentic, profes- sional activities). Learners develop by actively engaging in ongoing processes of workplaces. The learning processes as well as learning outcomes (performance) are deter- mined by social, organisational, cultural and other contex- tual factors. However, socio-cultural learning theories also reject the idea that the individual learner should be the exclusive focus of analysis: learning can be either individ- ual or social (collective).17

Constructivist-interpretivist assessment approaches view assess- ment to be value laden and socially constructed. Assessors are social beings who construct the assessment according to their own values, beliefs and perceptions. Performance can therefore never be objective. The interpretive approach focuses on participants’ own perspectives in conceptualising and reconstructing their experiences, expectations, interpretations and assumptions.38

23 Mennin S. Self-organisation, integration and curriculum in the complex world of medical education. Med Educ 2010;44:20–30.

36 Ginsburg S, Bernabeo E, Ross KM, Holmboe ES. “It depends”: results of a qualitative study investigating how practicing internists approach professional dilemmas. Acad Med 2012;87 (12):1–9.

50 Kuper A, Reeves S, Albert M, Hodges BD. Assessment: do we need to broaden our methodological horizons? Med Educ 2007;41:1121–3.

Med Educ. 2013 Dec;47(12):1164-74. doi: 10.1111/medu.12289.

Validity in work-based assessment: expanding our horizons.

"전문직 역량 평가: 방법에서 프로그램까지" 다시보기 (Med Educ, 2016)

Revisiting ‘Assessing professional competence: from methods to programmes’

Cees P M van der Vleuten

이전 논문은 모든 평가 방법의 5 가지 퀄리티특성을 확인했습니다 : 신뢰성; 효력; 교육적 영향; 수용 가능성 및 비용 2이 다섯 가지 기준은 평가 연구에서 자주 사용되었지만 이것은 논문의 주된 메시지가 아니 었습니다 .2 논문의 핵심 교리는 어떤 하나의 평가방법도 완벽할 수 없다는 것이 었습니다. 실제로 평가는 항상 타협을 수반합니다.

The earlier paper identi- fied five distinct quality characteristics of any assessment method: reliability; validity; educational impact; acceptability, and costs.2 Although these five criteria have been used frequently in research on assessment, this was not the main message of the paper.2 The central tenet of the paper2 was that any single assessment method can never be per- fect on all criteria and in reality assessment always involves a compromise.

2005 년 논문에서 우리는 어떤 단일 평가도 실제로는 측정이 아니라고 주장했다. 새로운 것이든 오래된 것이든, 객관적이든 주관적이든, 표준화든 비 표준화 된 모든 평가는 안정성을 최소화하기 위해 최소 3-4 시간의 테스트 시간이 필요합니다. 신뢰도 기준이 0.80 인 경우에도 합격 / 불합격 판정의 20 %는 오판 (긍정 판정)과 부정 판정 (합격 / 불합격 판정 점수와 관련된 점수 분포에 따라) 일 수 있습니다.

In the 2005 paper,1 we argued that any single assess- ment has such severe limitations that any single measurement is really no measurement. Any assessment, old or new, objective or subjective, standardised or unstandardised, requires at least 3–4 hours of testing time to achieve minimal reliability. Even with a reliability criterion of 0.80, we should realise that 20% of the pass/fail decisions we make may be false positives and nega- tives (depending on the distribution of scores in relation to the pass/fail cut-off score).

우리가 한 가지 방법으로 모든 것을 가질 수 없다면, 여러 가지 방법으로 사용하면 가능할까?

If we can’t have it all in a single measure, can we then have it all across measures?

예를 들어, 트레이닝 평가 프로그램의 여러 방법에서 평가 정보를 결합하면 개별 방법의 신뢰성과 교육적 영향에 대한 신뢰도가 떨어질 수 있습니다. 나는 개별 조치의 신뢰성에 대한 검사를 포함하는 인정 관행에 대해 알고 있습니다. 그 인증평가에서는 신뢰도가 충분히 높지 않으면 문제가 된다. 하나의 정신 측정 방법을 절대적으로 사용한다는 것을 듣고 나서 경악했다. 하나의 척도 (신뢰성 계수)는 아무것도 없는 것과 같다. 오히려 우리는 전체 프로그램의 교육적 맥락과 목적에 비추어 타협이 정당화될 수 있는 평가방법의 조합을 주의 깊게 선택해야합니다.

For example, if we combine assessment information across methods in an in-training assess- ment programme, we might compromise more on the reliability of individual methods and less on educational impact. I am aware of accreditation practices which involve inspection of the reliabilitiesof individual measures: if these are not high enough, the schools in question are in trouble. I shiver when I hear about such an absolute use of a single psychometric measure. Here, one measure (the reliability coefficient) is no measure. Rather,  we should make a mindful choice of a combination of methods in which compromises are justified in light of the educational context and the purpose of the whole programme.

나중에이 연구는 평가 프로그램을위한 교육 중립적 인 설계 가이드 라인을 개발했을 때 Joost Dijkstra의 연구 결과로 보완되었습니다 .6이 가이드 라인은 적어도 두 가지 이상의 평가 요소가있는 평가 환경에 적합합니다. 또한 인증 컨텍스트에 적합합니다. 그들은 진료 지침이 아니라 처방전입니다. 예를 들어, 매우 기본적인 가이드 라인은 다음과 같다 : '결정 (및 결과)은 그들이 기반으로하는 정보의 질에 비례해야한다.'6 더 구체적인 가이드 라인은 다음과 같다 : '표준 설정 절차에는 이론적 근거를 제공해야한다 .

Later this work was complemented by that of Joost Dijkstra when we developed a set of education-neutral design guide- lines for assessment programmes.6 These guidelines are appropriate for any assessment context that has at least two or more assessment elements. They are also appropriate for a certification context. They are truly guidelines, not prescriptions. As an example, a very basic guideline is: ‘Decisions (and the conse- quences) should be proportional to the quality of the information on which they are based.’6 A more specific guideline is: ‘A rationale should be pro- vided for the standard-setting procedures.’6

나는 2010 년에 이러한 일관성을 출판하여 '평가의 원칙'으로, 전문 역량 평가 이론의 발전을위한 'building block'로 지정했다. 이 원칙은 표준화 평가(밀러의 피라미드의 처음 세 층)과 비표준화 평가(피라미드의 꼭대기)로 나뉘어진다. 

• 첫 번째 예는 품목 및 테스트 개발에 대한 품질 보증의 필요성을 나타내는 '타당도는 빌트인 될 수 있음'입니다. 

• 후자의 예로 '평가 도구의 타당도는 도구보다 사용자에 달려있다'로서, 사용자를 신중하게 준비해야 할 필요성을 지적한다.

I published these consis- tencies in 2010, designating them as ‘principles of assessment’ and perhaps as ‘building blocks’ for the further development of theory in the assessment of professional competence.8 The principles were divided into two classes for, respectively, standar- dised (the first three layers of Miller’s pyramid) and unstandardised (the top of the pyramid) assessment. An example of the first is ‘Validity can be built in’, which points to the need for quality assurance around item and test development. An example of the latter is ‘Validity resides more in the users of the instruments than in the instruments that are used’, which points to the need to carefully prepare users of the instruments (e.g. assessors and learners) for their roles in the assessment.

'교육적 결과'는 2005 년 논문 1에 의도적으로 포함되었으며, '평가가 학습을 유도한다'는 원칙은 2010 년 논문에서 매우 두드러졌다. 여기서 assessment for learning이 언급되었다. 10 assessment of learning은 교육 시스템에 부정적인 영향을 미칩니다. 이러한 평가에서 실패한 경우, 우리는 아무 생각없이 테스트를 반복한다. 그리고는 문제가 무엇인지 보지 않고 단순히 다음과 같이 말합니다 : '최소한의(!) 표준을 갖추었는지 다시 한번 증명하라' 그러한 평가 시스템에는 학습자에 관한 정보가 거의 없습니다.

이것은 현대의 학습 견해와 일치하지 않습니다. 현대 교육은 본질적으로보다 구성주의적이거나 사회 문화적 학습 이론에 기초한다. 학습자는 지식을 구성하고 실제 지식을 적용, 경험 및 연습합니다. 피드백, metacognition, 성찰, 자기 모니터링 및 자기 주도는 평생 학습을위한 중요한 개념이다.

내 생각에, 학습이 평가를 주도하기 시작했다. 다시 한 번 매우 영향력있는 동료와 함께 2012 년에 평가 프로그램을위한 모델 또는 이론적 틀을 발표했습니다 .11 모든 평가는 하나의 데이터 요소로 간주됩니다. 합격 / 불합격 결정은 개별 데이터 포인트에서 분리됩니다. 각 데이터 포인트는 학습자에게 정보를 최대한 제공하고 정보가 풍부합니다. 결정은 많은 데이터 포인트를 기반으로합니다. 학습자는 스스로 분석해야하며, 멘토도 이 과정을 함께합니다. 필요한 데이터 요소의 수는 의사 결정의 중요성에 비례합니다. 고부담 결정은 많은 데이터 요소와 풍부한 정보를 기반으로 이뤄진다.

In my thinking, learning started to drive assessment. Again with very influential colleagues, I published a model or theoretical framework for assessment programmes in 2012.11 Any assessment is seen as but one data point. Pass/fail decisions are decoupled from individual data points. Each data point is maximally informative to the learner and is information-rich. Decisions are taken on the basis of many data points. Learners are required to self-analyse and are mentored as they do so. The number of data points required is proportional to the importance of the decision. High-stake decisions are taken on many data points and a lot of rich information.

평가 정보는 학습자에 대한 이야기를 들려주어야 한다

Assessment information should tell a story about the learner

프로그램적 평가를 위한 이 모델이 교육 실무에서 잘 받아 들여지고 있지만 구현하기가 어렵습니다. 평가를 둘러싼 사고의 문화적 변화가 필요합니다. 교사 또는 감독자는 기존 레퍼토리 내에 있지 않을 수도있는 평가에서 다른 역할을 부여받습니다. 이러한 변화는 실증주의적 관점의 평가에서 좀 더 구성주의-상호주의적 평가 방식으로의 전환을 필요로한다 .12 교육의 문화적 변화는 하룻밤 사이에 이루어지지 않는다. 비슷한 문화적 변화가 필요한 문제 중심 학습은 개발에 수년이 걸렸습니다. 혁신은 천천히 진행되고 프로그래적 평가도 그러할 것이다.

Although this model for programmatic assessment is well received in educational practice, it is diffi- cult to implement. It requires a cultural change in our thinking around assessment. Teachers or supervisors are given different roles in assessment that may not lie within their existing repertoire. Such a change requires a shift from a positivist view of assessment to a more constructivist–inter- pretivist approach to assessment.12 Cultural changes in education are not made overnight. Problem-based learning, which required a similar cultural change, has taken many years to develop. Innovations move slowly, and so will programmatic assessment.

4 Baartman LKJ, Bastiaens TJ, Kirschner PA, van der Vleuten CPM. The wheel of competency assessment. Presenting quality criteria for competency assessment (2):153–70. programmes. Stud Educ Eval 2006; 32

5 Baartman LKJ, Prins FJ, Kirschner PA, van der Vleuten CPM. Determining the quality of assessment programmes: a self-evaluation procedure. Stud Educ (3):258–81. Eval 2007;

6 Dijkstra J, Galbraith R, Hodges BD, McAvoy PA, McCrorie P, Southgate LJ, van der Vleuten CP, Wass V, Schuwirth LW. Expert validation of fit-for-purpose guidelines for designing programmes of assessment. BMC Med Educ 2012; :20.

8 van der Vleuten CP, Schuwirth LW, Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol (6):703–19. 2010;

12 Govaerts M, van der Vleuten CPM. Validity in work- based assessment: expanding our horizons. Med Educ (12):1164–74. 2013; 47

Med Educ. 2016 Sep;50(9):885-8. doi: 10.1111/medu.12632.

Revisiting 'Assessing professional competence: from methods to programmes'.

합목적성을 위한 평가 프로그램 모델(Med Teach, 2012)

A model for programmatic assessment fit for purpose

C. P. M. VAN DER VLEUTEN1, L. W. T. SCHUWIRTH2, E. W. DRIESSEN1, J. DIJKSTRA1, D. TIGELAAR3, L. K. J. BAARTMAN4 & J. VAN TARTWIJK5

1Maastricht University, The Netherlands, 2Flinders Medical School, Australia, 3Leiden University Graduate School of Teaching, The Netherlands, 4Utrecht University of Applied Sciences, The Netherlands, 5Utrecht University, The Netherlands

도입

Introduction

목적 적합성은 퀄리티의 기능적 정의이며, 그 본질은 평가 프로그램의 목적 달성에 기여한다는 개념이다. 따라서 목적 적합성은 목적으로 해석되는 다른 퀄리티 정의 (예 : 제로 결함)를 포함하는 포괄적 퀄리티 개념이다 (Harvey & Green 1993).

Fitness for purpose is a functional definition of quality, the essence of which is the notion of contributing to the achievement of the purposes of the assessment programme. Fitness for purpose is thus an inclusive notion of quality, encompassing other quality defi- nitions (e.g. zero defects) which are interpreted as purpose (Harvey & Green 1993).

좋은 시험은 좋은 품질의 문항의 무작위 집합이라는 것 이상이라는 견해는 이제 일반적으로 받아들여지고 있으며, 훌륭한 평가 프로그램은 무작위의 훌륭한 도구 세트 (Schuwirth & Van der Vleuten 2011) 이상입니다. 프로그래밍 방식 평가의 문제는 이 분석을 넘어서서도 확장됩니다. 좋은 품질의 평가문항item은 얻을 수 있지만, 이상적인 도구instrument은 없습니다. 1996 년 초 우리는 어떠한 single assessment도 퀄리티 기준에 대한 타협을 의미한다고 주장했다 (Van der Vleuten 1996).

Analogous to the now generally accepted view that a good test is more than a random set of good quality items, a good programme of assessment is more than a random set of good instruments (Schuwirth & Van der Vleuten 2011). The problem of programmatic assessment extends even beyond this anal- ogy. For, whereas good quality items are achievable, there is no such thing as an ideal instrument. As early as 1996, we contended that any single assessment implies a compromise on quality criteria (Van der Vleuten 1996).

제안 된 모델은 교육적 측면에서 프로그램 적 평가에 국한되므로 라이센스 평가 프로그램은 고려하지 않습니다. 이 모델은 '학교 기반', 교실 수업 강조 또는 대학원 전문 교육 프로그램과 같은 '업무 기반'인 학습 프로그램 유형과 관련한 것이다.

The proposed model is limited to programmatic assessment in the educational context, and consequently licensing assess- ment programmes are not considered. The model is generic with respect to types of learning programmes, which may be ‘school based’, emphasising classroom teaching, or ‘work based’, such as postgraduate specialty training programmes.

우리는 모델에 맞는 평가 프로그램 내에서 통합되어야하는 세 가지 근본적인 목적을 정의한다, 즉 

• 학습을 최대한 촉진하는 프로그램 (학습을위한 평가)

• 고부담 의사 결정의 견고성을 극대화하는 프로그램 (승진 / 학습자 선택); 

• 교육 및 커리큘럼 향상에 필요한 정보를 제공하는 프로그램. 

우리의 주안점은 처음 두 가지 목적을 최적화하기 위해 고안된 이론 기반 모델 (Schuwirth et al. 2011)입니다.

We define three fundamental purposes that should be united within an assessment programme that fits our model: 

• a programme that maximally facilitates learning (assessment for learning); 

• a programme that maximises the robustness of high- stake decisions (on promotion/selection of learners); 

• a programme that provides information for improving instruction and the curriculum. 

Our main focus for now is a theory-based model (Schuwirth et al. 2011) designed to achieve optimisation of the first two purposes.

Miller 's (1990) 피라미드 중 어느 한 수준에서 평가 방법을 한 번 관리하는 것과 같은 단일 샷 평가, 즉 모든 포인트 측정은 본질적으로 제한되어 있습니다. 내용-특이성(Eva 2003)으로 인해, 개인의 수행은 맥락-의존적이어서 최소한의 신뢰할만한 결과를 얻기위해서는 큰 시험 항목의 표본 (용어의 가장 넓은 의미에서)과 긴 시험 시간이 필요하다 (Van der Vleuten & Schuwirth 2005) . 일회성 측정은 또한 변화 또는 성장을 확립하지 못할 것입니다.

Single-shot assessments, such as a single administration of an assessment method at any one level of Miller’s (1990) pyramid, in other words, all point measurements are intrinsi- cally limited. Due to content specificity (Eva 2003), the performance of individuals is highly context dependent, requiring large samples of test items (in the broadest sense of the term) and long testing times to produce minimally reliable results (Van der Vleuten & Schuwirth 2005). A one-off measure will also not be able to establish change or growth.

(2) 표준화된 평가는 타당도가 '빌트인' 될 수 있다.

(2) Standardised assessment can have validity ‘built-in’ the instrument

테스트 구축과 관련된 품질 관리 절차는 테스트 자료의 품질에 큰 영향을 줄 수 있습니다 (Verhoeven et al., 1999; Jozefowicz 외 2002). 평가자를 교육하고, 점수 목록을 객관화하고, SP를 교육 할 수 있습니다.

Quality control procedures around test construction can have a dramatic effect on the quality of the test material (Verhoeven et al. 1999; Jozefowicz et al. 2002). If applicable, assessors can be trained, scoring lists objectified, simulated patients standardised, etc.

(3) 비표준화된 평가의 타당도는 도구가 아니라 사용자에 달려 있다.

(3) Validity of non-standardised assessment resides in the users and not so much in the instruments

실세계는 표준화되지 않았으며, 위험스럽다. 더 중요한 것은 표준화에 대한 어떤 시도라도 평가를 단순화 할 뿐이라는 것이다 (Norman et al., 1991). 평가 문헌에서 우리는 현재 WBA분야와 같이 성과의 'does'수준을 평가하기 위한 '기술'개발을 목도하고 있습니다 (Norcini 2003; Norcini & Burch 2007). 그러나 정규 교육 환경 (예 : 강의실, 자습서 및 실험실)의 평가는 습관적 성과 평가와 동일한 범주에 속합니다.

The real world is non-standardised and haphazard, and, more impor- tantly, any attempt at standardisation will only trivialise the assessment (Norman et al. 1991). In the assessment literature, we are currently seeing the development of ‘technologies’ for assessing the ‘does’ level of performance, for example in the field of work-based assessment (Norcini 2003; Norcini & Burch 2007). However, assessment in regular educational settings (e.g. classroom, tutorials and laboratory) also comes under the same category of assessment of habitual performance.

이러한 상황(정규교육환경)에서 평가의 타당성을 결정하는 것은 전형적으로 '표준화 된 형식'이 아니다 (Hodges et al. 2011). 평가자, 학습자 및 환자와 같은 '사용자'가 '도구'보다 더 중요합니다. 평가도구 사용에 대한 전문성, 평가를 진지하게 받아들이는 정도 및 지출 할 수있는 시간과 함께 이러한 측면은 평가가 잘 수행되었는지 여부를 결정합니다. 객관식 테스트 시험지를 학생에게 배부하는데에는 교육이 필요하지는 않지만, 표준화되지 않은 관찰 평가를 통해 평가 과정에 참여한 모든 사람들은 광범위한 교육을 받아야합니다.

It is typically not ‘standardised forms’ that determine the validity of the assessment in such situations (Hodges et al. 2011). The users, i.e. the assessors, learners and patients, are more important than the instrument. Their expertise in using the instrument, the extent to which they take the assessment seriously and the time they can spend on it, these aspects together determine whether or not the assessment is performed well. While extensive training is not required for someone handing out multiple choice test booklets to students, with non-standardised observational assessment it is of crucial importance that all those involved in the assessment process should receive extensive training.

피드백을 주거나 양식에 서술을 기록하는 데 반영된 것처럼 사용자가 평가 작업을 진지하게 받아들이는 정도는 궁극적으로 이러한 방법의 유용성을 결정합니다. 사용자, 평가자 및 평가자가 평가의 의미와 목적을 완전히 이해하지 못하면 평가는 보잘것없어질trivialize 것입니다.

The extent to which the users take their assessment task seriously, as reflected in their taking time to give feedback or record a narrative on a form, ultimately determines the utility of these methods. If the users, assessors and assesses do not fully understand the meaning and purpose of the assessment, the assessment is doomed to be trivialised.

(4) 평가의 '부담'은 의사결정에 포함되는 데이터의 숫자와 '부담'간의 비례적 관계에 있는 연속체이다.

(4) The stakes of the assessment should be seen as a continuum with a proportional relationship between increases in stakes and number of data points involved

프로그램적 평가의 개념적 틀의 관점에서, formative-summative 구분은 유용하지 않은데, 왜냐하면 이 framework는 어떤 평가든 정도의 차이만 있을 뿐 형성적이면서 총괄적이어야 한다고 주장하기 때문이다. 따라서 낮은 부담부터 높은 부담까지의 연속체로서 평가의 부담을 개념화하는 것이 더 유용하게 보인다. 저부담 평가에서 결과는 승진, 선택 또는 인증 측면에서 학습자에게 미미한 영향을 주지만, 고부담 평가는 광범위하고 극적인 결과를 초래할 수 있습니다. 평가 프로그램에서 저부담 결정만이 single data point에 의존할 수 있으며, 고부담 결정에는 많은 사람들로부터의 입력이 필요합니다. 고부담 평가일수록 helper로서 교사의 역할은 더욱 쉽게 손상됩니다.

From the perspective of a conceptual framework of programmatic assessment, the formative–summative distinc-tion is not a very useful one, considering that the framework predicates that any assessment should be both formative and summative, only to varying degrees. Therefore, conceptualis-ing the stakes of the assessment as a continuum from low tohigh stakes seems more useful. In low-stake assessment the results have limited consequences for the learner in terms of promotion, selection or certification, whereas high-stake assessment can have far-reaching and dramatic consequences.In a programme of assessment, only low-stake decisions canbe based on single data points, whereas all high-stake decisions require input from many. With higher stake assess-ment, the role of the teacher as helper is more easily compromised.

그러나, 고부담 의사결정이 많은 데이터 포인트에 의해 정보가 제공 될 때, 단일 데이터 포인트로부터 도출 된 풍부한 정보를 무시하는 것은 어리석은 일이다. 따라서 저부담 평가를 결합한 정보는 고부담 정보로 feed되어야 한다. 그러나 아무리 개별 데이터포인트가 저부담이더라도, '무부담'은 아니다.

However, when high-stake decision making is informed by many data points, it would be foolish to ignore the information from the rich material derived from all the single data points. Information from combined low-stake assessments should therefore feed into high-stake information. However low stake an individual data pointmay be, it is never zero stake. 

(6) 전문가 판단은 불가피하다.

(6) Expert judgement is imperative

역량은 복잡한 현상입니다. 특질이라 부르든, 역량이든, 역량 영역이든 평가 결과를 해석하기 위해서는 항상 인간의 판단이 필요하다. 평가표, 표준 수행 등을 제공해서 판단의 주관성을 줄일 수 있으나, 완전한 객관화를 달성하려는 시도는 평가 과정을 단순화 할뿐입니다 (원칙 5의 예 참조). 우리는 평가 과정의 다양한 시점에서 지식이 풍부한 개인의 전문가 판단에 의존 할 수밖에 없습니다. 또한 개별 데이터 요소에 대한 정보를 결합하려면 전문가의 판단이 필요합니다.

Competence is a complex phenomenon. Regardless of whether it is defined in terms of traits (knowledge, skills,problem-solving skills and attitudes) or competencies or competency domains (Frank and Danoff 2007; Accreditation Council for Graduate Medical Education [ACGME] 2009),interpreting assessment results always requires human judge-ment. By providing support, e.g. scoring rubrics, training and performance standards, we can reduce the subjectivity in judgements (Malini Reddy & Andrade 2010), but if we try to achieve complete objectification, we will only trivialise the assessment process (see the examples of principle 5). We have no choice but to rely on the expert judgements of knowl-edgeable individuals at various points in the assessment process. We also need expert judgement to combine informa-tion across individual data points

방대한 의사 결정에 관한 문헌에서 보험 통계적 의사 결정 (Shanteau 1992)에 비해 인간의 마음은 오류가 없다면 아무 것도 아님을 압니다. 그러나 스마트 샘플링 전략과 절차적 근거에 의한 체계적인 편향으로 판단의 무작위 편향을 극복 할 수 있다. 샘플링 관점은 많은 유형의 평가 상황에서 효과적임이 입증되었다 (Van der Vleuten et al., Williams et al., 2003; Eva et al. 2004). 우리는 많은 판단을 사용하여 신뢰할 수있는 정보를 생산할 수있다.

From a vast amount of literature on decision making, we know that the human mind is nothing if not fallible, compared to actuarial decision making (Shanteau 1992). We argue, how-ever, that random bias in judgement can be overcome by smart sampling strategies and systematic bias by procedural mea-sures. The sampling perspective has been proven to be effective in many types of assessment situations (Van der Vleuten et al. 1991; Williams et al. 2003; Eva et al. 2004):we can produce reliable information simply by using many judgements.

사실, 판단에 크게 의존하는 평가 방법은 대부분의 객관화되고 표준화 된 방법 (Van der Vleuten et al. 2010)보다 훨씬 작은 샘플을 필요로합니다.

In fact, assessment methods that rely heavily on judgement require considerably smaller samples than are required for most objectified and standardised methods (Van der Vleuten et al. 2010).

표 1은 그러한 절차 전략의 개요를 제공합니다. 이러한 절차를 작성하고 수행하는 과정에서 고려해야 할 사항에 따라 편향을 줄일 수 있으며 그 결과 결정을보다 신뢰할 수 있고 방어 할 수 있습니다.

Table 1 provides an overview of such procedural strategies. Depending on the care taken in creating and conducting these procedures, biases can be reduced and the resulting decisions will be more trustworthy and defensible.

이는 평가 프로그램의 모든 부분을 객관화 할 필요를 없애줍니다. 객관화(의 지나친 추구)는 평가와 학습 모두에서 환원주의와 평범함으로만 이어질 것입니다.

This obviates the need to objectify every part of the assessment programme, which, as we have noted earlier, will only lead us to reductionism and trivialisation of both assessment and learning.

평가 프로그램의 실행 모델

Model of programmatic assessment in action

Based on the above principles, we propose a model that is optimised for fitness of purpose. The purpose of an assessment programme is to maximise assessment for learning while at the same time arriving at robust decisions about learners’ progress. Figure 1 provides a graphical representation of the model.

학습 활동

Learning activities

우리는 4C-ID 모델 (Van Merrie¨nboer 1997) 이후에 작은 원으로 표시된 학습 과제로 구성된 첫 번째 교육 활동부터 시작합니다. 학습 과제는 강의, 실제, 환자와의 만남, 병원 운영 극장에서의 작업, 문제 기반 학습 (PBL) 자습서, 프로젝트, 학습 과제 또는 자체 학습 등 학습에 이르는 모든 것일 수 있습니다. 일부 학습 과제는 큰 원으로 표시된 것처럼 학습의 인공물을 산출 할 수 있습니다. 이러한 인공물은 프로젝트 보고서와 같이 결과와 관련되거나, 수술실에서 수행되는 수술 절차 목록과 같이 프로세스 지향적 일 수 있습니다.

We start with a first period of training activities consisting of learning tasks denoted by small circles (after the 4C-ID model (Van Merrie¨nboer 1997)). A learning task can be anything that leads to learning: a lecture, a practical, a patient encounter, an operation in the hospital operating theatre, a problem-based learning (PBL) tutorial, a project, a learning assignment or self- study. Some learning tasks may yield artefacts of learning, as denoted by the larger circles. These artefacts can be outcome related, such as a project report, or they can be process oriented, such as a list of surgical procedures performed in the operating theatre.

평가 활동

Assessment activities

1시기의 평가 활동은 작은 피라미드로 표시되며 각각은 단일 평가 포인트입니다. 각 단일 데이터 포인트는 밀러의 피라미드의 모든 계층에서 모든 방법과 관련 될 수 있기 때문에 의도적으로 선택됩니다. 필기 시험, OSCE, 임상 적 만남 (즉, Mini-CEX)의 관찰, 임상 시험 (예 : Mini-CEX)의 동료 평가에서 PBL 튜토리얼 평가 등

The assessment activities in period 1 are shown as small pyramids, each representing a single data point of assessment. This symbolic shape is deliberately chosen, because each single data point can relate to any method at any layer of Miller’s pyramid, be it a written test, an OSCE, an observation of a clinical encounter (i.e. Mini-CEX), a peer evaluation in a PBL tutorial assessment, etc.

모든 평가 활동은 원칙 3 (평가는 학습을 유도한다)를 보장하고자, 학습자의 지속적인 학습을 최대한 지원할 수 있도록 구성되어야합니다. 이 원칙은 모든 평가가 학습에 최대로 의미가 있어야하며 정량적으로든 질적으로든 풍부한 정보가 학습자의 수행에 대한 피드백을 제공해야합니다.

All assessment activities should be arranged so as to maximally support the learner’s ongoing learning to ensure adherence to principle 3 (assessment drives learning). This principle requires that all assessment be maximally meaningful to learning and provide feedback on the learner’s performance that is information-rich, whether quantitatively or qualitatively.

각 단일 데이터 포인트는 낮은 지분 (원칙 5)입니다. 성능 피드백은 분명히 어떤 종류의 성능 표준과 관련하여 정보를 제공하지만 마스터 테스트에서 수행 할 수있는 것처럼 하나의 평가 점을 기준으로 학습자를 통과 시키거나 실패하는 것에 대해 특히 주의해야합니다. 각 데이터 포인트는 데이터 포인트의 array에서 하나의 요소일 뿐이다다 (원칙 1). 단일 데이터 포인트가 낮은 지분이지만, 이것이 커리큘럼의 나중 시점에서 진도 결정을 위해 사용되는 것을 배제하지 않습니다.

Each single data point is low stake (principle 5). Although perfor- mance feedback obviously provides information in relation to some kind of performance standard, we strongly caution against passing or failing a learner based on one assessment point, as can be done in a mastery test. Each data point is but one element in a longitudinal array of data points (principle 1). Although single data points are low stake, this does not preclude their use for progress decisions at a later point in the curriculum.

단순히 특정 표준을 달성했는지 여부를 선언하는 것은 유용하지 않습니다. 평가사는 교사 또는 촉진자로서의 역할은 보호되지만 판사로서의 역할은 아닙니다 (원칙 5). 가능한 한 많은 두 가지 역할을 해소합니다. 물론 모든 평가자는 학습자가 잘했는지 여부를 판단 할 것입니다. 검은 피라미드로 표시되는 예외가 하나 있습니다. 일부 업무는 숙달 지향적이며 숙달의 시연이 필요합니다. 예를 들어, 인공 호흡은 숙달이 이루어질 때까지 뚫어야 할 숙련입니다.

It is not useful to simply declare whether or not someone has achieved a certain standard. Assessors are protected in their role as teacher or facilitator, but not in their role as judge (principle 5). Both roles are disentangled as much as possible, although, obviously, any assessor will judge whether or not the learner did well. There is one exception, which is represented by the black pyramid. Some tasks are mastery oriented and require demonstration of mastery. For example, resuscitation is a skill that needs to be drilled until mastery is achieved.

그럼에도 불구하고 대부분의 평가 과제는 (숙달 지향적이지 않고) 역량에 대한 숙련도 향상이라는 측면에서 발달 적입니다. '등급'이 주어진 유일한 피드백이 되는 것을 경고한다. 성적은 poor feedback이며 모든 종류의 불리한 교육적 부작용을 겪는 경향이 있습니다 (학습자는 성적을 사냥하지만, 자신이 무엇을 어떻게 배웠는지 무시하고, 교사는 성적 피드백을 제공하지 않는 이유로 학점의 객관성을 피드백을 주지 않는 구실로서 만족한다).

Nevertheless, most assessment tasks are not mastery oriented but developmental in terms of working towards proficiency in a competency. We similarly warn against grades as the only feedback that is given. Grades are poor feedback carriers and tend to have all kinds of adverse educational side effects (learners hunting for grades but ignoring what and how they have learned; teachers being content to use the supposed objectivity of grades as an excuse for not giving performance feedback).

모든 평가 방법은 프로그램 내의 기능에 따라 유용 할 수 있으므로 특정 평가 방법에 대한 선호도와 관련해서 알수 있는 것은 없다. 우리는 전문가로부터 주관적인 정보 나 판단을 명시 적으로 배제하지 않는다 (원칙 6). '전문가'라는 명칭은 유연하게 정의되며 지식이있는 모든 개인에게 적용될 수 있습니다. 맥락에 따라 '전문가'는 교사, 교사, 감독자, 동료, 환자, 그리고 학습자도 전문가가 될 수 있습니다.

We are agnostic with respect to any preference for specific assessment methods, since any assessment approach may have utility depending on its function within the programme. We explicitly do not exclude subjective information or judgements from experts (principle 6). The designation ‘expert’ is defined flexibly and can apply to any knowledgeable individual. Depending on the context, this may be the teacher, the tutor, the supervisor, the peer, the patient and, last but not least, the learner him or herself.

지원 활동

Supporting activities

같은 기간에 지원 활동은 두 가지입니다. 첫째, 학습자는 학습 및 평가 활동에서 얻은 정보로 성찰합니다 (원칙 4 및 6). 이것은 밑줄이 그어진 작은 원으로 표시됩니다. 시작과 끝에서 더 많은 반사 활동이있을 수 있지만 연속적입니다. 자기 주도적 학습 활동 피드백은 해석되어 새로운 학습 과제 또는 목표를 계획하는 데 사용됩니다 (Van Merrie¨nboer & Sluijsmans 2009).

The supporting activities in the same period are twofold. First, the learner reflects on the information obtained from the learning and assessment activities (principles 4 and 6 com- bined). This is shown as underscored connected small circles. There may be more reflective activity at the start and at the end, but is continuous. self-directed learning activity Feedback is interpreted and used to plan new learning tasks or goals (Van Merrie¨nboer & Sluijsmans 2009).

우리는 사람들이 반성하고 자기 주도하도록하는 것이 얼마나 힘든지를 압니다 (Korthagen 외 2001; Driessen 외 2007; Mansvelder-Longayroux 외 2007). 자기주도학습의 모순 중 하나는 외부 지침과 스캐폴딩을 필요로한다는 것입니다 (Sargeant 외 2008; Driessen 외. 2010). 그러므로 우리는 일종의 사회적 상호 작용을 통한 자기 주도적 학습의 스캐폴딩을 제안합니다.

we know how hard it mostly is to get people to reflect and self-direct (Korthagen et al. 2001; Driessen et al. 2007; Mansvelder-Longayroux et al. 2007). One of the paradoxes of self-directed learning is that it takes considerable external direction and scaffolding to make it useful (Sargeant et al. 2008; Driessen et al. 2010). We therefore propose scaffolding of self-directed learning with some sort of social interaction.

자기 주도 학습 지원의 주요 형태는 코칭 또는 멘토링 (감독 활동)이지만, 대안으로는 고위 학습자 또는 동료 ( '인터뷰'활동)가 지원을 제공 할 수 있습니다. 자기주도적 학습은 (시간, 내용 및 사회적 상호 작용과 관련하여) 성찰활동을 구조화하고 문서화하는 도구에 의해서도 촉진 될 수있다 (Embo 등, 2010). 일반적으로, 성찰과정의 문서화를 장려하지만 지나치게 사용하는 것은 경고합니다. 문서화 된 학습 활동은 'lean and mean'하고, 직접적인 의미있는 학습 가치가있는 경우에만 유효하다(Driessen 외. 2007). 그렇지 않으면 행정적 잡무이며, 쓰레기 용지만을 다량 생산합니다. 사회적 상호 작용이 성찰적 활동에 의미를 부여하기위한 전제 조건이라는 것을 확고히 명심한다면 이러한 유형의 trivialization은 피할 수 있습니다.

중간 평가

Intermediate evaluation

이 기간의 끝에서 지원 활동의 모든 인공물, 평가 정보 및 (선택된) 정보는 중간 평가에서 평가됩니다. 모든 데이터 포인트에서 수집 된 정보는 독립적이고 권위있는 평가자 그룹, 즉 심사 위원으로 구성된 성과 기준에 부합합니다. 전문가의 판단이 모든 데이터 요소에 걸쳐 정보를 모으는 데 불가피하므로, 위원회가 적절하다(원칙 6). 그러나 정보의 수치적 aggregation의 미덕을 간과하려는 것이 아니며, 적절하고 가능한 모든 정보를 사용해야합니다.

At the end of the period, all artefacts, assessment information and (selected) information from the supporting activities are assessed in an intermediate evaluation of progress. The aggregate information across all data points is held against a performance standard by an independent and authoritative group of assessors, i.e. a committee of examiners. We think a committee is appropriate because expert judgement is imper- ative for aggregating information across all data points (principle 6). We do not wish to downplay the virtues of numerical aggregation of information and we should use it whenever appropriate and possible.

데이터 포인트는 바람직하게는 meaningful entity에 걸쳐 집계되어야합니다. 전통적으로 이 엔티티는 방법 (Miller 's pyramid의 계층) 이었지만 트레이닝 프로그램이나 역량 프레임 워크 (Schuwirth & Van der Vleuten 2011)와 같은 다른 의미있는 집계 범주는 생각할 수 있습니다.

Data points should preferably be aggregated across meaningful entities. Traditionally, these entities have been methods (or layers of Miller’s pyramid), but other, more meaningful aggregation categories are thinkable, such as the themes of the training programme or a competency framework (Schuwirth & Van der Vleuten 2011).

그러나 일부 학습자의 경우,위원회는 실질적인 토론, 심의 및 논증에 참여해야 할 것입니다. 그들의 결정은 수행 표준과 관련하여 유익하지만 진단 적, 치료 적 및 예후 적 가치에 유익합니다. 

• 전문가는 강점과 개선 영역 (진단)에 대한 정보를 제공하며, 

• 학습자가 바람직한 성능 목표 (치료)를 달성하고 

• 훈련 프로그램의 후반부에 특정 성과 결과 (예후)를 예측하도록 

...돕기위한 개선을 제안 할 수 있습니다. 

For some learners, however, the committee will have to engage in substantial debate, deliber- ation and argumentation. Their decision is informative in relation to the performance standard, but also informative in its diagnostic, therapeutic and prognostic value. 

• The experts provide information on areas of strength and improvement (diagnosis), and 

• they may suggest remediation to help the learner achieve desirable performance objectives (therapy) and 

• predict certain performance outcomes later in the training programme (prognosis). 

중간 평가는 remediation oriented이다.이것은 일반적으로 숙달 지향적 인 재래식 유형과는 매우 다릅니다. 우리의 접근 방식에서 가장 중요하게 생각하는 것은 'development'이다. 우리는 개별 학습자에게 맞춤화되고 진단 정보를 조건으로 추가 학습을위한 정보가 풍부한 권장 사항을 제안합니다. 위원회의 평가는 중간 지분으로 자격을 얻을 수 있습니다.

Very importantly, this intermediate assessment is remediation oriented. This is very different from conventional types of assessment, which are typically mastery- oriented: Our approach is first and foremost developmental: we propose an information-rich recommendation for further learning, tailored to the individual learner and contingent on the diagnostic information. The committee’s assessment can be qualified as intermediate stake.

중간 평가에는 방화벽 딜레마가 있는데, 여러 가지 방법으로 해결할 수 있다. 이 딜레마는 지원자 시스템이 지원 시스템에 입력함으로써 발생합니다. 장기간 참여의 기준 (표 1)에 따르면, 코치, 멘토 또는 학습자가 가장 풍부한 정보를 제공할 수 있지만, 동시에 support system의 actor들에게 의사 결정권을 부여함으로써 도우미와 학습자 간의 관계가 훼손 될 수 있습니다 (Cavalcanti & Detsky 2011). 이를 해결하기 위한 한 가지 엄격한 방법은 지원 활동과 의사 결정 활동간에 막을 수없는 방화벽을 세우는 것입니다. 그러나 이것 은위원회가 귀중한 정보를 모르고 있다는 것을 의미 할 것이며, examiner들이 해야 할 일이 더 늘어날 수 있고, 더 많은 편견과 더 높은 비용을 초래할 수 있습니다.

The intermediate evaluation poses a firewall dilemma, which can be resolved in multiple ways. The dilemma is posed by the actors’ input into the support system. According to the criterion of prolonged engagement (Table 1), a coach, mentor or learner provides the richest information. At the same time by vesting the power of decision making in the actors of the support system, the relationship between helper and learner can be compromised (Cavalcanti & Detsky 2011). One rigorous way of resolving this is to erect an impenetrable firewall between activities of support and activities of decision making. However, this would mean that the committee remains oblivious of valuable information, it would likely lead to more work for the examiners and potentially more bias and higher costs.

보호 방법 중 하나는 코치가 학습자의 정보를 인증하도록 요구하는 것입니다. 정보는 학습자의 유효한 그림을 제공한다는 선언입니다. 한 걸음 더 나아가 코치는 학습자가 수정할 수있는 성과 결정에 대한 추천을 요청받을 수 있습니다. 결론적으로, 방화벽 딜레마를 해결할 최선의 유일한 전략은 없습니다.

One protective approach is to require the coach to authenti- cate the information from the learner: a declaration that the information provides a valid picture of the learner. One step further: the coach may be asked to make a recommendation on the performance decision, which can be amended by the learner. To sum up, there is no single best strategy to resolve the firewall dilemma

학습 과제, 적절한 피드백 및 (지원되는) 자기 방향을 통한 학습자의 논리적인 종단적 발달은 매우 중요합니다. 이는 한 번 시험에 합격하면 평생을 유능하다고 선언하는 순전히 숙달 지향적 인 접근 방식과는 완전히 반대입니다.

최종 평가

Final evaluation

이것은 학습자에게 중대한 결과가 있는 고부담 결정입니다. 이 결정은 (장기간 참여) 중간 평가를 수행 한 동일한 심사 위원위원회가 결정하지만, 가능하다면 다음의 절차적 안전 조치도 취할 수 있습니다. 

• 항소 절차, 

• 학습자 및 코치 입력 절차 (방화벽 딜레마), 

• 평가자의 훈련 및 벤치마킹,

• 위원회 규모, 

• 심의 및 문서화 정도, 

• 성능 표준 및 / 또는 루 브릭, 

• 평가 절차를위한 품질 개선 조치 전체적으로, 그리고 마지막으로 

• 중간 평가를 포함하여 이전 기간의 모든 데이터 포인트를 포함하는 것 (원칙 5).

This is a high-stake decision with major conse- quences for the learner. The decision is taken by the same committee of examiners that conducted the intermediate evaluation with (prolonged engagement) but even more stringent procedural safeguards in so far as these are feasible. Examples are 

• procedures of appeal, 

• procedures of learner and coach input (firewall dilemma), 

• training and benchmarking of examiners, 

• committee size, 

• extent of deliberation and docu- mentation, 

• performance standards and/or rubrics, 

• quality improvement measures for the evaluation procedure as a whole and, last but by no means least, 

• the inclusion of all data points from the preceding period including the intermediate evaluations (principle 5).

성과 분류 (즉, 성적)가 판단의 미묘함을 증가시킬뿐만 아니라 분류 오류 및 판단력있는 두통의 위험도 증가한다는 것을 여기서 주목해야합니다. 시스템이 잘 작동하면 결과 결정은 학습자 (또는 코치)에게 놀랄 일이 아닙니다.

One should note here that more performance classifications (i.e. grades) do not only augment the subtlety of judgement but also the risk of classification error and judgemental headache. If the system works well, outcome decisions will come as no surprise to the learner (or coach).

진행 결정의 성격에 따라,위원회는 추후 훈련이나 개선을위한 권고안을 제시 할 수있다. 전반적으로 최종 결정은 튼튼하며 풍부한 정보와 수많은 데이터 포인트를 기반으로합니다 (원칙 6). 견고성은 결정의 신뢰성에 있습니다. 결정이 어려운 경우 법원 에서조차도 책임지고 방어 할 수 있어야합니다.

Depending on the nature of the progress decision, the committee may provide recommendations for further training or remediation. Overall, the final decision is robust and based on rich information and numerous data points (principle 6). The robustness lies in the trustworthiness of the decision. If the decision is challenged, it should be accountable and defensible, even in a court of law.

Discussion

도전

Challenges

제안 된 프로그래밍 방식의 명백한 

• 첫 번째 과제는 이러한 프로그램을 실행하는 데 필요한 비용과 리소스입니다. 비용을 낮추려면, 많은 것들을 잘못하는 것보다 더 적은 일을하는 것이 현명하다( 'less is more'원칙입니다). 정보를 거의 주지 못하는 방대한 양의 데이터를 수집 할 필요는 없습니다. 그것은 단지 시간과 노력과 돈 낭비 일뿐입니다. 

• 두 번째, 우리의 프로그램 방식에서 평가와 학습 활동 간의 경계가 흐려진다는 것입니다. 진행중인 평가 활동은 학습 프로그램의 상당 부분을 차지하고 있으며, 실제로 그것들은 불가분하게 그 안에 포함되어있다 (Wilson & Sloane 2000). 

• 셋째, 경제적 타협이 이루어질 수 있고 그래야 한다. 평가 활동 중 일부는 특히 저부담 평가 활동을 저비용으로 잘 수행 할 수 있습니다. 예를 들어, 온라인 상품 은행을 통해 학생들은 특정 도메인에서 자신의 지식을 스스로 평가할 수 있습니다. 또한, 여러 학교가 시험 자료를 공유하는 것이 현명한 전략이며, 앞서 지적했듯이 (Van der Vleuten 등 2004). 전문성이나 의사 소통과 같은 전문적인 자질은 동료 평가 (Palchikov & Goldfinch 2000)에 매우 적합합니다. 또한 부담과 자원 간의 균형에 따라, 모델의 특정 요소 또는 커리큘럼의 특정 기간에 타협이 이루어질 수 있다고 생각할 수 있습니다. 

• 마지막으로 McIntyre와 Bok에 기인 한 인용문은 여기에 적절하게 보입니다. '교육이 비싸다고 생각한다면, 무지를 시도하십시오.'

An obvious first challenge of the suggested programmatic approach is the cost and resources needed for running such a programme. 

• Our first remark here is that, in keeping costs down, it is wiser to do fewer things well than to do many things badly (the ‘less is more’ principle). There is no point in gathering a vast amount of data that provides little information; it would only be a waste of time, effort and money. 

• A second remark is that, in our programmatic approach, the boundaries between assessment and learning activities are blurred. The ongoing assessment activities are very much part and parcel of the learning programme, indeed they are inextricably embed- ded in it (Wilson & Sloane 2000). 

• Third, economic compro- mises can and must be made. Some of the assessment activities, particularly low-stake ones, can be done well at low cost. For example, an online item bank would enable students to self-assess their knowledge in a certain domain. Furthermore, the sharing of test materials across schools is a smart strategy, as we have pointed out earlier (Van der Vleuten et al. 2004). Certain professional qualities, like professionalism or communication, lend themselves very well to peer assess- ment (Falchikov & Goldfinch 2000). It is also thinkable that compromises are made on certain elements of the model or in certain periods in the curriculum, depending on the balance between stakes and resources. 

• And finally, a quote attributed to McIntyre and Bok seems appropriate here: ‘If you think education is expensive, try ignorance’.

정면으로 직면해야하는 두 번째 큰 도전은 관료주의, 평범함 및 환원주의입니다. trivialisation는 이 글에서 여러 번 나왔다. 이는 의도적인데, trivialization은 사방에 숨어 있기 때문입니다. 평가 도구, 평가 전략 또는 평가 절차가 원래 의도했던 것보다 더 중요해지면, 그것은 그 추악한 머리를 되 돌린다. 우리는 그것이 항상 일어나는 것을 봅니다. 학습자는 시험에 합격하기 위해 꾀를 부리며, 교사는 펜의 한 획으로 양식을 완성합니다 (단지 행정적 절차만 처리했을 뿐 의미가 없다). 

A second huge challenge that must be faced squarely is bureaucracy, trivialisation and reductionism. The word trivialisation has cropped up time and again in this article. Our frequent usage of it is intentional, for trivialisation lurks everywhere. As soon as an assessment instrument, an assess- ment strategy or an assessment procedure becomes more important than the original goal it was intended to accomplish, trivialisation rears its ugly head. We see it happening all the time. Learners perform tricks to pass exams, teachers complete forms with one stroke of the pen (administrative requirement completed but judgement meaningless), we stick to proce- dures for no other reason than that we have always done it this way (we want grades because they are objective and accountable to society) or because of institutional policy.

우리가 암시장에서 시험 자료가 교환되거나 인터넷에 자료들이 올라오는 것을 보자 마자 우리는 평가 과정을 평범한 것으로 확신 할 수 있습니다. 프로그램 평가의 모든 행위자는 자신이하는 일, 왜 그 일을하는 이유, 왜 그렇게하는지 이해해야합니다. 그렇지 않으면 그들은 평가의 진정한 목적을 잃을 위험에 처해 있으며 관료 주의적 절차와 무의미한 인공물로 돌아갈 것입니다. 우리가 여기서 옹호하는 바와 같이 프로그램 적 평가를 실현하려면 사소한 일을 피하십시오. 아마도 가장 힘든 일이지만 가장 시급한 과제입니다. 관료제를 방지하기 위해 우리는 전체 과정을 촉진하는 지원 시스템이 필요합니다. 컴퓨터 기술은 facilitator로서 중요한 역할을하는 명백한 후보자로 보인다 (Bird 1990; Dannefer & Henson 2007). 우리는 이러한 기술을 탐색하기 시작했을 뿐이지 만 작업 부하를 줄이고 일부 문제에 지능적인 솔루션을 제공 할 수 있다는 큰 가능성을 보여줍니다.

 As soon as we notice the exchange of test materials on the black market or new internet resources peddling rafts of ready-made reflections, we can be sure that we have trivialised the assessment process. All actors in programmatic assessment should understand what they are doing, why they are doing it and why they are doing it this way. Otherwise they are in danger of losing sight of the true purpose of assessment and will fall back on bureaucratic procedures and meaningless artefacts. Steering clear of trivialisation is probably the hardest yet most urgent task we have to tackle if we are to realise programmatic assessment as advocated here. To prevent bureaucracy, we need support systems to facilitate the entire process. Computer technology seems an obvious candidate for an important role as facilitator (Bird 1990; Dannefer & Henson 2007). We have only begun to explore these technologies, but they show great promise to reduce workload and provide intelligent solutions to some of the problems.

세 번째 도전은 법적 제한입니다. 커리큘럼은 대학 규정이나 국내 법규를 준수해야합니다. 이들은 대개 매우 보수적이며 코스, 성적 및 학점으로 학습하는 숙달 지향적 인 접근 방식을 선호하는 경향이 있습니다.

A third challenge is legal restrictions. Curricula have to comply with university regulations or national legislation. These are usually very conservative and tend to favour a mastery-oriented approach to learning with courses, grades and credits.

이것은 최종 도전에 우리를 데려옵니다 : 참신과 무지. 제안 된 프로그램 평가 모델은 우리에게 익숙한 고전적 총괄평가 프로그램과 크게 다릅니다. 우리의 새로운 모델에 직면했을 때, 많은 이해 관계자들은 우리가 소프트 온 (soft on)으로 평가했다고 말하기 쉽습니다. 주관적인 정보와 판단에 의존하는 것에 대해 많은 사람들이 부드러운soft 선택으로 생각합니다. 우리는 열렬히 반대하며, 우리가 제안하는 의사 결정 절차가 왜 실제로하고 있는지, 그리고 어떤 목적을 위해서인지를 이해하는 많은 수의 배우들에게 맡겨지면 실제로 매우 tough하다는 것을 보여주기를 희망합니다. 참으로 힘든 일이지만 우리가 전심으로 지원하는 것입니다.

This brings us to the final challenge: the novelty and the unknown. The proposed model of programmatic assessment is vastly different from the classical summative assessment programme familiar to most of us from personal experience as learner and teacher. When confronted with our new model, many stakeholders are likely to tell us we have turned soft on assessment. Our willingness to rely on subjective information and judgement, in particular, is seen by many as a soft option. We fervently disagree and we hope to have demonstrated that the decision-making procedures we propose can actually be extremely tough, provided they are put in the hands of a large body of actors who really understand why they are doing and for which purpose. A daunting task indeed, but the one we support wholeheartedly.

기회

Opportunities

우리는 또한이 모델을 통해 개인의 평가 도구에 대한 독창적 인 정신 측정 방식의 담론을 넘어서기를 희망합니다 (Hodges 2006).

We also hope that, with this model, we can move beyond the exclusively psychometrically driven discourse of individual assessment instruments (Hodges 2006).

Conclusion

우리는 일관된 구조와 요소의 시너지가 합목적성을 보장한다고 믿습니다. 학습 지향과 의사 결정의 견고 함을 목적으로합니다. 이 모델은 실제 프로그램의 경우 제한적이지만 프로그램 적 평가를위한 프레임 워크의 다른 요소 (프로그램 지원, 문서화, 개선 및 정관화)에는 적용되지 않는다는 점에 유의하십시오 (Dijkstra 외. 2010).

We believe its coherent structure and synergy of elements ensure its fitness for purpose. Fit for purpose in its learning orientation and in its robustness of decision making. We note that the model is limited for the programme in action, but not for the other elements (programme support, documentation, improvement and jus- tification) of the framework for programmatic assessment (Dijkstra et al. 2010).

Hodges B. 2006. Medical education and the maintenance of incompetence. Med Teach 28:690–696.

Cavalcanti RB, Detsky AS. 2011. The education and training of future physicians: Why coaches can’t be judges. JAMA 306:993–994.

Cilliers FJ, Schuwirth LW, Adendorff HJ, Herman N, van der Vleuten CP. 2010. The mechanism of impact of summative assessment on medical students’ learning. Adv Health Sci Educ Theory Pract 15:695–715.

Cilliers FJ, Schuwirth LW, Herman N, Adendorff HJ, van der Vleuten CP. 2011. A model of the pre-assessment learning effects of summative assessment in medical education. Adv Health Sci Educ Theory Pract, DOI: 10.1007/s10459-011-9292-5.

Schuwirth LW, Van der Vleuten CP. 2011. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach 33:478–485.

Med Teach. 2012;34(3):205-14. doi: 10.3109/0142159X.2012.652239.

A model for programmatic assessment fit for purpose.