평가자의 인지Rater Cognition(Med Educ, 2016)

Rater cognition: review and integration of research findings

Genevieve Gauthier,1 Christina St-Onge1 & Walter Tavares2,3,4

도입

INTRODUCTION

Complex한 역량을 평가하기 위해서는, 피훈련자의 퍼포먼스에 대한 판단이 내려져야 하며, 이는 고등 기술이나 고등 능력(지식 적용, 분석, 통합, 평가 등)의 개발을 support하기 위함이다.  평가하고자 하는 능력과 기술의 복잡성과 그것들이 속한 context로 인해서 우리는 점차 피훈련자의 퍼포먼스 평가에 평가자의 판단에 의존하게 된다.

In order to assess these com- plex competencies, judgements need to be made about the performance of trainees, to support the development of high-level skills or abilities, such as knowledge application, analysis, synthesis and evalu- ation.1 The contexts and complexity of abilities and skills assessed within these frameworks require that we increasingly rely on rater judgements in assessing trainee performance.2

CBE에서 평가자 판단에 대한 의존이 늘어나는 것을 환영하는 것에 대한 비판이 있는데, 왜냐하면 평가자의 판단은 지나치게 variable하고 bias에 취약하기 때문이다. 실제로, (최근까지 dominant했던) psychometric한 관점에서 평가자들의 variability는 측정오류이며, 왜냐하면 그 variability는 피훈련자의 퍼포먼스 그 자체가 아니라 '평가 점수'에서 관찰되는 것이었기 때문이다. 그러나 다양한 평가서식, 시스템, 피훈련자 훈련 등으로 이 variability문제를 해결하기 위한 시도는 유의미한 성과를 거두지 못했다.

Some have greeted the increased reliance on rater judgement in CBE with substantial criticism, because rater judgement has often been accused of being too variable and fraught with bias. In fact, the psychometric perspective, which has been dominant until recently, has positioned rater variability as measurement error, because rater variability has been shown at times to explain more of the variabil- ity seen in trainees’ scores than the trainees’ own performances.3–6 Attempts to address this variability problem by improving rating forms and systems, or by training raters, have not produced meaningful improvements.7–11

Gingerich 는 평가자 인지를 세 가지 관점에서 보았다.

In a recent review, Gingerich et al.13 categorised rater cognition research into three different per- spectives focusing on the assessors as either

• (i) 적절한 평가기준 적용 실패  failing to apply appropriate assessment criteria,

• (ii) 과제의 복잡성에 의해 인지적으로 압도당함 being cognitively overwhelmed by the complexity of the task, or

• (iii) 유니크하지만 의미있는 메시지를 보내는 전문가 판단 expert decision makers send- ing unique but meaningful messages.

Fig 2.의 양측 화살표는 상호의존성과 지속적 상호작용을 의미한다.

The bidirectional arrow in Fig. 2 represents the interdependence and con- stant interaction between the phases.

각 Phase의 구조

STRUCTURE OF PHASES

rater-cognition 에 관한 최근 연구는 세 가지 phase로 나뉜다.

Aligned with previous work on performance, recent findings in rater-cognition research have implied a three-phase framework of observation, processing and integration.

• 관측: 어떻게 평가자들이 능동적으로 정보를 선택하는가
  The observation phase refers to how raters attend to and actively select information about trainees and their performances. This phase is the most agreed upon and mentioned by most authors.

• 처리: 맥락적 정보와 사전지식을 어떻게 회수하고 사용하며, 어떻게 주어진 퍼포먼스와 비교하는가
  The processing phase encompasses appraisal of how raters retrieve and use contextual informa- tion and prior knowledge to inform and compare the performance at hand.

• 통합: 어떻게 다양한 출처의 정보를 통합하는가
  The integration phase speaks to how raters combine different sources of information to form an overall judgement.

관측에서 평가자는 피훈련자의 퍼포먼스를 관측하여, 판단을 형성하는데 필요한 정보에 관심을 기울인다. 관측phase의 impact와 이후 이어지는 phase와의 관계는 잘 밝혀졌으나, 이 초기 phase를 기술하는 용어는 다양하다.

In this initial phase, a rater observes a trainees’ per- formance in what is usually a complex and authen- tic or educational setting to identify and attend to relevant informa- tion that will be used subsequently to form a judge- ment. The impact of the observation phase and its interrelation with subsequent phases have been well acknowledged,17–20 but the specific terminology used to describe this initial phase differs between researchers (e.g. recognition, selection of informa- tion, perception and first impression).21–27

처리

Processing phase

수집된 정보에 의미를 부여하고, 암묵적 또는 명시적 기준과 비교함으로써 관측한 것을 make sense함.

In this phase, raters are thought to give meaning to the information collected during the observation phase. That is, they are thought to make sense of what they have observed by comparing it with some implicit or explicit standard.

다음과 같이 불리기도

This phase is referred to as organ- isation,21,25 judgement,20 criterion uncertainty,17 inter- pretation,19,23 provisional grade27 and evaluation.24

평가라는 관점에서 처리phase는 두 단계의 분석을 함축한다. 첫째, 평가자는 퍼포먼스의 퀄리티를 element of competency로 결정해야 한다. 둘째, 평가자는 (다양한 기준점과의 비교를 통해) 이 elements of competency에 대해서 피훈련자가 보여주는 것이 어떤 level에 있는지 판단해야 한다. 이 과정은 자동화되고 통제된automatic and controlled 과정으로서, schema-based categorization이라고 불린다.

More specifically, from an assessment perspective, the processing phase implies two levels of analysis. First, raters need to determine the quality of the perfor- mance in terms of elements of competency. Second, raters need to determine the level at which the trainee demonstrates these elements of competency in com- parison to various reference points. This process, which involves both automatic and controlled pro- cesses,17,18,28,30 is often referred to as schema-based categorisation.19,30

통합

Integration phase

이 시기에, 평가자는 피훈련자의 퍼포먼스에 대한 전반적인 판단을 내린다.

During this phase, raters form and articulate an over- all judgement and rating about trainee performance,

이 phase에 대한 연구자들의 판단은 다양한데, 어떤 연구자는 우리가 통합phase에 포함시킨 것을 처리phase로 분류하기도 한다.

Fewer authors seem to agree about this phase, Some authors17,18 put mechanisms that we have included in the integra- tion phase into the processing phase.

다른 이름으로도 불린다.

This third phase is sometimes referred to as the translation phase,18,23 final grade27 or feedback phase.20,24

다양한 출처의 정보를 통합하는 과정이다. 이 정보는 unique한 가중치가 적용되어 최종적 global impression을 형성하고, 이어서 corresponding rating으로 변환된다.

The integration phase encompasses the integration of different sources of information. This information is uniquely weighted to forma final global impres- sion, which is then subsequently converted into a corresponding rating.

공통의 메커니즘

SHARED MECHANISMS

Table 1 illustrates the most salient mechanisms described in the reviewed studies on rater cognition.

관측 메커니즘

Mechanisms in the observation

관측 시기에서 세 가지가 있다.

The first phase, the observation phase, is where we position three different mechanisms reported as happening somewhat independently from one another:

• (i) 한 사람에 대한 자동화된 인상 형성 generating automatic impressions about the person,

• (ii) 고차원의 추론 형성 formulating high-level inferences and

• (iii) 평가대상 역량의 다양한 차원에 집중 focusing on different dimensions of the assessed competencies.

'자동화된 인상 형성'이란 무의식적으로 발생하는 것이며, 한 피훈련자의 특정한 unrelated aspects를 가지고 퍼포먼스에 대한 일반화를 내리는 것이다. 이 메커니즘은 halo effect로도 잘 알려져있다.

The automatic generation of impressions about a person is a mechanism that takes place uncon- sciously and through which raters make generalisa- tions about a trainee’s performance based on that person’s specific unrelated aspects or traits. The existence and impact of this mechanism has been well documented and includes the well-known halo effect.19,21,22,26,27,32

비록 이러한 인상 형성이 자동적으로 이뤄지는 것임은 널리 받아들여지고 있지만, 메커니즘의 유용성, 전반적인 프로세스에 미치는 영향, 다양한 맥락에서 발생하는 이들 판단의 exact nature 등에 대한 논란이 있다.

Although the concept of a person-based impression that happens automatically is well accepted, questions persist as to the potential useful- ness of this mechanism,22 the degree of influence it has on the overall process,21 and the exact nature of these judgements in different contexts.19

이 메커니즘이 던지는 또 다른 질문으로 현재 이뤄지는 대부분의 평가과제에서 '분석의 단위'가 무엇인지에 대한 것이다. 평가과제는 대부분 'person level'이 아니라 'performance level'에서 이뤄지나, 사람의 판단이 구조화되는 방식은 그 반대인 것으로 보인다는 점이다. 예컨대 지원자-특이적 평가를 한 평가자들과 스테이션-특이적 평가를 한 평가자들을 비교하면, 전자의 경우에서 failure한 지원자의 수가 더 많고, 신뢰도가 하락하면서 internal consistency는 높아졌다.

In parallel , the results of these investigations raise interesting questions regarding the current unit of analysis in most assess- ment tasks, which are anchored at the performance level as opposed to the person level, which seems to be contrary to how human judgement is struc- tured.29 For example, research on candidate-specific raters compared with station-specific raters reported a higher number of candidate failures and a higher level of internal consistency while showing a trade- off in reliability.33

두 번째 메커니즘은 (관찰가능한 행동의 단순 묘사가 아닌) high-level inference의 형성이다.

Another mechanism common to various studies on rater cognition, and beginning during the observa- tion phase, is the formulation of high-level infer- ences as opposed to description of observable behaviours or facts regarding trainee perfor- mance.13,20,25,30,34,35

Kogan 등은 평가자의 관측에 있어서 이러한 high-level inference를 문제시하였다. 반면, 경험이 많은 평가자들에서 high-level inference의 빈도가 높아진다는 사실을 바탕으로 Govaerts 등은 평가자의 경험이 쌓일수록 이러한 자동화automaticity가 개발된다고 보았다.

Kogan et al.20 viewed the high level of inferences in rater observations (when the raters were not always conscious of them) as a prob- lem to be addressed. By contrast, the increased fre- quency of high-level inferences of experienced raters compared with less experienced raters led Govaerts et al.25 to infer that automaticity developed as raters gained experience in assessing trainee per- formance.

이러한 유형의 정보가 (프로페셔널리즘과 같은) complex competencies에 대한 평가자의 inference에 영향을 미칠 수 있다는 사실을 이해하기 위하여..

To understand the type of informa- tion that could influence raters’ inferences about complex competencies such as professionalism, Ginsburg et al.34

어떤 유형의 정보가 평가자가 '유용한' inference를 내릴 수 있을 것인지가 standard setting의 맥락에서 연구되어왔다.

Understanding what type of information can support raters’ ability to make useful inferences has also been explored in the context of standard setting,36

complexity의 또 다른 층위는... Pulito 등이 보고한 바와 같이, 평가자는 직접적 관측결과를 활용하여 의학지식/프로페셔널리즘/임상추론기술 등을 평가하며, 학생의 발표능력을 가지고 추론하여 병력청취나 신체진찰 스킬을 평가한다.

Another layer of complexity may arise as we begin investigating rater assessment practices regarding inferences. As reported by Pulito et al.,37 raters used direct observations in assessing medical knowledge, professionalism and clinical-reasoning skills, whereas they made inferences using the students’ presenta- tions to assess history-taking and physical-examina- tion skills.

관측시기에서 또 다른 메커니즘은 평가자가 어떻게 다양한 역량의 element에 집중할 수 있는가이다. Yeates 등은 평가자들이 동일한 비디오를 보고도 코멘트에 variation을 보임을 관측하였다. 한 평가자에게 key aspect라고 보여진 것이 다른 평가자에게는 언급조차 되지 않았다.

Another shared finding during the observation phase is how raters attend to different elements of competencies.17,20,23,27,30,37,38 Yeates et al.17 observed variations in comments by raters assessing the same video performance. What struck some raters as being a key aspect of a performance was sometimes not even mentioned by other raters. Kogan et al.20 had similar findings.

유사하게 Yaphe and Street는 퍼포먼스가 좋게 평가되는지 나쁘게 평가되는지에 따라 평가자가 어떤 attribute에 focus하는 것이 달라진다는 것을 보여주었다.

Similarly, Yaphe and Street27 highlighted that raters focus on different attributes depending on whether the performance being eval- uated was good or poor.

assorted elements of competencies 를 활용하는 것은 각 평가자가 (특정 퍼포먼스의 유형이나 맥락에 따라) 역량에 대한 unique한 이해를 가지고 있음을 시사한다. context나 task가 rater performance에 미치는 영향은 Tavares의 결과에서도 강조되는데, 7개의 영역을 평가하라고 했을 때와 2개의 영역을 평가하라고 했을 때의 평가결과가 달랐다.

The use of assorted elements of competencies may reflect raters’ unique under- standing of competency in relationship to specific types of performances and contexts. The influence of context and task on rater performance is high- lighted in Tavares38 findings, in which the perfor- mance of raters was affected when they were required to evaluate seven dimensions instead of two.

처리 메커니즘

Mechanisms in the processing phase

처리 메커니즘은 다음에 기반한다.

The glue that binds the mechanisms together in the processing phase is the presence and use of com- plex schemata based on:

• (i) 역량에 대한 개개인의 개념 a personal conception of competency,

• (ii) 다양한 사례의 비교 comparison with various exem- plars and

• (iii) 과제와 맥락 특이성 task and context specificity.

이 메커니즘들이 automatic and controlled 하다고 묘사되지만, 평가자들은 피훈련자의 퍼포먼스를 어떻게 해석하는지를 설명하는데 어려움을 겪는 것으로 보이며, 이는 그러한 메커니즘들이 controlled 이기보다는 automatic한 것임을 시사한다. 예컨대 Kogan의 연구에서 평가자들은 자신의 평가 프로세스를 설명하는데 어려움을 겪었고, 다수의 평가자는 (구체적인 레퍼런스나 스탠다드의 측면에서) 어떻게 퍼포먼스를 해석했는지 설명하지 못했다.

Although these mechanisms have been described as being both automatic and controlled, raters seem to expe- rience difficulty in articulating how they interpret trainee performance, suggesting that such mecha- nisms may be more automatic than controlled. For example, participants in Kogan et al.’s20 study had difficulty explaining their assessment processes and a number of them could not articulate how they interpreted a trainee’s performance in terms of specific references or standards.

통합 메커니즘

Mechanisms in the integration phase

이 마지막 phase에서 이전 phase로부터 수집된 정보를 재활용하는 것으로 보인다.

In this last phase, the observed mechanisms seem to reuse the information from the previous phases to

• (i) 정보를 서로 달리 가중치를 주어 통합 weigh and synthesise information differently,

• (ii) 카테고리식 혹은 내러티브식의 판단을 내림 produce categorical or narrative judgements and then

• (iii) 내러티브한 판단을 척도로 변환 translate narrative judgements into scales.

통합phase에서 평가자들은 서로 다른 방법을 사용하여 다양한 출처의 정보를 통합하는데, 이 때 숫자점수나 척도의 형태로 생각하는 것은 아닌 것으로 보인다. 그럼에도 불구하고 전반적인 평가프로세스의 판단은 궁극적으로 scale로 변환되어야 한다.

During the integration phase, raters seem to have used different methods to synthesise various sources of information and they do not seem to have been thinking in terms of number grades or scales.17,20,23,27,34 Nevertheless, the overall judge- ments developed throughout the assessment process often have to be eventually translated into scales to suit the rating tools.

평가자들은 종종 여러 출처의 정보를 단순히 평균을 내기도 하고, 무엇이 더 중요한지에 대한 자신의 신념에 기반하여 우선순위를 매기기도 하고, 심지어는 프로그램 내에서의 목적에 따라 우선순위를 매기기도 한다. St-Onge는 특정한 가중치 부여 혹은 거부veto 메커니즘은 특정 error와 관련되어있는데, 이것은 전반적인 퍼포먼스를 'good'이라고 판단할 때도 마찬가지이다. Yeates 등은 정보가 수집된 다양한 출처에 따라 valence에 variation이 있음을 보여주었다.

The raters reported that they sometimes simply averaged all sources of informa-tion or prioritised based on their own beliefs about the importance of specific elements of competen- cies or even prioritised according to the assess- ment’s purpose within the programme. St-Onge et al.30 reported a particular weighting or veto mech- anism associated with specific oversights or errors, even when the overall performance was described as being good. Yeates et al.41 also reported variation in valence regarding the different sources of informa- tion obtained,

평가자가 내러티브 판단을 만들어내는 것은 잘 알려진 메커니즘이다. 평가자는 전반적 퍼포먼스나 특정 퍼포먼스에 대해 정량적 혹은 카테고리적 용어로 생각하지 않는다. 평가자들은 '숫자' 그 자체는 자신들에게 무의미하다고 코멘트하였으며, 퍼포먼스의 복잡한 측면들을 정량화하는 과정에 불확실성과 의심을 낳는다고 하였다.

A rater’s production of narrative judgements stands out as a well-documented mechanism. Raters did not seem to think in quantitative or categorical terms about the overall or specific aspects of a per- formance.17,20,27 Participants themselves commented about numbers being meaningless for them20 and about the process of quantifying complex aspects of a performance creating uncertainty and doubts.17,20,39

이 메커니즘이 핵심일 수도 있다. 이러한 방식으로 프레임된 '평가과제rating task'는 평가자들이 서로 다른 개념(예컨대 사과와 오랜지)을 비교하게 만든다. 한 평가자가 말한 것처럼, 무언가를 합당한 방식으로 하는데 여러가지 paths의 상대적 quality를 비교하고 정량화하는 것은 어렵다. 이 말은 주어진 task의 특성과는 부합하지 않는 지식에 관한 psychometric assumption을 사용하여 평가를 해야 하는 상황에서 평가자들에게 부여되는 cognitive challenge를 매우 잘 설명해준다.

This mechanism may reveal key aspects of the process. It may be that the rating task was framed in such a way that it required raters to compare disparate concepts (i.e. apples and oranges). As stated by one participant, it is difficult to compare and quantify the relative quality of the different paths taken to do something in an accept- able manner.20 This statement beautifully illustrates the cognitive challenges put on raters when using psychometric assumptions about knowledge that are unfit for the nature of the task at hand.23,52,53

내러티브 판단을 scale로 변환하는 메커니즘이 있다. Yaphe and Street는 평가자가 내리는 최종 grade는 arithmetic process가 아니라 피평가자에 대한 전반적 인상에 analysis of response가 더해진 결과이다. Yeates 등은 평가자가 네러티브한 묘사를 통해서 전반적 판단을 형성하는 프로세스에 대해서 연구하였으며, 이 narrative description이 usable scale을 활용한 description으로 변환된다. Kogan 등은 평가자가 9점 척도의 fragment를 서로 구분하는 능력이 없음을 보여주었으며, 평가자들이 각자 그 딜레마를 해결하기 위한 어떤 법칙을 형성하였는지를 공유하였다. 만약 global judgement로 변환하는 과정이 평가자에게 struggle이라면, 그 변환과정에서 상실하는 것이 무엇인지 생각해봐야 한다.

A related but separate mechanism is the translation of narrative judgements into scales, which raters seemed to do towards the end of the process. Yaphe and Street27 illustrated that the final grade given by raters was not an arithmetic pro- cess but a reflection based on an overall impression with an analysis of responses given by the examinee. Yeates et al.17 investigated the raters’ process of form- ing an overall judgement through a narrative descrip- tion, which was then translated into descriptions for a usable scale. Kogan et al.20 also reflected on the raters’ inability to discriminate between fragments on a nine-point scale and share participants’ quotes about the development of their own rules for address- ing the dilemma. If the translation of global judge- ment into scales represents a struggle for raters, we may need to reflect on what is lost in translation53–55

연구의 이슈와 기회

ISSUES AND OPPORTUNITIES FOR RESEARCH

평가 과제를 구분하기

Disentangling the rating task

한 가지 메커니즘으로 다 설명하지 못할 것. 다음과 같은 것들이 연구되어야.

no single mechanism or factor will ever be able to entirely explain the observed variability in rater judgement,22

• how each is interconnected with the others.

• how these theo- ries later interact within the complexity of the task in authentic contexts.

• nature of specific mechanisms under different con- ditions (e.g. summative versus formative assessment)

• what happens when specific mechanisms function well

예컨대, 의학교육자들이 복잡한 환자 시나리오를 기반으로 임상추론 역량을 평가하는 경우, 교육자들은 구체적인 문제와 관련하여 임상추론의 key element 측면에서 competent한지에 대해서는 높은 수준의 일치도를 보여으나, 이 element들과 연관되어야 하는 standard에 대해서는 total disagreement가 확인되었따.

For example, in a study looking at medical educa- tors’ shared concept of competency in assessing clinical reasoning in complex patient scenarios, we found that educators exhibited a high level of agreement about the key elements associated with competent reasoning for specific problems yet evi- denced total disagreement about the standards that should be associated with these elements.58

평가자 결과의 다양한 활용

Acknowledging the multiple uses and audiences of rater output

세 phase외에 추가적 phase가 있어야 할 수도.

We suggest that an additional phase should be added to the three-phase process proposed above

피드백의 중요성을 인정한 연구자들은 많으나 추가적인 feedback phase를 별도의 section으로 둔 연구자는 별로 없다. 이 경우 feedback의 전달을 rating process의 다른 측면들과 능동적으로 상호작용하는 별도의 phase로 묘사하였다.

Even though a number of authors have acknowledged the importance and influence of feedback on the rating process,17,20,39 only Koganet al.20 included an additional feedback phase as a distinct section in both their research design and conceptual model. In their conceptual model, they portrayed the delivery of feedback as being a dis- tinct phase actively interacting with other aspects of the rating process,

학습자에 대해 평가자가 awareness가 평가자가 더 관대하게 평가하게끔 만들지만, 최근의 연구를 보면, 평가자는 자신의 동료들을 피드백의 audience로 생각한다. 이 결과는 평가자가 자신의 평가의 public aspect를 우려한다는 것, 그리고 평가자가 평가과제의 overall purpose를 적극적으로 고려하고 있다는 것과도 부합한다. dissemination이라는 네 번째 phase를 추가함으로써, 우리는 다양한 audience와 정확한 rating을 제공하는 평가자의 능력의 목적에 대해 인정할 수 있다.

Although rater awareness of the learner group has been shown to induce rater leniency,60 recent research on the analysis of narra- tive evaluations also revealed that they recognised their colleagues as an additional audience for their feedback.56 These findings align with raters’ con- cerns about the public aspects of their ratings and raters’ active consideration of the overall purpose of the assessment task, as expressed in Berendonk et al.39 Adding this fourth phase, entitled dissemina- tion, would acknowledge the impact of different audiences and objectives on raters’ ability to provide accurate ratings.

평가자의 경험과 평가수행을 연구

Investigating raters’ experience and assessment practices

평가자의 능력이 발달하는 것이며, 실천과 노출에 의해서 영향을 받기 때문에, 평가자가 이러한 능력을 습득하는 맥락을 고려해봐야 한다. 평가자는 주로 formative context에서 주로 평가를 하게 되고, 이는 summative context와는 다르다. formative context에서 판단을 내리는 방식을 연구하여야 한다.

As raters’ abilities have been shown to be develop- mental and affected by practice and exposure,25,38,39 we may need to reflect on the context in which raters acquire these abilities. Rater practices are mostly situated in formative contexts that differ from the summative contexts in which they are gen- erally studied. Studying raters’ abilities to assess a trainee’s performance and the way raters make judgements in formative contexts may be highly rel- evant to gaining a better understanding of raters’ daily assessment practices and the underlying mech- anisms supporting raters’ judgements and interac- tions.

예컨대 평가자는 경험이 더 많아질수록 (normative한 것이 아니라) stable standard를 develop한다고 보고되고 있다. 최근의 연구에서 주어진 과제에서의 경험이 confounding variable이었다.

For example, raters have reported developing stable standards, as opposed to normative ones, as they gain more experience with a specific assess- ment task and context.39 A recent experimental study also showed that experience with the task at hand for the specific level of learners was a con- founding variable.42 Research focusing on better understanding the judgement process in formative context can bring a longitudinal perspective on the development and accuracy of judgement and offer an alternative to inter-rater reliability as a way to measure rating accuracy.52

결론

CONCLUSION

This review focusing on the assessment process instead of the rater per se underscores the complexity and number of cogni- tive processes identified in research on rater cogni- tion.

• During the observation phase, as raters selected and attended to trainee performance, they were influenced by their automatic impressions about the trainee while formulating high-level infer- ences about the various dimensions of the compe- tencies they were assessing. These automatic mechanisms have been situated in this first phase to convey their impact on succeeding mechanisms and events.

• In the next phase, processing, simultaneous schema-based mechanisms highlight different com- ponents of raters’ expertise and experience through their personal conception of competence, their abil- ity to use their repertoire of exemplars for compar- ison, and their ability to monitor and adjust their judgements according to aspects of the task and context.

• In the subsequent phase, the observed mechanisms seem to reuse the information from the previous phases in uniquely weighting and syn- thesising information and in generating narrative judgements later translated into scales used for the assessment.

We also believe that looking at the raters as fallible, cogni- tively limited or as experts can contribute to a shared understanding of the phenomenon. For example,

• researchers in the expertise camp focus on how mechanisms function, whereas

• researchers in the cognitively limited resource camp attend pri- marily to the limitations of mechanisms in realistic contexts, and

• those in the fallible camp investigate how these mechanisms produce outputs that are (in)compatible with the requirements of our cur- rent assessment system.

11 Kogan JR, Conforti LN, Bernabeo E, Iobst W, Holmboe E. How faculty members experience workplace-based assessment rater training: a qualitative study. Med Educ 2015;49(7):692–708.

13 Gingerich A, Kogan J, Yeates P, Govaerts M, Holmboe E. Seeing the ‘black box’ differently: assessor cognition from three research perspectives. Med Educ 2014;48 (11):1055–68.

국지적으로 개발된 MCQ에서 타당도에 대한 위협: 구인-무관-변이와 구인 과소반영(Adv Health Sci Educ Theory Pract. 2002)

Threats to the Validity of Locally Developed Multiple-Choice Tests in Medical Education: Construct-Irrelevant Variance and Construct Underrepresentation

STEVEN M. DOWNING

University of Illinois at Chicago, College of Medicine, Department of Medical Education (MC 591),

808 South Wood Street, Chicago, IL 60612-7309, USA (E-mail: sdowning@uic.edu)

도입

Introduction

MCQ는 이러한 시험에서 가장 흔히 사용되는 형태이며, 그 이유는 다음과 같다.

The multiple-choice question (MCQ) format is most commonly used for such tests, due to

• its many positive psychometric characteristics,
• its long history of research evidence,
• its versatility in testing most cognitive knowledge,
• its relative (apparent) ease to write, store, administer, and score, and
• its continued use by the highest-stakes examinations in medical education (Downing, 2002).

그러나 MCQ형태의 시험이 이러한 긍정적인 성과를 내는 것은 어려우며, 과학이라기보다는 예술에 가깝다.

But, to accomplish these positive outcomes of MCQ-type assessment is challenging and may be more art than science (Haladyna, Downing and Rodriguez, 2002).

MCQ점수 해석에는 여러 타당도 위협이 있다. 검사의 타당도란 "accurate and meaningful interpretation of test scores and to the reasonableness of the inferences drawn from test scores"을 뜻한다.

There are many threats to the validity of MCQ test score interpretation. Test validity refers to the accurate and meaningful interpretation of test scores andtothe reasonableness of the inferences drawn fromtest scores (Messick, 1989; American Educational Research Association, 1999).

CIV

Construct-Irrelevant Variance

CIV는 평가에 외재적extraneous, 비통제된uncontrolled 변인이 들어가서, 이것이 일부 혹은 전체 응시자의 점수를 errorneously inflate 또는 deflate시킴으로써 검사점수의 해석의 의미와 정확성을 떨어뜨리고, 검사 점수를 기반으로 한 결정의 정당성을 약화시키며, 검사의 타당도근거를 낮추는 것을 말한다.

Construct-irrelevant 1Research Association, 1999; Cook and Campbell, 1979) refers to introducing into assessments extraneous, uncontrolled variables which tend to erroneously inflate or deflate scores for some or all examinees, thus reducing the meaningfulness and accuracy of test score interpretations, the legitimacy of decisions made on the basis of test scores, and the validity evidence for tests. There are many potential CIV sources in objective tests commonly used to assess achievement in medical education.

잘 설계되지 않은 문항

POORLY CRAFTED TEST QUESTIONS

최근의 Jozefowicz 등이 보여준 바에 따르면 의학교육의 단계를 막론하고 시험문항은 가장 기본적인 문항작성법의 원칙도 위반하는 경우가 많다. 아래와 같은 경우에 오답을 배제할 수 있는 의도하지 않은 힌트를 줘서 응시자의 점수가 errorneously inflate 되어 CIV가 증가한다.

Test items used at all levels of medical education training often violate the most basic principles of effective item writing, as a recent study by Jozefowicz and colleagues demonstrates (Jozefowicz et al., 2002).

• Ambiguously worded test questions,
• questions written in non-standard form,
• ques- tions cast in overly complex formats, or
• questions testing too much information in a single item

...may provide unintended cues to the correct answer or facilitate the elimination of incorrect options – thus inflating examinee scores erroneously and adding CIV to the measurement.

보안상의 문제와 기타 다른 비정형성irregularities

INSECURE TEST QUESTIONS AND OTHER TESTING “IRREGULARITIES”

만약 학생이 문제를 미리 안다면 점수가 높아질 것이다. 또한 부정행위 등도 false-positive information을 추가한다.

If some or all examinees have prior knowledge of test questions, their test scores may be erroneously inflated. Similarly,other testing irregularities, such as cheating, can add false-positive information to test scores. All such ill-gotten gain is CIV.

Testwiseness

TESTWISENESS

Testwiseness 란 응시자가 점수를 최대화하는데 사용할 수 있는 행동들을 말한다. 예컨대 정답에 대한 아무런 정보도 없을 때 C를 찍거나 가장 긴 답가지를 찍는 것은 testwise한 것이다.

Testwiseness refers to a set of behaviors that allows examinees to maximize their test score. The exam- inee who, absent all other information about the correct-answer choice, marks C or chooses the longest answer from the option set, is using testwise cues.

찍기

GUESSING

단순 찍기만으로도 정답을 맞출 수 있다. 찍는 것 만으로 고득점을 하는 것은 어렵지만, 심각하게 flawed item은 찍기를 통해서 성공할 가능성을 높여준다.

Thus, there is a statistical probability of arriving at the correct response by random guessing alone.

While it is unlikely that examinees will obtain high scores or achieve a passing score through guessing alone, seriously flawed test items do increase the probability of success through guessing and thereby add CIV to the measurement.

문항의 Bias

ITEM BIAS: DIFFERENTIAL ITEM FUNCTIONING

가장 기본적인 의미에서 test item bias란 응시자의 하위집단마다 문항의 공정성이 달라지는 것이다. item bias를 잡아내기 위한 일반적인 분석법을 DIF(Differential Item Functioning)이라고 하며, subgroup간 부당하게 차별하는 문항을 잡아낼 수 있다.

In its most basic meaning, test item bias refers to the fairness of the test item for different subgroups of examinees. A general class of analyses used to detect item bias is called Differ- ential ItemFunctioning (DIF analysis) and can be used to detect items that unfairly discriminate between subgroups. Poorly written MCQs tend to be confusing, artificially difficult or easy, and may be differentially confusing for different subgroups.

정당화 불가능한 합격점수

INDEFENSIBLE PASSING SCORES

모든 기준에는 판단이 개입되며, 어느 정도 임의적arbitrary인 면이 있다. 만약 합격을 결정하는 점수에 심각한 flaw가 있따면 CIV가 더해지는 것이다. 합격기준에 연관된 CIV에는 다음과 같은 것이 있다.

While all standards require judg- ment and all standards are somewhat arbitrary, if the methods used to establish the pass-fail mark are seriously flawed, CIV is added to the measurement. CIV associated with passing standards include problems such as

• low reproducibility of passing scores,
• low rela- tionship between the pass-fail outcomes for tests of similar content,
• low agreement between passing standards established by different instructors in similar or the same courses,

and so on.

구인 과소반영

Construct Underrepresentation

의학교육에서 이뤄지는 많은 시험의 타당도는 내용-관련 근거에 의존하며, 시험문항이 (평가)관심 영역과 관계가 있음을 보여주는 자료에 기반한다. 이론적으로 특정 시험에서 사용되는 구체적인 문항들은 모집단으로부터 선택가능한 모든 시험문항의 표본을 대표해야 한다. Classical measurement theory (CMT)는 오로지 여기에 기반한다.

Much of the validity argument for typical achievement examinations used in medical education rests on content-related evidence and data showing the relation- ship between test item content and the domain of interest. Theoretically, the specific test items used on a particular examination represent a sample of all possible test items selected from the population. Classical measurement theory (CMT) rests solidly on this foundation and assumption (Anastasi, 1988).

지식-회상 수준에만 머무는 문항

TRIVIAL CONTENT TESTED AT THE FACTUAL-RECALL LEVEL

여러 시험문항이 앞으로의 학습이나 환자 진료에 별로 중요하지 않은 사소한 것들을 물어보는 문항이다. 팩트를 기억하거나 이 팩트들에 대해서 답하는 능력은 학생이 복잡한 임상문제를 다루는 능력에 대한 성공/실패, 또는 새로문 문제에 이러한 지식을 적용할 것인가를 알려주지 않는다.

Many of the test items constructed to test achievement in medical education curricula appear to ask trivial questions – questions that are unimportant for future learning or the clinical care of patients. The ability to remember facts and answer questions about these facts may have little to do with the ultimate success or failure of students’ ability to manage complex clinical problems or to predict their success at applying this knowledge to novel problems,

시험(문항)에만 대비한 교육

TEACHING-TO-THE-TEST

만약 교수자가 구체적으로 시험에 나올 내용만을 짚어준다면 sampling assumption이 위배되는 것이고 CIV가 추가된다. 따라서 점수에 기반한 해석은 부정확해진다. 이러한 상황에서 검사의 점수는 content domain의 무작위 표집을 대표하지 않으며, 검사점수로부터의 정당한 추론이 불가능해진다.

If instructors specifically guide exam-inees to content that is to be tested on the examination, the sampling assumption is violated, CIV is introduced to test scores, and the accurate interpretation ofscores may be jeopardized. Under these circumstance, the score on the test does not represent a random sample of the content domain to which one can draw legitimate inferences fromtest scores

너무 적은 수의 문항

TOO FEW TEST ITEMS

너무 문항이 적으면 content domain을 적절히 표집할 수 없다.

Tests that are too short can not adequately sample the content domain and thus threaten the validity of inferences to the domain.

또한 너무 적은 수의 시험은 unreliable해지거나 낮은 reproducibility를 낳고, SEM이 커진다. 예컨대 40문항정도 되는 시험은 0.5~0.6정도의 신뢰도 계수가 나오며, SEM은 3~5점정도 된다. unreliable한 검사는 CI가 커지는데, 만약 SEM이 5라면, 95% 신뢰구간CI는 거의 +/- 10점정도가 되며, 합격선 근처에 있는 학생들의 진정한 합-불합 status에 대해서 불확실해진다.

Also, short tests tend to produce scores that are unreliable or have low reproducibility indices, with relatively large standard errors of measurement (SEM). For example, a typical formative test in undergraduate medical education may have only about 40 test questions to cover a fairly broad content area. Such a test may have a reliability coefficient of 0.50–0.60 and a SEMof 3–5 raw score points. Unreliable tests produce wide confidence intervals around student scores. For example, if the SEM is 5, the 95 percent confidence interval around each raw score (including the passing score) is nearly ±10 points, creating much uncertainty about the true pass-fail status of many students scoring near the passing score (depending on the test score distribution).

모든 의학교육의 시험이 valid inference를 갖춰야 하는가?

Must All Tests in Medical Education Produce Valid Inferences?

레토릭한 답은 '그렇다'이다. 타당도는 절대로 '그냥 갖췄을 것assumed'이라고 여겨서는 안되는 것이며, 늘 그 근거를 찾아야 하는 열려있는 질문인 것이다. 만약 의학교육자들이 학생을 test한다면, 그 test measure가 의도한 것을 평가하며 점수로부터 유도한 추론이 얼마나 accurate하고 얼마나 defensible한지에 대한 hard evidence를 보여줘야 한다.

The answer to this rhetorical question is yes. Validity is never assumed and is always an open-ended question, seeking a variety of sources of evidence. If medical educators test students, there is an obligation to collect and present hard evidence that the test measures what is intended and that the inferences drawn from test scores are more-or-less accurate and more-or-less defensible.

CIV와 CU에 대한 대부분의 이슈들은 통제가능한 것이다. 효과적이고 높은 인지수준을 평가하기 위한 시험을 만드는 방법(items that do not cue exam- inees to the correct answer, permit inordinate guessing, or confuse knowledgeable students)은 잘 알려져 있다.

Most of the issues discussed under the rubric of construct-irrelevant variance and construct underrepresentation are under the control of those who create tests in medical education. Techniques to develop effective, higher cognitive-level test items that measure important and useful information – items that do not cue exam- inees to the correct answer, permit inordinate guessing, or confuse knowledgeable students – are well known and readily accessible (Case and Swanson, 1998).

Adv Health Sci Educ Theory Pract. 2002;7(3):235-41.

Threats to the validity of locally developed multiple-choice tests in medical education: construct-irrelevant variance and construct underrepresentation.

표준적인 문항작성 원칙 위반에 따른 효과 (Adv Health Sci Educ Theory Pract. 2005)

The Effects of Violating Standard Item Writing Principles on Tests and Students: The Consequences of Using Flawed Test Items on Achievement Examinations in Medical Education 

STEVEN M. DOWNING

University of Illinois at Chicago, Department of Medical Education (MC 591), College of Medicine,

808 South Wood Street, Chicago, Il 60612-7309, USA (Phone: +1-312-996-6428; Fax: +1-312-

413-2048; E-mail: sdowning@ uic.edu)

도입

Introduction

그러나 Mehrens and Lehmann 이 지적한 것처럼, 교수자가 준비한 시험에는 종종 여러 중대한 결함들이 있다. Jozefowicz 등은 poorly constructed test item이 의과대학에서 흔하게 사용됨을 보여주었다.

However, as Mehrens and Lehmann (1991) point out, there are often major deficiencies in examinations prepared by classroom instructors. And, Jozefowicz and others (2002) show that poorly constructed test items are frequently used in medical schools.

문항작성이란 과학이라기보다는 예술에 가깝지만, 정립된 원칙이 있고, 이것 중 다수는 근거-기반으로 효과적인 형식과 비효과적인 형식이 무엇인지 알려준다.

While test item writing may be as much art as science, there are well established principles, many of which are evidence-based, suggesting what is an effective item form vs. an ineffective item form (Haladyna et al., 2002).

몇몇 IWF에 대해서 그 영향이 연구된 바 있다.

Several item flaws have been studied empirically for their effect on item and test psychometric characteristics.

• For example, the use of ‘‘all of the above’’ (AOTA) and ‘‘none of the above’’ (NOTA) as options has been extensively studied with mixed results (Harasym et al., 1998).

• 일반적 MCQ의 변형된 형태 Variants of the straightforward multiple-choice question (MCQ) stem, such as multiple- true–false or unfocused stems, have been studied and generally found to be detrimental to item performance (Case and Downing, 1989; Downing et al., 1995).

• 조합형 문항 Complex item forms, which require selection of combinations of individual options, have been extensively studied and found to be generally detrimental to the psychometric attributes of tests (Albanese, 1993; Daw- son-Saunders et al., 1989).

• The use of negative words in the stem has been evaluated with mixed results concerning difficulty and discrimination of test items (Downing et al., 1991; Tamir, 1993).

최근의 리뷰문헌을 보면, 부정문을 지양하라거나 AOTA를 지양하라는 것 등을 권고한다. NOTA의 사용에 대해서는 권고가 일정하지 않으나, 현재의 권고는 고도로 숙련된 출제자가 아닌 경우 NOTA를 지양하라는 것이다.

A recent review paper (Haladyna et al., 2002) recommends the avoid-ance of negation in the stem and reports that most educational mea-surement textbook authors recommend avoiding the AOTA option. The use of the NOTA option has mixed recommendations from textbook authors and the empirical research is also mixed but the current recom-mendation is to avoid use of the NOTA option, except when used by highly experienced item writers (Crehan and Haladyna, 1991; Frary, 1991).

방법

Methods

문항 예시

EXAMPLE ITEMS

1. It is correct that: 

A. Growth hormone induces production of IGFBP3 

B. The predominant insulin-like growth factor binding protein (IGFBP) in human serum is IGFBP3 

C. Multiple forms of IGFBP are derived from a single gene 

D. All of the above 

E. Only A and B are correct

This is an example of an unfocused stem item. The stem does not pose a direct question. The options must each be addressed as ‘‘true or false,’’ but the item is scored as a single-best answer question. Further, option D, ‘‘all of the above’’ is not recommended. And, option E is a combination of two other possible answers, making this a ‘‘partial-K type’’ item. Overall, there are three distinct flaws in this question.

2. Which of the following will NOT occur after therapeutic administration of chlorpheniramine? 

A. Dry mouth 

B. Sedation 

C. Decrease in gastric acid production 

D. Drowsiness 

E. All of the above

The second item is an example of a negative-stem question. It requires the student to identify which sign or symptom will not occur. Option E (all of the above) is not recommended. This example item has two item flaws.

아래의 분석을 시행함.

For each of the three scales evaluated for this study (standard, flawed, and total), item analysis data were computed: raw score means, standard devia- tions, mean item difficulty, mean point-biserial correlation with the total examination score, Kuder–Richardson 20 reliability (K–R 20), minimum passing score, the number of students passing, and passing rate (the proportion of students who passed).

Results

Table I. Descriptive statistics of four tests

Table II. Frequency of item flaws in four basic science examinations

Table III. Psychometric characteristics of the standard and flawed scales: Tests A, B, C, and D

PASS–FAIL AGREEMENT ANALYSIS

Table IV. Pass–fail agreement analysis, all examinations, all students N = 749

고찰

Discussion

이 연구에서, item difficulty, item discrimination, score reliability, and passing scores and passing rates. 의 관계를 이해하는 것이 중요하다.

In this study, it is important to understand the relationship among item difficulty, item discrimination, score reliability, and passing scores and passing rates.

• 문항 난이도란 정답을 맞춘 학생의 %이다.
  Item difficulty refers to the proportion (%) of students getting the item correct.

• 문항 변별도란 얼마나 문항이 잘하는 학생과 못하는 학생을 구분해낼 수 있는가이다. 변별도가 높은 것이 바람직하다.
  Item discrimination describes how effectively the test item separates or differentiates between high ability and low ability students – noting that test items that highly discriminate are desirable.

• 모든 것이 동일하다면 변별도가 높을수록 신뢰도가 높다.
  All things being equal, highly discriminating items tend to produce high score reliability.

• 이 연구에서의 문항에는 passing score value가 정해졌기 때문에, IWF가 없는 경우와 있는 경우의 passing score와 passing rate를 계산할 수 있었다. passing score와 passing rate가 서로 반비례 관계에 있다는 것을 이해하는 것이 중요하다.
  Because items in this study had each been assigned a passing score value (by the Nedelsky absolute standard setting method) it was possible to calculate passing scores (the score needed to pass the test) and passing rates (the percentage of students who pass) for the two subscales of interest – the standard and the flawed subscales. It is important to note that the passing score and the passing rate are inversely related; that is, high passing scores tend to produce lower passing rates.

이번 연구에서는 IWF가 매우 흔했다. 이것은 중요한 결과이며, 기대하지 못한 바는 아니다.

There was a high frequency of flawed items in the tests studied. This is an important finding, although not completely unexpected (Downing, 2002; Jozefowicz et al., 2002; Mehrens and Lehmann, 1991). Classroom assess- ments in medical school settings are not immune to poorly crafted test items.

IWF가 있는 경우 3/4에서 더 난이도가 높았다. 0~15%정도 더 어려웠는데, 이 결과는 MCQ에 매우 testwise한 의과대학생을 대상으로 했다는 것을 고려하면 조금 놀랍다.

Flawed item formats were more difficult than standard, non-flawed item formats for students in three of four examinations studied. These mixed results showed that flawed item formats were 0–15 percentage points more difficult than questions posed in a standard form. This finding is some- what surprising, given that examinees in this study are medical students, highly experienced in taking MCQ examinations and presumably very testwise.

Passing rate는 IWF에 의해서 negative한 영향을 받는다. Poorly crafted 문항은 학생들에게 더 challenge가 된다.

Passing rates (the proportion of students meeting or exceeding the passing score) tended to be negatively impacted by flawed items. Poorly crafted, flawed test questions tended to present more of a passing challenge for students.

IWF가 없는 경우와 있는 경우의 합-불합의 일치도를 보면 749명 중 102명이 IWF가 없는 경우 합격했으나 IWF가 있는 문항에서 불합격했고, 30명의 학생만이 IWF가 없는 경우 불합격, 있는 경우 합격이었다. 이 결과의 해석에 있어 length and reliability, passing score가 일부 scale에 있어 차이가 있으므로 주의를 기울여야 한다. 위의 102명이 중요한데, 이 misclassification 중 일부는 무작위측정오차에 따른 것이지만, 일정 부분은 IWF에 의한 systematic error이기 때문이다.

The agreement between pass–fail outcome assigned by the standard and the flawed scales shows that 102 of 749 students (14%) pass the standard items but fail the flawed items, while only 30 students (4%) pass the flawed items and fail the standard items. (These data must be interpreted cautiously, since the scales differ in length and reliability and the passing scores also differ for some of the scales.) The 102 students (of 749) classified as passing the standard items while failing the flawed items are of great concern. Some of these misclassi- fications are due to random measurement error (unreliability), but some proportion is also due to the systematic error introduced by flawed items, given the results of this research.

IWF를 교정의 난이도나 거기에 들어가는 낮은 비용을 고려하면 이러한 false-negative는 과도하게 높아 보인다. 명백하게 이렇게 높은 misclassification 비율은 consequential validity evidence에 부정적으로 작용한다.

A false negative rate this high seems unreasonable, given the relative ease and lowcosts associated with re-writing flawed questions into a form that would adhere to the standard, evidence-based principles of effec- tive item writing. Clearly, this high misclassification rate impacts the conse- quential validity evidence for the tests in a negative manner (Messick, 1989).

IWF가 신뢰도에 미치는 영향은 일관되지는 않았다. IWF에 의한 영향은 systematic error이지 random error가 아니며, 오직 random error만이 내적신뢰도에 의해서 추정가능하다. 따라서 점수의 신뢰도가 IWF와 관계가 거의 없는 것은 놀랍지 않다.

The effect of flawed itemforms on score reliability is mixed; The nature of the item format flaws studied contributes systematic error to the measurement, not random error; only random errors of measurement are estimated by the internal consistency score reliability. Thus, it is not surprising that the score reliability shows little relationship to item flaws.

Messick은 CIV를 다음과 같이 정의했다. IWF에 의한 높아진 난이도와 낮아진 passing rate는 이 정의에 정확히 부합한다.

Messick (1989, p. 34) defines construct-irrelevant variance (CIV) as ‘‘…excess reliable variance that is irrelevant to the interpreted construct.’’ The excess difficulty and tendency toward lower passing rates for flawed vs. standard items meets Messick’s definition of CIV perfectly.

이 연구의 결과로부터 교수들에게 효과적인 객관식문항작성법 교육이 필요함을 제기한다. 좋은 소식은 이 연구에서 드러난 다섯 개의 가장 흔한 오류에만 집중해도 된다는 것이다.

The results of this study suggest that efforts to teach faculty the principles of effective objective-test item writing should be increased. The good news is that these faculty development efforts can concentrate on eliminating the five most common errors found in this study and thereby eliminate nearly all flawed items fromtests.

Haladyna, T.M., Downing, S.M. & Rodriguez, M.C. (2002). A review of multiple-choice item- writing guidelines. Applied Measurement in Education 15: 309–334.

Jozefowicz, R.F., Koeppen, B.M., Case, S., Galbraith, R., Swanson, D. & Glew, H. (2002). The quality of in-house medical school examinations. Academic Medicine 77: 156–161.

The effects of violating standard item writing principles on tests and students: the consequences of usingflawed test items on achievement examinations in medical education.

다지선다형 문제에서의 찍기(Guessing) (Med Educ, 2003)

Guessing on selected-response examinations

S M Downing

어떤 사용자들은 객관식이 실제 성취도를 공정하게 보여주기 위해서는 '찍기'의 adverse effect를 줄이기 위한 transform이 필요하다고 걱정한다.

Some users of objective formats worry that student scores will not fairly represent true achievement unless the scores are trans-formed in some way to reduce the adverse effects of guessing

학생들이 선다형 문제에서 blind guessing하는 빈도는 상당히 과장되어 있었을 수 있다. 학생들은 일반적으로 매우 testwise하고 직관적으로 random guessing이 고부담시험에서 좋은 전략이 아님을 알고 있다.

The frequency of student blind guessing on selected-response test ques- tions may be considerably overestima-ted.2,3 Medical students are generally very testwise and intuitively understand that random guessing is not a good strategy to obtain high scores on even moderately high-stakes examinations.

반면, informed guessing은 학생이 어떤 일부 지식을 가지고 오답을 신중하게 제거한 후, 정답에 이를 가능성을 높이는 것을 말한다. 삶에서, 의학에서 대부분의 결정이 불완전한 지식을 바탕으로 이뤄진다.

Informed guessing, on the other hand, describes test-taking behaviour in which the student uses some partial knowledge to thoughtfully eliminate incorrect an-swers and improve the probability of arriving at a correct answer. Most deci-sions in life (and in medicine) are made with incomplete knowledge.

내적신뢰도의 KR20과 같은 것은 가끔 일어나는 random guessing에 의해서 크게 민감하지는 않지만, 많은 수의 문항에서 많은 수의 학생이 random guessing을 하였는지는 이 계수로 찾아낼 수 있다.

While typical estimates of internal consistency reliability, such as the Kuder–Richardson 20 estimate, are not sensitive to the occasional random guess by a few students, random guess-ing on large numbers of test items bymany students would be detected bythis coefficient. 

의학교육에서 일반적인 시험을 보면, random guessing외에도 많은 변수가 낮은 신뢰도에 기여한다.

In typical classroom assessments in medical education, many variables other than random guessing contribute to lower test reliability. Variables such as

• poorly written and ambiguous test items,

• examinations that are too short,

• items with flaws which cue students to the correct answer or confuse them into giving an incorrect answer,

• items with implausible distracters and

• poorly discriminating items

...all contribute more measurement error than random guessing.4,5

guessing을 보정하는 가장 흔한 두 가지 방법은 오답에 대해서 일부 감점을 하는 것이거나, 빈칸으로 남긴 문항에 대해서 부분점수를 부여해서 guessing을 보상하는 것이다. 그러나 이 두 가지 방법 모두 '정답을 맞춘 문항'과 완벽한 상관관계를 가지며, 즉 raw scoring은 위의 두 가지 보정 공식과 정확히 동일한 석차를 낸다는 것이다.

The two most common methods of correcting for guessing are to subtract fractional points for incorrect answers from the total of correct answers or to add fractional points for omitted items to ‘number-correct’ absence scores in order to reward of guessing. However, both types of guessing-corrected scores cor-relate perfectly with raw number-correct scores and with each other, indicating that raw scoring and both of the guess-ing-correction formula scores rank order examinees in exactly the same order.

그러나 부분점수를 더하거나 빼는 것은 CIV(construct-irrelevant variance)를 더하게 되는데, 왜냐하면 이러한 보정된 점수는 학생의 성취도 뿐만 아니라 내용과 상관없는 변수, 예컨대 위험을 감수/회피하려는 성향, 고득점/저득점에 대한 학생의 기대와 같은 것을 동반하기 때문이다. 만약 검사점수가 criterion-referenced로 해석된다면, 즉 점수 해석을 위해 절대값이 배정된다면, 그러한 해석은 guessing correction에 의해서 flawed될 수 있다. 진점수 외에도 non-random 또는 systematic error가 일부 피험자들에게 더해지는 것이다. 이것이 바로 CIV의 정의이기도 하다.

It is noteworthy, however, that the fractional score additions or subtrac-tions may add construct-irrelevant vari-ance to the number-correct scores, since these corrected scores are a measure of student achievement plus a measure of some other variable that is not related to content, such as the examinee’s risk-the taking propensity or aversion or student’s expectations about a high or a low score on the test.6 If test scores are interpreted in a criterion-referenced sys-tem, such that the absolute value of scores is assigned some interpretation(such as pass–fail), that interpretation may be flawed due to the guessingcorrection. Non-random or systematic error will be added to (or subtracted from) the true scores of some, but not all, examinees. This is the definition of construct-irrelevant variance.7 

Correction-for-guessing 공식은 raw score에서 random guessing의 영향력을 제거하지 못한다. 사실, '찍지 말라'고 해도 testwise한 학생들은 '모든 문항에 대답을 해야' 가장 높은 점수를 받을 것이라는 것을 알고 있다. 따라서, 대부분의 교육측정전문가들은 이미 오래 전에 모든 guessing-correction 공식을 배척하였으며, 단순히 맞춘 문항의 점수만 낸다. 이러한 방식은 충분히 길고 심사숙고하여 만들어진 시험이 잘 가르쳐지고 잘 준비된 학생들에게 시행되기만 한다면 test validity에 있어서 거의 위협이 되지 않는다.  그러나correction for guessing은 CIV를 추가시킬 가능성이 높다.

Correction-for-guessing formulas do not remove the effect of random guess-ing from raw scores. In fact, even when directed not to guess (when students are warned that formula scoring will beused), testwise students know that their score will be maximized by answering every question.8 Therefore, most edu-cational measurement specialists long ago abandoned all guessing-correction formulas in favour of simple number-correct scoring. There is an extremely low threat to test validity from guessing in reasonably long and carefully con-structed objective tests which are administered to students who are well taught and well prepared for testing.However, there is a very real likelihood of adding construct-irrelevant variance or systematic measurement error to test scores in an attempt to correct for guessing.9,10 In the case of proposed guessing corrections, the cure maybe worse than the disease. 

1 Burton RF. Misinformation, partial knowledge and guessing in true ⁄ false tests. Med Educ 2002;36:805–11. 

의사 역량 평가의 개념적, 실천적 어려움(Med Teach, 2015)

Conceptual and practical challenges in the assessment of physician competencies

CYNTHIA R. WHITEHEAD1,2,3, AYELET KUPER1,2,4, BRIAN HODGES1,2,5 & RACHEL ELLAWAY6

1University of Toronto, Canada, 2Wilson Centre, Canada, 3Women’s College Hospital, Canada, 4Sunnybrook Health Sciences

Centre, Canada, 5University Health Network, Canada, 6Northern Ontario School of Medicine, Canada

도입

Introduction

평가에 대한 현재 모델은 우리의 사고와 실천을 발전시켜왔다. 그러나 이 모델들은 의료행위와 평가의 본성nature를 더 이해해가면서 점차 낡고 올이 다 드러났다.

Current models of assessment have served us well in advancing our thinking and practices, but they are becoming increasingly threadbare in light of our emerging understanding of the nature of medical practice and of the assessment of medical practitioners.

배경

Background

최근 의과대학 교육과정은 생의학적 기초에서 (이 전에는 암묵적으로만 다뤄져오던) 의사소통/프로페셔널리즘/리더십과 같은 역량에 이르기까지 확장되어왔다. 이러한 개념이 비공식 또는 잠재 교육과정에서 공식 교육과정으로 옮겨온 것은 단순히 내용만 더해진 것이 아니다. 이러한 변화는 형식이 없던 것에 형식을 부여했고, 새로운 형식을 위한 새로운 방법이 필요했다.

In recent years medical school curricula have broadened from their biomedical base to explicitly include previously tacit competencies such as communication, professionalism and leadership. Moving these concepts from the informal and hidden curricula of medical education to its formal curriculum is not just a matter of adding content; these changes require form to be given to the formless, and new methods to be put in place to match these new and emerging forms.

CanMEDS의 개발은 한 사례이다. Educating Future Physicians for Ontario (EFPO) project 가 CanMEDS의 근원이다.

The development of CanMEDS is an example of this shift. The roots of CanMEDS can be found in the Educating Future Physicians for Ontario (EFPO) project (Whitehead et al. 2011a).

EFPO프로세스에서 의사의 8개 역할이 개발되었다. 캐나다의 전문의들은 EFPO역할을 가지고 다시 작업하여 일곱개의 CanMEDS 역할로 만들었다. 8번째 역할인 "Person"을 제거하고, "Professional"을 넣었다.

Eight relatively distinct physician roles were developed in the EFPOprocess. Canadian specialist physicians took the EFPO roles and re-worked them into the seven current CanMEDS Roles (Medical Expert, Collaborator, Manager, Health Advocate, Communicator, Scholar and Professional) (Frank et al. 1996), in the process removing EFPO’s eighth role of ‘‘Person’’, embedding it instead in the Professional Role (Whitehead et al. 2011a, 2014).

일부 CanMEDs 역할(Medical Expert)는 상대적으로 가르치고 평가하기가 쉽지만, 다른 역할들은 그보다 어렵다. 교육자들이 효과적이고 relevant한 평가도구를 모든 역량에 대하여 가지고 있지 않는 이상, 평가는 평가하기 '손쉬운'영역으로 skew되고 말 것이다.

While some CanMEDS Roles or competencies (such as Medical Expert) have been relatively easy to teach and assess, others have proved to be more challenging (Verma et al. 2005; Leveridge et al. 2007; Bryden et al. 2010). Unless educators have effect- ive and relevant assessment tools for all competencies, assessment may end up skewed towards ‘‘easier’’ areas,

Competence와 Competency 이해하기

Understanding competence and competency

각각의 프레임워크는 복잡한 의료행위의 개별 요소들을 단순하게 구조화된 다이어그램으로 표현하며, 종종 그림으로 묘사되기도 한다. CanMEDS는 "Medical Expert"를 중심에 둔 일곱 개 역할을 꽃으로 표현했다. ACGME도 기능을 목록화 한 CanMEDS와 비슷한 모델을 가지고 있으며, Scottish Doctor은 세 개의 concentric ring을 가지고 의사가 무엇을 할 줄 알아야 하고, 그것을 어떻게 해야 하고, 전문직으로서의 역할이 무엇인가를 표현하였다. 이 모델들이 각각 사용한 언어가 다르고, 그것이 구현arrange된 방식이 다르지만, 이 모델은 모두 의사의 능력 또는 역량을 보여주기 위한 목적이 있다.

Each frame-work reduces the complexities of multiple individual compo-nents of medical practice diagram into or a simple structure, often based represented as a figure. CanMEDS is around seven roles represented as a flower with ‘‘MedicalExpert’’ at the centre (Frank & Danoff 2007), the AccreditationCouncil for Graduate Medical Education (ACGME) (2006) has asimilar model to CanMEDS usually given as a list of functions,while the Scottish Doctor has three concentric rings repre-senting what the doctor is able to do, their approach to practice and their role as a professional (Ellaway et al. 2007).The language used and the way they are each arranged visually is different, although they all aim to represent a physician’s capabilities or competencies (ibid). 

또한, 맥락이 바뀌면 역량 프레임워크고 새로운 사회와 사회적 상황을 반영할 수 있게 달라져야 한다. 이에 우리는 역량 프레임워크의 적용은 상황-, 맥락- 특이적으로 이뤄져야 한다고 제안한다.

Furthermore, as contexts change, then, at least by implication, competency frameworks may also need to change to reflect new social and societal circumstances. We suggest, therefore, that the applicability of competency frameworks should be considered as situated and context- specific.

그러나 '추상화'로서, 이 역량 프레임워크는 그것이 보여주고자 하는 복잡한 아이디어와, 맥락의 변화에 반응하여 달라지는 의료행위의 변화 방식을 단순화한 버전을 제공할 수 밖에 없다. 따라서 어떤 프레임워크도 절대 "진실"일 수 없으며, 모든 프레임워크는 "근사치approximation"으로 장점과 함께 한계점이 분명하다.

As abstractions, however, they necessarily provide a simplified version of the complex ideas they represent and the ways that practice changes in response to the context in which it takes place. No framework, therefore, is ever ‘‘the truth’’, but instead all frameworks are approximations, and all will inevitably have limitations as well as strengths.

역량의 평가

Assessment of competencies

북미 교육에서 측정을 지배해온 전통은 psychometric 방법론 적용과 역량프레임워크의 개념에 초점을 두고 있고, 이것 때문에 평가와 측정에 관한 논의가 제한된다. Psychometric 기법은 한 개인 내에 stable trait로서 존재한다고 여겨지는 현상을 평가하기 위하여 처음 사용되었다. 예컨대 진실성/논리적 추론/시공간 능력 등이 있다. 인지심리학자들은 나중에 이 기법을 지식을 평가하는데 활용하였고, 더 나아가 수행능력 평가에까지 활용하였다. 'Psychometrically evaluated instruments'는 개인의 stable하고 latent한 특질을 평가하는데 유용했다. 교육자에게 이것은 real/measurable/underlying 심리특성을 평가함을 뜻했다.

The dominant tradition of measurement in education in North America has led to a focus on the application of psychometric methods and concepts to competency frame- works, thereby sometimes limiting discussion of assessment and capability to matters of measurement (Hodges 2013). Psychometric techniques were first used to evaluate phenom- ena that were thought of as stable traits that existed within a particular individual: things like truthfulness, logical reasoning and visual–spatial ability. Cognitive psychologists later expanded the use of these techniques to assess knowledge, and then further to assess performance. Psychometrically evaluated instruments are useful for assessing stable, latent traits within individuals. This implies that, as educators, we are assessing real, measurable, underlying psychological traits (Kuper et al. 2007).

psychometric approach 는 지식이나 테크닉적 스킬에 대해서는 잘 작동했다. 그러나 이 접근법이 개인의 특성으로서 stable하지 않은 construct에 대해서는 잘 작동하지 않았다. CanMEDS 역할 중 Advocate나 Collaborator는 어떻게 의료전문직이 다른 사람과 상호작용해야하는지에 대한 내용이나, 상호작용이란 본질적으로 맥락- 그리고 문화- 특이적인 것이다. 따라서 아무리 이 역량을 깔끔하게neatly 기술하다고 하더라도, 의사소통/협력/프로페셔널리즘/Advocacy 역량에 대한 개개인의 관점은 역사적, 상황적으로 달라지며 변화가능한 것이고, 배경과 문화가 다르면 달라진다.

A psychometric approach works well for constructs that relate to knowledge and technical skill. This approach does not, however, easily align with constructs that are not stable for individual traits. CanMEDS Roles such as Advocate and Collaborator, for example, depict how medical professionals should perform in their interactions with others – interactions that are intrinsically context- and culture-specific. Therefore, no matter how many attempts are made to neatly codify physician competence, individual views of competent com- munication, collaboration, professionalism and advocacy will be historically contingent, situational, changeable – and inevitably different from those from other backgrounds and cultures (Kuper et al. 2007).

방법과 도구를 다시 생각하기

Rethinking methods and means

여기서 우리는 두 가지 구체적인 사례에 초점을 두고자 한다. Ethonography와 Realist evaluation이다 이 두 가지 모두 복잡한 사회적 구조를 평가하기 위한 것이다. 맥락과 사회적 위치location를 고려하며, 동일한 상황 내에서도 잠재적으로 가능한 다양한 subject position의 존재를 존중하고, 역량을 수행하는 것이 맥락에 따라서 달라질 수 있음에 개방적이다.

In this paper we focus on two specific examples: ethnography and realist evaluation, both of which were designed to assess complex social constructs. Each takes into account context and social location, honours the existence of multiple potential subject positions within the same situation, and is open to wide variability in the contextual performance of competence.

• Realist inquiry explains the dynamics of complex systems in terms of various mechanisms in different contexts that lead to different outcomes (Wong et al. 2012; Pawson 2013). Realist inquiry also works with the concept of middle-range theory: demi-regularities within and around particular contexts rather than global phenomena. Realist assessment is therefore about explaining what individuals and groups are doing and how they are doing it rather than measuring a stable and predict- able construct.

• Ethnographic assessment involves gathering data about social interactions, using tools including observation, discus- sions and the analysis of written artifacts. Originally deriving from the discipline of anthropology, ethnography examines social processes, perceptions and behaviours within and between groups (Reeves et al. 2008, 2013).

이 두 가지는 복잡한 사회적 construct 평가를 framing하기 위한 방법론의 사례일 뿐이다.

Ethnography and realist evaluation are only two examples of methodological approaches for framing the assessment of complex social constructs such as the non-Medical Expert (Intrinsic) Roles (Sherbino et al. 2011).1 

이 방법론들은 trainee의 수행능력을 사회적 영역social realm의 관점에서 바라보며, 신뢰도와 타당도에 초점을 맞춰온 지난 60년간 "노이즈"로 무시되어온 수행능력의 맥락을 다시 비춰준다.

These meth- odologies can illuminate aspects of trainee performance in the social realm, as well as the contexts of that performance, that have been ignored as ‘‘noise’’ within our almost 60-year focus on validity and reliability.

나아갈 방향

Ways forward

우리는 변화 없이 relevant하고 rigorous한 사회적으로 구성되는 Non-Medical Expert역할에 대한 평가는 불가능하다. 우리는 교육자들이 고의로 incongruent한 평가도구를 사용한다고 생각하지 않는다.

However, we contend that, without change, the assessment of the socially constructed, non-Medical Expert (Intrinsic) Roles cannot be relevant and rigorous. We do not think that choose educators will knowingly to use methodologically incongruent assessment tools, as in doing so they will fall short of the needs of learners, patients, the profession and society as a whole.

"우리가 평가하지 않으면 학생들은 그것을 중요하게 여기지 않을 것이다"라는 mantra가 교육자가 만들어내는 산출물의 어느 정도를 차지할까? 의학교육과 같은 Academic culture에서 교수들은 늘 강의를 끝낼 때 "학생들이 관심있어 하는 것은 시험에 뭐가 나올지 뿐이라는 것을 다 안다. 지금부터 알려주겠다"라는 식으로 강의를 끝내며, 이것이 test-focused 환경에서 만들어진 교사를 보여준다. 이러한 환경은 universal하지 않다. 예를 들면 덴마크에서는 레지던트 시험이 없다.

To what extent is the mantra ‘‘if we don’t assess it the students will not value it’’ a product of educators’ own making? Academic cultures, such as medical education, where professors routinely end lectures with statements like ‘‘I know all you care about it what is on the test, so now I will tell you’’ clearly implicate teachers in the construction of a test-focused environment. This environment is not universal; in Denmark, for example, there are no residency exams (Karle & Nystrup 1995; Hodges & Segouin 2008).

Sherbino J, Frank JR, Flynn L, Snell L. 2011. ‘‘Intrinsic Roles’’ rather than ‘‘armour’’: Renaming the ‘‘non-medical expert roles’’ of the CanMEDS framework to match their intent. Adv Health Sci Educ Theory Pract 16(5):695–697.

Conceptual and practical challenges in the assessment of physician competencies.

성찰에 대한 평가의 교란요인: 비판적 리뷰 (BMC Med Educ, 2011)

Factors confounding the assessment of reflection: a critical review

Sebastiaan Koole1*, Tim Dornan2, Leen Aper1, Albert Scherpbier3, Martin Valcke4, Janke Cohen-Schotanus5 and

Anselme Derese1

배경

Background

평생학습은 최신의 헬스케어 서비스 제공을 위해 필수적이다. 평생학습이 단순히 컨퍼런스 참석을 의미하는 것이 아니며, 오늘날 평생학습이란 지속적 프로세스로서, 일상의 전문직 행동에 embed된 것이다. 평생학습의 핵심은 자신의 행동에 대해서 성찰하는 능력, 치료의 과정과 성과를 검토하고, 새로운 학습목표를 세우고, 수월성을 추구하기 위한 미래의 행동을 계획하는 것이다.

Lifelong learning is, consequently, crucial to the provision of up-to-date healthcare services [1].Rather than just attending conferences, lifelong learning today is seen as a continuous process, embedded in everyday professional practice. At its core lies practi-tioners’ ability to reflect upon their own actions, con-tinuously reviewing the processes and outcomes of treatments, defining new personal learning objectives, and planning future actions in pursuit of excellence [2-5].

많은 교육기관에서 성찰능력을 직헙훈련 프로그램의 목표로 삼고 있으며, 성찰적 사고가 개발될 수 있다는 것이 전제이다.

As a result, many educational institutions incorporate the ability to reflect as an objective of their vocational pro- grams, premised on a belief that reflective thinking is something that can be developed rather than a stable personality trait [4,10,11].

그러나 성찰능력을 어떻게 가장 잘 개발하도록 도와줄 수 있는가는 불확실하다. 합의된 방법이 부족하다.

There is, however, uncertainty about how best to help people develop their ability to reflect [11]. Lack of an agreed way of assessing reflection is a particular obstacle

평가는 피드백의 원천으로서 motivation에 영향을 주며, 요구되는 수준의 역량이 달성되었는지를 언제 판단할지에 따라서도 영향을 준다. 어떻게 '성찰적 학습'을 조작화할 것인가는 더 심각한 문제이다. 서로 다른, 광범위하게 받아들여지는 서로 다른 방식의 성찰에 대한 정의가 평가에 있어서 성찰의 성과, 성찰의 차원, 성찰의 기준 등을 다양하게 한다. 그 결과 연구결과를 비교하기도 어렵다.

Assessment has also a motiva- tional influence as a source for feedback (formative assessment) and when to judge whether requisite levels of competence have been attained (summative assess-ment) [3,4,12]. The persisting lack of clarity about how to operationalise reflective learning is symptomatic of an even deeper problem. Different, widely accepted theories define reflection in different ways, consider different outcomes as important, define different dimensions along which reflection could be assessed and point towards different standards [11]. Consequently, research findings are hard to compare. This unsatisfactory state of affairs leaves curriculum leaders without practical guidelines,

• Boe- nink 등은 '상황을 분석하는 서로 다른 관점의 숫자'로서 성찰을 묘사했다. 즉 하나의 관점에서부터 다수의 관점까지 다양할 수 있다.

• Aukes 등은 자기성찰/공감적 성찰/성찰적 의사소통의 조합으로서 개인의 성찰을 개념화하면서, 정서적, 의사소통적 요소를 강조했다.

• Sobral은 학습의 관점에서 reflection-in-learning을 강조했다.

Boe- nink et al [10] described reflection in terms of the num- ber of different perspectives a person used to analyse a situation. Reflection ranged from a single perspective to a balanced approach considering multiple relevant per- spectives. Aukes et al [13] emphasised emotional and communication components when they conceptualised personal reflection as a combination of self-reflection, empathic reflection, and reflective communication. Sobral’s [14] emphasis on reflection-in-learning approached reflection from a learning perspective.

이 세 가지 관점이 이 분야에서의 비일관성을 보여준다면 Dewey, Boud, Schön, Kolb, Moon, and Mezirow 의 연구는 공통점을 보여준다.

If those three perspectives exemplify inconsistency in the field, the work of Dewey, Boud, Schön, Kolb, Moon, and Mezirow exemplifies shared ground between reflec- tion theories and used terms.

• Dewey is usually regarded as the founder of the concept of reflection in an educa- tional context. He described reflective thought as “active, persistent, and careful consideration of any belief or supposed form of knowledge in the light of the grounds that support it, and the further conclusions to which it tends” [15]. He saw reflective thinking in the education of individuals as a lever for the development of a wider democratic society.

• In line with his work, Boud et al emphasised reflection as a tool to learn from experience in experiential learn- ing [16]. They identified reflection as a process that looks back on experience to obtain new perspectives and inform future behaviour. A special feature of their description of reflection in three stages -

• 1. 경험으로 돌아가기 Returning to an experience;

• 2. 감정에 집중하기 attending to feelings; and

• 3. 경험을 재평가하기 re-evaluat- ing the experience - was the emphasis it placed on the role of emotions.

• Moon described reflection as an input-outcome pro- cess [17]. She identified reflection as a mental function transforming factual or theoretical, verbal or non-verbal knowledge, and emotional components generated in the past or present into the output of reflection (e.g. learn- ing, critical review or self-development). (사실적 또는 이론적/ 언어적 또는 비언어적/ 과거 혹은 현재의 감정적 요소를 성찰의 output으로 만드는 것)

• Schön’s concept of reflective practitioner the identi-fied reflection as a tool to deal with complex profes- sional situations [18,19]. Reflection in a situation (reflection-in-action) is linked to practitioners’ immedi- ate behaviour. Reflection after the event (reflection-on- action) provides insights that can improve future prac- tice. Those two types of reflection together form a con- tinuum for practice improvement.

• The term ’ reflective learning ’ describes reflection in the context of experiential learning. Kolb’s widely accepted experiential learning cycle describes four stages of learning:

• 1. 경험을 한다(구체적 경험) having an experience (concrete experi- ence),

• 2. 성찰적 관찰(경험을 성찰한다) reflective observation (reflecting on this experi- ence),

• 3. 추상적 개념화(경험에서 배운다) abstract conceptualisation (learning from the experience) and

• 4. 능동적 실험(배운 것을 시도해본다) active experimentation (trying out what you have learned) [20].

• 이 네 단계는 나선형이다. These four stages are con- ceptualised as a spiral, each of whose turns is a step for- ward in a person’s experiential learning.

• Lifelong learning is considered today as essential for maintaining a high standard of professional practice. Mezirow’s transformative learning theory described life- long learning in terms of learners’ transforming frames of reference, in which reflection is the driving force [21].

공통 요소의 '절충 모델'

Towards an ‘eclectic model’ of common elements

Atkins and Murphy 는 성찰을 다음과 같이 밝혔다.

Atkins and Murphy [22] identified reflec- tion as:

• 1. 불편한 감정 또는 생각의 인지 ‘awareness of uncomfortable feelings and thoughts’, resulting in

• 2. 감정과 지식의 분석 an ‘analysis of feelings and knowledge’, finally leading to

• 3. 새로운 관점 ‘new perspectives’.

Korthagen의 ALACT 모델(’Action, Looking back on action, Awareness of essential aspects, Creating alternative methods of action, and Trial’)은 '인식하게 됨' 시기의 첫 두 단계를 보여준다. 일반적인 회상적 행동, 더 해석적인 행동

Korthagen’s ALACT model (’Action, Looking back on action, Awareness of essential aspects, Creating alternative methods of action, and Trial’)[23]describes the first phase of ‘becoming aware’ in two steps: a general retrospective action and a more interpretive action.

이 두 가지 이론을 통합하면 첫 번째 phase가 나온다(경험 검토’reviewing an experience’). 두 가지 하부 구성요소

Integrating those two theories, resulted in a first phase (’reviewing an experience’)with two subcomponents:

• 1. 무슨 일이 일어났는지를 일반적으로 기술한다. generally describing what hap- pened and

• 2. 생각/사고/맥락적 요인을 고려하여 본질적 측면을 밝힌다. identifying essential aspects by considering both thoughts, feelings and contextual factors.

그러나 단순히 경험을 검토하는 것이 효과적 성찰로 이어지지는 않는다. Bourner에게 있어서, 경험에서 더 정보를 얻기 위해서interrogate 탐색 질문을  활용하는 것은 '성찰'과 '생각thinking'의 차이였고, 그는 '성찰적 탐구reflective inquiry'를 성찰의 중요한 요소로 보았다. 성찰에 대한 이러한 관점은 Mamede and Schmidt가 성찰적 행동을 '성찰에 대한 개방성openness to reflection'으로 본 것과 마찬가지이다. Bourner는 탐색질문searching question을 하는 것만 강조했고, 그것에 대한 답을 구하는 것을 강조하지는 않았다. Korthagen의 접근법은 Bourner의 접근법에다가 질문에 대답을 하는 과정으로서 '대안적 행동방법 만들기creating alternative methods of action'를 추가하여 이를 보완해준다. 이렇게 추가한 것은 Boud가 분석을 association, integration, validation and appropriation의 조합이라고 한 것과 잘 맞는다.

Just reviewing an experience, however, does not neces- sarily lead to effective reflection. For Bourner [24], using searching questions to interrogate an experience was the key difference between reflecting and thinking and he saw ‘reflective inquiry’ as a crucial component of reflec- tion. This aspect of reflection was also represented in Mamede and Schmidt’s proposed structure of reflective practice as ‘openness to reflection’ [25]. Bourner only emphasised posing searching questions, however, not answering them. Korthagen’s approach supplements Bourner’s by contributing ‘creating alternative methods of action’ as a process of answering questions. This addition is compatible with Boud’s characterization of analysis as a combination of association, integration, validation and appropriation.

개인의 Frame of reference 안에서 이뤄지는 내면의 대화internal dialogue를 하는 것은 분석의 방향을 제시해주며, "감각적 인상을 거르는 가정과 기대의 구조"를 보여준다. 이러한 개인의 관점은 인식/인지/감정/성향(intentions, expectations and purposes) 등으로 구성되어 있으며, 우리의 감각 경험에 의미를 부여하는 맥락을 제공한다. 성찰의 첫 번째 phase가 경험을 묘사하고, 감정/생각/다른 측면을 인식하는 것이라면, 두 번째 phase는 성찰적 탐구reflective inquiry를 가지고 경험을 분석하여 개인의 독특한 Frame of reference 안에서 분석 프로세스를 trigger하는 것이다.

The internal dialogue that results is conducted within a ‘personal frame of reference’ that, according to Mezirow, directs the analy- sis and represents “the structure of assumptions and expectations through which we filter sense impressions” [21]. This personal perspective, made up of our percep- tions, cognitions, feelings and dispositions (intentions, expectations and purposes), creates a context in which we give meaning to our sensory experiences. If the first phase of reflection, then, is identified as the description of an experience and the awareness of feelings, thoughts, and other essential aspects, our second phase of reflec- tion is analysing experiences by reflective inquiry, which triggers a process of analysis within a person’sunique frame of reference.

Moon의 투입-산출 모델은 성찰이 '목적성을 가짐purposeful'을 강조한다. Atkins and Murphy에 의해 밝혀진 이 목적, 즉 세 번째 phase는 '새로운 관점의 발견identification of new perspectives'이다. Korthagen and Boud는 둘 다 추가 단계를 하나 더 넣었는데, 이 새로운 관점을 행동으로 옮겨서 새로운 성찰적 사이클의 시작점으로 삼는 것이다. Stockhau- sen의 성찰적 실천의 임상 나선 모델에서 '재건축reconstruction phase'가 같은 기능을 한다. 이 phase에서 성찰적 통찰reflective insights은 미래의 행동을 위한 계획으로 전환된다. 이러한 행동이 미래의 성찰로 이끌어줄 수 있으므로, 경험에 대해서 성찰을 하는 것은 중요한 경험을 well-informed practical action으로 전환시켜주는 순환적 과정이다.

Moon’s input-outcome model emphasises that reflec- tion is purposeful [17]. This purpose is identified by Atkins and Murphy in the third phase of reflection as the ‘identification of new perspectives’ [22]. Both Korthagen and Boud, however, included an additional stage - the conversion of those new perspectives into actions that are the starting point for new reflective cycles [16,23]. The ‘reconstruction phase’ of Stockhau- sen’s clinical learning spiral model of reflective practice among undergraduate nursing students in clinical prac- tice settings had the same function [26]. During this phase, reflective insights were transformed into plans for future actions. Since those actions could lead to further reflections, reflecting on experiences was identified as a cyclic process that transformed significant experiences into deliberate, well informed practical actions.

이러한 insight를 가지고 '새로운 관점의 발견'을 성찰 프로세스의 성과로서 정의했으며, 이 새로운 관점은 '성찰을 통한 미래의 행동'으로 이끌어준다. 이 phase를 연구자에 따라서는 행동-전-성찰reflection-before-action이라고 부르며, 이번 절충 모델에서는 성찰을 순환적 과정으로 만듦으로서 포함되었다. 이 모델에서 성찰은 과거의 성찰에서부터 나온 학습목표로부터 정보를 받고, 발달 프로세스로서 성찰의 중요성을 강조한다. Korthagen and Stockhausen은 모두 성찰나선reflection spiral이라는 용어와 함께 이 프로세스를 강조하였으며, 이를 통해서 더 높은 차원의 이해/실천/학습으로 갈 수 있는 길이라고 보았다.

We incorporated those insights into the eclectic model by defining the outcome of a reflection process as the iden- tification of new perspectives, which leads to future actions informed by reflection. Stockhausen also described a preparatory phase to establish objectives for a new clinical experience. This phase, which other authors have labelled as reflection-before-action [27,28], is incorporated into the eclectic model by representing reflection as a cyclical process. It allows reflection to be informed by learning goals arising from past reflections and stresses the importance of reflection as a develop- mental process. Both Korthagen and Stockhausen have highlighted this process with the term reflection spiral with each winding leading to a higher order of under- standing, practice or learning [23,26].

요약

Reviewing the experience has two compo- nents:

• ‘description of the experience as a whole’,and

• ‘awareness of essential aspects based on the considera- tion of personal thoughts, feelings, and important con- textual factors’.

Critical analysis starts with

• ‘reflective inquiry’ - posing searching questions about an experi- ence - and progresses to

• ‘searching for answers’ while remaining aware of the ‘frame of reference’ within which the inquiry is being conducted.

Reflective out- come comprises the

• ‘new perspectives’ resulting from phase two, and the

• ‘translation of those perspectives into behaviour that has been informed by reflection’.

모델을 만드는 것부터 성찰 평가를 위한 지표 개발까지

From model building to developing indicators for assessment of reflection

성찰 프로세스의 적절성 지표

indicator of the adequacy of reflection processes (table 2).

2. 성찰 평가 해석를 위한 기준

2. Standards to interpret reflection assessment

Boud의 이론에는 여섯 가지 항목이 있다.

Boud’s theory, had six items:

• attending to feelings,

• association,

• integration,

• vali- dation,

• appropriation and

• outcome of reflection.

Mezirow는 학생을 다음과 같이 나눴다.

Mezirow, labelled students as:

• 비-성찰자 non-reflectors (no evidence of reflective thinking),

• 성찰자(경험을 학습 기회에 연관짓기) reflectors (evidence of relating experience to learning opportunities) and

• 비판적 성찰자(성찰의 결과를 전문직적 행동에 통합하기) critical reflectors (evidence of inte- grating reflective outcomes in professional behaviour).

연구자들은 Boud의 카테고리가 written material에 적용하기 어렵다는 것을 알았고, Mezirow의 것보다 신뢰도가 떨어졌다. 그러나 Mezirow의 카테고리는 세 개밖에 없어서 사람들 간 변별력이 떨어졌다. Kember 등은 이 문제를 finer-tuned을 통해서 해결하고자 했다. 이들이 제시한 7개 카테고리는

The researchers found Boud’s categories hard to apply to written materials, resulting in less reliable coding than using Mezirow’s scheme. With only three cate- gories, however, this latter scheme had a limited capa- city to discriminate between people. Kember et al [31] addressed this issue by using a finer-tuned coding scheme based on the work of Mezirow. Their seven categories ranged from

• 비성찰적 사고 unreflective thinking (

• 습관적 행동 habitual action,

• 자기반성 introspection and

• 사려깊은 행동 thoughtful action) to

• 성찰적 사고 reflective thinking (

• 내용 성찰 content reflection,

• 과정 성찰 process reflection,

• 내용과 과정 성찰 content and process reflection and

• 전제premise 성찰 premise reflection).

Boenink 는 성찰을 1~10까지 순위를 매겼고, 이는 학생이 쓴 성찰적 반응에서 드러난 관점의 숫자을 기준으로 매긴 것이였다. 그러나 이 척도는 성찰의 한 가지 측면밖에 보여주지 못한다는 한계가 있다.

Boenink et al [10] used an alternative approach, which ranked reflections from 1-10. Their scale was based on the number of perspectives students described in short written reflective reactions to a case vignette describing a challenging situation. The scale was limited, however, by measuring only one aspect of reflection (being aware of the frame of reference used).

Duke and Appleton 는 8개의 스킬을 평가했다. Grade를 줌으로써 이 연구자들은 성찰적 스킬에 대한 기준을 처음으로 설정했으나, 어떻게 level을 grade로 연결했는지를 밝히지는 않았다.

Duke and Appleton [29]developed a broader marking grid to score reflectivereports. It assessed eight skills that support reflection,identified by a literature review, on five-level scales,‘anchored’ and linked to a grade (A, B+, B, C and F).By providing grades, these authors were the first to set standards for reflective skills , however, the authors did not disclose how they linked the levels to grades.

Boyd 는 성찰적 판단을 King and Kitchener가 제안한 7개의 지적발달을 기준으로 코딩하였다.

Boyd [32] assessed reflective judgement using a coding scheme based on seven stages of intellectual development described by King and Kitchener:

• 전-성찰적 사고 Pre-reflective thinking (stages 1-3);

• 유사-성찰적 사고 quasi- reflective thinking (stages 4 and 5); and

• 성찰적 사고 reflective think- ing (stages 6 and 7).

Measurements made with the scale had an interrater reliability of 0.76 (Cronbach alpha).

3. 평가를 어렵게 만드는 요인들

3. Factors that complicate assessment

성찰의 메타인지적 성격 때문에, 평가를 위해서는 '성찰'을 '글written words'로 바꿔야 한다 (인터뷰 기록, 포트폴리오 성찰일지 등)

The metacognitive nature of reflection is an important complicating factor of reflection assessment [4]. Sub-jects are most often asked to ‘translate’ their reflections into written words, which are assessed against coding schemes or scoring grids [29-31,38-40]. Other suggested methods to ‘visualise’ reflections include the verbalisa-tion in interviews [32,41,42], written responses to vign-ettes [10], or reflective writings in portfolios [34,43].

따라서 평가자는 성찰을 기록한 사람의 '선택적 묘사'에 대해서 그것이 과연 '적절한지'를 확인해보지도 못하고, 평가해야 한다. 이 때 (비)의도적 뒤늦은 깨달음, 자성적 능력의 부족 등으로 편향이 생길 수 있다. 기록된 것은 선택적으로 기록된 것이고, 불완전하다. 이런 측면에서 인터뷰가 장점이 있으나 여전히 주관적인 평가이며, 성찰활동에 대한 선택적 네러티브만 평가할 수 있다.

Assessors’ dependency on a person’s interpretative description is a serious threat to the validity of assess-ments of reflection because they have to judge selective descriptions without being able to verify their adequacy. Accordingly this approach fails to detect bias caused by a lack of (un)intentional hindsight and introspection ability [44,45], reflections being determined by the requirements of the assessment and selectivity and/or incompleteness of aspects they portray [44]. Interviews have the advantage that they can pose clarifying ques- tions and monitor a reflecting person’s reactions, but they still leave assessors to ground their judgements in potentially subjective and selective narrative accounts of reflective activity.

자기기입식 설문: 정확한 introspect가 요구된다. Eva and Regehr 는 자기-평가적 접근만 활용하는 것은 부정확한 결과를 가져오며, introspection에 대한 삼각측량이 필요함을 강조함.

Self-assessment questionnaires have the advantage of circumventing indirect observation [13,14,49,50], but their requirement to introspect accurately introduces another validity threat [22,51], because it is then unclear if it is reflection or the ability to introspect that is being tested. Eva and Regehr [45] concluded that it is best not to build solely on self-assessment approaches as they tend to be inaccurate and they recommended triangulat- ing introspection with other forms of feedback.

이러한 이유로 과연 성찰이 평가가능한 것인가라는 질문이 남는다. 두 가지 요소가 중요해보인다. 타당한 접근을 위해서 Bourner는 내용Content과 프로세스Process에 대한 평가가 서로 구분되어야 한다고 제안했다. 주관성 때문에 내용이 평가에 있어서 장애요인이 된다면, 프로세스는 더 일반적인 특징이 될 수 있다. 유사하게, Bourner는 관찰가능한 항목 (학습목표 기술 등)이 성찰능력을 보여주는 것으로 사용되어야 한다고 주장했다.

Since there are such serious validity threats, the ques-tion remains whether it is possible to assess reflection at all. Two elements appear to be important. In search fora valid approach, Bourner [24] suggested the content and the process of reflection should be viewed as two separate entities. While the content is a barrier to assessment because of its subjective nature, the process has a more general character. Similarly Bourner proposed that observa- ble items, like the ability to formulate learning goals, should be used to demonstrate a person’s capacity for reflecting.

4. 성찰의 평가에 영향을 주는 내적, 외적 맥락요인

4. Internal and external contextual factors affecting reflection assessment

성찰에 대한 평가는 성찰능력 뿐 아니라 맥락적 요인에 의해서도 영향을 받는다. Motivation은 학습과 성취의 중요한 매개인자이다. 기대-가치 모델Expectation-value model은 과제에 대한 개인의 가치와 그 과제를 성공적으로 수행했을 때의 기대치가 과업 수행의 주요 예측인자라고 하였다. 이것을 성찰에 적용시키면, practice에 있어 성찰을 얼마나 중요하게 생각하느냐가 성찰에 얼마나 많은 시간과 노력을 쏟는지를 결정할 것이다. 성찰이 주는 보상에 대해 긍정적인 기대를 하지 않는 사람은 깊이있고 비판적인 성찰을 하지 않을 것이다. 이 motivational model은 성찰적 학습에 대한 개인의 과거 경험과 성찰 과정에 대한 개인의 이해가 motivation에 영향을 미치고, 궁극적으로 행동에도 영향을 준다고 설명한다. 따라서 성찰의 가치를 frame하고 의도한 결과를 얻기 위해서는 introductory session이 중요하다.

The results of assessments of reflection are influenced by contextual factors as well as people’s ability to reflect. Motivation is considered to be an important mediator of learning and achievement in medical education [55,56]. The expectancy-value model proposed by Wigfield and Eccles identifies the subjective value of a task to a per- son and their expectation of performing it successfully as main predictors of task performance [57]. Applied to reflection, it predicts that the perceived importance of reflection for (professional) practice will determine the time and effort a person is willing to invest in it; those who do not expect a positive return are unlikely to reflect profoundly and critically [4]. This motivational model also explains how personal factors like prior experience of reflective learning and a person’sunder- standing of the reflection process will influence motiva- tion and consequently reflective behaviour. Hence introductory sessions are important to frame the value and intended outcomes of reflection [4].

과거에는 성찰을 지극히 개인적인 프로세스라고 보았다. 그러나 점차 사회적 상호작용에 의해서 촉진되는 프로세스라고 개념화하는 쪽으로 생각이 바뀌고 있다. supervision과 동료들이 학습자에게 정기적으로 피드백을 주고, 생각을 자극하는 질문을 함으로써 성찰을 향상시킬 수 있다. 퍼실리테이터는 비-판단적 질문을 통해서 (학습자가) 그 상황을 더 탐구하고, 대안적 관점과 solution을 찾고, 당연하게 여겼던 가정이 무엇이었는지를 알게 해줄 수 있다. 더 나아가서 situations 이 강력한 감정과 부정적인 생각을 불러일으켜서 효율적인 성찰을 방해할 수 있다. 퍼실리테이터는 이러항 강력한 감정들을 동화assimilate시키고 성찰 프로세스에 초점을 맞추게끔 도와줄 수 있다. 성찰적 사고, 감정, 정서 등을 완전히 탐구하기 위해서는 성찰을 하는 사람과 퍼실리테이터 사이에 안전한 환경이 마련되는 것이 중요하다. 다른 사람을 돕는다는 의미 외에도, 퍼실리테이터가 된다는 것은 자기자신의 성찰도 더 효과적으로 할 수 있게 됨을 뜻한다. 그러나 Schon은 학습자와 코치 사이의 관계가 균형잡히지 않았을 경우에, 그리고 맥락적 요인에 과도하게 영향을 받았을 경우에 성찰적 실천이 방해받을 수 있음을 경고하였으며, 방어적 태도defensiveness를 보일 수 있다고 하였다. 맥락적 요인의 강조와 더불어 Schaub 등은 성찰적 학습을 장려하는 교사의 능력을 평가하는 척도를 개발하였다. 여기서는 학습자에게 교사가 self-insight를 지지하는지, 안전한 환경을 조성하는지, 자기-조절을 장려하는지 등을 물어본다.

Whereas reflection was traditionally conceived of as a strictly individual process, ideas are shifting towards conceptualising it as a process facilitated by social inter- action [4,45]. A stimulating environment in which supervisors and peers give learners regular feedback and ask thought-provoking questions can, from that point of view, be expected to improve reflection. With non-jud- gemental questions, facilitators can encourage to fully explore the situation, to consider alternative perspectives and solutions, and to uncover taken-for-granted assumptions [3]. Furthermore, situations can provoke strong emotions and negative thoughts which could potentially form a barrier obstructing efficient reflection and reflection upon . A facilitator can help to assimilate these strong emotions and refocus on the reflection process [12,16]. To fully explore reflective thoughts, feelings and possible emotions, it is crucial to create a safe environment established between the reflecting person and the facilitator(s) [3]. Next to sup- porting others, being a facilitator is also reported as even more effective for a person’s own reflections[58]. Schön, however, warned that an unbalanced relationship between learner and coach and an undue influence of contextual factors could hinder reflective practice, as it could lead to defensiveness [18]. In line with this emphasis on contextual factors, Schaub et al developed a scale to assess teachers’ competence in encouraging reflective learning [59]. It asks learners to identify whether teachers support self-insights, create a safe environment, and encourage self-regulation.

요약

Summary

성찰은 메타인지적 과정이므로, 성찰기록, 포트폴리오, 면접 등의 간접적으로만 평가될 수 있다. 이 방법에서 평가자들은 보고받은 성찰이 진실인지 확인하는 것verify이 어렵다. 자기평가식 설문지가 널리 사용되고 있는데 이 역시 마찬가지의 타당도 문제를 가지고 있고, 근본적으로 자기-평가의 문제도 있다. 이러한 타당도 문제를 해결하기 위하여, 평가는 주관적으로 미화된 성찰의 내용이 아니라 성찰의 프로세스에 초점을 맞춰야 한다는 주장이 제기되고 있다. 추가적으로, 성찰이 그 성찰을 자극triggering 상황적 맥락과 엮여 있기 때문에, 이러한 triggering situation에 대한 객관적 정보를 고려하는 것이 평가자로 하여금 묘사된 성찰을 verify할 수 있게 해준다. 성찰 프로세스는 내적(동기, 기대, 과거경험)과 외적(평가의 성격, 퍼실리테이터의 존재, 평가에 대한 introduction) 요인에 영향을 받는다. 이러한 요인들에 대해서 인식하는 것이 효과적인 교육 전략을 개발하고, 평가결과를 해석하고, 성찰 프로세스에 대하여 이해를 높이는데 중요할 것이다.

Because reflection is a metacognitive process, it can only be assessed indirectly; through written reflections in vignettes or portfolios, or spoken expressions in inter- views. These methods do not allow assessors to verify information related to the reflections reported, which is a serious limitation. The widespread use of self- assessment questionnaires shares both that validity pro- blem and the inherent limitations of self-assessment. To counter these validity threats, it has been proposed that assessment should focus on the process rather than the subjectively coloured content of reflection. In addition, as reflections are intimately entangled with their trigger- ing situational context, we suggest where possible to consider objective information about this triggering situation allowing assessors to verify described reflec- tions. The reflection process is influenced by internal (eg. motivation, expectancy and prior experiences with reflection) and external factors (formative or summative character of assessment, presence of facilitators and introduction to the assessment). Awareness of these fac- tors are important to develop effective educational stra- tegies, interpreting assessment results and finally the increase in understanding about the reflection process.

실용 가이드라인

practical guidelines

• 1. Clearly define the concept of reflection and verify that all stakeholders (curriculum developers, students, assessors and supervisors) adopt the same definition and intended outcomes. 

• 2. Be specific about what level of reflection skills is expected, identifying good and inadequate reflection and communicate this to all stakeholders. 

• 3. Be aware of possible bias in self-assessment meth- ods, caused by inadequate ability to introspect. 

• 4. Provide assessors with a perspective on the situation triggering the reflection to create the ability to verify the described reflections in an objective frame of additional information. 

• 5. Consider and report contextual factors when asses- sing reflection and/or when engaging in reflective educa- tion in support to interpret the outcomes.

BMC Med Educ. 2011 Dec 28;11:104. doi: 10.1186/1472-6920-11-104.

Factors confounding the assessment of reflection: a critical review.

바다괴물 & 소용돌이: 의학교육에서 시험과 성찰 사이에서의 항해(Med Teach, 2015)

Sea monsters & whirlpools: Navigating between examination and reflection in medical education

Brian David Hodges

Introduction

Homer의 Odyssey에서 Odysseus 는 Strait of Messina를 지나야 하는데 두 개의 큰 위협이 있다 하나는 스킬라(큰 바위 옆에 사는 머리가 여섯, 바링 열두 개인 여자 괴물)이고 다른 하나는 카리브디스(Sicily 섬 앞바다의 큰 소용돌이, 배를 삼킴)이다. 이러한 비유를 보다 시적으로 바꿔보면 "진퇴양난에 빠진caught between a rock and a hard place"것으로 지금 의학교육이 당면한 상황을 우화적으로 보여준다.

In Homer’s epic poem, the Odyssey, Odysseus must travel through the Strait of Messina, passing between two great threats: the Scylla and Charybdis. The Scylla, on one side of the strait, is a multi-headed monster that plucks sailors off the ship and eats them. On the other side of the strait lays the Charybdis, a deadly, sucking whirlpool that is invisible to all who approach it. This metaphor, a more poetic version of ‘‘being caught between a rock and a hard place’’, is useful allegory for the challenges facing medical education.

가장 우려되는 것은 "'책무성'이라는 담화에서 출발한 고부담의, 외부의 시험" 그리고 보다 최근에 강조되기 시작한 "자기주도성, 성찰과 같은 내적 동기부여에 대한 투자" 사이의 tension이다 나는 이 두 가지의 담화가 이론적/실제적으로 양립불가능하다고 주장한 바 있으마, 우리는 여전히 이 두 가지를 모두 추구하고자 한다. 가능할까?

One of the most worrisome is the growing tension between high stakes, external examinations driven by a discourse of ‘‘accountability’’ and a more recent, but no less passionate, investment in internally motivated notions of ‘‘self-direction’’ and ‘‘reflection’’. I have argued that these two discourses may be theoretically and practically incompatible, yet we persist (Hodges 2007). How did we get here?

'시험'이라는 문화의 폭발적 성장

The explosion of a culture of examination

19세기에 의학은 '길드' 였고 역량은 '옳은' 사람man이 되는 것이었다(이 당시에는 여자 의사는 거의 없었다). 이 당시의 평가 시스템은 수련중의 발전과정에 대한 판단이며 사부master의 승인에 따라 고용여부가 정해졌다.

In the nineteenth century, medicine was a guild and compe- tence was linked to the notion of being the ‘‘right kind’’ of man (there were very few women doctors in the nineteenth century). The assessment system of the time was a judgement model in which progression in training and employment was based on approval of a master.

20세기에, 생명과학이 발전하고, 의과대학이 대학 안으로 들어가면서, '역량'이라는 개념은 character에 대한 종합적 판단이 아니라, 지식의 기반에 대한 것base of knowledge로 바뀌었다. '역량'을 보여주기 위해서 의과대학은 지필고사를 개발하였다. 20세기 초반 MCQ의 발명은 평가를 보다 효율적이고 쉽게 수행할 수 있게 해줬다.

In the twentieth century, the biological sciences flourished and medical schools were relocated into universities, heralding a shift in the concept of competence away from holistic judgement of ‘‘character’’ toward a rich base of knowledge. To confirm competence, medical schools developed written examinations. The inven- tion of multiple choice questions in the early twentieth century made assessment more efficient and easier to administer.

20세기 중반, 또 한번의 패러다임 전환이 있었는데, '수행능력으로서의 역량'의 개념이 나타났다. OSCE나 시뮬레이션 같은 수행능력 기반 평가는 평가의 face를 바꾸었다. 의학교육자들은 이제 '밀러의 피라미드'라는 것을 활용했다. 동시에 의학교육자들은 평가의 책임을 외부로 확장시켰는데, state 혹은 province 차원의 전문직 조직이 의과대학에 시험을 제공하고, 그리고는 국가적 수준의 고부담/표준화 시험을 보게 했다. 그 결과 의사가 되려고 하는 사람들이 일생동안 치뤄야 하는 시험은 엄청나게 많아졌다. 이러한 이야기는 의학교육 뿐만 아니라 20세기 자체가 서구 국가에서는 '시험의 폭발적 증가'의 시대였다.

By the mid-twentieth century, there was another paradigm shift and the notion of competence-as-performance was born. Performance-based assessments such as Objective Structured Clinical Exams (OSCEs) and simulations changed the face of assessment. Medical educators were climbing what is now called Miller’s pyramid: a competence ladder starting from a base of ‘‘knowing’’, rising to ‘‘knowing how’’, to ‘‘showing how’’ and finally to ‘‘doing’’ (Miller 1990). At the same time, medical educators distributed the responsibility for assessment outward, adding examinations given by state or provincial professional organizations to tests in medical schools, and then national, high stakes, standardized examinations. The net result was an enormous expansion of testing in the life of would-be physicians. This story is not limited to medical education, however; in the twentieth century there was an explosion of testing across Western countries.

무수한 시험들..

When we are born we have an Apgar Test and at the end of our lives, as we quietly slip away, someone will perform a Glasgow Coma Scale. In between we undergo all manner of elementary and high school tests, college exams, intelligence tests, driving tests, MCATs, SATs, LSATs and on and on. Our lives are punctuated by an endless series of written and performance assessments.

마이클 푸코는 시험examination은 고전시기classical age의 가장 눈부신 발명품이면서, 가장 덜 연구된 것이다 라고 했다. 시험이 늘어난 것에는 여러가지 장점도 있다.

Michel Foucault called ours an examined society and argued that the examination is one of the most brilliant, if least studied, inventions of the classical age (Foucault 1975/1995, pp. 184–185). There have been many benefits from the proliferation of testing. In medical education these include

• 교육과 학습목표의 합치 greater alignment of teaching with learning objectives,

• 대중에 대한 책무성 강화 more accountability to the public and

• 학생에 대한 피드백 가능성 the possibility of better feedback to learners (although formative feedback tends to become rare as the stakes of testing get higher).

• 새로운 평가도구의 개발 Further, educators have developed new testing tools and can assess a wider range of competencies.

• 역량 프레임워크의 개발을 위한 긴밀한 협조 Finally, the rise of assessment has gone hand in glove with the elaboration of new competence frameworks such as the Canadian CanMEDS roles and the American ACGME competencies (Whitehead et al. 2013).

그러나 Hanson 은 이 모든 시험이 단순이 역량을 측정하는 것 이상의 기능을 하고 있다고 하며, 이 시험이 우리를 발명inventing us 한다고 했다.

However Hanson (1993) is among those who have cautioned that all those tests are doing more than just measuring competence: they are also inventing us (p. 210).

우리의 시험이 학생을 바람직한 방향으로 이끌고 있는가?

The question that drives my research is ‘‘Are our assessment methods shaping students in a desirable way?’’

Scylla and Charybdis 의 비유로 돌아가자. Scylla 는 시험을 과도하게 사용하는 우리가 마주한 위험이다. 이는 학생의 동기를 꺾고 외부의 강제/보상에 반응하게 만들며, 내적 동기부여와 자기주도성을 상실하게 한다. 우리는 지속적으로 평생학습의 중요성을 강조하지만, 그리고는 교육환경 자체는 매우 외적-동기부여만이 존재하게 만들고, 관리감독 중심으로 만들며, 보건의료직은 스스로의 학습을 guide해 나가는데 위협을 겪고 있다. 많은 교사들은 시험이 너무 많아서 학생들이 배웠으면 하는 것을 못 배운다고 하지만, 매우 최근까지도 그에 대한 해결책은 시험을 어설프게 바꾸는 것이었지, 패러다임을 변화시키는 것은 아니었다.

Returning to the Scylla and Charybdis metaphor, the Scylla of overusing examinations is a danger we ignore at our peril. It diminishes student motivation by pushing them to respond to external reinforcement/reward rather than fostering internally motivated, self-direction. We speak constantly of the centrality of lifelong learning but then construct an educational envir- onment that is so externally motivated, so surveillance- oriented, that health professionals risk developing neither the drive nor the skills to guide their own learning. Many teachers decry the fact that too many examinations drive students away from the things we wish them to learn, but until quite recently the solutions amounted to tinkering with examination tools rather than fomenting a paradigm shift.

과도하게 많은 시험이라는 Scylla 를 두려워하여 의학교육자들은 반대편을 보기 시작했다. 조용한 건너편 바다속에는 짙은 안개 속에 "자기-성찰"이라는 약속의 땅이 있었다. 나는 내 교육자 동료들이 "학생들이 학습에 대한 열정을 가지기를 바라는" 열망을 이해하며 나도 그 열망을 공유하고 있다. 개인의 발달 동력이 모두 내부로부터 오는 이 이상적인 세계에는 외부적 힘이 존재하지 않는다.

Fearing the Scylla of over-examination some medical educators are looking to the other shore What is over there? Off in the distant tranquil sea, shrouded in a gentle mist, is the promise of ‘‘self-reflection’’. I understand and share the desire of my educator colleagues who dream of a world in which students have an enduring inner passion for learning. In this paradise, no external forces are needed because learning and personal development will be driven from within.

'역량으로서의 성찰'의 등장

The rise of a discourse of competence-as-reflection

성찰이란 무엇인가?

What is reflection?

• Dewey (1933) defined it as ‘‘active, persistent and careful consideration of any belief or supposed form of knowledge’’ (p. 9);

• Boud et al. (1985) as ‘‘intellectual and affective activities in which individuals engage to explore their experiences in order to lead to a new understanding and appreciation’’ (p. 19); and

• Wikipedia as the ‘‘capacity of humans to exercise introspection and willingness to learn more about our fundamental nature, purpose and essence’’ (Wikipedia 2014).

이 모든 정의는 약간씩만 달라 보이며, 연구자들은 성찰에 대한 정의가 분산되어있고, 성찰을 특징짓는 행동 역시 다양하다고 지적한다. 어떤 사람들은 taxonomy를 시도했다. 그리고 이러한 정의definition의 문제는 성찰을 가르치려고 할 때 더 극명해진다.

Worryingly, these definitions all sound a little different and several authors have pointed out the that dispersion of definitions and diversity of practices characterize ‘‘reflection’’. Some have attempted taxonomies (Kinsella (2012) presents a thoughtful, epistemologically- oriented categorization). The problem becomes even more apparent when one is asked to teach reflection.

교육자들이 얼마나 '성찰 행위의 목적이 무엇인가'를 명확히 하지 않고 성찰이라는 행위를 받아들였는지를 생각하면 정말 놀랍다. 이 이유는 '성찰'이 모든 상처를 낫게 하는 연고라고 봤기 때문이다.

It is striking the degree to which educators have embraced reflection as a practice without clearly articulating to what end the practices of reflection are being engaged. This may be because reflection has become a kind of generic salve to heal all wounds:

의학교육에서 성찰이란, 정말 많은, 그리고 이질적인 문제에 대한 해결책으로 존재해왔다. 이렇게 분산된 형태의 성찰행위와 맞물려서, 가장 널리 퍼져 있는 가정은 성찰이 어떤 긍정적인, 좋은, '의도하지 않은 효과'는 거의 없는 것이라는 것이다.

Reflection, in the way it is often taken up in medical education, seems stands in as the solution for so many different and disparate challenges that I have begun to wonder if we have any shared idea about it at all. Coupled with this dispersion of practices is an almost universal assumption that reflection is something positive, something good, with hardly a nod to the possibility of unintended effects.

Ng 은 서로 다른 이론가들과 학문분야에서 성찰행위reflective practice를 다양한 방식으로 이론화하고 적용해왔으며, 이것이 새로 이 분야에 들어온 사람이 거대한 문헌 속에서 혼란스럽게 만드는 이유라고 했다. 이러한 혼란으로 인해 성찰과 성찰행위를 오해하거나 지나치게 단순화할 가능성이 있다.

Ng (2012) has argued that different theorists and disciplines have theorized and applied reflective practice in a variety of ways, making it confusing for newcomers to navigate their way through the large body of literature. The danger in this confusion is the possibility for reflection and reflective practice to be dismissed, misinterpreted or oversimplified (p. 119).

그러나 성찰이 보건의료직에게 어떻게 관련되고 적용되어야 하는지를 고민한 학자들도 있다. 이들은 이론적 토대에 초점을 두었다.

Yet there are scholars who have given considerable thought to the idea of reflection and its relevance/application in health professions (Nelson & Purkis 2004; Kinsella 2008,2012; Mann e al. 2009; Nelson 2012; Ng 2012). These scholars focus on the theoretical underpinnings of reflection, drawingon theorists such as Dewey (1933), Habermas (1971), Kolb(1984) and Scho¨n (1983, 1987).

의학교육에서 무비판적으로 성찰을 활용할 때 있을 수 있는 문제 중 하나의 예를 들자면, 간호교육학에서 성찰을 활용할 때 Habermas의 '성찰의 주요 기능은 우세한 사고와 존재의 방식에서 해방되는 것이다'라는 주장을 무시했다는 것이다. 성찰의 목적이 권력구조에서 해방되어 현재상태에 도전하는 것이라면, "의무적 성찰"을 만들어서 점수를 주고 인증서를 주는 것은 이해할 수 없는 일이다.

the pitfalls of uncritical use of reflection in medical education. To take but one example, Nelson (2012) writes that the use of reflection in nursing education (largely reflective diaries for practice assessment) has ignored Habermas’ (1971) notion that a main function of reflection is emancipation from dominant ways of thinking and being. Yet if the purpose of reflection is to get free of power structures and to challenge the status quo, creating ‘‘mandatory reflection’’ for grading and certification is incomprehensible.

메타인지로서의 성찰

Reflection as metacognition

인지심리학에서 발달한 것으로, 기본이 되는 생각은 '우리는 자신의 인지 프로세스를 인식할 수 있다'이다.

Reflection as metacognition is a concept that arose in cognitive psychology and is based on the idea that we can become aware of our own cognitive processes (Flavell 1979).

• Think aloud 프로토콜: 자신의 생각을  말로 표현해서, 어떻게 자기가 생각하는지를 더 잘 이해하고, 불일치/예상밖의 변화/빈틈을 더 잘 이해함
  Practices associated with reflection as metacognition are variations on the think aloud protocol developed by cognitive scientists for research. The notion is that by articulating one’s thoughts(usually to another person, but possibly to the self) one is able to see more clearly the nature of how one thinks and byextension some of the inconsistencies, vagaries, traps and holes in our cognitive processes.

• Medical error와 관계됨.
  For this reason, metacogni-tion has been associated with medical error and popularized inbooks such as How Doctors Think (Groopman & Prichard2007).

• 자신의 사고를 관찰함으로써 어떻게 자신의 감정이 우리의 인지에 영향을 주는가를 알 수 있음
   Observing our own thoughts also opens a window onto the way our emotions affect our cognitions. 

메타인지 기반 교육의 문제는?

Could there be any problems with education based on meta-cognition?

• 무의식적으로 (가능하지 않은) 펙트 혹은 자신의 인지(과정)을 '지어낼' 수 있음. 따라서 인지의 '진실성'을 지나치게 강조하면 오히려 문제가 될 수 있음.
  First, within the cognitive paradigm there is a well-known phenomenon that subjects asked to report or recall their thinking processes will unwittingly ‘‘invent’’ facts or cognitions that the think they used in their decisions but were not even available to them (Koole et al. 2011). Thus relying too heavily on the veracity of cognitions could present a problem, particularly if metacognition and ‘‘think aloud’’ were used for assessment.

• 학생들이 지식형성과 지식활용의 사회-문화적 차원을 놓칠 수 있음. 지나치게 내면inward에 집중하는 것은 비용이 따른다.
  A second concern is that a cognitive focus might distract students from the socio-cultural dimensions of know- ledge formation and use. Kinsella (2012), for example, has cautioned that there is a cost to exclusively turning inward – an individual may become overly focused on their own thoughts and lose perspective on the importance of external, socio- cultural dimensions of knowledge (p. 43).

인지과정을 보고할 때 '진실성'을 지나치게 강조하는 것의 위험성을 인지하고, 학습자가 사회-문화적 시스템에 대한 시선을 놓치지 않게 해야 함.

The caution is to be aware of the slipperiness of ‘‘veracity’’ in reporting cognition and the need for vigilance that learners do not lose sight of the social and cultural systems in which they and their thoughts are embedded.

치료적 활용 측면에서는 상대적으로 benign하나, 임상에서는 과거의 트라우마나 비인간화에 대해서 유의하는 측면이 있고, 의학교육자들도 마찬가지여야 할 것이다. 그러나 임상적인 이슈를 제쳐주면, 더 껄끄러운 질문은 어떻게 내면을 지향하는/비-판단적 접근이 '평가'와 합치될 수 있느냐이다 스스로에 대해서 비-판단적인 학습은 평가의 기풍ethos와 철학적으로 부합하기가 어렵다. 왜냐하면 '평가'란 그 정의상 '판단'이기 때문이다. mindfulness와 같은 비-판단적 형태의 성찰을 활용하는 교육자들은 그러한 교육법이 평가대상이 되어야 하는지, 혹은 그 교육법과 평가가 구분될 수 있는 것인지를 생각해봐야 한다

While considered relatively benign in therapeutic uses, clinicians using the method are vigilant for the emergence of past traumas and of depersonalization (Booth 2014) and medical educators should be as well. But clinical issues aside, the more prickly question that arises is how an inward looking, non-judgemental approach, aligns with assessment. Learning to be non-judgemental about oneself is difficult to square philosophically with the ethos of assessment, which by definition is a judgment – often a rather harsh and high stakes one in medical education. It is important for the educator using non-judgmental forms of reflection, such as mindfulness, to consider whether pedagogy should be assessed at all or whether pedagogy and assessment should be decoupled (Koole et al. 2011) as many schools do with student wellness/support and academic matters.

정신분석으로서의 성찰

Reflection as psychoanalysis

소크라테스는 '반성하지 않는 삶'은 살 가치가 없다고 했다. 한 세기의 정신분석은 한 사람의 inner life를 성찰하고 (종종 무의식인) 정신역학을 드러내는 것은 중요한 치유적 성격을 가진다고 본다. 오늘날, 많은 사람들은 정신-역동 formulation (꿈 분석, 어릴 때의 관계가 현재의 관계에 대한 감정의 전이 등)이 중요하다고 보며, 심리치료와 심리분석의 모든 산업이 이 역동을 드러내고 해석하여 적절한 효과를 내도록 설계되어 있다. 프로이드, 융, 그리고 그들의 후손들이 알린 정신분석적 개념에 의존하고 있다. 정신분석가들은 임상적 적용을 위해서 공식적인 훈련을 받았으나, 정신역동이란 개념이 널리 퍼지면서 많은 교사들도 교실에서 그것을 활용하고 싶어한다. 실제로 정신역동의 해석은 한 사람의 생애를 이해하게 도와주는 수단이 되며, 타인과 자신과의 관계는 의대생medical learner의 정체성 형성의 가장 중심에서 중요한 역할을 한다.

Socrates apparently said that the ‘‘unexamined life’’ is not worth living. A century of psychoanalysis has embraced the notion that reflecting on one’s inner life and uncovering the (often unconscious) psychodynamics of one’s relationship to the self and to others, is a valuable pursuit with healing properties. Today, many people believe in the importance of psycho- dynamic formulations (dream analysis, transference of emo- tions from earlier relations onto present relationships, deficits and traumas of the formation of self, etc.) and there is a whole industry of psychotherapies and psychoanalytic approaches designed to achieve felicitous effects by uncovering and interpreting these dynamics. The arts and humanities draw heavily on psychoanalytic concepts promulgated by Freud, Jung and their descendants. While only practicing psychoana- lysts are likely to have had formal training in the clinical applications, psychodynamic concepts are widespread in popular culture and many teachers will be tempted to bring them into the classroom. Indeed psychodynamic interpret- ations, which served as a means to help people to understand life’s journey, their relationship to others and to the self are valuable for medical learners who are deep in the midst of their identity formation.

그러나 흥미롭게도, 프로이드는 정신분석을 하는 것을 경계했는데 "분석자가 얼마나 다른 사람에 대하여 교사로서, 모델로서, 이상으로서 행동하고 싶든 간에, 그리고 대상자를 자신의 이미지대로 만들고 싶든 간에, 분석자가 잊지 말아야 할 것은 그것이 분석적 관계에서 자신의 역할이 아니라는 사실이다"라고 했다. mindfulness와 마찬가지로 정신분석의 임상적 활용이 평가에서의 교육적 활용과 잘 맞지 않을 수 있다. 정신과의사로서, 나는 introspection을 매우 중요하다고 생각하지만, 누군가의 분석가/치료자가 되는 것과 누군가의 교사가 되는 것 사이의 경계가 흐릿해지는 것을 우려한다. introspection을 shaping하는 것은, 특히 누군가가 다른 사람의 진로 궤적에 영향을 줄 수 있는 평가적 권력을 가진 경우 아주 복잡한 정신역동을 초래하며, 성찰의 개념을 뒤죽박죽으로 만들 수 있다.

Interestingly however, Freud (1940/1969) himself cautioned that in the practice of psychoanalysis, ‘‘However much the analyst may be tempted to act as teacher, model, and ideal to other people and to make men in his own image, he shouldnot forget that that is not his task in the analytic relationship’’ (p. 50). As with mindfulness, the clinical uses of psychoanalysis may not mix well with the pedagogical and the evaluative. As a psychiatrist myself, while I greatly value introspection, I worry about blurring the role of being some- one’s analyst/therapist and someone’s teacher. Shaping intro- spection, particularly when one has power (through assessment for example) over the career trajectory of students creates complex psychodynamics and muddles the notion of reflection.

정신역동을 교육의 프레임 안으로 가져오려는 모델이 있다. 예를 들어 Balint group이 활용된 바 있다. 그러나 이렇나 접근법ㄷ은 세밀한 training과 facilitation을 필요로 한다.

There are indeed models that bring psychodynamics into an educational frame, for example Balint groups have been used around the world to help practicing physicians under- stand their reactions to patients (Benson & Magraith 2005). But this approach requires sophisticated training and facilitation.

또한 심리분석가들은 잘 알텐데, 지나치게 inward focus하는 것은 narcissistic self-preoccupation을 초래할 수 있다.

Further, as psychoanalysts well know (and echoing Kinsella’s (2012) critique), too much inward focus can also lead to narcissistic self-preoccupation.

Kinsella 와 Ng은 모두 'self'라는 접두사를 'reflection'에 가져다 붙이는 문제를 제기한 바 있다. 이들은 '자기-성찰'이라는 용어가 의학교육에서 사용될 때, '비판적 성찰'과 'reflexivity'라는 개념으로부터 오히려 멀어지게 한다고 주장했다. 이 후자의 개념들은 개개인이 권력/문화/시스템적 불평등(차별과 같은)의 사회적 구성을 고려하는 것이며, 이러한 것은 '자기'를 우선시하는 경우에 강조되기 어렵다.

Kinsella (2012) and Ng et al. (in press) both highlight the problem of adding the prefix ‘‘self’’ to ‘‘reflection’’ and argue that the adoption of the term ‘‘self-reflection’’ in medical education moves us away fromconcepts of ‘‘critical reflection’’ and ‘‘reflexivity’’. These latter approaches, which allow indi- viduals to consider social constructions of power, culture and systematic inequities such as discrimination (following Nelson’s (2012) call to rediscover the Habermasian critical/ emancipatory functions of reflection) are not very well emphasized when prioritizing the ‘‘self’’.

고해confession으로서의 성찰

Reflection as confession

불교에서 '성찰'과 같이, '고해'는 가톨릭적으로 중요하다. Catholic Online에서는 고해를 하기 전에 "마지막 성사로서sacramental confession, 스스로의 치명적이고 부패한 잘못을 돌아보아야 한다review"라고 설명한다. 명상과 달리 고해는 다른 사람과 관계가 있다. 따라서 "만약 도움이 필요하면, 특히 일정 시간 떨어져 있었다면, 사제에게 요청하여야 하며, 그러면 그는 당신에게 다가와서 바람직한 고해를 할 수 있게 도와줄 것이다"라고 말한다. 교육에서의 평가와 고해를 비교하는 이론가들이 있다 예를 들어, 나는 최근 한 학생애게 "지금은 성찰할 시간이다. 종이를 꺼내서 이번 주에 한 일을 적어라. 프로페셔널리즘 문제일 수도 있고, 경험했던 어떤 문제, 혹은 보거나 가담했던 일일 수 있다. 스스로의 성찰과 무엇을 했는지에 대해 쓰고, 채점을 위해 제출해라. 다음주에 돌려주겠다"라고 한 교사를 봤다. 의학교육자들이 비록 실제 '고해'의 형태를 갖춰야 한다고 의미하는 것은 아니지만 나는 Fejes and Dahlstedt가 범죄자 처벌/교화와 같은 서구의 시스템은 '고해'행동에 중요한 의미를 부여한다. 즉, 고해와 속죄를 통해 종교적/도덕적 규범의 위반에 대한 '면제 선언'이 되는 것이다. 한 사례는 의학교육자들이 프로페셔널리즘과 관련해 학생들에게 리포트를 제출하게 하고, 그들의 '잘못'에 대해 속죄atone해주는 것이다.

Like meditation in Buddhist tradition, confession is important for those of Catholic faith. Catholic Online explains that before you go to confession, ‘‘you should make a review of your mortal and venal sins since your last sacramental confession’’ (Catholic on Line 2014). Unlike meditation, confession involves another person. Thus, ‘‘if you need some help, especially if you’ve been away for some time [you should] simply ask the priest and he will help you by ‘walking’ you through the steps to make a good confession’’ (Catholic on Line 2014). There are theorists who have compared what we do in educational assessment to confession (Fejes & Dahlstedt 2013). For example, I recently observed a teacher say to medical students, ‘‘It’s reflection time. Please take a piece of paper, write down an experience you’ve had this week – it could be a professionalism issue, a problem you’ve experi- enced, a lapse you saw or were part of. Write down your reflections and when you’re done, please turn them in for marking. I’ll have them back to you for next week’’. Though I do not mean to imply that medical educators are taking up the actual practice of confession, I agree with Fejes and Dahlstedt who argue, after Foucault (1975/1995), that western systems of criminal punishment/reform as well as education draw significantly on confessional practices: absolution of the transgression of religious or moral codes through confession and atonement. An example is the practice among medical education’s professionalism movement to have students report (or confess) and then perhaps atone for their professionalism ‘‘lapses’’ (Hodges et al. 2009).

고해와 다른 형태의 성찰이 가장 다른 점은, 외부의 판단 또는 '고해 신부'가 하는 중요한 역할이다. Frankford는 "성찰이 모든 사람이 기본적으로 갖춘 기술이라고 봐서는 안된다. 이 프로세스는 혼자서도 할 수 있는 것이긴 하나, 동료/퍼실리테이터 등과 함께 하는 성찰은 자각하는conscious한 성찰을 만들어 그 과정을 더 강력하게 해준다. 퍼실리테이터나 동료에게 요약해서 말함debrief으로써 '정확성'과 '객관성'을 체크할 수 있다

What differentiates confessional approaches from other forms of reflection is the pivotal role of the external judge or ‘‘confessor’’. Frankford et al. (2000) have written, for example, ‘‘it should not be assumed that reflection is a natural part of everyone’s skill set. This process can be done alone, of course, but reflection with facilitators, or peers, strengthens the process by ensuring that reflection is conscious. Debriefing with facilitators or peers can ‘‘provide a check’’ of accuracy and objectivity’’ (p. 712, emphasis added).

우리는 '정확성과 개관성'에 관심을 기울여야 한다. 고해성사를 도와주는 사제와 같이 교육에서 성찰이 '정확성과 객관성'을 갖게 하는데에는 'confessor'의 자질이 중요하다. 이것은 매우 흥미로운 현상인데, 왜냐하면 이 '고해의 퀄리티'에는 성찰이 외부의 평가를 충족시키기 위한 행동을 반영하기 때문이다. 만약 성찰을 shape/judge/grade하기 위해서는, 의학교육자들이 벗어나고자 하는 20세기의 유산인 '외부 통제'의 개념으로 돌아와야 할 것이다.

That we should be concerned with the ‘‘accuracy and objectivity’’ of reflection reveals something important. Like the priest who will help the penitent ‘‘walk through’’ confession, the medical educator who guides and shapes the ‘‘accuracy and objectivity’’ of reflection may take on qualities of a ‘‘confessor’’. This is a very interesting phenomenon because it is in this confessional quality that reflection comes back, full circle, to meet external examination. If we are to shape, judge and grade reflections, we are returning to a concept of external locus of control, precisely the twentieth century inheritance that some medical educators are trying to shake off.

결론

Conclusions

아마도 가장 큰 과제는 성찰행위를 평가와 연결시키려는 노력일 것이다. 실제로 일부 교육자들은 성찰이 애초에 평가가능한 것이냐고 의문을 표한다. Murdoch-Eaton & Sandars는 성찰에 대해 지나치게 도구적인 관점에서 접근하면, 어떤 의미있는 통찰이 아니라 그냥 하나의 의식ritual을 만드는 것일 뿐이라고 지적한다. Ng은 "성찰의 본질과 목적은, 만약 그것이 비판적 담화critical dialogue가 아니라 지나치게 prescriptive한 방식으로 활용될 경우에, 그리고 공식적 평가의 대상이 될 경우에,  훼손될 것이다"라고 했다. 우리는 완전히 합치될 수 없는 두 개의 패러다임 사이에서 고통받고 있는 것으로 보인다. 메타인지/마음챙김/정신역학적 접근은 reflective pedagogy의 좋은 기반이 될 수 있다. 그러나 이들은 '시험'과는 잘 맞지 않는다. 고해confessional도 훼손될 수 있다.

Perhaps our biggest challenge is trying to square practices of reflection with assessment. Indeed some educators ask if reflection should be assessed at all (Sumsion & Fleet 1996; Stewart & Richardson 2000). Murdoch-Eaton & Sandars (2014) caution that adopting an overly instrumental approach to reflection results in the creation of rituals more than any meaningful insight. Ng et al. (in press) has argued that, ‘‘The very essence and purpose of reflection may be compromised when it is experienced in an overly prescriptive manner, and when it is subjected to formal evaluation, instead of critical dialogue’’ (p. 1). We are, it seems, torn between two paradigms that we cannot fully align. Metacognition, mindful- ness and psychodynamic approaches may be a good basis on which to base reflective pedagogy. But they do not align well with examination. Confessional practices may be the (dubious) compromise.

원래의 비유로 돌아오면, 나는 분명히 지금 이 시점에서 지나친 외부 평가를 벗어날 때라고 바란다. 그리고 우리는 우리 앞에 놓인 위협을 잘 알고 있다. 그 위협은 학생이 '시험에 나오는 것'만 공부하게 하는 것에서 벗어나는 것임과 동시에 무비판적으로, 무이론적으로, 잘 모르는 "자기"성찰에 맹목적으로 뛰어들지 않는 것이다.

To return to the metaphor of a sea-journey I hope that as we steer a course away from what was certainly a time of excessive external assessment, we are thoughtful (indeed reflective) about the dangers that may lie in front of us; that in charting a course away from forming students who are driven only by ‘‘what is on the exam’’ that we do not lurch headlong and blindly into an invisible whirlpool of uncritical, un- theorized ‘‘self’’-reflection.

Koole S, Dornan T, Aper L, Scherpbier A, Valcke M, Cohen-Schotanus J, Derese A. 2011. Factors confounding the assessment of reflection: A critical review. BMC Med Educ 11:1–9.

Med Teach. 2015 Mar;37(3):261-6. doi: 10.3109/0142159X.2014.993601. Epub 2014 Dec 19.

Sea monsters & whirlpools: Navigating between examination and reflection in medical education.

지금까지의 평가에 문제가 있었다면? : Pumpkin Plan의 필요성 (Med Teach, 2015)

Have we got assessment wrong? Thoughts from the Ottawa Conference and the need for a Pumpkin Plan

Ronald M. Harden

Whitehead 는 북미에서 psychometric한 접근법이 거의 지배적이었지만, CanMEDS를 비롯한 역량 프레임워크에서 정의된다로 역량에 대한 평가를 align하는 것은 쉽지 않았다고 말한다. 신발의 짝에 대한 비유를 했다 "우리는 모두 가장 좋아하는, 과거에정말 좋아했던 신발이나 코트나, 아니면 머그잔이 있다. 우리는 그것들이 허물어져가도 사용하곤 하는데, 왜냐하면 그 물건에 대한 선호가 실용적인, 미적인 한계를 초월하기 때문이다. 그러나 조금 지나면 우리는 어쩔 수 없이 그 물건이 망가지고 있다는 사실을 인정해야 하며, 그 물건은 치워놓고 새롭게 시작해야 함을 인정할 수 밖에 없게 된다". "평가에 관한 현재 모델은 우리의 사고와 행위를 발전시키는데 크게 기여했다. 그러나 우리가 의료행위의 특성과 의료행위자의 평가에 대한 최근의 이해에 따라emerging understanding 현재의 방식은 빠른 속도로 낡은 것이 되어버렸다."

Whitehead et al. (2015) argue that while a psychometric approach has dominated assessment in North America, this does not align easy with assessment of competency as defined in CanMEDS and other competency frameworks. They use the metaphor of a pair of shoes ...‘‘We have all had a favourite pair of shoes, a coat, or perhaps a mug that has seen better days. We carry on using it even though it is falling apart as our fondness transcends its practical or aesthetic limitations. However, sooner or later, we are forced to admit its decayed state and we set it aside and start afresh.’’ They argue that ...‘‘Current models of assessment have served us well in advancing our thinking and practices, but they are becoming increasingly threadbare in light of our emerging understanding of the nature of medical practice and of the assessment of medical practitioners.’’

Hodges 는 '고부담 외부 시험이 학생들에게 가하는 압박'과 '내부적인 동기부여(자기주도성, 성찰)에 대한 더 많은 요구' 사이의 tension을 논한 바 있다. Hodges는 성찰에 대한 네 가지 접근법을 밝혔다.

Hodges (2015) high- lights in his paper the growing tension between the pressure on students from high stakes external examinations and the need for more involvement in internally motivated notions of ‘‘self-direction’’ and ‘‘reflection’’. Hodges identifies four approaches to reflection:

• metacognition,

• mindfulness,

• psycho- analysis and

• confession.

Hodges는 각각의 접근법의 일차적 활동으로서, 어떻게 practice가 좋은 의사를 만드는가, 교사의 역할은 무엇인가, 그리고 (가장 중요한 것으로서) 의도하지 않은 결과의 가능성 등을 설명했다. Hodges는 의학교육자들이 당면한 주요 문제는 '성찰의 실천practice of reflection'을 '평가'와 부합시키는 것이다. 우리는 "시험에 무엇이 나오나요?"라는 질문에 의해서 움직이는 학생을 만드는데 벗어나서 '무비판적, 무이론적' '자기' 성찰이라는 보이지 않는 소용돌이 속으로 무턱대로 들어가는 것에 대한 계획을 세워야 한다"

He describes the primary activity in each approach, how the practice will create a better doctor, the role of the teacher and, importantly, possible unintended consequences. Hodges continues by suggesting that a major challenge we face as medical educators is to square practices of reflection with assessment. We need to chart ‘‘...a course away from forming students who are driven only by ‘What is in the exam?’ to lurching headlong and blindly into an invisible whirlpool of un-critical, un-theorized ‘self’-reflection’’ (Hodges 2015).

2010년의 14th Ottawa에서 최선의 평가란 무엇인가에 대한 합의문을 개발하였다.

The development of consensus statements on current best practices in assessment was a feature of the 14th Ottawa held in Miami, USA in 2010. Topics addressed included

• ‘‘Criteria for Good Assessment’’ (Norcini et al. 2011),

• ‘‘Assessment for Selection’’ (Prideaux et al. 2011),

• ‘‘Research in Assessment’’ (Schuwirth et al. 2011),

• ‘‘Assessment of Professionalism’’ (Hodges et al. 2011),

• ‘‘Technology Enabled Assessment’’ (Amin et al. 2011), and

• ‘‘Performance Assessment’’ (Boursicot et al. 2011).

Mike Michalowicz 는 그의 책, The Pumpkin Plan에서 성공을 위해서는 다음을 인식해야 한다고 주장했다.

Mike Michalowicz (2012) in his book, The Pumpkin Plan, argues that for continuing success we need to recognise that

"모든 것에는 철이 있는 법이다. 호박은 영원히 유지되지 않는다. 심지어 가장 크고 우수한 호박도 죽는다. 궁극적으로 우리는 그 큰 호박에서 씨를 빼서 새로 심고, 새로 시작해야 한다. 모든 것이 다 그러할 것이다"

there is a season for everything. He describes that pumpkins do not last forever, even giant and great pumpkins die. Eventually we need to extract the seed from a giant pumpkin and use it to plant a new one and start again. The same is true, he suggests, in any endeavour.

Hodges BD. 2015. Sea monsters & whirlpools: Navigating between examination and reflection in medical education. Med Teach 37(3):261–266.

Whitehead CR, Kuper A, Hodges B, Ellaway R. 2015. Conceptual and practical challenges in the assessment of physician competencies. Med Teach 37(3):245–251.

Med Teach. 2015 Mar;37(3):209-10. doi: 10.3109/0142159X.2015.1010497.

Have we got assessment wrong? Thoughts from the Ottawa Conference and the need for a Pumpkin Plan.

Psychometric Instruments의 신뢰도와 타당도에 대한 현재의 개념:이론과 적용(Am J Med. 2006)

Current Concepts in Validity and Reliability for Psychometric Instruments: Theory and Application

David A. Cook, MD, MHPE, Thomas J. Beckman, MD, FACP

Division of General Internal Medicine, Mayo Clinic College of Medicine, Rochester, Minn.

'타당도validity'라는 용어는 "어떤 평가의 결과로부터 도출한 결론(또는 해석)이 충분한 근거well-grounded를 가지고 정당화가능한 정도, 관련되고relevant 의미있는meaningful 정도"를 말한다. 그러나 psychometric 평가의 결과로부터 타당도를 평가가는데 필요한 스킬은 의학논문을 평가하거나 실험실 실험의 결과를 해석하는 것과는 다르다. 최근의 임상교육평가에 관한 리뷰에서, 우리는 타당도과 신뢰도가 자주 잘못 이해되고 잘못 적용됨을 알게 되었다. 또한 우리는 타당한 방법론을 활용한 연구에서도 다양한 타당도의 스펙트럼을 제시하는데 실패함을 발견하였다.

The term “validity” refers to the degree to which the conclusions (interpretations) derived from the results of any assessment are “well-grounded or justifiable; being at once relevant and meaningful.”10 However, the skills required to assess the validity of results from psycho- metric assessments are different than the skills used in appraising the medical literature11 or interpreting the results of laboratory tests.12 In a recent review of clinical teaching assessment, we found that validity and reliability were fre- quently misunderstood and misapplied.13 We also have noted that research studies with sound methods often fail to present a broad spectrum of validity evidence supporting the primary outcome.6,14-16

psychometric 평가의 결과에 대한 타당도를 평가하는 방법은 심리학과 교육평가로부터 derive되었다.

Methods for evaluating the validity of results from psy- chometric assessments derive from theories of psychology and educational assessment,17,18

평가도구 점수의 타당도, 구인, 유의미한 해석

VALIDITY, CONSTRUCTS, AND MEANINGFUL INTERPRETATION OF INSTRUMENT SCORES

타당도는 "검사의 의도한 목적에 대하여 근거나 이론이 검사점수의 해석을 지지하는 정도"이며, 다른 말로는 타당도란 어떤 검사의 결과가 특정한 목적을 위해서 해석되었을 때 얼마나 그것을 신뢰할 수 있는가이다.

Validity refers to “the degree to which evidence and theory sup- port the interpretations of test scores entailed by the proposed uses of tests.”19 In other words, validity describes how well one can legitimately trust the results of a test as interpreted for a specific purpose.

많은 도구들이 물리적 양(키, 혈압, 혈중 소듐 등)을 측정한다. 그러한 결과의 의미를 해석하는 것은 복잡하지 않다. 반면, 환자의 증상, 학생의 지식, 의사의 태도 등에 대한 평가의 결과는 그것 자체에 내재된 의미가 없다. 오히려, 그 평가들은 "무형의 추상적 개념과 원칙의 집합"이라 할 수 있는 기저에 깔린 구인을 측정하기 위한 것이다. 모든 psychometric 평가의 결과는 그것이 평가하고자 하는 구인이라는 맥락에 대해서만 의미(타당도)를 가질 수 있다.

Many instruments measure a physical quantity such as height, blood pressure, or serum sodium. Interpreting the meaning of such results is straightforward.20 In contrast, results from assessments of patient symptoms, student knowledge, or physician attitudes have no inherent mean- ing. Rather, they attempt to measure an underlying con- struct, an “intangible collection of abstract concepts and principles.”21 The results of any psychometric assessment have meaning (validity) only in the context of the construct they purport to assess.17

타당도는 평가도구의 특성이 아니라, 그 도구로부터 얻은 점수와 그 해석에 대한 것이다.

Validity is not a property of the instrument, but of the instru- ment’s scores and their interpreta- tions.17,19

평가도구는 변하지 않고 평가의 해석만 달라질 수 있다.

Note that the instruments in these examples did not change—only the score interpretations.

타당도란 '추론'의 특성이며 '도구'의 특성이 아니기 때문에, 타당도는 각각의 의도한 해석에 따라서 establish 되어야 한다. 유사하게, 환자의 증상에 대한 척도가 특정 연구 조건이나 고도로 선택된 환자집단에서 타당하다고 하더라도, 일반적인 임상진료에 활용되기 위해서는 추가적인 평가를 거쳐야 한다.

Because validity is a property of inferences, not instruments, validity must be established for each intended interpretation. Similarly, a patient symp- tom scale whose scores provided valid inferences under research study conditions or in highly selected patients may need further evaluation before use in a typical clinical practice.

타당도에 대한 개념적 접근

A Conceptual Approach to Validity

우리는 종종 "validated instruments"라는 문구를 접한다. 이러한 관점을 틀린 것이다. 첫째로, 우리는 타당도가 inference의 특징이며 instrument의 특징이 아님을 기억해야 한다. 둘째, 해석의 타당도는 언제나 정도의 차이에 대한 것이다. 어떤 점수가 내재된 구인을 '더 정확히' 혹은 '덜 정확히' 반영할 수는 있지만, 절대로 '완벽하게' 반영할 수는 없다. 

We often read about “validated instruments.” This view is inaccurate. First, we must remember that validity is a property of the inference, not the instrument. Second, the validity of interpretations is always a matter of degree. An instrument’s scores will reflect the underlying construct more accurately or less accurately but never perfectly. 

타당도를 바라보는 가장 정확한 관점은 '가설' 혹은 '해석적 주장'으로, 제시된 추론을 지지하기 위한 근거가 수집되어야 한다. Downing이 기술한 바와 같이

Validity is best viewed as a hypothesis or “interpretive argument” for which evidence is collected in support of proposed inferences.17,23,24 As Downing states,

“Validity requires an evidentiary chain which clearly links the inter- pretation of . . . scores . . . to a network of theory, hypoth- eses, and logic which are presented to support or refute the reasonableness of the desired interpretations.”21

모든 가설-기반 연구에서 가설이 명확하게 기술되어야 하고, 가장 문제가 될 소지가 있는 가정을 평가하기 위한 근거가 수집되어야 하고, 가설은 비판적으로 평가되어야 하듯이, 새로운 검사가 있을 때 근거는 "해석적 주장에 대한 모든 추론이 타당하다고 나올 때 까지plausible, 또는 해석적 주장이 기각될 때까지" 수집되어야 한다. 그러나 타당도는 절대로 '증명될' 수 없다.

As with any hypothesis-driven research, the hypothesis is clearly stated, evidence is collected to evaluate the most problem- atic assumptions, and the hypothesis is critically reviewed, leading to a new cycle of tests and evidence “until all inferences in the interpretive argument are plausible, or the interpretive argument is rejected.”25 However, validity can never be proven.

타당도 근거의 출처

Sources of Validity Evidence

주어진 해석을 지지하기 위한 근거는 다양한 서로 다른 출처로부터 수집되어야 하며, 하나의 출처에서 강력한 근거를 얻었다고 해서 다른 출처로부터의 근거가 필요하지 않은 것이 아니다. 근거를 수집함에 있어서, 두 가지 주 위협을 고려해야 한다. 하나는 내용 영역에 있어서 부적절한 표집sampling이며(구인 과소대표성), 점수에 비-무작위적으로 영향을 주는 요인들(편향, 구인-비관련 변동)이다.

Evi-dence should be sought from several different sources to support any given interpretation, and strong evidence from one source does not obviate the need to seek evidence from other sources. While accruing evidence, one should specif-ically consider two threats to validity: inadequate sampling of the content domain (construct underrepresentation) and factors exerting nonrandom influence on scores (bias, or construct-irrelevant variance).24,27 

응답 프로세스

Response Process.

시험을 치르는 사람 혹은 평가자의 행동 및 사고 프로세스를 리뷰하는 것은 "실제로 행해지는 수행의 세세한 특성과 구인이 얼마나 서로 잘 합치fit되는가"를 보여준다. 예컨대, 교육자는 "진단추론을 평가하기 위한 시험을 치르는 학생이 실제로 고등-차원의 사고 프로세스를 쓰는가?"를 궁금해 하 수 있다. 이 문제를 위한 접근법으로, 일군의 학생들에게 질문에 답을 하면서 "think aloud"하게 할 수 있다. 만약 도구가 한 사람이 다른 사람의 수행을 평가하는 방식이라면, 응답 프로세스에 대한 타당도 근거는 평가자가 적절한 훈련을 거쳤음을 보여줘야 한다. 자료의 보안과 점수를 산출하는 방법과 보고하는 방법 등도 여기에 들어간다.

Reviewing the actions and thought pro-cesses of test takers or observers (response process) can illuminate the “fit between the construct and the detailed nature of performance . . . actually engaged in.”19 For ex-ample, educators might ask, “Do students taking a test intended to assess diagnostic reasoning actually invoke higher-order thinking processes?” They could approach this problem by asking a group of students to “think aloud” as they answer questions. If an instrument requires one person to rate the performance of another, evidence supporting response process might show that raters have been properlytrained. Data security and methods for scoring and reporting results also constitute evidence for this category.21 

내적 구조

Internal Structure.

신뢰도와 요인분석이 보통 내적 구조를 보여준다.

Reliability29,30 (discussed below and in Table 3) and factor analysis31,32 data are generally consid- ered evidence of internal structure.21,31 Scores intended to measure a single construct should yield homogenous re- sults, whereas scores intended to measure multiple con- structs should demonstrate heterogenous responses in a pat- tern predicted by the constructs.

유사한 수준의 결과가 기대되는 하위그룹간에 systemic variation이 있다면(differential item functioning이라고 불린다) 이 역시 내적 구조에 문제가 있음을 보여주는 것이며, 예측한 차이를 확인시켜주는 것은 이 영역의 근거를 서포트해주는 것이다. 만약 히스패닉이 지속적으로 코카시안보다 점수를 잘 받는다면 (이러한 결과가 의도된 것이 아닌 이상) 의도한 해석에 대한 타당도를 약화시킨다. 이는 총점에서의 subgroup variation과는 다르다.

Furthermore, systematic variation in responses to specific items among subgroups who were expected to perform similarly (termed “differen- tial item functioning”) suggests a flaw in internal structure, whereas confirmation of predicted differences provides sup- porting evidence in this category.19 For example, if Hispan- ics consistently answer a question one way and Caucasians answer another way, regardless of other responses, this will weaken (or support, if this was expected) the validity of intended interpretations. This contrasts with subgroup vari- ations in total score, which reflect relations to other vari- ables as discussed next.

다른 변인과의 관련성

Relations to Other Variables.

다른 도구와의 상관관계(없어야 할 때 없고, 있어야 할 때 있는 것)도 내재된 구인과 일치하는 해석을 지지해준다. 예컨대 양성 PH의 심각도를 평가하기 위한 설문과 acute urinary retention의 발생의 상관관계

Correlation with scores from another instrument or outcome for which correlation would be expected, or lack of correlation where it would not, supports interpretation consistent with the underlying construct.18,33 For example, correlation between scores from a questionnaire designed to assess the severity of benign prostatic hypertrophy and the incidence of acute urinary retention would support the validity of the intended inferences.

결과

Consequences.

평가의 의도한 결과 혹은 의도하지 않은 결과를 평가하는 것은 이 전에는 인식하지 못했던 비-타당성을 드러낼 수도 있다. 예컨대, 교수에 대한 평가에서 남자선생님이 지속적으로 여자선생님보다 낮은 점수를 받는다면, 이것은 어떤 예측하지 못했던 bias의 원인일 수 있다. 혹은 남자가 덜 효과적인 선생님임을 의미하는 것일수도 잇다. 따라서 결과에 대한 근거는, 그것이 진정으로 추론의 타당도에 영향을 미친다고 결론지어지기 전에 원래의 구인으로 되돌아가서 어떤 연결성이 있는지 확인해야 한다.

Evaluating intended or unintended conse- quences of an assessment can reveal previously unnoticed sources of invalidity. For example, if a teaching assessment shows that male instructors are consistently rated lower than females it could represent a source of unexpected bias. It could also mean that males are less effective teachers. Ev- idence of consequences thus requires a link relating the observations back to the original construct before it can truly be said to influence the validity of inferences.

결론에 대한 타당도 근거를 평가하는 또 다른 방법은 의도한 결과를 달성하였는지(의도하지 않은 결과는 회피되었는지) 보는 것이다. 만약 높은 평가를 받은 교수들이 낮은 점수를 외면한 것이었다면, 이 기대하지 않았던 부정적 결과가 점수의 의미를 해석하는데 영향을 줄 수 있으며, 따라서 그 타당도에도 영향을 미친다. 반대로, 만약 낮은 점수를 받은 교수들에 대한 remediation이 수행능력을 향상시키는 것으로 나타났으면 이러한 해석의 타당도를 지지하는 근거가 된다. 마지막으로, 점수의 합격선 등과 같은 threshold를 결정하는 방법 역시 이 분류에 들어간다. 결과에 대한 근거는 타당도 근거중 가장 논쟁적인 부분이며, 가장 잘 보고되지 않는 타당도 근거 출처이다.

Another way to assess evidence of consequences is to explore whether desired results have been achieved and unintended effects avoided. In the example just cited, if highly rated faculty ostracized those with lower scores, this unexpected negative outcome would certainly affect the meaning of the scores and thus their validity.17 On the other hand, if reme- diation of faculty with lower scores led to improved perfor- mance, it would support the validity of these interpretations. Finally, the method used to determine score thresholds (eg, pass/fail cut scores or classification of symptom severity as low, moderate, or high) also falls under this category.21 Evidence of consequences is the most controversial cate- gory of validity evidence and was the least reported evi- dence source in our recent review of instruments used to assess clinical teaching.34

근거의 통합

Integrating the Evidence.

"의도한" 또는 "예측한"이란 단어가 자주 사용되었다. 각 근거는 내재된(이론적)구인으로 돌아가서 어떤 관계가 있는지 보아야 하고, 사전에 기술된 관계를 확인하기 위해서 사용될 때 가장 강력하다. 만약 근거가 애초의 타당도 주장을 지지하지 않는다면, 그 주장은 "기각되거나 해석 and/or 측정 절차를 조정하여 향상될 수 있"고, 이후에 그 주장은 다시 평가되어야 한다. 실제로 타당도 평가는 testing과 revision의 지속적 사이클이다.

The words “intended” and “pre- dicted” are used frequently in the above paragraphs. Each line of evidence relates back to the underlying (theoretical) construct and will be most powerful when used to confirm relationships stated a priori.17,25 If evidence does not sup- port the original validity argument, the argument “may be rejected, or it may be improved by adjusting the interpreta- tion and/or the measurement procedure”25 after which the argument must be evaluated anew. Indeed, validity evalua- tion is an ongoing cycle of testing and revision.17,31,35

얼마나 어떤 근거가 필요한지는 도구의 의도한 목적에 따라 달라진다.

The amount of evidence necessary will vary according to the proposed uses of the instrument.

• high degree of confidence high-stakes board certification lower degree of confidence
• Some instrument types will rely more heavily on certain categories of validity evidence than others.21
• observer ratings: internal struc- ture characterized by high inter-rater agreement.
• multiple-choice exams: content evidence.

안면타당도는?

What About Face Validity?

"안면타당도"라는 표현이 많은 의미를 가지고 있지만, 이는 실질적 검증을 거치지 않고, 그저 겉보기의 타당도를 기술하기 위해 사용된다. 이는 자동차의 속력을 외관만 가지고 추정하는 것과 비슷하다. 이러한 판단은 단순한 찍기이다. Content evidence와 안면타당도는 표면적으로 유사해 보이지만 실제로는 크게 다르다. Content evidence는 systematic, documented 접근법이나, 안면타당도는 그 (평가)도구가 어떻게 생겼는지만 보고 판단하는 것이다.

Although the expression “face validity” has many mean- ings, it is usually used to describe the appearance of validity in the absence of empirical testing. This is akin to estimating the speed of a car based on its outward appearance or the structural integrity of a building based on a view from the curb. Such judgments amount to mere guesswork. The con- cepts of content evidence and face validity bear superficial resemblance but are in fact quite different. Whereas content evidence represents a systematic and documented approach to ensure that the instrument assesses the desired construct, face validity bases judgment on the appearance of the in- strument.

Downing and Haladyna 는..."표면적 퀄리티가 평가의 본직적 특성을 보여줄 수도 있지만, '타당해 보이는 것'은 '타당도'가 아니다" 라고 했다. DeVellis는 안면타당도에 대하여 다음을 우려했다.

Downing and Haladyna note, “Superficial quali- ties . . . may represent an essential characteristic of the assessment, but . . . the appearance of validity is not valid- ity.”27 DeVellis37 cites additional concerns about face va- lidity, including

• 판단의 오류 가능성 fallibility of judgments based on appear- ance,
• 개발자와 사용자 간의 인식 차이 differing perceptions among developers and users, and
• 외관으로부터 의도를 추론하는 것이 역효과를 낳을 수 있음 instances in which inferring intent from appearance might be counterproductive.

우리는 이 용어를 사용하지 않을 것을 권장한다.

For these reasons, we discourage use of this term.

신뢰도: 타당도 추론의 필요조건이지만 충분조건은 아님

RELIABILITY: NECESSARY, BUT NOT SUFFICIENT, FOR VALID INFERENCES

신뢰도는 재생산가능성과 일관성에 관한 것이다. 신뢰도는 타당도의 필요조건이나 충분조건은 아니다. Psychometric 도구의 점수는 꼭 unreliability에 취약할 수 있지만 한 가지 중요한 차이가 있다. 한 개인으로부터 다수의 측정결과를 얻는다는 것은 실용적이지 못하거나 심지어 불가능하다. 따라서 점수의 신뢰도 근거를 축적하기 위해서는 충분한 근거가 축적되어야 한다.

Reliability refers to the reproducibility or consistency of scores from one assessment to another.19 Reliability is a necessary, but not sufficient, component of validity.21,29 Scores from psychometric instru- ments are just as susceptible to unreliability, but with one crucial distinction: It is often impractical or even impossible to obtain multiple measurements in a single individual. Thus, it is essential that ample evidence be accumulated to establish the reliability of scores before using an instrument in practice.

신뢰도에 대한 측정과 카테고리화에는 다양한 방법이 있다.

There are numerous ways to categorize and measure reliability (Table 3).30,37-41 We would expect that scores measuring a single construct would correlate highly (high internal consistency). If internal consistency is low, it raises the possibility that the scores are, in fact, measuring more than one construct. Reproducibility over time (test-retest), between different versions of an instrument (parallel forms), and between raters (inter-rater) are other measures of reliability.

Generalizability studies use analysis of variance to quantify the contribution of each error source to the overall error (unreliability) of the scores, just as analysis of variance does in clinical research.

신뢰도는 근거의 한 가지 형태일 뿐이다. 또한 타당도와 마찬기지로 평가도구 자체의 특성이 아니다.

Reli- ability constitutes only one form of evidence. It is also important to note that reliability, like validity, is a property of the score and not the instrument itself.30

AUA-SI

The American Urological Association Symptom Index1 (AUA-SI, also known as the International Prostate Symptom Score)

Content evidence for AUA-SI scores is abundant and fully supportive.1 The instrument authors reviewed both published and unpublished sources to develop an initial item pool that reflected the desired content domain. Word choice, time frame, and response set were carefully defined. Items were deleted or modified after pilot testing.

Some response process evidence is available. Patient debriefing revealed little ambiguity in wording, except for one question that was subsequently modified.1 Scores from self-administration or interview are similar.49

Internal structure is supported by good to excellent in- ternal consistency and test-retest reliability,1,49,50 although not all studies confirm this.51 Factor analysis confirms two theorized subscales.50,52

In regard to relations to other variables, AUA-SI scores distinguished patients with clinical benign prostatic hyper- trophy from young healthy controls,1 correlated with other indices of benign prostatic hypertrophy symptoms,53 and improved after prostatectomy.54 Another study found that patients with a score decrease of 3 points felt slightly im- proved.51 However, a study found no significant association between scores and urinary peak flow or postvoid residual.55

Evidence of consequences is minimal. Thresholds for mild, moderate, and severe symptoms were developed by comparing scores with global symptom ratings,1 suggesting that such classifications are meaningful. One study56 found that 81% of patients with mild symptoms did not require therapy over 2 years, again supporting the meaning (valid- ity) of these scores.

PRACTICAL APPLICATION OF VALIDITY CONCEPTS IN DEVELOPING AN INSTRUMENT

The first step in developing any instrument is to iden- tify the construct and corresponding content.

• In our ex- ample we could look at residency program objectives and other published objectives such as Accreditation Com- mittee for Graduate Medical Education competencies,57 search the literature on qualifications of ideal physicians, or interview faculty and residents.
• We also should search the literature for previously published instruments, which might be used verbatim or adapted.
• From the themes (constructs) identified we would develop a blueprint to guide creation of individual questions.
• Questions would ideally be written by faculty trained in question writing and then checked for clarity by other faculty.

For response process,

• we would ensure that the re- sponse format is familiar to faculty, or if not (eg, if we use computer-based forms), that faculty have a chance to practice with the new format.
• Faculty should receive training in both learner assessment in general and our form specifically, with the opportunity to ask questions.
• We would ensure security measures and accurate scoring methods.
• We could also conduct a pilot study in which we ask faculty to “think out loud” as they observe and rate several residents.

In regard to internal structure,

• inter-rater reliability is critical so we would need data to calculate this statistic.
• Internal consistency is of secondary importance for per- formance ratings,30 but this and factor analysis would be useful to verify that the themes or constructs we identi- fied during development hold true in practice.

For relations to variables,

• 다른 도구와의 비교는 비교대상이 되는 도구가 얼마나 좋은 도구인가에 달렸다.
  we could correlate our in- strument scores with scores from another instrument as- sessing clinical performance. Note, however, that this comparison is only as good as the instrument with which comparison is made. Thus, comparing our scores with those from an instrument with little supporting evidence would have limited value.
• Alternatively, we could com- pare the scores from our instrument with United States Medical Licensing Examination scores, scores from an in-training exam, or any other variable that we believe is theoretically related to clinical performance.
• We could also plan to compare results among different subgroups. For example, if we expect performance to improve over time, we could compare scores among postgraduate years.
• Finally, we could follow residents into fellowship or clinical practice and see whether current scores predict future performance.

Last, we should not neglect evidence of consequences.

• If we have set a minimum passing score below which remedial action will be taken, we must clearly document how this score was determined.
• If subgroup analysis reveals unex- pected relationships (eg, if a minority group is consistently rated lower than other groups), we should investigate whether this finding reflects on the validity of the test.
• Finally, if low-scoring residents receive remedial action, we could perform follow-up to determine whether this inter- vention was effective, which would support the inference that intervention was warranted.

APPENDIX: INTERPRETATION OF RELIABILITY INDICES AND FACTOR ANALYSIS

Acceptable values will vary according to the pur- pose of the instrument. For high-stakes settings (eg, licen- sure examination) reliability should be greater than 0.9, whereas for less important situations values of 0.8 or 0.7 may be acceptable.30 Note that the interpretation of reliabil- ity coefficients is different than the interpretation of corre- lation coefficients in other applications, where a value of 0.6 would often be considered quite high.62 Low reliability can be improved by increasing the number of items or observers and (in education settings) using items of medium difficulty.30 Improvement expected from adding items can be estimated using the Spearman-Brown “prophecy” formula (described elsewhere).41

A less common, but often more useful,63 measure of score variance is the standard error of measurement (SEM) (not to be confused with the standard error of the mean, which is also abbreviated SEM). The SEM, given by the equation SEM   standard deviation   square root (1- reliability),64 is the “standard deviation of an individual’s observed scores”19 and can be used to develop a confidence interval for an individual’s true score (the true score is the score uninfluenced by random error).

Agreement between raters on binary outcomes (eg, heart murmur present: yes or no?) is often reported using kappa, which represents agreement corrected for chance.40 A dif- ferent but related test, weighted kappa, is necessary when determining inter-rater agreement on ordinally ranked data (eg, Likert scaled responses) to account for the variation in intervals between data points in ordinally ranked data (eg, in a typical 5-point Likert scale the “distance” from 1 to 2 is likely different than the distance from 2 to 3). Landis and Koch65 suggest that kappa less than 0.4 is poor, from 0.4 to 0.75 is good, and greater than 0.75 is excellent.

Factor analysis32 is used to investigate relationships be- tween items in an instrument and the constructs they are intended to measure.

41. Traub RE, Rowley GL. An NCME instructional module on under- standing reliability. Educational Measurement: Issues and Practice. 1991;10(1):37-45.

Am J Med. 2006 Feb;119(2):166.e7-16.

Current concepts in validity and reliability for psychometric instruments: theory and application.

post-psychometric 시대의 평가: 주관과 집단을 생각하기 (Med Teach, 2013)

Assessment in the post-psychometric era: Learning to love the subjective and collective

Brian Hodges

평가 영역에서 psychometric discourse의 등장

The rise of psychometric discourse in assessment

20세기의 마지막 50년간 의학교육은 평가에 새로운 언어, 개념, 실천이 등장하는 것을 목격하였고, 이것들은 다 함께 psychometrics에 대한 담론을 이루었다.

In the last half of the twentieth century, medical education witnessed the rise of a new language, concepts, and practices of assessment which, taken together, constitute the discourse of psychometrics.

우리는 이제 psychometric 담론이 저물고 주관성과 집단성에 대한 새로운 담론이 떠오르는 것을 보고있다.

We are now seeing a decline of the dominance of psychometric discourse and a rise in discourses anchored in subjectivity and collectively.

그러나 미래를 논하기 전에, 우리는 먼저 어떻게 진실로 여겨졌던 특정한 명제가 전혀 의심당하지 않고 수십년간 받아들여져왔는지를 이해할 필요가 있다. 1922년에 처음 언급된 (비록 그 이후 수십년간 의학교육계에 반영되지는 않았지만) 이 말을 볼 만 하다 "교육의 산출물과 교육적 목적에 대한 지식은 반드시 정량적이어야하며, 측정의 형태를 띈다" 그러한 진실을 정당화해준 것의 결과로 엄청난 담론의 변화가 있었다.

Before discussing the future however, we first need to understand how a particular set of truth statements became accepted as unquestionable for decades. First articulated in 1922 (although not fully adopted into medical education until a few decades later), an exemplar is: ‘‘Knowledge of educational products and educational purposes must become quantitative, take the form of measurement’’ (Thorndike 1922, p.1). What arose from the legitimization of such truths was a huge discursive shift;

인간의 행동을 숫자로 변환한다는 개념이 의학교육의 모든 분야에서 사고방식을 구성하게 되었다.

The notion of converting human behaviors to numbers constituted a way of thinking that found its way into every corner of medical education.

psychometric 담론에 중요한 여러 개념이 있으나, 아마 가장 중요한 것은 신뢰도reliability일 것이다.

Many concepts are central to psychometric discourse, although perhaps none is more important than reliability.

가장 중대한 담론의 변화는 '주관성'이라는 단어에 부정적인 함의가 담기게 된 것이다. '객관성'의 반댓말로서, '주관성'이 평가에 들어가는 것은 비뚤림biased를 의미했고, 비뚤림biased란 즉 '불공평unfair'한 것이었다. '객관적인 평가'와 '표준화된 평가'는 마치 동의어처럼 쓰였다.

The most important discursive shift was the negative connotation taken on by the word subjective. Framed in opposition to objective, the use of subjective in conjunction with assessment came to mean biased and biased came to mean unfair. There was also a strong association forged between assessment that was objective and tools that were standardized.

psychometric 담론의 등장은 신뢰도가 모든 검사에 있어서 요구되어야 할 특정이라는 것을 의미하게 되었다.

The rise of psychometric discourse meant that reliability was a desirable characteristic of all tests;

이러한 관점에서 보자면, 어떤 형태의 평가는 - 우리가 "오래 된 구두시험"이라 부르는 - 불공정하고 부적절한 것으로 여겨질 수 있는데, 왜냐하면 한두명의 평가자가 평가하고, 표준화되지 않은 질문이기 때문이다. 1960년대 후반에 등장한 중요한 사건 중 하나는 NBME가 모든 구두시험을 중단시킨 것인데, 이 때 이유는 최종 구두시험을 치른 10,000명 이상을 대상으로 한 연구에서 두 평가자간 평균적인 상관관계가 0.25 이하인 것으로 나온 것이었다. 1960년대 후반부터 2005년에 다수-스테이션의, 표준화된 임상스킬 평가가 (CSA) 도입되기까지 미국에는 표준화된 지필고사만이 의과대학 졸업생의 역량을 평가하기 위한 전부였다.

Seen through this lens, some forms of assessment, such as what were called ‘‘old orals exams,’’ were deemed unfair and unsuitable because of the one or two examiners and unstandardized questions. A pivotal event occurred in the late 1960s when the National Board of Medical Examiners in the United States discontinued the use of all oral examinations on the basis of a large-scale study of more than 10,000 final oral exams in which the average correlation between the two examiners was less than 0.25 (McGuire 1966). From the end of the 1960s, until the adoption of a multi- station, standardized clinical skills (CSA) assessment examin- ation in 2005, the United States required only standardized written exams to assess the competence of graduating medical students.

신뢰도에 대해서 집중하기 시작함으로써 더 포괄적인 표집sampling을 하게 되었고, 이는 명백하게 평가를 더 공정하게 만들었다. '경험만 필요할 뿐'이라고 더 이상 여겨지지 않았다. 평가자들은 검사 방법과 심지어 보정calibration까지 익혀야 했다.

Attention to reliability contributed to broader sampling that undoubtedly did make assessment fairer. Another positive effect was the rise in examiner training. No longer was it assumed that experience was all that was needed; examiners required orientation to testing methods and even calibration.

Psychometric 고부담 검사와 이에 대한 불만

Psychometric high-stakes testing and its discontents

개념적 측면에서 이러한 가정에는 몇 가지 문제가 있다.

From a conceptual perspective there are several difficulties with these assumptions. Among them, in no particular order, are that

• 역량이란 개인에게 내재된embedded 특성이 아니라 집단이 갖는 특성이다.
  competence is not a characteristic of individuals but is embedded in collectivities;
• 역량이란 고정된 것이 아니라 맥락에 따라 변화하는 것이다.
  competence is not a fixed, stable characteristic but one that varies in different contexts;
• 검사는 한 개인의 사고와 행동을 만든shape다.
  tests have the power to shape the thoughts and behaviors of individuals; and
• 여러 개개인을 서로 구분하는 것은 한 개인이 가진 여러 능력을 구분하는 것보다 더 유용하지 않다.
  finally, discriminating individuals between might be less helpful than some form of differentiation of abilities within individuals.

검사의 실천practice와 관련된 몇 가지 우려에 대해, psychometric 담론은 세 가지 필수불가결한 요소를 제공했다.

Turning from conceptual concerns to practices of assess- ment, psychometric discourse provided three key imperatives:

• 역량의 하위 요소를 찾는다.
  to identify sub-components of competence;
• 평가를 표준화하고 다수의 표본을 수집한다.
  to standardize assessments and take multiple samples; and
• 하위 점수를 합산하여 역량을 재구성한다.
  to aggregate sub- scores to reconstitute competence.

CanMEDS, ACGME, TD 등이 있다.

the CanMEDS roles, the ACGME competence framework, and Tomorrow’s Doctor in the UK.

흥미롭게도 'Dissecting the good doctor'에서 Whitehead 는 의학교육이 character에 대한 관심에서 characteristics에 대한 관심으로 초점을 옮겨가며 진화했음을 추적했다. 그녀는 역량의 개별적 영역들을 밝혀내는 것의 장점도 있지만, 점점 더 작은 수준dimension에서의 측정에 더 많이 의존하게 되면서 character를 평가하는 것의 예술 the art of judging character을 잃을 수도 있다고 지적한다.

Interestingly, in Dissecting the good doctor, Whitehead traces the evolution of medical education from a concern with a holistic notion of character to a focus on characteristics (Whitehead et al. 2012). She argues that while there are many advantages to identifying individual domains of competence, to place more and more reliance on measurements of smaller and smaller dimensions is to risk losing the art of judging character.

패턴인식과 게슈탈트에 대한 인식apperception이 진단적 역량의 핵심임에도, 우리는 어떤 이유에서인지 감독관의 피훈련자에 대한 판단을 "편견에 휩싸인 것"으로 생각해왔다. 평가에 있어서 게슈탈트의 가치를 재조명하는 것은 감독자의 전인적인 판단holistic supervisor judgments의 지혜를 되찾는 길이 될 수도 있다.

While pattern recognition and the apperception of gestalt are at the heart of medical diagnostic competence, somehow we have moved to thinking of supervisor judgments of trainees as being ‘‘riddled with bias.’’ Refocusing on the value of gestalt in assessment raises the possibility of capturing the wisdom in holistic supervisor judgments.

두 번째 psychometric 필수요소는 평가의 표준화와 다수의 표본을 수집하는 것이다. 그러나 van der Vleuten and Schuwirth 은 신뢰도의 주요 결정인자가 총 평가시간이지 평가한 도구의 표준화가 아님을 보여주었다.

The second psychometric imperative has been to standard- ize assessments and take multiple samples. Yet, as van der Vleuten and Schuwirth (2005) have shown, the major deter- minant of reliability is total testing time, not the standardization of the instrument used.

만약 어떤 도구를 사용하는지가 중요하지 않다면, 이것이 의미하는 바는 더 표준화된 평가도구(MCQ, OSCE)가 더 주관적인 평가도구(논술, 구술고사)보다 반드시 더 신뢰도가 높다거나 하지는 않다는 점이다. 중요한 것은, 신뢰도는 평가자의 숫자와 관련이 매우 높다는 것이다. 즉, 신뢰도를 획득하기 위해서 결정적으로 중요한 변수는 시험 시간과 다수의 표본을 수집하는 것이지, '표준화'가 아니다. 따라서 우리는 비록 우리가 표본을 주관적 영향을 받는 출처들로부터 수집하더라도, 전인평가holistic judgement를 두려워해서는 안 된다.

 If the type of tool does not matter,the implication is that those tools that are more standardized(MCQ, OSCE) are not necessarily more reliable than those that are more subjective (essays, oral examinations). The caveat, of course, is that reliability is strongly tied to the number of examiners (Swanson 1987). The critical variables in attaining reliability, therefore, are testing time and multiple sampling, not standardization. We should not, therefore, be afraid of holistic judgment, although we should sample widely across sources of subjective influences (raters, examiners, patients). 

Psychometric 담론은 평가의 대상이 되는 구인이 한 개인에게 내재한다는 생각에 근거한다. 그러나 팀-기반 의료는 개인으로부터 협력과 집단으로 초점을 옮겨갔다.

Psychometric discourse is based on the idea that constructs of interest are located in individuals. Yet, the rise of team-based 566 health care is shifting the focus from individuals to collabor- ation and collectivity (Lingard 2012).

• 의사는 팀으로서 일하고 시스템 내에서 일한다. 의료의 퀄리티를 한 개인의 수준에 놓을attribute 수 없다.
  Ringsted et al. (2007, p. 2764) wrote, ‘‘In the assessment of physicians it must be acknowledged that physicians often work in teams and systems, rendering it impossible to attribute quality of practice to a single person.’’
• 뛰어난 역량을 갖춘 개인이 모여서 부실한 역량을 갖춘 팀을 이룰 수 있으며, 실제로 자주 그런 일이 생긴다.
  For Lingard (2009, p. 626), ‘‘our individu- alist healthcare system and education culture [focuses] atten- tion on the individual learner’’ nevertheless ‘‘competent individual professionals can—and do, with some regularity— combine to create an incompetent team.’’
• 의학교육의 어떤 측면은 '사회적 구조물social constructs'로 보는 것이 타당하다. 개개인들의 능력이 발현 되는 것이라기보다 두 명 이상의 개인의 상호작용에 따른 결과물이다.
  And Kuper (2007, p. 1122) argues that, ‘‘some aspects of medical education are better thought of as social constructs: instead of being considered as expressions of a single individuals abilities, they are conceived of as the products of interactions between two or more individuals or groups.’’

'집단 수준의 역량collective in competence'에 대한 개념은 1990년대 후반 수술장에서 본격적으로 도입되었으며, 이 당시에 항공 분야에서의 안전과 위험관리에 대한 검토, 그리고 상대적으로 의학에서 그 파라미터들이 얼마나 무시되고 있는가가 비교되었다.

Attention to the collective in competence began in earnest in the operating room in the late 1990s, at a time when comparisons were made between the scrutiny given to safety and risk management in aviation and the relative neglect of those same parameters in medicine.

이후 많은 연구들이 팀-기반 훈련이 도입되었을 때 환자성과가 더 향상된다는 것을 보여주었다.

Many studies have since demonstrated improved patient outcomes when team-based training is employed (Haynes et al. 2009; Marr et al. 2012; Stevens et al. 2012).

역량이란 한 개인이 가지는 것이라는 개념은 점점 더 옹호될 수 없는 것이 되어가고 있다.

the notion that competence is something held by an individual becomes more and more untenable.

관찰을 통해서 임상술기평가의 블랙박스 열기: 개념적 모델(Med Educ, 2011)

Opening the black box of clinical skills assessment via observation: a conceptual model

Jennifer R Kogan,1 Lisa Conforti,2 Elizabeth Bernabeo,2 William Iobst2 & Eric Holmboe2

INTRODUCTION

고부담의 최종시험을 제한하는 것 뿐만 아니라, 이제는 임상 근무환경에서 지속적인 평가를 하는 것, 그리고 그러한 평가가 정확하고 타당할 것까지 요구되고 있다.

Additionally, in response to calls to limit high-stakes final examinations, greater emphasis is now placed on the continuous assessment of skills in the clinical workplace7–11 and such assessment must be accurate and valid.

METHODS

표본

Sample

연구 설계와 자료 수집

Study design and data collection

On their study day, faculty members individually watched four videos and two live scenarios of a standardised postgraduate year 2 (PGY2) resident (SR) taking a history, performing a physical exami- nation or counselling a standardised patient (SP).20 The live cases also scripted resident receptiveness to feedback. These cases were previously used with medical residents and each case was scripted to depict a PGY2 resident whose performance was unsatisfactory, satisfactory or superior for content (history taking, examination, counselling) and interpersonal skills (some cases portrayed superior content but unsatisfactory interpersonal skills). Initial error scripting (by JRK) was based on actual resi- dent performance norms. The study team reviewed scripts to confirm that they reflected predetermined performance levels. For the video cases, volunteer medical residents trained on a single script, practised with the SP and were videotaped once their perfor- mance accurately represented the intended perfor- mance level.

After watching each of four video encounters (Fig. 1a), faculty staff completed a mini-clinical evaluation exercise (mini-CEX). The mini-CEX, developed by the American Board of Internal Medicine (ABIM) to provide residents with feed- back about their history-taking, physical examina- tion, counselling and interpersonal skills, details seven competencies that are rated on a 9-point scale (1–3 = unsatisfactory, 4–6 = satisfactory, 7–9 = superior).25,26 Faculty members were then interviewed individually for 15 minutes by a trained study investigator using a semi-structured interview guide.

Videos were shown in a random order and each faculty member was interviewed by at least three interviewers. Following the video scenarios, faculty members observed two live representations of an SR taking a history, conducting an examination and counselling an SP (Fig. 1b). Following each encounter, faculty staff rated the SR using the mini- CEX and provided the SR with up to 10 minutes of feedback, which was video-recorded. Faculty members were then interviewed individually by a study investigator for 30 minutes using the semi- structured interview (Appendix S1). Faculty mem- bers were asked about the feedback encounter before and after watching a DVD of themselves giving feedback to the SR.

자료 분석

Data analysis

Grounded theory approach 활용. 그러한 이유는 관찰과 평가 프로세스에 대해서 알려진 바가 거의 없었고, 현재의 가설이나 이전 연구로부터의 추론에 제약되지 않고자 하였기 때문임.

We utilised a grounded theory approach to analyse the data for emergent themes and to develop a thematic coding structure.27 We selected grounded theory because little is known about the observation and evaluation process and we wished to avoid restricting ourselves to current hypotheses or inferences from prior studies.28 Transcripts were sampled for coding across faculty participants, SP cases and interviewers.27 Two researchers (JRK, LC) independently coded and used constant comparative techniques to develop a preliminary coding structure.27 A portion of the transcripts were also coded by additional study team members (EB, WI, EH) to review, further define and refine the coding structure. Refinement of the coding structure continued as analysis progressed. Coding was terminated when theoretical saturation was achieved and when all team members agreed upon the final interpretation of the data. In total, 56 of 172 video interviews (33%) and 29 of 88 live interviews (33%) were coded. NVivo Version 2.0 (QSR International Pty Ltd, Melbourne, Vic, Australia) was used to organise and analyse the coding structure.

결과

RESULTS

가장 흔하게, 교수들은 레지던트의 수행능력을 교수 자신이 스스로의 진료에 대해서 인식하는 것과 비교하였다.

Most frequently, faculty members compared resident performance with how they perceived themselves to practise:

교수들이 자신의 임상적 강점과 약점에 대해서 어떻게 인식하는지가 그들의 판단과 평가를 mediate했으며, 제시된 상황에 대해 얼마나 편하게 느끼느냐도 여기에 영향을 받았다.

Faculty members’ perceptions of their own clinical strengths or limitations at times mediated their judgements and ratings, as well as their comfort with the encounter.

교수들이 특히 중요하다고 혹은 우선시 되어야한다고 생각하는 역량이 무엇인지도 평가를 frame하였다.

Competencies believed by faculty members to be especially important and which were prioritised in feedback also framed ratings:

교수들은 레지던트의 수행능력을 평가할 때 본인이 레지던트 시절에 어떻게 했었는지를 기준으로 평가하기도 했다.

Faculty staff also referred to comparisons of resident performance with the faculty member’s perception of his or her own performance as a resident.

다른 의사를 레퍼런스로 활용

Using other doctors as a reference

많은 교수들이 레지던트의 수행능력을 비슷한 단계에 있는 다른 레지던트와 비교했다.

Many faculty members compared resident perfor- mance with that of residents at a similar stage:

그러나 일부 교수들은 평가가 꼭 몇 년차인지 (PGY level)에 따라 달라야 하는가에 의문을 제기하였다.

However, some faculty staff questioned whether ratings should be based on the resident’s PGY level:

특정 임상수행(History taking)의 기본 요소 충족 여부

SIGECAPS [Sleep, Interest, Guilt, Energy, Concentration, Appetite, Psychomotor, Suicidal].

어떤 사람들에게 있어서 평가의 기준을 설명해내는 것은 어려운 일이었다. 대신, 일부 교수들은 평가를 '직감gut feeling' 에 의존했다고 말하였다. 또 어떤 교수들은 어떻게 '관찰'을 '판단'으로 옮겼는지를 말로 설명하기 어려워했으며, 이러한 변환이 게스탈트를 반영하거나 혹은 자신이 판단을 내리고 평가를 할 때 어떤 프레임워크를 사용하는지가 불확실하기 때문이라고 했다. 일부 교수들은 대인관계에 대한 평가를 특히 어렵다고 했는데, 왜냐하면 이 스킬은 주관적이고 정량화하기 어렵기 때문이다

For others, articulating the standard for evalua- tion was difficult. Instead, some faculty staff referred to having a ‘gut’ feeling that drove evaluation. Others had difficulty in verbalising how they moved from observations to judgement and commented that the transition represented a gestalt or simply that they were uncertain of which framework they were making judgements and ratings against. Some faculty staff found the assessment of interpersonal skills particularly challenging because these skills were felt to be more subjective and difficult to quantify:

중요한 것은, 우리의 자료가 교수들이 frame of reference를 설정하는 것이 복잡하고, 역동적이고, 사람마다 매우 다르다는 것을 보여준다. 많은 교수들은 상황마다는 물론 한 상황 내에서도 FOR의 차이를 보였다.

Importantly, our data show that the ways in which faculty staff implemented these frames of reference were complex, dynamic and highly variable. Many faculty members shifted between frames of reference both within and between encounters:

주제 2. 추론inference의 역할

Theme 2. The role of inference

우리는 레지던트와 그들의 수행능력에 대한 추론inference가 평가가 이뤄지는 동안에 두드러진다는 것을 발견했다. 교수들은 구체적 자료(레지던트의 행동)을 사용하고, 이 행동들로부터 일부를 선별하여(의식적으로든 무의식적으로든), 의미를 부여affix하고, 이 행동에 대해 해석하여, 주로 결론을 내리는 가정assumption을 설정하였다. 종종 추론은 고차원적인 수준에서 이뤄졌는데, 이는 관찰한 행동을 기반으로 중대한 해석이 있었음을 의미한다. Table 2는 어떻게 동일한 행동도 교수에 따라서 서로 다르게 해석되는지를 보여준다. 레지던트의 감정(자신감이 있는지, 편하게 느끼는지), 성격, 스킬(지식, 잠재력), 향상에 대한 동기부여, 과거 경험과 대비상태 등등에 대해서 추론이 이뤄졌다.

We found that inferences about residents and their performance were prominent during assessment. Faculty members used concrete data (resident actions), selected from those actions (consciously or subconsciously), affixed meaning and interpreta- tion to those actions and made assumptions from which they frequently drew conclusions. Often, inferences were of the ‘high’ level, meaning there was significant interpretation based on the behav- iour witnessed. Table 2 provides examples of how the same behaviour was interpreted differently by different faculty staff watching the same video. Inferences were made about the residents’ feelings (i.e. their levels of confidence and comfort), personalities, skills (i.e. knowledge base and potential), motivation to improve, and prior experiences and preparation. 

일부는 기존의 프레임워크를 활용하여 평가하였다.

A few faculty members used existing frameworks to guide them in assessing residents.

많은 교수들은 판단을 수치로 변환하는데 어려움을 겪었다. 교수들은 그들이 각 숫자의 의미가 무엇인지를 이해하지 못하고 있다고 말하였으며, 9점 척도에서 각 척도를 구별해내는 능력이 부족함으로, 그리고 어떻게 평가를 synthesis할지 불확실해하고 있음을 언급했다.

Many faculty staff struggled to translate their judge- ments to a numerical rating. Faculty members described their own lack of understanding about the meaning of the numbers, their inability to discrimi- nate along a 9-point scale, and their uncertainty regarding how to synthesise ratings:

주제 4. 평가에 관여되는 레지던트 수행 외적 요인

Theme 4. Factors external to resident performance that drive ratings

다음과 같은 요인이 영향을 주었다.

Several additional factors influenced faculty staff ratings, including

• 맥락(시나리오의 복잡성, 레지던트의 과거 경험, 교수-레지던트 관계)
  context (the complexity of the encounter, the resident’s prior experience, the faculty–resident relationship) and
• 피드백을 대하는 태도(레지던트의, 교수의, 기관의)
  response to feedback (by the resident, by the faculty member, by the institution).

맥락

Context

임상 시나리오가 얼마나 복잡한 것인지, 또는 레지던트가 그 시나리오에 얼마나 친숙해 보이는지 등이 영향을 주었다.

Contextual factors such as the complexity of the clinical scenario and perceptions of the resident’s familiarity with a clinical situation influenced how faculty members translated their observations into ratings:

교수-레지던트 관계가 얼마나 오래 되었는지도 영향을 주었다. 교수들은 실제 레지던트와 관계와 비교해가면서, 그들이 레지던트와 지속적인 관계를 가졌을 때 어떠했는지를 설명하고, 그 레지던트가 이미 어떤 피드백을 받았었는가를 안다고 설명했다. 동일한 실수를 반복하는 것은 평가를 더 엄격하게 만들었다.

The duration of the resident–faculty relationship also impacted ratings. Faculty members, referring to their experiences with actual residents, explained that when they had a longitudinal relationship with a resident, they knew what that resident had already received feedback on. The repetition of a mistake by the resident after feedback resulted in rater stringency:

피드백을 대하는 태도

Response to feedback

레지던트가 점수에 대해서 어떤 반응을 보일지에 대한 우려가 종종 감정emotion으로 드러났다.

Emotions frequently stemmed from concern about residents’ reactions to numerical ratings that might be either high or low:

추가적으로, 건설적 피드백을 주는 것에 대한 교수들 자신의 정서적 반응과 레지던트의 감정에 미칠 영향에 대한 우려, 어떻게 레지던트가 교수를 인식할까에 대한 정서적 반응 등도 영향을 주었다.

In addition, the faculty member’s own emotional response to providing constructive feedback (i.e. feeling mean or unkind; being ‘demoralising’) and concern about the emotional impact on the resident and how the resident might perceive the faculty member seemed to mediate assessment:

반대로 어떤 교수들은 그들의 역할과 책임을 '코치'로서 인식했다

By contrast, other faculty staff were focused on their roles and responsibilities as coaches:

'나는 그들을 최대한 좋은 의사로 만들어야 한다. 나는 그들의 코치이다'

It’s to make them the best doctors they can be. I’m their coach.

마지막으로 여러 교수들이 기관 차원의 문화의 역할에 대해 언급했다.

Finally, several faculty members described the role of the broader institutional culture in guiding their ratings:

내가 점수를 낮게 준 학생과 학장과 셋이 나란히 앉아 내 점수를 디펜드 하는 것은 매우 불편하다. 그러한 상황에 다시는 놓이고 싶지 않다.

Sitting in very uncomfortable meetings with the dean and the student who I graded very poorly and having to sit there and defend my score. I don’t want to be in this situation again.’

DISCUSSION

교수들은 레지던트의 임상스킬을 평가할 때 관찰과 평가에 잠재적으로 영향을 미칠 수 있는 특성의 결합물amalgam of characteristics을 활용한다. 이러한 특성에는 나이/성별/임상 및 교육 경험/임상 및 교육 역량/태도와 감정/피드백에 대한 반응 등이 있다.

Faculty staff bring to resident clinical skills assessment an amalgam of characteristics that potentially impact on observations and assessment. These characteristics include age, gender, clinical and teaching experience, clinical and educational competence, and attitudes and emotions related to observation and feedback.

교수들은 레지던트와 환자의 상호작용을 두 가지 렌즈로 바라본다. 하나는 frame of reference이고, 다른 하나는 inference이다. 전자는 스스로의 역량에 대한 생각, 환자 성과에 대한 것, 다른 레지던트와의 비교 등에 대한 것이며, 후자는 관찰에 추가적인 의미를 부여하고 해석을 덧붙이는 것이다.

Faculty mem- bers observe resident and patient interactions through two lenses, one of which concerns a frame of reference (whereby faculty members use their own or other doctors’ performance, or patient outcomes, as a yardstick against which to compare resident performance) and one of which refers to inference which further shapes the meaning and interpretation assigned to observations.

피훈련자에 대한 교수들의 관측은 어떤 맥락 안에서 이뤄지고, 그 맥락적 요인에 의해 영향을 받는다. 여기에는 임상시스템(환자와의 친숙도, 환자의 복잡한 정도, 임상 유닛의 조직)과 교육시스템(조직 문화와 실수)이 있다.

The faculty member’s observation of the trainee with the patient occurs within and is influenced by contextual factors including the clinical system (i.e. familiarity with the patient, patient complexity, organisation of the clinical unit, etc.) and educational system (i.e. institutional culture and oversight).

관찰 동안에, 그리고 관찰 이후에 교수들은 관찰한 것을 해석하고 통합하여 점수로 변환한다. 그러나 이 프로세스는 깔끔하거나 예측가능하거나 단순하지 않다. 여러가지에 의해서 영향을 받는데, 점수를 어떻게 주느냐에 따라오는 피드백, 조직 문화, 시나리오의 복잡성 등이 있다. 이러한 영향은 관찰/피드백/평가에서 맥락이 중요하다는 것을 더 지지해준다.

During and after observation, the faculty member interprets and synthesises his or her observations into a rating. However, the process is not neat, predictable or straightforward. Multiple additional influences that can impact on ratings include anticipated feedback, institutional culture and encounter complexity. These influences further support the importance of context in observation, feedback and ratings.29,30

이러한 복잡한 상호작용은 상황인지이론situated cognition theory로 지지되는데, 이 이론에서는 개개인의 사고나 앎knowing, 처리processing이 그 사고나 행동이 일어나는 구체적 사회적 상황과 분리불가능하게 엮여 있다고 주장한다.

These complex interactions can be supported by situated cognition theory which contends that an individual’s thinking, knowing and processing are uniquely tied to and inextricably situated within (and cannot be completely separated from) the specific social situations within which those thoughts and actions occur.29,31,32

상황인지는 이러한 '상황'이 기여하는바를 인식하지 못하면, 그 구조construct를 완전히 잡아내지 못하는 사고로 이어진다.

Situated cognition contends that failing to acknowledge the contributions of the setting leads to a perspective on thinking that cannot fully capture the construct;33

교수들은 평가를 할 때 다수의 frame of reference를 활용한다. 우리가 놀란 점은 교수들이 매우 흔하게 자신의 현재 진료 스타일에 비추어서 레지던트를 평가한다는 사실이다. 이것이 특히 중요한 이유는, 교수들이 임상스킬의 proficiency에 있어서 매우 차이가 크기 때문이다. 그럼에도 이번 연구에서 교수들은 관찰과 평가에서 근거-기반 프레임워크 혹은 환자 성과를 거의 사용하지 않았다. 더 나아가서 동일한 수행에 대해서도 서로 다른 평가를 내리는 것은 레지던트가 스스로의 셀프-이미지와 맞지 않는 건설적 피드백은 무시하거나 검열해버릴 가능성이 있어서 잠재적으로 피드백 프로세스를 훼손시킬 수 있다.

Our data suggest that faculty staff approach assess- ment using multiple frames of reference. We were struck by how often self was used as a frame of reference, particularly by comparing a resident’s performance with one’s current practice style. This finding has important implications because faculty staff have variable clinical skill proficiency.20,34–36 Yet, in the present study, faculty staff rarely used evidence-based frame- works describing best clinical skills practices (e.g. informed decision making, patient communication) or patient outcomes37–39 to anchor observation and assessment. Variable frames of reference are also problematic for residents. Furthermore, variable assessments of the same performance can potentially undermine the feedback process if residents preferentially dismiss or censor constructive feedback that is incongruent with their self-image.40

수행능력에 대한 결론을 내리기 위해서는 실제 자료(레지던트 행동)을 기반으로(활용하여), 이 행동들 중에서 선택하고, 이ㅡ미를 부여해야 한다. 이러한 가정이 결론을 형성하고, 이것을 바탕으로 행동(평가와 피드백)이 이뤄진다.

Reaching conclusions about performance requires faculty staff to use real data (resident behaviours), select from those behav- iours, and affix meaning to them. These assump- tions form conclusions which, in turn, lead to actions (the rating and feedback).41

비록 교수들이 비디오의 SR과 대화할 기회는 없었지만, 교수들이 live observation을 하는 동안 추론을 했음에도, 피드백을 주기 위해서 SR을 만났을 때 그 추론에 대해 질문하지 않았다.

Although the faculty member did not have the opportunity to talk with the SR in the video encounters, similar inferences were made and not questioned during the live observations when the faculty member met with the SR for feedback.

교수들은 관측결과를 판단(점수)로 변환하는데 어려움을 겪는다. 그러나 평가서식을 이용하는 교수들은 각 점수가 의미하는 바가 무엇이며, 어떻게 전반적 평가를 선택할 것인지를 알아야 한다. 우리가 아는 한, 교수개발 프로그램은 어떻게 관찰과 평가를 overall rating으로 통합하는지에 대해서 설명address해주지 않는다.

We found that faculty members struggled to translate their observations and judgements into numerical ratings. However, faculty members who use rating forms need to know what the numbers mean and how to select an overall rating. To our knowledge, faculty development has not addressed how observations and assessments should be synthesised into an overall rating.

교수들은 평가에 있어서 기준이나 정신모형을 공유할 필요가 있다. 이상적으로는 자기-기반의 프레임워크에서 준거-기반의 프레임워크로 바꿔나가야 한다. 특정 훈련단계에서 기대되는 역량이 무엇인가를 알고, milestone을 명확히 하는 것이 도움이 될 것이다.

Our findings suggest that there is a need to ensure that faculty staff approach assessment with a shared standard or mental model, ideally shifting from a self-based to a criterion-based framework. Knowledge of expected competencies and elucidation of milestones at par- ticular levels of training could be valuable to faculty staff who are required to make assessments.45

Opening the black box of clinical skills assessment via observation: a conceptual model.

타당도주장(validity arguments)에 대한 현대적 접근: Kane의 프레임워크에 대한 실용 가이드(Med Educ, 2015)

A contemporary approach to validity arguments: a practical guide to Kane’s framework

David A Cook,1,2 Ryan Brydges,3,4 Shiphra Ginsburg3,4 & Rose Hatala5

INTRODUCTION

Messick6 and Kane7 은 지난 100년간 어떻게 validation이 발전해왔는가에 대해 설명했다. 간략히 요약하자면, 교육자들은 초반에는 두 종류의 validity를 인식했다.

Messick6 and Kane7 have offered detailed reviews of how validation has evolved over the past 100 years. To summarise very briefly (see Fig. 1), educators ini- tially recognised two types of validity:

• 내용타당도: 평가 문항을 만드는 것과 관련
  content valid- ity (which relates to the creation of the assessment items), and
• 준거타당도: 동일한 현상을 측정하는 레퍼런스기준reference standard과 점수가 얼마나 잘 correlate하는가
  criterion validity (which refers to how well scores correlate with a reference-standard mea- sure of the same phenomenon).

그러나 내용타당도는 거의 언제나 검사를 지지하는 결과를 보였고, 연구자들은 곧 레퍼런스기준을 찾고 validating하는 것이 매우 어렵다는 것을 - 특히 실체가 없는 특성(예: 프로페셔널리즘)에 대해서 - 알게 되었다. 명확하게 정의내릴 수 있는 준거가 존재하지 않는 상황에 대한 대안으로서, 이론가들은 '구인타당도'를 제시했다. 이는 '구인'의 개념이나 이론을 기반으로 실체가 없는 특성attributes(구인contruct)이 관찰가능한 특성attributes과 연결되어 있다는 것이다. 이렇게 되면 타당도를 검증할 때, 관찰가능한 특성을 측정하고, 이론적인 관계theorised relationship을 평가하면 된다.

However, content validity nearly always supported the test, and investi- gators quickly recognised that identifying and vali- dating a reference standard is very difficult, especially for intangible attributes (e.g. professional- ism). As an alternative for contexts in which no definitive criterion existed, theorists proposed con- struct validity,8 in which intangible attributes (con- structs) are linked with observable attributes based on a conception or theory of the construct. Validity can then be tested by measuring observable attri- butes and evaluating the theorised relationships.

전문가들은 곧 이러한 다양한 타당도의 '유형'들이 (신뢰도reliability metrics와 합해져서) 궁극적으로 construct-related relationship을 지지하(거나 반박하)는 공통의 경로commom pathway를 갖는다는 것을 인식하게 되었다. 이는 연구자들로 하여금 서로 '다양한 유형'의 타당도라는 개념을 버리고, '유일한 validity인 construct validity를 지지하즌 다수의 근거 출처evidence from multiple sources'라는 통합된 프레임워크에 이르게 된다. 그러나 Messick의 프레임워크가 이후 폭넓게 인정받아왔지만, 서로 다른 근거출처evidence sources 사이에 우선순위를 정해주지 않았으며, 어떻게 평가에 따라서 그 우선순위가 달라질 수 있는지(예: 고부담 평가와 저부담 평가에서 어떻게 다르닞) 등을 보여주지 않았다.

Experts soon realised that all these different ‘types’ of validity, together with reliability metrics, ulti- mately had the common pathway of supporting (or refuting) the construct-related relationships. This led researchers (as detailed by Messick6) to abandon the different ‘types’ of validity in favour of a unified framework in which construct validity (the only type) is supported by evidence derived from multi- ple sources. However, although Messick’s framework has subsequently been widely embraced,9,10 it does not prioritise among the different evidence sources or indicate how priority might vary for different assessments.11 

Kane의 프레임워크가 아름다운 점은, 양적 평가, 질적 평가, 평가프로그램에 모두 적용될 수 있다는 점이다. 이러한 다재다능함이 우리를 질적 자료와 주관적 자료가 점차 더 가치를 인정받고 있는, 그리고 다수의 평가자료가 일상적으로 통합되는 'post-psychometric era'로 옮겨가게 했다.

The beauty of Kane’s framework is that it applies equally to an individual quantitative assessment tool, a qualitative assessment tool, or a programme of assessment. Such versatility will be required as we move into a ‘post-psychometric era’ of assessment in which qualitative and subjective data are increas- ingly valued13 and multiple assessment data points of varying rigour are routinely integrated.14

의사결정의 초점과 그 결과

A FOCUS ON DECISIONS AND CONSEQUENCES

우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다.

When we assess a learner, we usually generate a number but What we want –indeed, is a decision about that learner. Did he pass?

궁극적으로 validation은 그 판단의 방어가능성defensibility를 지지하는 근거를 수집하는 것이 전부이다.

Ultimately, validation is all about collecting evidence to support the defensibility of that decision.

첫째, 모든 평가가 다 도움이 되는 것은 아니다.(낮은 점수가 불필요한 재교육활동으로 이어질 수 있다)

Firstly, not all assessments are beneficial. (if, for instance, a low score prompted unnecessary remediation activities).

둘째, 사람들은 동일한 근거를 두고도 서로 다른 결론에 이르를 수 있다.

Secondly, peo- ple may rightly arrive at different conclusions when interpreting the same evidence

셋째, 평가는 어떤 맥락에서는 유용하면서 다른 맥락에서는 그렇지 않을 수 있다(PSA검사의 특성은 연령에 따라 다르며, 교육상황에서 체크리스트는 절차적 기술을 평가하는데는 적합하나 임상현상에서의 미묘한 뉘앙스를 잡아내지는 못한다.)

Thirdly, an assessment mightbe useful in some contexts but not in others (e.g. PSA test properties vary by age; an education checklist may prove adequate for assessing proce- dural skills in a simulation-based context, but fail to capture important nuances of clinical practice).

넷째, 시험(검사)의 유용성은 목적에 따라 다르다(PSA검사는 일반적으로 암의 재발을 보는데 좋다. mini-CEX는 형성적 피드백을 제공하는데는 좋으나, 총괄적 목적이나 프로그램 평가의 목적으로는 덜 그러하다.)

Fourthly, the usefulness of a test may vary for differ- ent purposes (e.g. the PSA test is generally consid- ered useful in monitoring for cancer recurrence; the mini-clinical evaluation exercise [mini-CEX] seems appropriate as a tool for formative feedback, but may be less defensible when used for summative purposes or programme evaluation26).

다섯째, 평가 행위 자체가 개입intervention이다. Test-enhanced learning은 하나의 사례이다.(PSA검사와 PSA검사 비수행을 무작위연구 할 수 있으며, 평가시행 vs 평가비시행에 대해서도 무작위 연구가 가능하다.)

Fifthly, the act of assessment is in fact an intervention, as wit- nessed by research on test-enhanced learning,27 (e.g. one can conduct a randomised trial of PSA testing versus no PSA,19,20 or educational assessment versus no assessment28,29).

validation의 목적은 어떠한 의사결정과 그에 수반되는 결과가 유용한지를 평가할 근거를 수집하는 것이다.

The purpose of validation is to collect evidence that evaluates whether or not a decision and its atten- dant consequences are useful.

타당도 논거

THE VALIDITY ARGUMENT

타당도논거validity argument는 타당도근거의 수집과 해석을 이끈다. 한 조각의 근거가 단독적으로 결론을 내릴정도로 논란의 여지가 없는 경우는 거의 없다. 보통, 타당도논거는 다수의 근거들로 이뤄지며, 각각으로는 불완전하나 종합적으로 판단을 내리기체 충분하다.

The validity argument guides the collection and interpretation of validity evidence. Rarely is a single piece of evidence so incontrovertible that it single-handedly ‘makes the case’. Rather, the argument usually con- sists of multiple pieces of evidence, individually incomplete but collectively sufficient to convince the jury.

법정의 비유를 들자면,얼마나 많은 근거가 필요한가는 그에 따른 결정의 무게gravity에 달렸다.

Continuing the analogy of a legal argument, the amount of evidence required varies depending on the gravity of the pending decision.

같은 원칙을 적용할 수 있다.

Turning now to assessment validation, the same principles apply. (Fig. 2).

Brennan은 '악마는 디테일에 있다. 그러나 기본적 접근법은 간단하다'. Kane은 '첫째, 의도나 해석(interpretation/use argumgnet, IUA)에 대한 주장을 한다. 둘째, 이 주장을 평가한다(validity argument)' 이 두 단계 접근법은 주장을 하고, 그 주장을 평가하는 것이고, 일상적 연구에서 가설을 검증하는 것과 다르지 않다.

Brennan34 observed: ‘There may be devilish details to be considered, but the basic approach is straight- forward.’ Kane12 declared: ‘First, state the claims that are being made in a proposed interpretation or use (the IUA [interpretation/use argument]), and second, evaluate these claims (the validity argu- ment).’ This two-step approach – stating and then evaluating claims – is analogous to the routine research practice of stating and then testing a hypothesis.

Kane의 프레임워크

KANE’S FRAMEWORK

그러나 가설의 가장 취약한 고리를 찾아내고, 그것을 평가할 검사를 계획하는 것은 그렇게 쉬운obvious 일은 아니다(Brennan이 말한 '악마의 디테일'과 같다). 다행히도, Kane은 타당도주장에 대해서 생각해볼 수 있는 프레임워크를 만들었다.

However, identifying the weakest links and assump- tions in the hypothesis, and planning the tests that will evaluate those assumptions, is rarely obvious (the ‘devilish details’ referred to by Brennan34). For- tunately, Kane has described a framework for think- ing about the validity argument

Kane은 평가를...다음과 같이 나눔

Kane traces an assessment from

• 단일한 관찰결과(객관식 시험 점수)로부터의 점수
  the Scoring of a single observa- tion (e.g. multiple-choice examination question, skill station, clinical observation or portfolio item),
• 관찰한 점수를 시험 상황에서의 일반적 수행능력을 대표하는 점수의 일반화
  to using the observation score(s) to generate an overall test score representing performance in the test setting (Generalisation),
• 시험 상황에서의 점수를 실제 상황에서의 수행능력으로 추론하는 외삽
  to drawing an inference regarding what the test score might imply for real- life performance (Extrapolation), and then
• 이 정보를 해석하고, 결정을 내리는 것인 함의
  to inter- preting this information and making a decision (Implications) (Fig. 3).

타당도논거는 다수의 추론inference를 포괄하는 다양한 출처의 근거를 포함해야 한다. 또한 가장 취약한 고리에 초점을 맞추는 것도 중요하다. Kane의 프레임워크가 가지는 장점 중 하나는 psychometric data에 지나치게 의존하지 않으며, 따라서 비-정량적 평가에도 적용가능하다는 것이다.

The validity argument should contain multiple sources of evidence that span several (if not all) inferences. It is also important to focus on the weak- est links (most questionable assumptions). One advantage of Kane’s framework is that it does not rely heavily on psychometric data, and thus the con- cepts apply readily to non-quantitative assessments (such as learning portfolios and narrative perfor- mance reviews).

제안하고자 하는 활용법을 정의함

Define the proposed use

합격/불합격 결과를 위한 평가와 단순히 raw score만 보고하면 되는 평가는 필요한 타당도 근거의 우선순위가 다를 수 있다. 의대 2학년생을 위한 의사소통 평가, 1년차 레지던트를 위한 평가, 정신과의사 혹은 정형외과의사를 위한 평가 등에서 다 다를 수 있다.

Tests intended to result in pass/fail decisions may require different prioritisa- tion of validity evidence than those reporting raw scores. The validation of an assessment of communi- cation skills for a second-year medical stu-dent, first-year resident or practising physician, or for a psychiatrist versus an orthopaedic surgeon. Interpretations to guide formative feedback or to establish a minimal level of competence

점수산출 추론

Scoring inference

각 평가는 몇 개의 수행능력을 관찰하는 것으로부터 시작하며, 이를 통해 공정/정확/재생산가능한 양적 점수를 생성해낸다

Each assessment begins with an observation of some performance to generate a fair,accurate, reproducible quantitative score (or an accurate and insightful narrative comment).

일반화 추룬

Generalisation inference

일반화를 이해하기 위해서 우리는 '시험 상황'에서의 수행능력과 '실제 상황'에서의 것을 구분할 필요가 있다. 일반화는 '시험 상황'의 수행능력에 대한 것이다.

To understand Generalisation we need to distinguish performance in the ‘test world’ (formally the ‘uni- verse of assessment’) from that in the ‘real world’. Generalisation deals with test-world performance.

시험 상황universe of assessment에서 만들 수 있는 문항의 숫자는 이론적으로는 거의 무한하다.

In the universe of assessment, there are in theory a limitless number of items that we could create or select

궁극적으로 이 무한한 가능성의 우주에서 일부를 선택하여 어떤 표본을 만든다고 했을 때, 우리는 이 표본으로부터 모든 assessment universe로 일반화할 수 있기를 원한다.

The test items we ultimately select represent a sample of the items from this universe of possibilities. However, we ideally want to general- ise from this sample to the entire assessment uni- verse.

근거를 살펴보면, 이 질문에 대한 답은 주로 두 가지 출처로부터 온다.

Evi- dence to answer this question comes from two primary sources:

• 검사 영역 내에서 적절한 표본 선정을 위해서 선택한 방법
  methods taken to ensure adequate and appropriate sampling within the test domain, and
• 완전히 새로운 표본을 사용했을 때 비슷한 점수를 얻을 가능성(재생산가능성, 신뢰도)
  empiric studies to determine the likelihood of obtaining similar scores if we use an entirely new sample of items (reproducibility or reliability).

적절한 표본 선정을 위해서 선택하는 방법에는 블루프린트 혹은 무작위 선택이 있다.

Methods to ensure appropriate sampling might include a test blueprint (across domains) or random sampling (within a domain)

비-수치적 자료 혹은 assessment universe가 고도로 이질적인 경우와 같은 질적 연구에서는 '포화'라는 개념이 유용할 수 있다.

The qualitative research concept of saturation may be useful, espe- cially for non-numeric data or if the universe is highly heterogeneous:

수치 점수의 재생산가능성은 신뢰도를 이용해서 결정할 수 있다.(classical test theory 또는 Generalisability theory에서의 신뢰도)

The reproducibility of numeric scores can be empir-ically determined using reliability metrics. 

classical test theory,

Generalisability theory

질적연구에서 개별 질적자료를 synthesis하는 것은 통찰을 제공하는/정확한/방어가능한 해석법이며, 양적자료의 generalisation에 비견될 수 있다. 평가자간 신뢰도를 대부분의 수치점수에 있어서 '에러'로 처리하지만, 질적 평가에 있어서 우리는 평가자간 차이를 수행능력에 대한 통찰을 제공해주는 가치있는 것으로 본다(다양한 관점). 서로 다른 자료 출처로부터 선택과 통합하는 것(triangulation), 언제 종료할 것인가를 결정하는 것(saturation)은 질적연구자료의 '일반화추론'을 도와준다.

For qualitative assessments, the synthesis of individ- ual pieces of qualitative data to form an insightful, accurate and defensible interpretation is analogous to quantitative generalisation. Whereas we treat inter-rater variability as error for most numeric scores, in qualitative assessments we view observer variability as representing potentially valuable insights into performance (i.e. different perspec- tives38,39). The method for selecting and synthesis- ing data from different sources (triangulation) and deciding when to stop (saturation) will inform the Generalisation inference for qualitative data.

외삽 추론

Extrapolation inference 

'외삽'은 시험 상황에서 실제 상황으로 나아가는 것이다.

Extrapolation takes us from the test-world universe to the real world.

'외삽'을 지지하는 근거는 주로 두 가지가 있다.

Evidence to support Extrapolation comes primarily from two sources:

• 시험 영역에서의 점수가 실제 수행능력의 핵심 특성을 반영하게끔 하는 방법
  methods taken to ensure that the test domain reflects the key aspects of real perfor- mance, and
• 시험 수행능력과 실제상황 수행능력의 관계를 평가하는 분석
  empiric analyses evaluating the relationship between the test performance and real-world perfor- mance.

think aloud

review past literature

그러나 known-group comparison은 상대적으로 약한 타당도 근거만을 제공하는데, 왜냐하면 관련성이 인과성을 의미하지는 않기 때문이다. 더 강력한 외삽근거는 시험점수가 실제상황 평가와 개념적으로 관련된 점수와 상관관계가 어떤지 보는 것이다.

How- ever, known-group comparisons offer relatively weak validity evidence because association does not imply causation.40 Stronger Extrapolation evidence can be collected by correlating test scores with scores from a conceptually related real-world assessment.

안타깝게도, 일반화와 추론은 서로 반대로 작용할 수 있다. Kane은 '우리는 일반화를 희생하여 외삽을 강화시킬 수 있다(평가 과제가 평가 대상 영역을 반영하도록 함), 또는 우리는 외삽을 희생하여 일반화를 강화시킬 수 있다(다수의 고도로 표준화된 과제를 사용)'

Unfortunately, Generalisation and Extrapolation are often at odds with one another. Kane7 notes: ‘We can strengthen extrapolation at the expense of gen- eralisation by making the assessment tasks as repre- sentative of the target domain as possible, or we can strengthen generalisation at the expense of extrapo- lation by employing larger numbers of highly standardised tasks.’

함의 추론

Implications inference 

마지막 단계는 대상영역의 점수로부터 그 점수의 해석으로 나아가고, 그 해석으로부터 특정한 활용방법/결정/후속활동 으로 나아가는 것이다. Kane은 '검사 점수를 특정 방식으로 해석하는 것이 타당하다는 근거가 자동적으로 그 점수를 어떻게 활용할지에 대한 것까지 정당화시켜주는 것은 아니다' 라고 말했다. 또한 '완벽하게 정확한 정보를 바탕으로 하고 있더라도, 그에 따른 의사결정은 목적을 달성하지 못할 수도 있고, 목적을 달성하더라도 비용이 너무 많이 들어갈 수도 있고, 그냥 폐기될 수도 있다' 라고 했다. 또 다른 말로는, 우리가 비록 정확한 측정을 하였다 하더라도, 그 정보가 유용할 것인지(혹은 적절하게 활용될 것인지)는 또 다른 문제라는 것이다. 따라서 타당도 논거의 최종 단계는 이 평가가 학습자/이해관계자/사회에 미칠 여파를 평가하는 것이다.

The final inference moves from the target domain score to some interpretation about that score, and from that interpretation to a specific use, decision or action. As Kane7 states: ‘It is gener- ally inappropriate to assume that evidence support- ing a particular interpretation of test scores automatically justifies a proposed use of the scores.’ He also notes: ‘A decision procedure that does not achieve its goals, or does so at too high a cost, is likely to be abandoned even if it is based on perfectly accu- rate information.’7 In other words, even if we mea- sure the attribute correctly, it doesn’t necessarily mean this information will be useful (or used well). Thus, the final phase in the validity argument evalu- ates the consequences or impact of the assessment on the learner, other stakeholders and society at large.42

평가의 여파에 대한 자료를 수집하는 가장 단순한 방법은 일부 학습자에게만 제공하는 것이다.

The most straightforward way to collect data regard- ing the consequences of assessment would be to offer the assessment to some learners but not to others,

그러나 이러한 연구는 대부분 연구자들에게 수행하기 어렵다. '함의추론'을 평가하는 더 현실적인 방법은 다음과 같다.

However, such studies are diffi- cult to conduct and exceed the reach of most inves- tigators. More achievable studies evaluating the Implications inference include

• 기준 설정 연구
  standard-setting stud- ies (discussed under Scoring),
• 비-비교 연구
  non-comparative stud- ies exploring intended and unintended consequences (e.g. what happens to learners who fail a key examination), and
• 하위그룹간 차이 비교
  evaluations of differ- ences in test performance among subgroups for which performance should be similar, such as men and women (differential item functioning).

이처럼 질적 평가에서 최종 해석에 관한 전문가들의 동의를 평가하는 것, 그리고 학습자와 평가자에 대한 결정사항의 영향력을 평가하는 것이 함의추론을 지지한다.

Like- wise, in qualitative assessments, evaluating the agree-ment of experts with final interpretations and the impact of decisions on learners and raters would support the Implications inference.

이러한 질문에 답하는 것이다.

• 시험에서 떨어진 학생들과 통과한 학생들에게는 어떤 일이 생기는가?
  what happened to those learners who failed the test and those who passed? 
• 재교육remediation이 후속 평가에서 수행능력의 향상을 가져왔는가?
  Did remediation result in improved perfor- mance on follow-up assessment?

PUTTING THE ARGUMENT TOGETHER

일관성있는 논거의 계획과 제시

Planning and presenting a coherent argument

비록 Kane이 어떤 순서로 타당도 근거를 수집하고 평가해야하는가를 명시하진 않았지만 논거의 phase에 따른 자연스러운 진행과정이 있다.

Although Kane does not specify the order in which validity evidence should be collected and evaluated, there seems to be a natural progression that aligns the phases of the argument (from left to right in Fig. 3) with the priority and sequence of collecting empiric evidence. It seems natural...

• to solidify evi- dence regarding the scoring rubric before analysing the generalisability of those scores,
• to evaluate gener- alisability before extrapolating to real life, and
• to con- firm relationships with real-life performance before attempting to confirm the impact of assessment on meaningful outcomes.

실제 관찰 결과가 하나의 추론 내에서(일반화 내에서 근거가 상충할 수 있음), 추론 간에서(일반화 논거에는 긍정적이나 외합 논거에는 부정적인 것이 있을 수 있음), 맥락에 따라 다를 수 있다. 사전에 IUA(the interpretation/use argument)를 구체적으로 하는 것이 이러한 관찰결과를 통합하는데 도움이 될 것이다.

Empiric findings often disagree within an inference (e.g. conflicting evidence for Generalisation), between inferences (e.g. favourable Generalisation but unfavourable Extrapolation), and across different contexts or research studies. A pre-specified inter- pretation/use argument and evaluation plan helps to integrate such findings.

타당도 근거 축적building의 흔한 오류

Flaws in building the validity argument

교육자들은 흔히 한 목적 혹은 한 맥락에서 validate된 검사는 다른 것에서도 그러할 것이라고 가정하는 실수를 범하곤 한다. 실제로는, 모든 평가가 interpretation and use마다 validation되어야 한다. Kane이 언급한 실수의 유형들.

Educators commonly make the mistake of assuming that a test validated for one purpose or context is valid for another. In reality, all assess- ments must be validated for each new proposed interpretation and use. Kane7 identified a number of other flaws in building the validity argument.

• 제한된 근거만을 평가하여 해석이나 결정이 타당하다고 판단내리는 것
  Firstly, educators often conclude that interpreta- tions and decisions are valid after evaluating lim- ited evidence.
• 주어진 목적에서 필요한 것보다 더 과도한ambitious 논거를 요구하는 것(비평가, 연구자, 규제기준)
  Secondly, critics, na€ıve investigators or inappropriate regulatory requirements might propose an argument that is more ambitious than required for a given purpose.
• 수집하기 쉬운 근거만 수집하고, 더 질문의 여지가 있는 것에 대해서는 근거를 수집하지 않는 것
  Thirdly, investigators often collect easy-to-measure evidence for assump- tions that are already plausible; this typically occurs at the expense of addressing other more question- able assumptions, and can be misleading if the sheer quantity of evidence obscures important omissions.

Kane의 프레임워크의 실용적 적용

PRACTICAL APPLICATION OF KANE’S FRAMEWORK

임상상황: 제안된 '함의'를 지지하기 위해서, 우리는 특정 질병에 대한 스크리닝과 이후 질병을 치료하는 것이 아무것도 안하고 기다리는 것보다 장기적으로 임상성과가 더 나은지를 알고 싶어한다.

Finally, to support the proposed Implications we would want to know that screening for a disease and then treating it yields better long- term clinical outcomes than waiting for the disease to become clinically apparent, and that adverse effects of the treatment do not outweigh the bene- fits.

양적연구상황: 제안된 '함의'를 지지하기 위해서, 우리는 다음과 같은 것을 알고 싶어한다.

Finally, to support the proposed Implications, we would want to know

• 딜레이 결정을 내린 것이 patient care를 향상시키는가 that decisions to delay operating privileges improve patient care,
• 재교육으로 향상이 되는가 that remediation leads to objective improvement,
• 레지던트가 좋다고 느끼는가 that residents perceive a benefit, and
• 이러한 딜레이가 레지던트나 교육 프로그램에 부담이 되지는 않는가 that the delay does not impose an excessive burden on resi- dents or training programmes.

그러나 이를 지지하는 근거는 아직 없다.

However, virtually no evi- dence has been reported to support the Implications inference.63

질적연구상황:

Finally, we consider the use of narrative comments (qualitative data) from supervisors assessing resi- dents’ clinical performance to make decisions about promotion to the next training year.

Scoring inference 를 위해서는 다음을 보고자 함

To support the Scoring inference we would expect to see

• that ques- tions prompt a variety of relevant narrative data,
• that assessors have actually observed the behaviours they are asked to assess, and
• that narrative com- ments provide a rich, detailed description of observed behaviours.

Generalisation inference 를 위해서는 다음을 보고자 함

To support Generalisation,we would expect to see

• that narratives have been solicited from people representing a variety of clini- cal roles,
• that the narratives collectively form a coherent picture of the resident, and
• that those conducting the interpretive analysis have appropri- ate training or experience.

To support Extrapolation, we would anticipate

• that those providing raw narra- tives agree with the synthesised ‘picture’ and
• that the qualitative narrative agrees with other data (qualitative or quantitative) measuring similar traits.

Finally, to support the proposed Implications,we would want to know

• that both those providing nar- ratives and the residents themselves agree with the decision based on these narratives, and
• that actions based on these decisions have the desired effect.

We found evidence to support many, but not all, of these propositions (Table 2).64–77

CONCLUSIONS

결론적으로 네 가지를 강조하고자 한다

In conclusion, we emphasise four points.

첫째, validation은 끝이 아니라 과정이다. 검사가 'validate'되었다고 말하는 것은, 그 과정을 수행했다는 것을 의미할 뿐, 의도한 해석, validation의 과정, 그 과정이 이뤄진 맥락 등을 지칭하는게 아니다.

Firstly, validation is not an endpoint but a process. Stat- ing that a test has been ‘validated’ merely means that the process has been applied, but does not indicate the intended interpretation, the result of the validation process or the context in which this was done.

둘째, 이상적인 validation은 명확한 IAU를 기술하는 것으로부터 시작된다. 핵심 주장과 근거를 정의하는 당초 계획한 IAU로 진행되며, 타당도논거를 위한 논리적, 실용적 근거를 수집하고 종합함으로써 진행된다.

Secondly, validation ideally

• begins with a clear statement of the proposed interpretation and use (decision),
• continues with a carefully planned interpretation/use argument that defines key claims and assumptions, and
• 앞에 두 개가 되고 나서야 이게 됨
  only then pro- ceeds with the collection and organisation of logi- cal and empirical evidence into a substantiated validity argument.

셋째, 가장 취약한 고리에 초점을 둬야 한다.

Thirdly, educators should focus on the weakest links (most questionable assump- tions) in the chain of inference.

넷째, 여기서 제시된 모든 임상, 교육 사례에서 점수/일반화/외삽 근거는 매우 강하다. 실제로 행동을 위한 함의implication에 이르러서야 꼭 있어야 하는데 부족한 것들이 드러난다. 이러한 이유로, 우리는 implication과 이어지는 결정이 validity argument에서 궁극적으로 가장 중요한 것이라고 믿는다.

Fourthly, in all of the clinical and educational examples cited herein, the Scoring, Generalisation and Extrapolation evidence is fairly strong; only when we attempt to infer actionable Implications, moving from the real- world score to specific decisions, do important deficiencies come to light. For this reason, we believe that the Implications and associated deci- sions are ultimately the most important inferences in the validity argument.

12 Kane MT. Validating the interpretations and uses of test scores. J Educ Meas 2013;50:1–73.

13 Hodges B. Assessment in the post-psychometric era: learning to love the subjective and collective. Med Teach 2013;35:564–8.

15 Schuwirth LWT, van der Vleuten CPM. Programmatic assessment and Kane’s validity perspective. Med Educ 2012;46:38–48.

A contemporary approach to validity arguments: a practical guide to Kane's framework.

완전학습에서의 평가: 타당도와 합리화의 핵심 이슈(Acad Med, 2015)

Making the Case for Mastery Learning Assessments: Key Issues in Validation and Justification

Matthew Lineberry, PhD, Yoon Soo Park, PhD, David A. Cook, MD, MHPE,

and Rachel Yudkowsky, MD, MHPE

교육연구 사업 영역에서 타당도와 정당화Validation and justification 는 중요한 활동이다. 새롭게 나타난 근거가 오랫동안 해온 평가의 타당성을 반박할 수도 잇으며, 검사점수의 해석과 활용에 관한 논란이 highest courts of law가 되기도 한다.

Validation and justification are important activities in the educational research enterprise; new evidence may show long-standing assessment practices to be invalid,8 and controversies about interpretations and uses of test scores have risen to the highest courts of law.9

그러나 완전학습에서의 평가는 점수의 해석과 활용이 표준적 평가와 다르며, 타당도와 정당화 과정에도 변화가 필요하다.

However, mastery learning assessments entail interpretations and uses of scores that differ from those of standard assessments, requiring changes in validation and justification practices.

완전학습 평가의 해석과 활용

Interpretations of and Uses for Mastery Learning Assessments

'완전'이 의미하는 의미는 무엇인가? 구어적으로는 높은 수준의 전문성을 말한다. 그러나 '완전학습'에 있어서 '완전(마스터)'란 단순히 '다음 교육 단계로 넘어갈 수 있게 준비되었음'을 말한다. 의과대학생이 돌연변이를 잘 이해하여 genetic transmission에 대해 배울 준비가 되어있다고 하더라도, 일반적인 관점에서 그 주제를 '마스터'했다고 볼 수는 없고, 다음 단계로 넘어갈 준비가 되었음을 말한다.

What does “mastery” mean? Colloquially, it suggests a high level of expertise. However, for mastery learning, it only means readiness to proceed to the next phase of instruction. A medical student who understands mutagenesis enough to learn about genetic transmission has almost certainly not “mastered” mutagenesis in the lay sense but may have mastered it enough to move on to the next educational unit.

학습자들은 얼마나 오래 '마스터' 수준을 유지해야 할까? 완전학습 모델에서 성취도는 종종 훈련이 종료된 직후에 평가된다. 대부분의 의학교육에서의 학습단위unit가 이후에 배울 많은 학습단위unit과 연결되어 있는 반면, 학습자의 성취도는 시간이 지나면서 종종 쇠퇴한다. 더 나아가서, 단기적 성취mastery를 최대화하기 위한 여러 학습활동이 오히려 그 성취의 장기적인 유지와 일반화에는 반대로 작용하기도 한다.

How long are learners expected to retain “mastery”? In mastery learning models, achievement is often assessed immediately after the completion of training. Yet most learning units in medical education are connected to many later units, and achievement often decays rapidly following training.13 Moreover, many learning activities that maximize short-term mastery are precisely the opposite of those that support long-term retention and generalization of mastery.14

완전학습 평가를 훈련 직후에 시행되는 평가로만 제한하는 것은 (균일하고, 오래 지속되는 역량을 갖추게 하려는) 완전학습 시스템의 의도를 전복시킬 수도 있는 것이다.

limiting mastery learning assessment to the period immediately following training could subvert the intent of the mastery system, which is to ensure uniform, enduring competence.15

'마스터'는 지식이나 스킬의 완전성을 의미할 수도 있다. 어떤 맥락에서는 '마스터'는 학습자가 해당 영역의 모든 하위영역subunit에서 충분한 역량을 갖췄음을 의미하기도 한다.

Mastery also may connote a completeness of knowledge or skill. In some contexts, mastery means that a learner has achieved sufficient competence in all the subunits of a content area

그러한 경우에 있어서, 만약 학습자가 90%를 달성하고, 10%를 놓친 것은 심각한 문제일 수 있으며 '마스터'를 수여해서는 안된다. 이러한 비보상적noncompensatory(conjunctive) 점수 계산 방식에서, 학습자의 수행능력은 각각의 subunit에 대해서 최소 기준을 달성하였는지를 평가해야 하며, 모든 subunit에서 통과했을 때야만이 '마스터'를 받을 수 있다.

In such situations, for example, if a learner scores 90% on a procedural task but the missed 10% reflect a serious error, the designation of mastery would be inappropriate.16 In such noncompensatory (i.e., conjunctive) scoring, learners’ performance on each subunit would be evaluated against a minimum standard, and mastery would be achieved only when the learner passes all subunits.

완전학습 모델의 핵심적 전제는 통과하고 다음으로 넘어가거나, 실패하고 현 과정을 반복하거나 이 두 가지 중 하나라는 것이다. 중간 지점은 없다. 따라서 '통과'기준은 반드시 엄격하게 설정되어야 한다.

the central inference in the mastery model is pass and advance or fail and repeat; there is no middle ground. Thus, the passing standard must be established with great rigor.

진점수가 '마스터 판정 기준'에 걸쳐 있는 학습자에 대해서는 (합격점수의 1SD 이내), 정밀한 측정이 우선되어야 한다. 이 범위 내에서 변별도가 높은 문항은 과도표집oversampled 되어야 하며, 이는 비록 이러한 문항을 찾거나 만드는 것이 psychometric하게 복잡하더라도 그렇게 해야 한다.

for learners whose true scores are within range of the mastery standard, perhaps within one standard error of measurement from the cut score, precise measurement becomes the priority. Assessment items that discriminate well in this range should be oversampled, though identifying such items may require sophisticated psychometric approaches, such as item response theory.17

고부담 시험을 위해서 그러한 문항은 보안을 철저히 해서 부적절하게 학생들에게 노출되는 것을 방지해야 한다(선배 학생이 후배 학생에게 물려주는 것 등). 이는 해당 문항에 대한 측정 정밀도를 떨어뜨릴 수 있다. 문항의 노출disclosure를 방지하는 방법으로는, 무엇을 맞추고 틀렸는지, 왜 그런 점수를 받았는지 알려주지 않는 것이 한 방법이 될 수 있다. 대신 학생들은 총점만 알게 된다. 이렇게 할 경우에, 이러한 범위에 있는 문항에 대해서는 측정의 정밀성을 위하여 '평가에 기반한 피드백'을 희생해야 할 수도 있다.

For high-stakes examinations, such items also need to be kept secure from inappropriate disclosure to examinees (e.g., senior students sharing test items from previous years with junior students), which would compromise the measurement precision of those items. Preventing such disclosure likely requires that, for any given item, educators not divulge which answers are correct versus incorrect nor the reasons they are so scored; instead, examinees are likely only to be told their total score across many items. As such, for items in this range, beneficial assessment-based feedback will often need to be sacrificed to maintain measurement precision.

이러한 평가를 반드시 사용하게 되는 시점은 학습자들이 다음 단계로 넘어갈지를 결정하는 시점이다. 이 결정에 대해서 두 가지 핵심 디테일 있다.

(1)통과하지 못한 학습자들에게 들어가는 자원과 이들을 위한 정책,

(2)마스터 기준을 계속 충족하지 못하는 학생들에 대한 특별한 조치consequences.

완전학습 평가점수를 다른 방식으로 사용하면 의도하지 못한 결과가 나올 수도 있다. 예컨대, '빨리 교육과정을 마스터한 학생에게 dean's letter를 수여'하는 경우 "마스터까지 걸리는 시간"이 새로운 성취지표가 되면서 학습자들로 하여금 교육과정을 '마스터'하기보다는 빨리 해치워rush through버리게끔 만들기도 한다.

The most obvious use of such assessments is for deciding when to advance learners in the curriculum. Two key details related to this decision are (1) the resources and policies in place for learners who do not pass, and (2) any special consequences for learners who fail persistently to meet mastery standards. Other uses of mastery scores exist but may have unintended consequences. For instance, a dean’s letter to a residency program that extols a medical student who quickly mastered the curriculum inadvertently makes “time to mastery” a new achievement indicator, perhaps encouraging learners to rush through the curriculum rather than truly mastering it.

타당도 근거: 내용

Sources of Validity Evidence: Content

완전학습 시스템에서 재시험은 내용에 관한 보안에 위협이 될 수도 있고, 학습자가 어떻게 평가문항에 응답하는지에 영향을 준다.

Retesting in mastery learning systems could in some cases create a content security threat that may be evident in how learners respond to assessment items. 

요령이 좋은 학습자들은 'test-wise'해지기 위해서 완전학습평가시험을 일부러 치른 다음에, 부족한 부분만 재빨리 채워서 재시험을 볼 수도 있다.

Savvy learners might deliberately take a mastery examination for which they are not prepared to become “test-wise,” and then study only enough to briefly regurgitate the required information on a retest.

답안을 암기해가는 학습자들에 대한 가장 직접적인 해결책은 (비록 자원이 많이 드나) 충분히 큰 문제(내용)은행을 만드는 것이다. 또는 학습자의 추론과정을 묻는 방법 역시 가능하다. 예를 들어, '정답이 무엇이냐'를 묻기보다는 '왜 그것이 정답이냐'를 물을 수도 있다. 그러나 이러한 더 심화된 이해는 '정답을 고르는 능력'과는 다른 구인을 대변하고 있음이 증명된 바 있기도 하다. 다행히도, 내용의 보안문제는 일부 영역에서는 문제가 되지 않는다. 예를 들어 임상스킬 절차의 체크리스트는 모든 단계를 만족스러운 수준으로 수행할 수 있도록 학습자들에게 제공되기도 한다.

The most straightforward solution to the problem of learners memorizing answers is to build larger content banks (e.g., more items, more scenarios), though this is admittedly resource intensive. Probing learners’ reasoning for the answers they select to detect superficial memorization also may be possible; for instance, one may ask not only what the correct answer is on a multiple-choice examination but also why it is correct. However, such deeper understanding is a demonstrably different construct than the ability to recognize correct answers.22 Fortunately, content security is not a concern for some types of content; for instance, procedural checklists are given freely to learners with the expectation that they will be able to demonstrate all procedural steps satisfactorily.

즉, 동일 수행능력 영역에서의 점수는 평가 상황에 무관하게 신뢰성있어야reliable across 한다.

namely, scores reflecting the same dimension of performance should ideally be reliable across each test condition.

만약 학습자가 언제 마스터평가 시험을 치를지 선택할 수 있다면, 학생들의 시험점수는 매우 비슷할 것이다(대부분이 합격선에 있음). 이러한 경우에는 점수의 variance가 작아지고, 신뢰도 추정계수가 약화attenuate될 것이다. 완전학습시스템의 목표는 - 모든 학습자가 균일한 성취를 하는 것으로 - 전통적인 신뢰도 추정과는 잘 맞지 않는다. 동시에, remediation과 retraining이 문항 수준의 점수 variation에 영향을 미칠 수 있으며, 신뢰도를 상승시킬 수도 있다. 따라서, 재시험의 빈도에 따라 완전학습평가는 안정적이지 못한 신뢰도 추정reliability estimates을 보여줄 수도 있다.

If learners can choose when to take the mastery assessment their total test scores will be very similar (i.e., very near the passing score). In situations of such reduced score variance (i.e., restriction in range), reliability estimates will be attenuated. The very goal of mastery learning systems—uniform achievement from all learners—is thus at odds with classical reliability estimation. At the same time, remediation and retraining can affect item-level score variation and may actually increase reliability. Therefore, depending on the frequency of retesting, mastery learning assessments can show unstable reliability estimates. 

연장선상에서, 이 이슈는 요인분석을 통한 내적 구조 분석도 어렵게 만드는데, 왜냐하면 요인분석을 하려면 subject와 item 사이에 일정정도의 variance가 존재해야 하기 때문이다.

By extension, these issues may limit one’s ability to assess internal structure using methods such as factor analysis, which also requires a reasonable degree of variance between subjects and items.

마지막으로, 평가 운영의 차원에서 완전학습평가를 비보상적noncompensatory 으로 진행할 수 있는데, 이 때 학습다는 다수의 서로 다른 subunit에서 '마스터'를 받아야 한다. 이러한 점수체계에서 전체 측정오차는 각 subunit의 측정오차의 지수함수가 되며, 그 결과 매우 통과/탈락 결정이 unreliable해질 수 있다. 예컨대, 다섯 개 subunit이 각각 0.8의 통과/탈락 신뢰도를 가진다면, 전체적으로는 0.8^5 = 0.33이 되어서 최악으로 낮은 신뢰도가 나온다.

Finally, as with credentialing examinations generally, administrators may choose to score mastery learning assessments in a noncompensatory fashion, whereby learners must demonstrate mastery on many different subunits before progressing.27 In noncompensatory scoring, overall measurement error is an exponential function of the measurement error for each subunit and thus can “balloon” into very unreliable overall pass/fail decisions. For instance, if learners must pass each of five procedural skill stations, which each have a pass/fail reliability of 0.8, overall pass/fail decision reliability would be only 0.8*0.8*0.8*0.8*0.8 = 0.33, an abysmally low reliability coefficient.28

타당도 근거: 다른 변인과의 관계

Sources of Validity Evidence: Relationships to Other Variables

완전학습 시스템에서 평가결과와 가장 중요한 관계에 있는 것은, 평가점수가 뒤따라오는 교육유닛에서의 성공과 관련되어 있는지에 대한 것이며, 여기에는 궁극적으로 진료로의 이행transition to practice도 포함된다.

the most important relationship to evaluate in a mastery learning system is whether assessment scores relate to learners’ success in their subsequent educational unit(s), including their eventual transition to practice.

완전학습평가에서 점수분포범위의 제한(restriction of range)으로 인한 신뢰도 추정에 손상이 있을 수 있기에, 다른 변인과의 관계를 추정하는 것도 어렵게 된다. 그러나 완전학습시스템을 도입하기 이전에 수집된 상대적으로 제한이 덜 되는unrestricted 평가자료와의 완계를 보는 것이 가능하다.

As it impairs the estimation of reliability, the restriction of range in mastery learning assessment scores makes estimating relationships to other variables difficult. However, correlating relatively unrestricted assessment data obtained prior to implementing a mastery learning system with other variables is possible.

타당도와 정당화 근거: 평가결과 활용에 따른 여파consequences

Sources of Validity and Justification Evidence: Consequences of Assessment Use

평가가 의도한 추론desired inference를 지지할 수 있느냐에 초점을 둔 타당도근거와 달리, 여파(결과, consequences)근거는 '의도한/의도하지 않은 결과', '평가의 도입절차가 논리적이고 바람직한가' 등을 고려하여 점수를 활용하고 적용하는 것을 정당화하는 것을 목적으로 한다. 여파근거는 기준을 설정하는 프로세스, 학습 프로세스/학습 성과 평가에 따른 영향impact, 헬스케어 수행practice of health care에 대한 정보 등을 포함한다.

In contrast to validity evidence that focuses on whether the assessment can support desired inferences, consequences evidence seeks to justify the uses or applications of scores by considering the intended and unintended consequences of the assessment and whether implementation of the assessment is reasonable and desirable.6,7 Consequences evidence includes information about the process of setting standards and the impact of the assessment on the learning process, learning outcomes, and the practice of health care.12

완전학습은 교육과정과 교육훈련 프로그램에 큰 영향을 줄 수 있다. 충분한 교육시간과 재교육, 재연습, 재시험을 위한 자원을 필요로 하며, 역량바탕접근을 강화한다.

The mastery model potentially could widely influence curricula and training programs. Mastery standards mandate sufficient curricular time and resources for repeated practice, remediation, and retesting, thus reinforcing a competency- based approach to education.5

개별 학습자 수준에서 다음을 찾아볼 수 있다.

On an individual learner level, one can seek evidence of

• increased efficiency and effectiveness of study and practice strategies,
• increased attention to the critical elements of the assessed domain,
• more functional motivational orientations,32 and
• improved self- regulation of learning.

그러나 완전학습 시스템은 정기적으로 '마스터' 여부를 재평가하지 않기에 학습자가 '마스터'수준을 단기적으로만 유지하지, 전체 커리어에 걸쳐 유지하게끔 하는 것에 초점을 두지 않을 수도 있다.

However, mastery learning systems that do not periodically reassess mastery may lead learners to focus on demonstrating mastery in the short term rather than maintaining mastery throughout their careers.

완전학습시스템은 학습자가 다음 단계로 넘어갈 준비가 되었을 때에만 넘어갈 수 있게끔 하는 것을 의도한다. 따라서 다음 교육유닛에서 학습자의 성과가 가장 주요한 관심의 대상이 되는 결과이다. 그러나 학습자가 이후에 보이는 progress를 가지고 완전학습평가에 관한 inference를 하는 것은 어렵다.

• 만약 학습자가 이후 교육유닛에서 보이는 수준이 평균 이하라면, 앞서서 수여한 '마스터' 기준중 하나 이상이 너무 느슨했음을 뜻한다.
• 반대로, 이후 교육유닛에서 학습자가 만족스러운 수준을 보인다면, 앞서 수여한 '마스터' 기준이 지나치게 엄격했기 때문이 약간 느슨하게 만들어서 시간은 덜 들이고 동등한 결과를 낼 수도 있다.

Mastery learning systems are meant to ensure that learners progress only when they are ready to do so; thus, learner outcomes in subsequent educational units are a primary consequence of interest. However, drawing inferences about mastery learning assessments from learners’ later progress can be challenging. If learners’ progress in later educational units is found to be subpar, it may be that one or more of the previous mastery standards were too lenient. If learners’ subsequent progress is satisfactory, the preceding mastery standards were arguably stringent enough, though more lenient standards may have yielded comparable results in less time.

systematic하게 기준을 실험하고, 어떻게 이후 성과가 영향을 받는지 실험하는 것은 logistic하게, 그리고 종종 윤리적으로 문제가 된다.

to systematically experiment with the standards and observe how later outcomes are affected can be logistically and sometimes ethically challenging.

마지막으로, 환자/보건의료시스템/사회 전체 에 미치는 영향에 대한 근거를 볼 수도 있다.

Finally, one can seek evidence of an impact on outcomes for patients, the health care system, and society as a whole.

8 Lineberry M, Kreiter CD, Bordage G. Threats to validity in the use and interpretation of script concordance test scores. Med Educ. 2013;47:1175–1183.

11 Cook DA, Beckman TJ. Current concepts in validity and reliability for psychometric instruments: Theory and application. Am J Med. 2006;119:166.e7–166.16.

22 Williams RG, Klamen DL, Markwell SJ, Cianciolo AT, Colliver JA, Verhulst SJ. Variations in senior medical student diagnostic justification ability. Acad Med. 2014;89:790–798.

23 Stansfield RB, Kreiter CD. Conditional reliability of admissions interview ratings: Extreme ratings are the most informative. Med Educ. 2007;41:32–38.

Making the case for mastery learning assessments: key issues in validation and justification.

'블랙박스' 다르게 보기: 세 가지 관점에서 보는 평가자의 인식(Med Educ, 2014)

Seeing the ‘black box’ differently: assessor cognition from three research perspectives

Andrea Gingerich,1 Jennifer Kogan,2 Peter Yeates,3 Marjan Govaerts4 & Eric Holmboe5

INTRODUCTION

수행능력 평가의 한 가지 형태는 workplace-based assessment (WBA)로서 매일매일의 진료현장에서 복잡한 임상과제에 대한 수행능력을 피훈련자가 실제로authentically 환자와 실제 임상 상황에서 상호작용을 하는 모습을 직접 관찰하여 평가한다.

One type of performance assessment, workplace-based assessment (WBA), incorporates the assessment of complex clinical tasks within day-to-day practice through direct observation of trainees as they authentically interact with patients in real clinical settings.

WBA가 중요하고 필요하지만, 이러한 형태의 평가는 측정상 한계가 있다. 낮은 평가자간 신뢰도와 같은 한계는 종종 평가자의 판단이 잘못된 것으로 그 책임을 돌리곤 한다. 실제로 수행능력 평가를 분석하는데 psychometric을 사용하여 평가자에 의한 variance가 피훈련자에 의한 variance보다 크게 나타나곤 한다.

Despite the importance and necessity of their use, WBA and other performance assessments have mea- surement limitations.7–9 These limitations, such as low inter-rater reliability, are often attributed to flaws in assessors’ judgements.10–12 In fact, when psycho- metrics are used to analyse performance assessments, often a greater amount of variance in ratings can be accounted for by the assessors (i.e. rater variance) than the trainees (i.e. true score variance).13–15

이 논문에서는 rater라는 단어보다 assessor라는 단어를 사용하고자 하며, 이는 평가가 단순히 rating(점수의 수치화)뿐 아니라 서술형 코멘트/피드백/supervisory 결정 등과 관련되기 때문이다.

In this paper, the term ‘assessor’ will be used rather than ‘rater’ to emphasise that assessment involves not only rating (numerical scores), but the provision of narrative comments, feedback and supervisory decisions.

방법

METHODS

결과

RESULTS

비록 상호베타적이지는 않지만, 평가자의 인식에 대한 세 가지의 구분되는 관점이 있다.

There appear to be three distinct, although not mutually exclusive, perspectives on assessor cogni- tion within the research community.

• 행동학습이론, 통제가능한 인지과정으로 보는 관점.
  The first per- spective describes potentially controllable cognitive processes invoked during assessment and draws on components of behavioural learning theory to help frame an approach to reduce unwanted variability in assessors’ assessments through faculty training.
• 사회 심리학 연구에서 흔히 다뤄지며, 자동적이고 회피불가능한 인간 인식의 오류에 대한 것
  The second perspective draws on social psychology research and focuses on identifying the automatic and unavoidable biases of human cognition so that assessment systems can compensate for them.
• 사회 문화적 이론에 기반하며, 판단의 다양성이 유용한 정보를 제공할 수 있다는 관점
  A third perspective draws from socio-cultural theory and the expertise literature and proposes that variability in judgements could provide useful assessment infor- mation within a radically different assessment design.

처음 두 가지 관점은 어떤 주어진 수행능력에는 단일한 '참'기준이 있으며, 비록 평가자간 변동성(variability)을 설명하는 방식에는 차이가 있지만, 둘 모두 이것을 에러로 바라본다. 반면, 평가자간 변동성이 다양한 합리적 진실에 의해서 생긴다는 관점에서는 이것을 '오류'로 보지 않는다.

Importantly, the first two perspec- tives assume that any given performance exhibits a singular ‘true’ standard of performance; although they differ in their explanations of assessor variabil- ity, both perspectives view it as error. Conversely, the third perspective argues that variability may arise as a result of multiple legitimately different truths, which may not represent error.

관점 1. 평가자는 훈련가능하다

Perspective 1. The assessor as trainable

이 관점에서 WBA의 평가자간 변동성은 평가자가 평가 준거를 '잘 알지 못하거나' '정확하게 적용하지 못함으로써' 나타나는 결과이다. 따라서 평가에 있어서의 변동은 평가자가 제공하는 정보가 부정확함을 의미하고, 이 변동은 반드시 최소화되어서 평가 정보의 퀄리티를 향상시켜야 한다. 이러한 변동을 줄여서 평가의 측정결과를 향상시키기 위한 실행 가능한 해결책은 목표를 정해서 평가자를 훈련시키는 것이다.

From this perspective, inter-assessor variability in WBA is seen as the result of assessors not ‘knowing’ or correctly ‘applying’ assessment criteria. There- fore, variability in assessment judgements reflects inaccuracy in the information provided by assessors and this variability must be minimised to improve the quality of assessment information. A viable solution to reduce variability in judgements and improve measurement outcomes in assessments is the provision of targeted training for assessors.

또 다른 흔한 FOR은 평가자 자신이다. 피훈련자가 환자를 대하는 모습을 볼 때 평가자는 자기 자신의 스킬을 비교대상으로 삼는다('자신'이 FOR이 됨). 이는 평가에 있어서 큰 문제가 되는데, 왜냐하면 임상스킬에 있어서 의사마다 차이가 크고, 심지어 어떤 경우에는 핵심 임상스킬 수행 능력이 부족한 경우조차 있기 때문이다. 스스로의 임상스킬이 떨어질 경우 제대로 평가를 할 수 있을 가능성이 낮다. 많은 평가자에게 있어서 피훈련자를 평가할 때 사용하는 준거는 경험적으로 개발되며, 동일한 수행에 대해서도 사람마다 관심을 가지고 바라보는 지점이 다르기 때문에 평가의 퀄리티를 결정하는 평가자간 변동성을 야기한다.

Another particularly prevalent frame of reference that assessors use is themselves. While observing trainees with patients, assessors commonly use their own skills as comparators (the ‘self’ as the frame of reference).32,37 This is problematic for assessment because practising physicians’ clinical skills may be variable, or sometimes even deficient, in core skill domains such as history taking, physical examina- tion and counselling.38–41 They may be less able to do this if their own clinical skills are insufficient. For many assessors, the criteria they use to assess trainees develop experientially and different individuals subsequently come to focus on different aspects of performance, which results in variable definitions among assessors of what determines quality.32,33

오류의 근원이 되는 두 번째는 평가자가 직접 관찰을 하면서 '평가'가 아니라 '추론'을 하는 경우에 발생한다. 평가자는 그러나 자신이 이러한 '추론'을 내리고 있다는 사실을 인지하지 못하며, 그 추론의 정확성을 validate하지 않는다. 검증되지 않은 추론은 정확한 평가를 '왜곡'할 위험이 있으며, 왜냐하면 이러한 평가자의 추론은 관찰되거나 측정될 수 없기 때문이다.

A second potential source of measurement error arises when assessors make inferences during direct observation rather than assessing observable behaviours.32,42 Assessors do not recognise when they are making these infer- ences and do not validate them for accuracy.32 Unchecked inferences risk ‘distorting’ the accurate assessment of the trainee because the assessor’s inferences cannot be observed and measured;

이러한 관점에서 앞서 언급된 오류의 원인들은, 적어도 일부분은, 교수개발을 통해서 극복될 수 있으며, 어떤 행동학습이론의 원칙은 '훈련을 통한 문제해결'을 지지한다.

From this perspective, the aforementioned sources of error can, in part, be addressed through faculty development (i.e. the assessor is trainable) and cer- tain principles of behavioural learning theory can be invoked to support proposed ‘training solutions’.

피훈련자에 대한 평가는 그들이 달성해야 하는 역량을 기준으로 이뤄져야 하며, 이것을 달성하기 위해서 평가자는 준거-기반 접근법을 익혀야 한다. 준거기반 평가에서는 피훈련자의 수행능력이 의료행위에 대한 근거에 기반하여 사전에 정의된 준거에 따라 평가된다.

assess- ment of trainees should be based upon those com- petencies needed to achieve. To accom- plish this, assessors will need to learn a criterion- based approach to assessment in which trainee per- formance is compared with pre-specified criteria that are ideally grounded in evidence-based best practices.

그러나 제대로 이뤄지지 않으면 문제가 되는데, 학습자가 평가를 거치며 혼란스러운 뒤섞인 메시지나 피드백을 전달받게 되면 어떤 행도을 강화해야 하는지에 대한 비일관성이 학습에 오히려 안 좋은 영향을 미칠 수 있다.

This situation creates problems for learners, assessors and patients. Learners receive mixed mes- sages during assessment, as well as discrepant feed- back, which can interfere with their learning because there is inconsistency in what is or is not being reinforced.

관점 2. 평가자는 오류에 빠지기 쉽다.

Perspective 2. The assessor as fallible

논리적으로, 관점 1에서 드러난 어떤 평가의 문제도 더 명확한 프레임워크를 제시하고 더 평가자를 훈련시켜서 더 정확한 관찰을 하게 하면 향상될 수 있다. 그러나 수십년의 연구 결과는 이러한 접근법으로는 거의 차이를 만들어내지 못함을 알려준다. 왜 그럴까? 여러 문헌에서 이 '정밀한 분석기계' 가설에 도전하였다. 두 번째 관점은 평가자간 변동성을 인간 인지과정의 근본적 한계에서 기인한다고 본다. 간략히 말하자면, 낮은 평가자간 신뢰도는 훈련을 해도 계속 있을 것이며, 그 이유는 평가자가 평가에 대한 준비가 잘 안되었기 때문이 아니라, 인간의 판단이 원래 불완전하고, 여러 요인에 의해 쉽게 영향을 받기 때문이다.

Logically, any difficulties with this approach should be improved through clearer frameworks or through training in more accurate observation. Yet decades of research tell us that these approaches make comparatively little differ- ence.49 Why? A different body of literature chal- lenges this ‘precise analytical machine’ assumption. This second perspective sees assessor variability aris-ing from fundamental limitations in human cogni- tion. In short, low inter-rater reliability persists despite training, not because assessors are ill pre- pared, but because human judgement is imperfect and will always be readily influenced. 

인지심리학과 사회심리학 연구들은 평가자가 단순히(수동적으로) 관찰하고 특징을 잡아내는 것이 아님을 주장한다. 인간의 작업기억과 처리용량은 제한되어 있다. 정보는 매우 빠르게 소실되거나, 그렇지 않으려면 처리과정을 통해 기존에 가지고 있던 지식구조에 연결되어야 유지되고 사용될 수 있다. 그 결과, 수행능력에 대한 '객관적' 관찰이란 애초에 존재하지 않는다.

Cognitive and social psychology assert that assessors cannot simply (passively) observe and capture per- formances.50 Human working memory and process- ing capacity are limited.51 Information is either lost very quickly, or must be processed and linked to a person’s pre-existing knowledge structures to allow it to be retained and used.52 As a result, there can be no such thing as ‘objective’ observation of per- formance.

인지와 관련한 무수한 bias들이 있지만, 몇 가지가 유용하다. 정보를 인지적으로 관리가능하게 만들기 위해서 사람들은 'schema' 혹은 관련 정보의 네트워크를 활성화시켜야 한다. 예를 들면 '심장 마비'라는 용어는 '전형적인' 환자의 이미지를 떠올리게 한다. 이러한 '전형적인' 환자에 대한 개념은 우리가 사람을 카테고리화하는 경향으로부터 발생하는 것이며, 종종 '대표성 오류representativeness bias'에 빠지게 한다.

Although numerous biases in cognition exist, some illustration is useful. To make information cogni- tively manageable, people activate ‘schemas’ or net- works of related information. Thus, for example, the phrase ‘heart attack’ might also activate a mental image of a ‘typical’ heart attack patient. The notion of a ‘typical’ patient, or person, arises from our tendency to categorise people,55 which leaves us open to ‘representativeness bias’,56

이러한 과정은 정신적 노력을 매우 절감시켜주나, 중요한 정보를 놓치게 하는 원인도 되고, 판단을 비뚤게 할 수도 있다. 이러한 유형의 bias는 '고정관념stereotype'에 대한 문헌에서 잘 연구되어 있다.

This saves a lot of mental effort, but means we tend to ignore important information, and this can bias our judgements. This type of bias is well illus- trated by the literature on stereotypes.

고정관념은, 일단 발동되기만 하면, 개개인이 어떤 특징에 관심을 갖게 되는지, 어떤 판단을 내리게 되는지, 어떤 기억을 회상할 것인지를 왜곡distort시킨다. 후자가 특히 중요한데, 평가자가 방금 관찰한 것을 '객관적으로' 회상하기 보다는, 사람들은 무의식적으로 자신이 기존에 가지고 있던 고정관념적 신념에 기반해서 '빈 칸을 채우는'식으로 작동하기 때문이다. 이는 WBA에서 특히 중요한데, 왜냐하면 단순히 점수를 왜곡시키는 것이 아니라 피훈련자에게 제공되는 피드백에 영향을 주기 때문이다.

Once active, stereotypes can distort which features individuals pay attention to,57 the judgements they reach58 and their recall of what occurs.59 The latter is particu- larly important: rather than ‘objectively’ recalling what they have just observed, people may uncon- sciously ‘fill in the blanks’ based on what their stereotypical beliefs suggest.60 This is particularly important in WBA because it will distort not just scores, but also the feedback given to trainees.

중요한 점은, 고정관념의 영향이 의식의 통제 아래 있지 않다는 점이다. 맥락의 변화는 어떤 고정관념이 활성화될지를 결정한다. 또한 사람들은 그들의 인식이나 행동에 영향을 미치는 무의식적 사고를 잘 인식하지 못한다. 정서/시간 압박/주기 리듬/동기부여/편견의 정도/개인의 인식 선호 등이 영향을 준다

Importantly, the influence of stereotypes is often not under conscious control: changes in context determine which stereotypes are activated,61 and people are often unaware of the unconscious thoughts that influence either their cognition62 or behaviour.63 Emotions,64 time pressure,59 circadian rhythms,65 motivation, pre-existing levels of preju- dice66 and individual cognitive preferences67

고정관념을 회피하게 만들려는 목적의 지침이 오히려 역설적으로 그것을 더 악화시킨다.

Instructions to avoid stereotyping can make their influence para- doxically worse,68

우리는 시니어 의사들이 학생들에 대한 고정관념을 가지고 있어서, 소수인종 학생들의 수행능력이나 행동에 대해서 무의식적으로 낮게 보는 경향이 있음을 안다. 또한 의사들이 피훈련자의 수행능력을 판단함에 있어서 스스로의 판단에 과도한 자신감을 보이는 것으로 드러났다. 스스로의 판단에 대한 과도한 자신감은 흔히 대표성 편향representativeness bias의 결과로 나타난다고 본다.

However, we do know that senior doctors possess well-developed stereotypes of the way that ethnic minority students may perform or behave69 and that, in other aspects of education, unconscious stereotyping of ethnic minorities can be seen to account for the reduced academic achievement of these students.70 It has previously been shown that doctors judging performances of trainees are over-confident in their judgements (they are right less often than they think).71 Judge- mental overconfidence is thought to typically arise as a result of representativeness bias,56

인간은 절대적 수치를 계량하거나 판단을 내리는 것에 취약하다고 알려져 있다. 판단은 매우 쉽게 맥락적 정보에 의해 영향을 받으며, 이는 assimila- tion or contrast effects로 알려져 있다.

Humans are known to be poor at judging or scaling absolute quantities; judgements are easily influenced by contextual information72 through processes known as assimila- tion or contrast effects.73

실제로 더 많은 구체적인 체크리스트를 만드는 것은 평가자의 인지부담을 증가시키고, 이러한 접근법은 역설적으로 개선하고자 하는 문제를 악화시킨다.

In fact, as making more detailed checklists might increase the cognitive load experienced by assessors, this approach could poten- tially (paradoxically) worsen the very problem it hopes to improve.75