맥락특이성 (When I say ...) (Med Educ, 2014)

맥락특이성 (When I say ...) (Med Educ, 2014)

When I say … context specificity

Cees P M van der Vleuten

사람들은, 특히 다른 사람들의 행동은 안정적인 성향에 의해 지배된다고 생각하는 경향이 있다. 특성trait은 [안정된 잠재된 실체]로서, 만약 성장이 경험의 결과로 일어난다고 한다면, 이것은 시간이 지남에 따라 지속적으로 일어난다.

People are inclined to think that behaviour, that of others in particular, is governed by stable dispositions. Traits are stable latent entities and if growth happens as a result of experience, this happens continuously over time.

그러나, 성격 심리학 연구자들이 반세기 넘게 특성을 측정하려고 노력한 후, 행동에 주된 영향을 미치는 것은 특성이 아니라 상황이라는 것을 깨닫기 시작하였다. 이것은 사람-상황 상호작용으로 패러다임을 급진적으로 바꿔놓았으며, 특성 역시 맥락-의존적 상태로 재구성되었다.

However, after researchers in personality psychology had been trying to measure traits for over half a century, the realisation dawned that it was not traits but the situation that was the dominant influence on behaviour. This sparked a radical shift to a paradigm of person-by-situation interaction, with traits re-cast as context-dependent states.1

의학 교육에서 맥락이 새롭게 중심으로 등장하면서 상당한 파문을 일으켰다. 문제 해결 능력은 더 이상 안정된 실체로 개념화되지 않았다. 사실 정반대로, 그것은 전문가와 학습자들의 독특한 경험에 따라 극단적으로 특정한 맥락이었다.

In medical education, the new centrality of context caused quite a stir. Problem-solving ability was no longer conceptualised as a stable entity. Quite the opposite in fact, it was context specific in the extreme, depending crucially on experts’ and learners’ idiosyncratic experiences.

평가에서 중요한 발견은 1960년대의 환자 관리 문제라는 한 가지 문제 해결 연습의 수행은 다른 연습에서의 수행에 대한 예측이 거의 없었다는 점이었으며, 이는 평가 방법에 걸쳐 공유된 것으로 판명된 지속적인 발견이었다. 분산 성분을 따로 떼어서 분석했을 때, 일반적으로 [측정 목적과 관련된 분산]보다 [사람-문항 상호작용]이 훨씬 커서 분산의 가장 지배적인 근원으로 식별했다.

The seminal discovery in assessment was that performance on one problem-solving exercise – the Patient Management Problem of the 1960s – was hardly predictive of performance on another exercise, a persistent finding that turned out to be shared across assessment methods. In teasing out variance components, research typically identified person-by-item interaction as the most dominant source of the greatest variance, much greater than the variance associated with the purpose of the measurement,

이것은 [일반화가능한 추론]을 하기 위해서는 표본이 (종종 불가능할 정도로) 커야 한다는 것을 암시했다.

This implied that to make generalisable inferences, samples had to be large, often unfeasibly so.

전문지식 연구와 심리측정학에서 나온 연구 결과는 사실상 모든 의학 교육 분야로 복제되었다. 심지어 프로페셔널리즘, 커뮤니케이션, 팀 성과, 리더십과 같은 일반적인 기술도 맥락 특이적인 것으로 증명되었다. Eva2는 적절한 결론을 내렸다: '맥락 특이성은 심오하게 일반적인 현상'이다.

The findings from expertise research and psychometrics were replicated in virtually all areas of medical education. Even generic skills, such as professionalism, communication, team performance and leadership proved context specific. Eva2 aptly concluded: ‘context specificity is a profoundly general phenomenon’.

심리학적 이론에서 맥락 특이성은 '소음'으로 치부된다. 하지만 과연 그럴까? 의사가 환자나 환경에 자신의 행동을 적합시킬 때 '소음'이라고 확신할 수 있는가. 만약 이것이 의사의 전문적 전문지식의 표시라면?

In psychometric theory, context specificity is dismissed as ‘noise’. But is it? Can we be sure it is ‘noise’ when a doctor fits his actions to the patient or the environment (a hectic emergency department, being on call at night)? What if this is a sign of the doctor’s professional expertise?

평가계는 복잡한 성과를 포착하기 위해서는 전문적인 판단에 의존하는 것이 안전하다는 견해를 지지하기 시작하고 있다

The assessment community is beginning to endorse the notion that it is safe to rely on professional judgement for capturing complex performances.

우리가 현재 문서화하고 있는 새로운 이해는 [평가자들이 수동적이고 완벽하게 보정된 측정기기]가 아니라 [상황적 요인과 개인적 경험의 정보를 이용하여 판단을 내리는 능동적 행위자agent]이라는 것이다.4

The new understanding that we are currently documenting is that assessors are not passive, perfectly calibrated measurement instruments, but active agents constructing judgements using information from situational factors and personal experiences.4

이러한 관점에서, 서로 다른 평가자들이 서로 유사한 판단을 내릴 것으로 예상되지 않으며, 이것은 실제로 바람직할 수도 있다! 사실, 학습의 측면에서 보자면 성과에 대한 다양한 관점이 이로운 것일 수도 있다. 또한, 우리는 숫자에 의한 채점scoring으로부터 멀어지고 있다. 복잡한 기술과 수행은 이해하기 어렵고 서술만이 제공할 수 있는 풍부한 정보가 필요하다.

From this perspective, different assessors are not expected to make similar judgements, and this may actually be desirable! Indeed, from a learning orientation, different perspectives on performance may be beneficial. Also, we are moving away from scoring by numbers. Complex skills and performances are elusive and need the wealth of information that only narrative can provide.

어쩌면 우리의 해석에 의미를 부여하기 위해 질적인 방법론을 도입해야 할지도 모른다. 목적적합한 샘플링, 회원 확인, 삼각측량 및 포화도는 복잡한 성능을 바탕으로 예측하기 위한 건전한 전략일 수 있다. 말로 점수를 대체해야 할까? 그렇다면 심리학 이론을 해석적 이론으로 대체해야 할까?

Perhaps we should invoke qualitative methodologies to give meaning to our interpretations. Purposeful sampling, member checking, triangulation and saturation may be sound strategies for making predictions based on complex performances. Should we replace scores by words? So, should we replace psychometric theories with an interpretative theory?

3 Durning S, Artino AR Jr, Pangaro L, van der Vleuten CPM, Schuwirth L. Context and clinical reasoning: understanding the perspective of the Med Educ 2011;45:927–38.

---

. 2014 Mar;48(3):234-5.

 doi: 10.1111/medu.12263.

When I say … context specificity

Cees P M van der Vleuten 1

Affiliations 

Affiliation

• 1Maastricht, the Netherlands.

• PMID: 24528457
 
• DOI: 10.1111/medu.12263