지식, 스킬, 딱정벌레: 의학교육에서 개인적 경험의 프라이버시 존중(Perspect Med Educ, 2020)

지식, 스킬, 딱정벌레: 의학교육에서 개인적 경험의 프라이버시 존중(Perspect Med Educ, 2020)

Knowledge, skills and beetles: respecting the privacy of private experiences in medical education

Mario Veen · John Skelton · Anne de la Croix

도입

Introduction

모든 의대생들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '공감'이라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 학생들은 그들 자신의 공감 경험을 보아야만 공감이 무엇인지 안다고 말한다.—여기서는 모든 사람이 각자 자기 상자에 서로 다른 것을 가지고 있을 수 있을 것이다. 심지어 그런 것이 끊임없이 변하는 것도 상상할 수 있을 것이다.

Suppose every medical student had a box with something in it: we call it ‘empathy’. No one can look into anyone else’s box, and all students say they know what empathy is only by looking at their own experience of empathy.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing.

우리는 이 인용구의 'empathy'라는 단어를 'integrity', '성찰' 또는 '전문적 정체성 형성'으로 대체할 수 있다. 우리는 루드비히 비트겐슈타인의 사고실험을 거쳐 그들을 '딱정벌레'라고 부를 것이다.

We could replace the word ‘empathy’ in this quote by ‘integrity’, ‘reflection’, or ‘professional identity formation’—these are terms that have found their way into our common medical educational language yet are intensely personal and private for learners. We will call them ‘beetles’, after the thought experiment by Ludwig Wittgenstein:

모든 사람들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '딱정벌레'라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 사람은 자기가 가진 딱정벌레만 보고 딱정벌레가 무엇인지 안다고 말한다.—여기서는 모든 사람이 자기 상자에 뭔가 다른 것을 가지고 있을 수 있을 것이다. 누군가는 그러한 것이 끊임없이 변화하는 것을 상상할 수도 있다.

Suppose everyone had a box with something in it: we call it a ‘beetle’. No one can look into anyone else’s box, and everyone says he knows what a beetle is only by looking at his beetle.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing [1].

딱정벌레와 같은 비유에서 딱정벌레는 사적이고 개인적인 경험을 의미한다. 우리는 결코 '상자'에서 우리 자신의 내적 경험을 끄집어내어 비교할 수 없기 때문에, 다른 사람들이 (자신과) 같은 방식으로 공감이나 고통을 경험하는지 여부는 결코 알 수 없다.

In the beetle-in-a-box analogy, the beetle stands for private, personal experiences. We can never know if other people experience empathy or pain in the same way, because we can never take our own inner experiences out of the ‘box’, and compare them.

우리는 의학 교육에서 딱정벌레를 다루는 방법을 고려하기 전에 이 근본적인 생각을 끝까지 따를 것이다. 사적인 경험('고통', '슬픔')을 가리키는 단어의 의미는 정신적 이미지에서 찾아볼 수 없다. 우리가 무언가를 지칭할 수 있는 것이 적을수록('이것'이 바로 내가 '의자'라고 말로 의미하는 것이다) 더 복잡해진다. 자기자신의 개인적인 경험을 표현할 말을 찾는 것이 어려운 것이라면, 다른 사람의 내면에 대해서 그렇게 하는 것은 불가능한 것이다. 그러나 의학 교육은 최근 의학의 개인적이고 감정적인 측면에 더 많은 관심을 보였으며, 이에 따라 공감, 직업적 정체성 개발, 성찰과 같은 흐릿한fuzzy 개념[2]을 도입했다. 이것들은 학생 시절과 그 이후의 경력을 통해 사적인 상자에 들어 있는 딱정벌레들이다.

We shall follow this fundamental idea through, before considering ways to deal with beetles in medical education. The meanings of words that refer to private experiences (‘pain’, ‘sadness’) are not to be found in a mental image. The less we can point to something (‘THIS is what I mean when I say ‘chair”), the more complex it is to define. It is difficult to find words for our own private experiences, but it is impossible to do so for someone else’s inner world. However, medical education has recently shown more interest in the personal and emotional side of medicine, and has thereby introduced such fuzzy concepts [2] as empathy, professional identity development, and reflection. These are beetles in the individual’s box, carried through the student years and the subsequent career.

이 논의에서, 딱정벌레 문제의 핵심은, [개인적인 경험]이 실제로 존재하고, 이것이 유능한 의료 전문가로 발전하는데 중요하다는 것을 알고 있지만, 우리는 그것을 관찰하거나 측정하거나 공유할 수 없다는 것이다. 왜냐하면 양 당사자가 지적할 수 있는 외부의 referent가 없기 때문이다. 이것은 '평가'에 증명demonstration과 관찰observation을 필요로 하는 의학 커리큘럼에 딱정벌레를 통합하기 어렵다는 것을 의미한다. 의학교육에서 평가를 할 때 우리는 '지금 관찰하는 것은 '실제real thing'의 표현'이라고 가정한다. 기술은 보여질 수 있고, 지식도 보여질 수 있다. 그러나 딱정벌레는 그럴 수 없다.

For our purposes, the core of the beetle problem is that while we know private experiences exist and matter for developing into a competent healthcare professional, we cannot observe, measure, or share them, because there is no external referent that both parties can point to. This means it is hard to incorporate beetles into the medical curriculum, in which assessment requires demonstration and observation, where the assumption is that what we observe is a representation of the ‘real thing’. A skill can be demonstrated, knowledge can be demonstrated. Beetles cannot.

그러나 의학 교육에서는 의대생들이 자신의 상자를 열어, 평가를 위해 어떤 내용을 제작할 수 있는 것처럼 행동하는 경우가 많다. 그리고나면, 교육자들은 의대생들의 공감 수준[3] 또는 그들의 성찰의 질을 평가해야 한다[4]. 이를 위해 의과대학생들에게는 의학커리큘럼에서 개인적인 경험을 '공유'해달라는 요구가 점점 늘고 있다. 하지만 만약 이것이 근본적으로 불가능하다면?

In medical education, however, we often act as if medical students are able to open up their boxes and produce the contents for assessment purposes. Educators, in turn, are expected to assess medical students’ levels of empathy [3] or the quality of their reflection [4]. To this end, medical trainees are increasingly asked to ‘share’ private experiences in the medical curriculum. But what if this is fundamentally impossible?

우리는 딱정벌레를 어떻게 다루어야 할지 모른다. 동시에, 우리는 역량 기반 의학의 젊은 과학에서 이 시점에서 우리는 여전히 '우리가 가만히 서 있을 수 없는 과도기의 한가운데' 있다는 것을 인정한다.

We do not know how to deal with beetles-in-boxes. At the same time, we acknowledge that at this point in the young science of competency-based medical education we are still ‘in the midst of a transition in which we cannot remain standing ’ [5].

딱정벌레가 어떻게 의학 교육과정에 들어갔는지

How beetles entered medical curricula

지식과 기술과는 다른 동물인 딱정벌레가 공식적인 커리큘럼에 들어간 정확한 순간은 없다. 우리는 두 가지 주요 발전이 한 역할을 했다고 가정한다.

There is no exact moment when beetles, different animals from knowledge and skills, entered formal curricula. We hypothesize that two main developments played a role.

첫째, 환자의 안전과 관리 대한 초점이다. 전문직 종사자보다는 일반인(환자)에 초점을 맞춘 것은 1세기 동안, 일반 교육을 위해 듀이에서, 그리고 의학 검진을 위해 오슬러에서 있었다[7]. 1970년대부터[8] 이후, 병뿐만 아니라 환자까지도 강조하면서 인간화된 의학의 요구가 증가하고 있다[9].

First, the focus on the safety and care of the patient. A focus on the lay rather than the professional has been with us for a century, in Dewey for general education [6], and in Osler for medicine passim [7]. From the 1970s [8] onwards, there have been increasing calls for humanized medicine, with its emphasis on the patient as well as the disease [9].

케네디는 의사소통, 팀워크, 그리고 그와 같은 것들을 포함하기 위해 '역량의 개념을 확장할 필요가 있다'고 말했다. 인적 요인 및 환자 중심은 의료 서비스의 중요한 측면이 되었다 [11, 12].

Kennedy spoke of the need to ‘broaden the notion of competence’, to include such things as communication, team-work and the like [10]. Human factors and patient-centredness became important aspects of healthcare [11, 12].

둘째, 역량기반 교육을 향한 움직임과 그에 따른 OSCE 사용의 증가는 역량을 평가하는 객관적인 방법으로 여겨졌다[13–17]. 교육과학에서 얻은 통찰력은 영감으로 사용되었고 '[기술, 성격 특성, 사회 및 경제적 문제, 시민으로서의 책임 측면에서] 현대 의사의 특성과 자질에 대한 상세한 분석이 필요하다고 판단되었다'[13]. '특정 상황에서 의료행위에 필요한 기능'이라는 가이드에 따라, 의학 교육은 이전에 탐구되지 않았던 새로운 주제를 향해 문을 열었다. 유명한 CanMeds 역할은 이 발전의 파생물로 볼 수 있다.

Second, the movement toward outcome-based education, and consequently the burgeoning use of the OSCE approach offered itself explicitly as an objective way of assessing competence [13–17]. Insights from educational sciences were used as an inspiration and ‘a detailed analysis of the characteristics and qualifications of the modern physician was deemed necessary, in terms of skills, personality traits, social and economic problems, and responsibility as a citizen’ [13]. Taking guidance from ‘functions required for the practice of medicine in a specified setting’, doors opened for new and previously unexplored themes in medical education. The famous CanMeds roles can be seen as an offshoot of this development,

CanMeds 역할과 씨름하면서, 많은 이상한 손님들이 공식적인 교육과정에 들어갔다: 진실성, 전문성, 공감, 반성과, 배려심, 등등. 이러한 새로운 개념들은 자신들이 들어간 집주인의 요구 중 일부를 준수해야 했다: 딱정벌레는 즉시 측정할 수 있는 것으로 명확히 정의되었다(이는 인증 기관의 조사를 받는 시스템에서는 흔한 일이다). 이러한 개념적 명확성에 대한 요구는 빠르게 충족되었고, (딱정벌레와 같은) 공감이 가르치고 보여질 수 있는 행동의 집합인 'achievement'이나 'performance'으로 변화되었다. 

In grappling with CanMeds roles, many strange guests entered the formal curriculum: integrity, professionalism, empathy, reflection, a caring attitude, and so on. These new concepts had to comply with some of the demands of their new home: beetles were immediately clearly defined to be measurable and assessable—as is customary in systems under scrutiny of accreditation bodies. This demand for conceptual clarity was quickly satisfied, transforming a beetle-like empathy into an ‘achievement’ or ‘performance’, a set of behaviours that can be taught and demonstrated, and therefore assessed and measured. 

그러나, 획일적인 정의를 찾으려는 시도는 [우리가 같은 말을 사용하고 있을 때, 우리는 같은 것을 의미한다는 가정]에 달려 있다.

However, the attempt to find a uniform definition hinges on the assumption that when we are using the same word, we mean the same thing.

딱정벌레는 본디 의학을 좀더 인간적으로 만들기 위해 커리큘럼에 추가되었고, 우리는 이 노력을 칭송한다. 그러나 여기에 수반된 비용은 딱정벌레를 지식과 행동으로 전락시키는 것이었다. 감정이입이 기술이나 수행이 되면, 그것은 공감을 멈추게 된다. 성찰이 체크박스가 되는 순간, 그것은 진정한 성찰이 아니게 된다[19].

Beetles were added to the curriculum to make medicine more human, which is an endeavour we applaud. But the cost has been to reduce them to knowledge and behaviours. When empathy becomes a skill or a performance, it ceases to be empathy. The moment reflection becomes a tick-box exercise, it ceases to be authentic reflection [19].

딱정벌레의 복잡성

The complexity of beetles

비트겐슈타인의 상자속 딱정벌레 사고 실험은 주로 감각을 다루지만 논쟁은 연장될 수 있다.

Wittgenstein’s beetle-in-a-box thought experiment deals principally with sensations, but the argument can be extended,

비트겐슈타인은 특히 고통의 문제를 다룬다. 내 고통의 경험도 네 고통의 경험과 같은가?

Wittgenstein deals in particular with the question of pain. Is my experience of pain the same as yours?

첫째로, 단어는 의미가 변한다. 공동체는 그것들을 이러한 변화를 반영하고 보강하는 방식으로 단어를 사용한다. 그러므로 영어 ‘게이’는 이제 ‘쾌활함’이라는 의미에서 쓸모가 없어 보인다. '스퀘어'는 1950년대에 그랬던 것처럼 더 이상 '패셔너블'을 의미할 수 없다. 의미는 용도에 의해 결정된다. 의학 교육에서 단어들의 변화하는 의미를 연구하는 것은 우리에게 많은 것을 가르쳐 줄 수 있는데, 이것은 '역량있는competent' 의사의 인식에 관한 연구에서 알 수 있다[20]. Kripke는 Sign을 사용할 때 중요한 것은, '공동체'가 내가 그것을 제대로 사용했는지에 동의하는지 여부라고 말했다[21].

First, words change their meaning, and the community uses them in ways which reflect and reinforce these changes—or the changes die out. Thus, English ‘gay’ seems unusable now in the sense of ‘lighthearted’. ‘Square’ can no longer mean ‘unfashionable’, as it did in the 1950s. Meaning is determined by use. Studying changing meanings of words in medical education can teach us a lot, as can be seen in a study about perceptions of the ‘competent’ doctor [20]. Kripke suggests that in using a sign ,what matters is that the ‘community’ agree that I have used it successfully [21].

의학 교육은 서로 다른 문화적, 제도적 공동체로 이루어져 있으며, 의과대학에 사용되고 있는 개념들은 종종 다른 과학 공동체(의학, 심리학, 인문, 사회, 교육학)로부터 옮겨운 것이다. 개인, 공동체 및 과학 분야를 넘나드는 여행에서 단어는 새로운 의미를 얻고, 기존의 의미를 잃는다[22]. 이것은 '감정'과 같은 개념이 매우 다른 의미를 가질 수 있는 이유를 설명할 수 있다[23].

Medical education consists of different cultural and institutional communities, and concepts that are being used in medical education have often travelled from other scientific communities (medical science, psychology, humanities, social & educational sciences). In their travels across individuals, communities, and scientific disciplines, words take on meanings and lose others [22]. This might explain why a concept such as ‘emotion’ can take on very different meanings [23].

둘째, 가치와 관련된 개념은 원래 절대로 잘 정의되지 않는다. 수학의 플러스 부호는 명확하게 정의되어 있다. 예를 들어, 이것은 신체의 일부와 질병의 이름에 대한 많은 의학 용어에 대체로 해당된다.

Second, concepts associated with value are in principle never well-defined. A plus sign in mathematics is clearly defined: This is broadly true of a great many medical terms, for parts of the body and names of diseases, for example.

그러나 '공감'이라는 단어에 대해서 그러한 합의는 없다. 그러한 합의는 애초에 존재할 수 없다. 더 나아가, '공감'이라는 것이 '해야하는 일의 목록'으로만 구성되어있지 않음은 자명하다. '공감'적인 사람이 특정한 방식으로 행동할 수는 있지만, 그렇게 하지 않는 것이 의미하는 바는 여러가지가 될 수 있다.

There is no such agreement—there can be no such agreement—about a term like ‘empathy’, or ‘respect’ (for colleagues or patients, for example). And beyond that, it seems clear that ‘empathy’ does not consist of a list of things to do. An empathic person may behave in specific ways (cocks their head, listens carefully, says ‘that must be very hard for you’), but failure to do so could mean many things.

(예를 들어) 우리는 공감이 부족하다는 것을 재빨리 추론할 수도 있지만, 그것은 이 사람이 많은 젊은 학부생들이 그렇듯이 공동체가 이해할 수 있는 방식으로 '감정'의 가치나 태도를 어떻게 표현해야 하는지 모른다는 것을 의미할 수도 있다. 또 다른 가능성은 그 사람이 우리와 다른 배경을 가지고 있다는 것이며, 우리는 그들의 행동을 특정한 감정을 나타내는 것으로 해석하지 않을 수도 있다[24]. 같은 방식으로, 시니컬한 학생일지라도 시험에 합격하기 위해서는 공감하는 행동을 흉내낼 수도 있다.

We might quickly infer a lack of empathy, yet it could mean that this person does not know how to demonstrate the value or attitude of ‘empathy’ in a way that the community can understand, as might be the case in many young undergraduates. Another option is that this person has a different background to us, the perceivers, and we might not interpret their behaviour as displaying a certain emotion [24]. Equally, a cynical student may imitate empathic behaviour in order to pass exams.

'진짜' 딱정벌레와 [그 딱정벌레의 발현으로 볼 수 있는] 행동과 마커marker 사이에는 인과관계가 없다. 또한 가치나 태도를 보여주는 것으로 보여지는 것은 그것을 실제로 소유했다는 증거가 아니다.

There is no causal relationship between the ‘real’ beetle, and the set of behaviours and markers that might be seen as the manifestation of that beetle. Also, being seen as demonstrating a value or attitude is not evidence of actually possessing it.

문제는 우리가 이 두 원이 어딘가에서 중복될 수 있다는 것을 알고 있지만, 어느 학생이 어느 집합에 떨어지는지는 알 수 없다는 것이다.

The catch is that while we know that the two circles probably overlap somewhere, we are unable to tell which students fall into which area.

딱정벌레 평가 - 불가능한 모험

Assessing beetles—an impossible venture

의학 교육에서 딱정벌레의 진짜 어려움은 시험에서 온다. 지식('지식')과 기술('수행')의 측면을 가르치고 시험하기 쉽다. 그러나 추상적 개념(딱정벌레)은 일반적으로 '가치'과 연결되어 있으며, 본디 손쉽게 '정확한 정의'를 내어주지 않는다. 그런 의미에서 '잘못된' 대답과 '올바른' 대답을 구분할 정확한 방법은 없다. 그러나 마찬가지로, 의사가 음주한 상태로 수술해도 괜찮은지 물어보는 것으로는 좋은 가치(관)를 가지고 있는지 평가할 수는 없다. 학생은 어떤 대답이 필요한지 너무 잘 안다.

The real difficulty with beetles in medical education comes with testing. It is easy to teach and test aspects of knowledge (‘knowing’) and skills (‘doing’). Abstract concepts (beetles), however, are typically linked to values, and in principle not susceptible to precise definition. There is in that sense no exact way of telling a ‘right’ answer from a ‘wrong’ answer. But equally, one cannot assess whether a doctor has good values by asking them if it is okay to operate under the influence of alcohol. They are likely to know what answer is required.

문제는 시험을 목적으로 딱정벌레를 [학생들이 알고 있거나 해야 하는 것]으로 정의하는 것이다. 이렇게 함으로써 딱정벌레를 행동으로 재구성 하고, 지표indicator를 지정하여 측정할 수 있게 한다. 그러나 딱정벌레가 수행performance의 측면에서만 정의되고 평가될 때, 좀비 문제[19]는 두 가지 방법으로 발생한다. 

• 첫째, 외부 관찰자로서, 우리는 그 행동이 진짜인지 아니면 '그런 척 하는 행동'인지 구분할 수 없다. 

• 둘째, 이런 식으로 행동을 보는 체계에서 학생들은 단지 [행동에 대한 보상]을 받게 되며, 의미 있는 딱정벌레 교육에 실제로 참여하게 될 외적인 동기는 없다.

The risk is that, for testing purposes, a beetle is defined in terms of what students must know or do. It is reformulated as a behaviour, and indicators are specified so it becomes measurable. But when the beetle is defined and tested only in terms of performance, what we have elsewhere called the Zombie problem [19] arises in two ways. 

• First, as outside observers, we cannot say if the behaviour is authentic or an act, such as an actor might give. 

• Second, in a system that views behaviour in this way, students are rewarded for just the behaviour, and there is no extrinsic motivation to actually engage in meaningful beetle education.

그래서, 예를 들어, 우리는 학생들이 성찰을 하기를 원한다. 슬프게도, 우리는 '성찰적 좀비'만 양성할 수 있다. [19], 성찰적 좀비는 실제로 성찰을 하지 않고도 성찰적인 사람의 모든 외적인 특징을 보여주는 학생이다. 성찰 모형에 대한 지식이 적용된 성찰 에세이를 쓰는 학생의 능력은 실제 성찰을 보장하지 않는다. 그것은 단지 그들이 성찰적 에세이를 잘 쓴다는 것을 의미한다: 상자가 있고, 그 상자 속에는 성찰이이 일어날 수 있는 공간이 있지만, 우리는 그 안에 딱정벌레가 있는지, 혹은 그 어떤 다른 것을 포함하고 있는지 모른다.

So, for example, we want students to reflect. Sadly, we can easily posit a ‘reflective zombie’ [19], a student showing all the outer traits of a reflective person without having actually reflected. A student’s ability to write a reflective essay in which knowledge of reflection models has been applied does not guarantee actual reflection. It just means they are good at writing a reflective essay: there is a box, a space in which reflection could take place, but we do not know if there is a beetle in there, or if it contains anything at all.

우리가 전통적으로 딱정벌레를 평가하는 방법은 표상representation 모델을 사용하는 것이다. 이 모델에서 언어와 행동은 사람들의 내적 삶[26]에서 실제로 일어나고 있는 일을 나타내는 것으로 보인다. 우리는 학생들의 머리와 마음 속을 직접 들여다볼 수 없다는 것을 알고 있다. 다만 (논리적으로) 우리는 행동을 관찰할 수 있을 뿐이라고 귀결된다.

The way we traditionally assess beetles is with the model of representation. In this model, language and action are seen as a representation of what is actually going on in people’s inner lives[26]. We recognize that we cannot look directly inside students’ heads and hearts. But what we can observe, the logic goes, is their behaviour:

우리는 교육자들이 학생이 하는 것과 말하는 것을 해석하기를 기대하며, 교육자들이 이로서 [학생의 딱정벌레]를 판단내리는 방식으로 해석하기를 기대한다. 이 표상적representational 모델은 비판을 받았으나, 여전히 의학 교육에서 우세한 모델이다. 우리는 이 모델을 버릴 때가 되었다고 믿는다.

We expect educators to interpret what a student does and says, and we expect them to translate this to a judgment of the student’s beetle . This representational model has been criticized [1, 27, 28] but is still the dominant model in medical education. We believe it is time to leave this model behind.

우리는 상자 속의 딱정벌레가 어떻게 생겼는지를 보여주는 행동적, 물리적 표지에 동의할 수 있고, 학생에게 그들 자신의 딱정벌레에 대한 점수를 스스로 보고하도록 요청할 수 있지만, 이것은 우리에게 딱정벌레 자체에 대한 어떤 것도 말해주지 않는다.

We can agree on the behavioural and physical markers of what we think a beetle in a box looks like, and we can ask people to self-report a score of their own beetle—but that does not tell us anything about the beetle itself.

앞으로 갈 길

The way forward

평가: 딱정벌레의 사생활 존중

Assessment: respect the privacy of the beetle

어떻게 평가할 것인가?

how will we assess this?

1. '우리는 이것을 평가하고 싶은가? 만약 그렇다면 왜인가?' 의도된 평가가 정말로 역량 개발에 기여하고 있는가? 이것은 커리큘럼에 중요하지만 평가하기에 유익하거나 해롭지는 않은 부분이 있을 가능성을 열어준다.

1. ‘Do we want to assess this, and, if so, why?’ Does the intended assessment truly contribute to competency development? This opens up the possibility that there may be parts of the curriculum which are important, but not beneficial or even harmful to assess.

2. '이것 평가 가능할까?' 만약 어떤 것이 객관적으로 측정될 수 없고, 우리가 어쨌든 평가의 형태를 적용한다면, 우리는 실제로 평가되고 있는 것에 대해 생각할 필요가 있다.

2. ‘Is it possible to assess this?’ If something cannot be objectively measured, and we apply a form of assessment anyway, then we need to think about what is actually being assessed.

3. '이 현상의 어느 측면을 평가하며, 어떻게 평가하는가?' 여기서 평가 방법은 평가 대상과 일치해야 한다.

3. ‘Which aspect of this phenomenon do we assess, and how?’ Here the assessment method should fit what is being assessed.

딱정벌레에 대한 객관적인 평가는 근본적으로 불가능하다. 왜냐하면 그것은 외부적인 기준을 필요로 하기 때문이다. 표준화가 항상 가능한 것은 아니다: 예를 들어 [표준화된 시험에서의 수행]을 가지고 [의사가 실제 환경에서 어떻게 수행할지]를 추론하는 것은 현명하지 못하다[29, 30]. 왜냐하면 '실제 세계는 비표준화되어 있고, 더 중요한 것은, 표준화를 시도하는 것은 평가를 하찮게trivialize 할 것이기 때문이다.' [31].

Objective assessment of beetles is fundamentally impossible, because it requires an external standard. Standardization is not always possible: extrapolating, for example, how a doctor performs in a real-world environment from performance in a standardized test is unwise [29, 30], because: ‘The real world is non-standardized and haphazard, and, more importantly, any attempt at standardization will only trivialize the assessment’ [31].

인간으로서 우리는 항상 서로에 대해 의견과 판단을 형성한다. 주관적 평가는 평가자의 경험이 방정식의 필수적인 부분임을 의미한다[30]. 교육자는 [자신의 딱정벌레]를 도구로 사용함으로써, (피평가자와의) 대화 속에서 어떻게 공명resonate하는지 인식함으로써, 학생이 '공감'적으로 보이는지에 대한 자신의 생각을 형성할 수 있다. 또는 우리는 환자의 피드백과 그들의 공감 경험을 (모크) 상담에서 살펴볼 수도 있다. 

As human beings, we form opinions and judgments of each other all the time. Subjective assessment means that the assessor’s experience is a necessary part of the equation [30]. An educator might form an idea of whether a student comes across as empathic by being aware how their own beetle ‘resonates’ in the conversation, using themselves as an instrument. Or we might look at patient feedback and their experience of empathy in a (mock) consultation. 

우리는 평가에 대한 현상학적 접근을 제안하고 있는데, 이는 객관적 평가가 아닌 평가자의 경험이 기준이라는 것을 의미한다. 이런 종류의 평가는 딱정벌레에 대한 부당한 주장pretence을 하지 않는 한 매우 유용할 수 있다(예: '이 사람은 성찰능력이 없다' 또는 '이 사람은 공감능력이 없다'). 그것은 또한 우리가 평가자마다 같은 사람에 대한 다른 평가를 가질 수 있다는 것을 받아들여야 한다는 것을 의미한다. 이러한 경우, (프로그램 평가나 전체적인 평가와 같은) 평가가 논리적이다[30].

We are proposing a phenomenological approach to assessment, which means that the experience of the assessor, rather than an objective assessment, is the criterion. This kind of assessment can be very useful, as long as no pretences are made about the beetle (e.g., ‘this person cannot reflect’, or ‘this person is not empathic’). It also means that we have to accept that different assessors can have different assessments of the same person. This makes other forms of assessment more logical, such as programmatic assessment or holistic assessment [30].

이러한 유형의 평가는 '평가도구'가 교사의 경험이기 때문에 교사 연수를 필요로 한다. 평가자 훈련은 평가자로서 자신의 한계를 인식하고 반성하며, 항상 편견을 갖는 것에 초점을 맞출 것이다. 진정한 전문직 종사자들은 자기 자신의 주관성과 잠재적 편견을 성찰하고 인식할 것이기 때문에 수준 높은 교육자들은 수준 높은 교육자들은 고품질의 판단을 내릴 것이다.

This type of assessment requires teacher training, as the assessment ‘instrument’ is the teacher’s experience. This kind of training would focus on being aware of and reflecting on one’s limits as an assessor, and being aware of always being biased. High-quality educators will form high-quality judgments, as true professionals will be reflective and aware of their own subjectivity and potential bias.

정의: 딱정벌레 모양의 구멍

Definitions: beetle-shaped holes

(그들의 감정[30]을 포함하여) 미래의 의사에 대한 현대의학의 whole person 관점은 환영할 만하다. 그러나 정확한 정의에 도달하려는 어떤 시도도 잘못된 것이다. (딱정벌레를) '정확한' 정의로 조작화하려는 것은 복잡한 개념의 본질을 상실할 위험이 있다.

The contemporary focus on the whole person of the future doctor, including their emotions [30], is welcome. However, any attempt to reach precise definitions is misguided. Operationalizing these definitions risks causing complex concepts to lose their essence.

딱정벌레를 정의해야 할 것으로 보기보다는, 우리는 딱정벌레를 공동체 사이를 여행하고, 특정한 의미를 떠맡고, 다른 것을 잃고, 개별적인 해석의 여지를 남기는 흐릿한fuzzy 개념[2]으로 볼 수도 있다. 

Rather than seeing beetles as something to be defined, we might see them as fuzzy concepts [2] that travel between communities, take on certain meanings, lose others, and leave room for individual interpretation. 

특정 개념이 무엇을 의미하는지 임시적으로 그리고 부분적으로 정의하기 위해 더듬는 동안, 우리는 그것이 무엇을 할 수 있는지에 대한 통찰력을 얻는다. (부분적이고 임시적인 정의를 찾고자) 더듬는 것 자체가 가치있는 작업이다. 심지어 끈질기게 확립된 그러한 개념조차 그 개념의 잠재적 상호주관성 때문에 가치가 있다. 누구에게나 같은 의미를 지니기 때문이 아니라, 그렇지 않기 때문에 가치가 있는 것이다.

‘While groping to define, provisionally and partly, what a particular concept may mean, we gain insight into what it can do. It is in the groping that the valuable work lies. [. . . ] Even those concepts that are tenuously established [are valuable] primarily because of their potential intersubjectivity. Not because they mean the same thing for everyone, but because they don’t’ [22].

사회학과 학생들이 말하자면 '자본주의'나 '아노미'나 '기분' 같은 추상적인 개념을 가지고 작업을 해야 하는 것처럼, 의대생들은 '환자 중심', '팀워크', '반성'과 같은 용어를 다루는 법을 배워야 할 것이다. 이것이 어렵다고 생각했던 유일한 이유는 의학 교육이 과학을, 특히 '팩트'에 관한 과학을 다룬다고 인식되었기 때문이다. 그러나 사회과학과 인문학에서 어려운 개념에 대한 논의는 일상적인 일이다.

Just as students of sociology, say, have to work with abstract concepts such as ‘capitalism’ or ‘anomie’ or ‘ascribed status’, so medical students will need to learn to handle terms like ‘patient-centredness’, ‘teamwork’, and ‘reflection’. The only reason anyone ever thought this was hard is because medical education is perceived as involving science, and science is about facts. The discussion of difficult concepts is, however, routine in social sciences and humanities.

이것은 쉽지 않다. 의학교육 시스템이 그렇듯이, 목표는 여전히 '옳은 것'에서 '잘못된 것'을 가려내고, 최선의 행동 방침을 결정하기 위해 증거를 사용하는 것 등을 목표로 한다. 의학(교육)의 전통에서 모든 개념은 잘 정의되어 있으며, 그렇지 않은 개념은 과학적인 개념이 아니므로 적어도 전문적professionally으로는 신경 쓸 가치가 없는 것처럼 여겨졌다. 이는 (역설적으로) 교육 개발자, 교사, 학생들이 모호성을 다루는 법을 배울 필요가 있다는 것을 의미한다. 사회과학과 인문과학은 이런 점에서 의학을 제공할 것이 많다.

This is not easy, as in the medical education system the aim is still to sort out what is ‘correct’ from what is ‘incorrect’, to use evidence to decide on the best course of action, and so on. In this tradition, every concept is well-defined, and if it is not, it is not a scientific concept and therefore not worth bothering with, at least professionally. This means educational developers, teachers, and students need to learn how to deal with ambiguity. Social science and the humanities have a lot to offer medical education in this respect.

역량 프레임워크: 한계 인정

Competency frameworks: acknowledge the limits

그 중심적인 난제는 간단히 언급되어 있다. 무엇인가를 의학교육과정에 포함시킬지를 결정하는 조건이 '객관적으로 측정가능한지'라면, 커리큘럼에 딱정벌레가 설 자리는 없을 것이며, 우리는 오직 지식과 기술에만 집중해야 할 것이다. 그러나 우리는 심대히 중요하지만, 평가는 커녕, 명확하게 정의조차 할 수 없는 것(integrity, value, 자기 인식 등등)이 있다는 것을 알고 있다.

The central conundrum is simply stated. If the condition for inclusion in the medical curriculum is that something is objectively measurable, then indeed beetles have no place in the curriculum, and we should focus only on knowledge and skills. Yet we know that there are things (integrity, values, self-awareness, to name but a few) which matter profoundly but which cannot be clearly defined, let alone assessed.

역량 프레임워크는 측정할 수 있는 지식과 기술의 측면을 규정한다. 그러나 시험이라는 조건에서의 측정 행위와 이에 대해 분명히 해야 할 것은 의사가 오더를 내릴 수 있는지 여부를 측정하는 것이다.

Competency frameworks set out aspects of knowledge and skills which can be measured. The act of measurement under examination conditions, however, and we should be clear about this, is a measurement of whether a doctor can perform to order.

대부분의 학생들은 표준화된 환자와 대면하여 OSCE에서 공감을 수행할perform 수 있다. 그러나 이것이 그들을 공감하게 하지는 않는다.

most students can perform empathy in an OSCE, face to face with a standardized patient: but this does not make them empathic.

딱정벌레에 대한 평가, 아니 [딱정벌레와 결부된 성과performance에 대한 평가]가 조금이라도 시도되려면 잘 훈련된 사람들이 필요하다. 그리고 학생들에 관한 한, 어떤 종류의 '애니멀' 딱정벌레인지 배우고 그들이 개인적으로 가지고 다니는 딱정벌레를 탐구하는 것은 학생들이 동료나 멘토들과 함께 성찰하고, 탐구하고, 대화할 수 있는 공간을 필요로 할 것이다.

Assessment of beetles, or rather, assessments of performances that we associate with beetles, requires well-trained people if it is to be attempted at all. And as far as students are concerned, learning what kind of ‘animals’ beetles are, and exploring the beetles they personally carry with them, might require space for students to reflect, explore and talk to peers and mentors.

평가와 측정은 그 자체로 목표가 되어서는 안 되며, 보다 높은 목적을 달성해야 한다.

Assessment and measurement should not be goals in themselves, but serve a higher purpose:

평가는 교육적 가치를 가질 수 있다. 그러나 많은 경우 평가는 역효과를 낳을 수 있고 학생들을 피상적인 학습행위로 이끌 수 있다.

Assessments can have educational value—people learn from being assessed, learn from feedback, and from mapping their progress. But in many cases, assessment can be counterproductive and guide students towards superficial learning behaviour.

상자속 딱정벌레 사고실험의 본질은 딱정벌레 '그 자체'는 공공 언어public language에서 [아주 잘 정의된 역할]을 할 수 없다는 것이다. 우리는 우리가 말하고 있는 것을 대충 알고 있다고 짐작하겠지만, '정직'에 대한 당신의 개념은 나와 다를 수 있다. 그러므로 우리는 딱정벌레의 사생활을 존중해야 한다. 프라이버시에 대한 정의 중 하나는 '각 개인의 경험과 생각을 즉시 그 사람에게 알리는 기능'이다[34]. 딱정벌레의 비유는 교육자로서 우리가 그러한 내부 국가들에 즉시 접근할 수 없다는 것을 보여준다. 학생들 자신만이 한다.

The essence of the beetle-in-a-box thought experiment is that the beetle ‘itself’ cannot play any very well-defined role in public language. Your concept of ‘honesty’ may be different from mine, even if we suspect we know roughly what we are talking about. We should, therefore, respect the privacy of the beetle. One definition of privacy [33] is ‘the feature which leaves each person’s experiences and thoughts as known immediately to that person’ [34]. The beetle analogy shows that we as educators have no immediate access to those inner states. Only the students themselves do.

결론

Conclusion

지식과 기술 다음으로, 딱정벌레는 의학 교육에 중요한 역할을 한다. 딱정벌레는 외부 세계에 접근할 수 없는 사적인 경험이지만, 개인이 세상을 경험하는 방식과 따라서 그들이 배우고 발전하는 방식의 중요한 부분이다. 딱정벌레의 문제는, 우리가 딱정벌레를 기술로서 취급하고, 학생들에게 (실제로는 불가능한) 시연demonstration을 요청하고, 우리는 그것들을 측정하려고 노력하는 것이, 피상적인 '좀비' 학습 행동을 자극한다는 것이다.

Next to knowledge and skills, beetles-in-boxes play an important part in medical education. Beetles are private experiences that are inaccessible to the outer world, but are an important part of the way individuals experience the world and thus the way in which they learn and develop. The problem with beetles is that we treat them as skills and ask students to demonstrate them (which is impossible), we try to measure them (which is impossible), and thereby we stimulate superficial ‘zombie’ learning behaviour.

우리는 의료 교육자들이 그것을 보고 측정하거나 평가하려 하지 않음으로써 개인 경험의 프라이버시를 존중할 것을 요구한다. 그렇게 하기보다는, 딱정벌레를 잡고 있는 사람, 의대생에게 초점을 옮기자고 제안한다.

We call for medical educators to respect the privacy of private experiences by not trying to see, measure, or assess them. Rather than doing so, we propose to shift the focus to the person holding the beetle, the medical student.

20. Whitehead CR, Austin Z, Hodges BD. Continuing the competency debate: reflections on definitions and discourses. AdvHealthSci Educ. 2013;18:123–7. XXX

23. McNaughton N. Discourse(s) of emotion within medical education: the ever-present absence. Med Educ. 2013;47:71–9.

30. Schuwirth L, Ash J. Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget. MedTeach. 2013;35:555–9.

---

 2020 Feb 5[Online ahead of print]

Knowledge, Skills and Beetles: Respecting the Privacy of Private Experiences in Medical Education

Mario Veen 1, John Skelton 2, Anne de la Croix 3 4

Affiliations 

Affiliations

• 1Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands. m.veen.1@erasmusmc.nl.
• 2Institute of Clinical Sciences, University of Birmingham, Birmingham, UK.
• 3Educational Sciences, Faculty of Behaviour and Movement Sciences, VU University, Amsterdam, The Netherlands.
• 4Research in Education, Amsterdam UMC, VUmc School of Medical Sciences, Amsterdam, The Netherlands.

• PMID: 32026318
 
• DOI: 10.1007/s40037-020-00565-5

Abstract

In medical education, we assess knowledge, skills, and a third category usually called values or attitudes. While knowledge and skills can be assessed, this third category consists of 'beetles', after the philosopher Wittgenstein's beetle-in-a-box analogy. The analogy demonstrates that private experiences such as pain and hunger are inaccessible to the public, and that we cannot know whether we all experience them in the same way. In this paper, we claim that unlike knowledge and skills, private experiences of medical learners cannot be objectively measured, assessed, or directly accessed in any way. If we try to do this anyway, we risk reducing them to knowledge and skills-thereby making curriculum design choices based on what can be measured rather than what is valuable education, and rewarding zombie-like student behaviour rather than authentic development. We conclude that we should no longer use the model of representation to assess attitudes, emotions, empathy, and other beetles. This amounts to, first of all, shutting the door on objective assessment and investing in professional subjective assessment. Second, changing the way we define 'fuzzy concepts' in medical education, and stimulating conversations about ambiguous terms. Third, we should reframe the way we think of competences and realize only part of professional development lies within our control. Most importantly, we should stop attempting to measure the unmeasurable, as it might have negative consequences.

Keywords: Assessment; Communication; Competency based education; Empathy; Philosophy; Professionalism.