문학과 의학: 평가의 문제(Acad Med, 2006)

문학과 의학: 평가의 문제(Acad Med, 2006)

Literature and Medicine: A Problem of Assessment

Ayelet Kuper

의사들은 문학과 의학 분야에 관한 기사에 꾸준히 노출되고 있다.

Physicians are being exposed to a steady stream of articles about the field of literature and medicine.

사실상 영어권에서는 문학과 의학 강좌가 성행하고 있다. 1994년까지 미국 의과대학의 약 3분의 1이 그들의 의학 커리큘럼 내에서 문학을 가르치고 있는 것으로 알려져 있다.7 1998년, 그들 중 74%가 그것을 선택과목으로 지정했고, 39%는 그것을 적어도 하나의 과정의 일부로 요구했다.33 2003-2004년, 의학 인문학 전체는 125개의 미국 의과대학 중 88개의 필수과목과 55개의 선택과목으로 대표되었다.34 영국의 경우, 일반적으로 인문학의 강좌 수는, 특히 문학 및 의학 강좌, 35–38은 1993년 보고서인 투모로우 닥터스 39에서 인문학 강좌를 의대생을 위한 적절한 선택 과정으로 승인하고 2003년에 이 개념을 반복한 것에 대한 일반의사회의 승인에 따라 성장했다.

Practically speaking, literature and medicine courses have been flourishing across the English-speaking world. By 1994, about a third of American medical schools were known to be teaching literature within their medical curricula.7 In 1998, 74%of themoffered it as an elective, whereas 39%required it as part of at least one course.33 In 2003–2004, the medical humanities as a whole were represented by at least one required course at 88 of 125 American medical schools and in an elective course at 55 schools.34 In the United Kingdom, the number of humanities courses in general, and literature and medicine courses in particular,35–38 grew in response to the General Medical Council’s endorsement of the humanities as appropriate selective courses for medical students in their 1993 report, Tomorrow’s Doctors,39 and their reiteration of this concept in 2003.40

그러나, 이러한 번창해 보이는 분야에도 불구하고, 의학 교육 문헌에서는 그것의 가치와 정당성에 대한 의문이 계속되고 있다.

Yet, despite this seemingly thriving field, questions regarding its value and legitimacy continue in the medical education literature.

의학(그리고 문학에서는 잘 알려진 하위 학문인 50)과 의과대학에서는 문학과 의학이 받아들여지고 있는 것 같지만 의학 교육의 학문 분야에서는 그렇지 않다. 왜 안 되지? 의학 교육 연구 내에서 문학과 의학 분야가 직면하고 있는 투쟁의 한 가지 잠재적인 이유는 [두 학문의 매우 다른 담론]과 관련이 있다.

It seems that literature and medicine is being accepted in medicine (and in literature,50 where it is a well-recognized subdiscipline64), and in medical schools, but not within the academic field of medical education. Why not? One potential reason for the struggle that the field of literature and medicine is facing within medical education research relates to the two disciplines’ very different discourses.

배경 Background

의료 교육 연구가 성과와 평가에 의해 점점 더 추진되고 있는 것은 이제 사실이다.71 

• 미국에서는 ACGME(Accredit Council for Colonge Medical Education)의 결과 프로젝트가 레지던트 연수에서 목표와 평가 사이의 명확한 연계를 통해 교육적 성과를 강하게 강조하고 있으며, 의대 목표 프로젝트(MSOP)는 학부 의료교육에서도 유사한 문제에 초점을 맞추고 있다. 

• 캐나다 왕립 의사 및 외과의사 대학과 영국 일반의사협회와 같은 다른 영향력 있는 기관들도 의료 훈련에 대한 결과 기반 접근법을 채택했다. 측정 가능한 목표와 평가 사이의 이러한 연결고리는 의료 교육생들이 자신이 겪을 평가의 요건을 충족시키기 위해 학습을 지도한다는 사실에 직면하여 대중의 기대, 책임 의제, 실용주의에 의해 추진되었다.  

• 또한 증거 기반 의료 교육 촉진 및 이 과정에 대해 보증된 도구에서 현재의 의료 연구와 실천에 중심이 되는 증거 기반 의료(EBM) 운동으로부터 상당한 spillover가 있었다.81–84

It is by now a truism that medical education research is increasingly driven by outcomes and by evaluation.71 

• In the United States, the Outcome Project of the Accreditation Council for Graduate Medical Education (ACGME) has put a strong emphasis on educational outcomes in residency training, with a clear link between objectives and assessment,72 and the Medical School Objectives Project (MSOP) has focused on similar issues in undergraduate medical education.73 

• Other influential bodies, such as the Royal College of Physicians and Surgeons of Canada74,75 and Britain’s General Medical Council,40 have also adopted an outcomes-based approach to medical training. This link between measurable objectives and assessment has been driven by public expectations,72,73,76 the accountability agenda,77 and pragmatism in face of the fact that medical trainees guide their learning to meet the requirements of the evaluations that they will undergo.78–80 

• There has also been considerable spillover from the evidence-based medicine (EBM) movement, so central to current medical research and practice, in the promotion of evidence-based medical education and in the tools being endorsed for this process.81–84

따라서 전제가 되는 학생 평가와 관련된 이슈들은 [일반적으로 정신분석학의 담론을 이용하여] 의학교육 연구의 맥락에서 다루어져 왔다. 신뢰성 및 타당성과 같은 교육적 시험에 사용되는 통계적 개념은 많은 논의의 틀이 되었다. 타당하고 신뢰할 수 있는 전체론적 등급 척도로 시험을 만들 수 있으며, [복잡한 작업을 객관화된 구성요소 부분으로 분해하면, 전체적인 구성을 경시하여 평가의 타당성을 감소시킬 수 있다는 것]이 두 가지 모두 입증되었다. 우리는 이제 신뢰성과 주관성이 상호 배타적이지 않으며 신뢰성과 객관성이 불가분의 관계에 있는 것이 아니라는 것도 안다.

The issues around student assessment that are thereby foregrounded have generally been addressed, in the context of medical education research, using the discourse of psychometrics.85–87 Statistical concepts used in educational testing, such as reliability and validity,88 have framed much of the discussion.71,86,89 It has been shown both that it is possible to create tests with holistic rating scales that are valid and reliable90 and that the breakdown of complex tasks into objectified component parts can trivialize the overall construct, thereby decreasing the validity of the assessment.91 We now know that reliability and subjectivity are not mutually exclusive nor are reliability and objectivity inextricably linked.80,92

그럼에도 불구하고, 신뢰도를 향상시키기 위해 더 객관적으로 점수를 매기고 따라서 더 "구체적인" 검사를 사용하려는 움직임이 오랫동안 있어왔다. 또한 "평가의 가치는 숫자로만 연구되고 기술될 수 있다"는 암시가 있다. 그리하여, 의학교육 연구의 전반적인 풍토는 능력, 구성, 내용 등 자신이 공부하고 있는 요소 부분으로 [세분화하여 이를 조작하고 분류할 수 있는 수치적 가치로 축소하려는 경향]을 갖고 있다. 마찬가지로, 신뢰도, 일반성, 오류에 대한 어떤 논의에서도 명백하게 만들어진 "진짜true" 점수에 대한 추구search는 기초적인 실증적 의료 교육 연구를 강조하는데, 이것은 현대의학 교육의 상당 부분을 지배하는 패러다임을 반영한다.

Nonetheless, there has long been a movement towards using more objectively scored93 and hence more “granular” examinations in an attempt to improve reliability.94 There is also an implication “that the value of the assessment can be researched and described in numbers only.”87 The overall ethos of medical education research, then, incorporates a tendency to break down into component parts that which it is studying, whether competencies, constructs, or content, and to reduce it to numerical values that can be manipulated and classified. Similarly, the search for the “true” score, made explicit in any discussion of reliability, generalizability, and error,88 highlights the underlying positivismin medical education research, which reflects a paradigmthat pervades much of modern medical education.58

문학의 학습은 의학적인 맥락 안에 놓였을 때에도 단순화된 분석에 저항하며, 직접적인 실증주의와 양립할 수 없다. 문학에서 의미와 씨름하는 것은, 구성된 현실의 맥락에서, 필연적으로 이 분야에서 평가에 있어서 중대한 문제에 직면하게 된다. 텍스트를 논할 때 옳은 답은 있을 수 없으며, 사실, 바로 이 모호성은 문헌에서 배울 수 있는 교훈 중 하나이며, 환자 치료의 맥락에도 해당된다. 그것은 문학 교과 과정에서 학생들의 능력과 업적에 차등을 둬서는 안 된다는 것이 아니라, 고등교육에서 이러한 차등의 수단이 중요한 논쟁을 불러일으키지 않았다는 것이다.

The study of literature, even when placed within the medical context, is resistant to simplified analysis and is not compatible with straightforward positivism. Grappling with meaning in literature, in the context of a constructed reality, inevitably encounters a major problem with assessment in this area: there can be no one right answer when discussing a text and, indeed, this very ambiguity is one of the lessons that may be learned fromliterature and carried forward into the context of patient care.60 That is not to say that one should not discriminate between students’ abilities and achievements in a literature curriculum, but rather that the means of this discrimination in higher education has not engendered significant debate.

의학교육의 이 영역에서 평가의 문제점을 무시하기보다는, 문학과 의학의 학습을 통해 달성하고자 하는 중요한 역량을 존중하고 강화하는 학생평가의 엄격한 방법을 의학교육계가 개발, 적응 또는 인정해야 할 때다.

Rather than ignoring the problems of assessment in this area of medical education, it is time for the medical education community to develop, adapt, or recognize rigorous methods of student evaluation that respect and reinforce the important competencies intended to be attained through the study of literature and medicine.

방법 Method

개별 기사는 양적 방법, 정성적 방법, 헤르메뉴틱* 텍스트 분석 등 자신의 분야에 적합한 방법론을 사용하여 평가되었다.

Individual articles were evaluated using methodologies appropriate to their fields, including tools fromquantitative methods, qualitative methods, and hermeneutic* textual analysis.

*문자 해석의 한 방법으로, 헤르메뉴틱스는 모든 부분이 하나의 일관된 의미에 기여할 때까지 전체 텍스트에 대한 텍스트 부분의 반복적인 분석을 의미한다. 독자는 본문이 처음 만들어진 문맥뿐만 아니라 자신의 사회사적 입장과 지적 전통을 이 해석에서 고려해야 한다.97

*As a method of textual interpretation, hermeneutics involves iterative analysis of the parts of a text against the whole until all of those parts contribute to a single consistent meaning. The reader must take his or her own sociohistorical position and intellectual tradition, as well as the context in which the text was originally created, into account in this interpretation.97

결과 Results

문학 및 의학 커리큘럼 목표

Curricular objectives for literature and medicine

Charon 외 연구진의 개념 체계7은 문학 및 의학 커리큘럼에 대해 주장되고 있는 명시적 목표를 기술하기 위한 유용한 출발점을 제공한다. 의대생들에게 문학을 introducing하는 다섯 가지 이유를 개략적으로 설명하고 있다. 

• 이 중 하나인 [서사적 윤리]는 전통적인 이론에 기반한 윤리와 대조적으로 제시되지만 우리의 목적을 위해 의료 윤리 과목에 대한 대안적 교육학적 접근법으로서, 이미 널리 가르쳐져 있고 자체 평가 프레임워크를 가지고 있다. 따라서 이번 논문은 이러한 특별한 근거를 다루지 않을 것이다.

Charon et al.’s conceptual framework7 provides a useful starting point for delineating explicit objectives being claimed for literature and medicine curricula. It outlines five rationales for introducing literature to medical students. 

• One of these, narrative ethics, is presented in contrast to traditional precept-based ethics but is for our purposes an alternative pedagogic approach to the subject of medical ethics, which is already widely taught98 and has its own evaluatory frameworks. The current paper, therefore, will not address this particular rationale.

• 또 다른 근거인 [문학 이론의 학습]은 의사, 환자, 그리고 그들의 실습에 대한 흥미로운 "새로운 관점"7을 제공하지만, 이 분야의 학생 학습은 문학의 방법과 본문에서 선험적인 근거를 필요로 할 것이다. 따라서 이러한 근거는 본 논문에서도 다루지 않을 것이다.

• Another rationale, the study of literary theory, offers interesting “new perspectives”7 on physicians, their patients, and their practice, but student learning in this area would require an a priori grounding in the methods and texts of literature. This rationale will thus also not be addressed in this paper.

여기서는 그 대신 나머지 세 가지 이유rationales에서 도출된 목표의 평가에 초점을 맞출 것이다.

• 환자 경험에 대한 대응 능력

• 의사 경험에 대한 성찰 능력

• 실제로 내러티브 기술을 개발하고 활용할 수 있는 능력  

Instead, this paper will focus on the evaluation of objectives drawn from the remaining three rationales: 

• the ability to respond to the patient experience, 

• the ability to reflect on the physician experience, and 

• the ability to develop and make use of narrative skills in practice.

환자(및 의사)는 인생을 내러티브로 살아간다. 환자의 질병에 대한 환자의 감정적, 실존적 반응에 대한 전체적인 이해를 통해 의학을 구현하기 위해 환자의 내러티브를 사전에 파악해야 한다는 점을 특히 강조하는 [내러티브 기반 의학' 운동]이 두드러지게 나타났다. 의학 교육의 영역 내에서, 현실주의와 관련성을 위해 선택된 문학 문헌들이 "[질병에 관한 사실들을 아는 것]과 [환자의 질병 경험을 이해하는 것] 사이의 간격을 메우는 데 도움이 될 수 있다"고 주장되어 왔으며, 여기에는 중요한 사회경제적, 문화적 맥락이 조명된다. 따라서 질병에 대한 이야기는 환자의 아픈 경험을 상상하고 이해할 수 있는 의사들의 능력을 향상시켜 공감하는 환자 중심의 진료를 제공할 수 있는 능력에 잠재적으로 기여할 수 있다.

Patients (and doctors) live their lives as narratives.4,10,99 A significant Narrative- Based Medicine movement has emerged, specifically highlighting the need to foreground patients’ narratives in order to imbue medicine with a holistic understanding of patients’ emotional and existential responses to their illnesses.4 Within the realm of medical education, it has been posited that literary texts selected for realism and relevance “can help bridge the gap between knowing the facts about the disease and understanding the patient’s illness experience [emphasis in the original],”100 including illuminating its important socioeconomic and cultural contexts.26,55 Stories about illness could therefore enhance physicians’ abilities to imagine and understand the experiences of their sick patients,7 potentially contributing to their capacity to provide empathic50 patient- centered care.

[내러티브 역량]은 "인간이 이야기를 (문자에서 도출된 것이든, 환자에서 나온 것이든, 비전문적 만남에서 나온 것이든) 흡수, 해석, 반응하기 위해 사용하는 능력"으로 정의되며, 문학적인 텍스트의 긴밀한 읽기와 관여를 통해 가르친다.5 이 역량은 의사-환자 관계에서 전문성과 공감의 양면에 기여하는 것으로 생각된다. 따라서 서술적 역량의 구조는 다음과 같이 더욱 복잡한 구조의 대리 끝점surrogate endpoint으로 개념화될 수 있다. 

• 예를 들어, [이야기 속의 등장인물의 감정과 경험을 식별하고 반영하는 능력]은 [환자와 사랑하는 사람들의 경험에 대한 나중에 이해하고 반응하는 능력]에 대한 잠재적인 대리지표이다.

Narrative competence, defined as “the competence that human beings use to absorb, interpret, and respond to stories”5 (whether derived from texts, from patients, or from nonprofessional encounters), is taught through the close reading of and engagement with literary texts.5 It is thought to contribute to the development of both professionalism101,102 and empathy5,8 in the physician–patient relationship. Thus, the construct of narrative competence might be conceptualized as a surrogate endpoint for these more complex constructs, with, 

• for example, students’ abilities to identify and reflect on the emotions and experiences of characters in stories as potential surrogate markers for their later understanding of and responses to the experiences of patients and their loved ones.

마찬가지로, 문학은 훈련생들에게 "의사의 종종 꽤 외로운 직업임을 이해하는 생생한 수단"을 제공한다. 특히 학생 및 레지던트 수련 기간 동안 의사들은 평범한 사람들의 영역 밖에서 생활한다. 그들의 일상적인 죽음, 고통, 치유 경험은 일상 언어의 테두리를 벗어나 있다. 정서적으로 어려운 상황과의 정기적인 만남은 학업 스트레스 요인과 결합되어 의대생들의 스트레스와 우울증 비율이 동료들에 비해 증가함에 반영된다. 이야기와 시는 의학교육에서 달리 놓친 과제를 수행할 수 있는데, 여기서 이야기와 시는 "의사가 해야 할 모든 일에 대한 중요한 개인적 성찰과 검사를 자극할 수 있다"고 한다.  즉, 문학은 연습생들에게 환자 치료 능력이 아닌 자신과 자신의 감정에 대해 성찰하는 언어와 도구를 제공할 수 있으며, 그로 인해 [초기의 치유자를 치유]하는 데 도움이 될 수도 있다.

Similarly, literature provides trainees with “a vivid means of understanding the physician’s often quite lonely job.”68 Physicians, especially during the intense years of student and residency training, live outside the realm of the commonplace. Their everyday experience of death, suffering, and healing is situated outside the boundaries of everyday language. Regular encounters with emotionally challenging situations, combined with academic stressors, are reflected103 in the increased rates of stress and depression among medical students as compared to their peers.103,104 Stories and poems may perform tasks otherwise missing in medical education, wherein they “can stimulate important personal introspection about and examination of all that the physician is called on to do.”7 In other words, literature may provide trainees with the language and the tools to reflect, not about their patient care abilities, but about themselves50 and their own emotions,100 and thereby may help to heal the nascent healer.18

의료 커리큘럼에 있는 어떤 것도 연습생들에게 "그 다음 순간"을 적절하게 준비시키지 못한다.—

• 그들이 환자의 병실을 나오며 방금 누군가에게 당신이 곧 죽을 거라고 말한 것을 깨닫는 순간, 

• 그들이 다음 만남으로 나아가고 자신의 삶을 이어나갈 수 있도록 생각과 감정을 인식하고 반응할 수 있는 틀을 갖춰야 하는 순간. 

내러티브 능력을 창조함으로써, 연습생들에게 (그들 자신의 삶에서 사용할 서사적 도구 세트를 제공하기 위한) 감정적인 자기 성찰의 과정을 연습할 수 있었다. 그러므로 서술적 역량과 감정적 자기반사 능력은 실존적 고통과 냉소와 냉소가 생겨날 때 훈련생을 보호할 수 있는, [감정적으로 도전적인 상황에 대한 회복탄력성]을 위한 잠재적 교실 기반의 대리 결과물이다.

Nothing in the medical curriculum adequately prepares trainees for “the moment after”—the moment they walk out of a patient’s room and realize that they have just told someone that they are going to die, the moment when they must have a framework for recognizing and responding to their thoughts and emotions in order to be able to move on to the next encounter and to carry on with their own lives. By creating narrative competence, this process of emotional self-reflection could be practiced in order to provide trainees with a set of narrative tools to use in their own lives. Narrative competence and emotional self-reflective ability are therefore potential classroom- based proxy outcomes for the resilience to emotionally challenging situations that may protect trainees from existential distress and from the development of callousness and cynicism.

문학 학습은 또한 연습생들에게 "내러티브 기술"이라는 일반적인 루브릭에 따라 분류될 수 있는 유용한 임상 능력을 제공할 수 있다. 가장 단순하게 말해서, 이야기를 읽고 그것에 대해 쓰는 것은 더 일반적인 의사소통 능력을 향상시킬 수 있다. 다른 내러티브 기술은 내러티브 역량의 더 큰 구성의 구성요소로서, 이것은 공감뿐만 아니라 [환자의 병력, 신체적 발견 및 기타 보조 데이터에서 수집할 복잡한 이야기를 구성하고 의미 있게 통합하는 의사의 능력]에 기여한다고 여겨진다. 이러한 기술들은 임상 지식의 기초가 되는 서사적 구조를 명시적으로 이용한다. 그렇다면 [문학에서 가져간 이야기에 대해 글을 쓸 수 있는 능력]은 환자 진단과 치료를 위한 일관성 있고 수사적으로 건전한 계획을 수립하고 전달하는 능력에 유용한 대리 성과가 될 수 있다.

The study of literature could also provide trainees with useful clinical abilities that may be grouped under the general rubric of “narrative skills.” Most prosaically, reading stories and writing about them can enhance more general communication skills.41 Other narrative skills are components of the larger construct of narrative competence, which is believed to contribute not only to empathy but also to the physician’s ability to organize and meaningfully integrate the complex stories to be gleaned from patients’ histories, physical findings, and other ancillary data.7 These skills make explicit use of the narrative structure that underlies clinical knowledge.16,68,105 The ability to write about stories taken from literature, then, might become a useful surrogate outcome for the ability to construct and communicate a coherent and rhetorically sound plan for patient diagnosis and treatment.

무수히 많은 해석이 가능한 문학에 대한 연구도 모호성 개념에 대한 학생들의 노출을 증가시킨다. 이는 그들이 일반적인 전문 훈련과 특히 의료 훈련의 "실천에 대한 실증주의적 인식론" 이외의 방법을 아는 방법에 노출시킴으로써 임상 실습에서 전문가로서 직면해야 할 불확실성과 모호성에 대비하는 데 도움이 될 수 있다. 따라서 문학적 본문에 대한 반응을 통해 평가한 바와 같이 이러한 모호성 개념에 대한 그들의 파악은 환자 치료의 맥락에서 이를 접하기 위한 준비의 대용으로서 검토될 수 있을 것이다.

The study of literature, in which there are myriad possible interpretations, also increases students’ exposure to the concept of ambiguity.28,60,106 This may help prepare them12,64 for the uncertainty107 and ambiguity99 they will have to face as professionals in clinical practice by exposing them to ways of knowing other than the “[p]ositivist epistemology of practice” of professional training in general107 and of medical training in particular.58 Their grasp of this concept of ambiguity, as assessed through their responses to literary texts, could therefore be examined as a proxy for their preparedness for encountering it in the context of patient care.

그런 다음, 문학 및 의학 강좌의 목표를 안전한 강의실 상황에서 [임상 실습과 관련된 일련의 중요한 기술 개발]로 해석할 수 있다. 이러한 기술은 문헌과 의학이 개발하고자 하는 고차원의 목표에 대한 잠재적 대리 결과물이다. 서사적 역량 개발은 환자의 질병 경험 및 치료 경험에 대한 공감적 이해를 위해 필요한 기술이다. 감정적 자기성찰능력의 발달은 환자 치료에 대한 배려적이고 연계된 전문적 접근방식을 유지하는 능력에 필요한 기술이다. 마지막으로 [일관되고 종합적인 임상 상황clinical picture의 구성]을 위해서는 내러티브 기술의 발전이 필요하다.

It is possible, then, to interpret the objectives for courses in literature and medicine as being the development, in a safe, classroom situation, of a set of critical skills relevant to clinical practice. These skills are potential proxy outcomes for the higher-order objectives intended to be developed by literature and medicine. The development of narrative competence is a skill necessary for empathic understanding of patients’ experiences of illness and treatment. The development of emotional self-reflective ability is a skill necessary for the ability to maintain a caring and connected professional approach to patient care. Finally, the development of narrative skills is necessary for the construction of coherent and comprehensive clinical pictures.

문헌 및 의학 분야의 평가 기법

Assessment techniques in literature and medicine

문학 및 의학 강좌는 현재 길고 짧은 에세이, 논술 시험, 포트폴리오, 구두 발표, 포스터, 사례 쓰기, 저널, 응답 논문, 시, 단편 소설, 환자의 목소리에 담긴 내러티브와 같은 창조적 프로젝트, 심지어 객관적 구조화된 임상 시험 (OSCE) 스테이션 등 다양한 평가 도구를 사용하고 있다. 

Literature and medicine courses currently use a wide variety of assessment tools, including long or short essays, essay examinations, portfolios, oral presentations, posters, case write-ups, journals, response papers, creative projects such as poems, short stories, narratives in the patient’s voice, and even objective structured clinical examination (OSCE) stations.

사용할 평가 방법을 선택하기 위한 근거를 명시적으로 언급하는 과정 설명은 거의 없다. 그러나 분명한 것은 객관식 문항과 그 종류의 것들은 신뢰성과 행정의 용이성, 채점 때문에 의학교육에서 다른 곳에서 가장 많이 사용되는 서면평가 형태이나, 이 영역에서는 학생평가에 적합하지 않은 것으로 여겨지고 있다는 점이다.

Few course descriptions comment explicitly on the rationale for selecting the method(s) of evaluation to be used. What seems clear, however, is that multiple- choice questions and their ilk, which are the most commonly used forms of written assessment elsewhere in medical education because of their reliability and ease of administration and marking,89 have not been seen as suitable for student evaluation in this domain.

문학 및 의학 강좌에 대한 적절한 평가의 성격을 논하는 유일한 작가 중 한 명인 스퀴어 등은 서면 과제들을 형성 평가와 총괄 평가로 사용하는 것을 지지한다. 그러나 그녀는 이 지지에 대한 어떤 증거도 제시하지 않으며, "점수에 대한 지나친 집중을 피하고" "자기반성, 해석, 창의성"을 권장하는 것 외에 채점제나 가이드라인을 제시하지 않고, "학생들 사이의 차등화"보다는 피드백과 코멘트를 제공하는 데 초점을 맞추고 있다.

Squier,100 one of the only authors who discusses the nature of appropriate assessment for courses in literature and medicine, endorses the use of written assignments as both formative and summative assessments. However, she provides no evidence for this endorsement, nor does she propose a marking scheme or guidelines other than to “avoid an excessive focus on grading” and to encourage with such grading “self reflection, interpretation, and creativity,” focusing on giving feedback and comments rather than making “[f]ine distinctions between students.”100

이와 유사하게, 다우니는 다음과 같이 쓰고 있다: "의학 인문학 과정을 평가하는 데는 어려움이 없다. 그것은 시험이나 논술, 그 밖의 다른 프로젝트로 평가될 수 있다. 이런 일은 수세기 동안 예술 교수진에서 일어났고 이런 종류의 평가에 대한 예술 교수진에서 많은 경험이 있다."106그는 계속해서 표준 예술 수업에서 텍스트(이 경우, 시)가 어떻게 가르쳐질지, 그리고 그것에 관한 에세이가 어떻게 표시될지에 대해 고찰한다. —일관된 논거와 그 논거의 방향보다는 본문과 그 역사적 배경에 근거한 논거의 존재에 의해. 하지만, 그도 역시 자신의 주장을 정당화하거나 증거를 제시하지 않는다.

Similarly, Downie writes: “There is no difficulty about evaluating a medical humanities course. It can be assessed by examination or essay or other project. This has happened in Arts faculties for centuries and there is a great deal of experience in Arts faculties of this sort of evaluation.”106 He goes on to discuss how a text (in this case, a poem) might be taught, and an essay about it would then be marked, in a standard arts class—by the presence of coherence and of an argument grounded in the text and its historical background, rather than by the direction of that argument.106 Again, he does not justify or provide evidence for his assertions.

영국 고등 교육 품질 보증청 영문학과 언어의 학부 강의와 관련해 주제 벤치마크인 영어는 에세이가 "평가 과정에서 필수적인 요소"가 될 것을 요구하고 있으며, 에세이가 이 분야에서 요구되는 기술력의 입증에 적절하다는 의견을 제시한다.108

the British Quality Assurance Agency for Higher Education (QAA). Regarding undergraduate instruction in English literature and language, its subject benchmark statement, English, mandates that essays be “an essential component in the assessment process” and comments on their appropriateness to the demonstration of the skills required in this discipline.108

문학 연구나 관련 고등교육 영역에서는 그다지 두드러지지는 않지만, 의학 교육에서는 인문학 관련 커리큘럼에서 에세이처럼 포트폴리오가 활용되어 왔다.52

Although they are not as prominent in the study of literature and in related higher education domains, portfolios, like essays, have been used in humanities- related curricula in medical education.52

[포트폴리오] 개발에 관한 현재의 일반 교과서는, 포트폴리오를 [학생이 시간 경과에 따라 성취한 것(또는 성취하려고 노력한 것)을 보여주는 최소한 부분적으로 선택된 작품 모음]으로 기술하고 있다. 여기에는 특히 "학생 자기 평가와 성찰을 중심에 두고, 포트폴리오 내 작업이 달성되는 과정을 그릴portray 수 있는 기회"에 대한 강조가 포함된다. '포트폴리오'라는 용어의 의미는 특히 성찰 요건에 관하여 최근 의학 교육 문헌에서 논쟁의 대상이 되어 왔다. 어떤 사람은 어렵고, 시간이 많이 소요되며, 잠재적으로 불필요하다고 간주하고 있으며, 다른 사람은 도구의 독특하고 근본적인 측면이라고 믿고 있다. 포트폴리오의 정의의 일부로서 자기성찰을 널리 인식하지 않는다면, 일반적인 교육 문헌과 특히 의학교육 내에서, 이 논문에서는 포트폴리오라는 용어는 [성찰의 증거를 포함하는 작품의 모음]을 일컫는 말라 사용할 것이다.

A current general textbook on portfolio development describes a portfolio as a compilation of works, at least partially student-selected, that shows what the student has accomplished (or tried to accomplish) over time; this includes a particular emphasis on “the centrality of student self-evaluation and reflection and the opportunity to portray the processes by which the work in the portfolio is achieved.”113 The meaning of the term“portfolio” has been the subject of recent debate in the medical education literature, particularly with respect to the requirement for reflection, which some have viewed as difficult, time-consuming, and potentially unnecessary114 and others believe to be a unique and fundamental aspect of the tool.115,116 Given the otherwise widespread recognition of self- reflection as part of the definition of a portfolio, both in the education literature in general113 and within medical education in particular,117–120 within this paper the use of the term portfolio will refer to a collection of works which includes evidence of reflection.

이러한 문헌은 타당성과 신뢰성의 담론에 관여하거나 인정하지도 않으며, 증거 출처에 대한 정성적 방법론을 명시적으로 검토하지도 않는다. 재현성, 정확성, 표시 용이성 등을 논하지 않으며 기준 참조도 없다. 그럼에도 불구하고 그것들은 의학 교육 내에서 나온 수사학적 주장과 관련이 있다. 1991년 문헌을 검토한 노먼 외 연구진, 91명은 동일한 구성물에 대한 주관적 시험과 객관화된 시험이 높은 상관관계를 갖는다고 결론지었다. 이 저자들은 "학생들은 서로에 대한 지식의 여러 측면을 다루어야 하는" 에세이와 같은 질문 유형이 아닌, 객관식 또는 단답형 질문을 사용할 경우, 특정 구조를 경시할 위험을 미리 예측했다. 

These literatures neither engage in nor acknowledge the discourse of validity and reliability, nor do they look explicitly to qualitative methodology for sources of evidence. They discuss neither reproducibility, accuracy, nor ease of marking, and they have no criterion reference. They are nonetheless related to rhetorical arguments that have emerged from within medical education. Norman et al.,91 reviewing the literature in 1991, concluded that subjective and objectified tests of the same construct were highly correlated. These authors foregrounded the risk of trivializing certain constructs using either multiple-choice or short- answer questions, as opposed to question types, such as essays, “which require students to handle several aspects of knowledge in relation to each other.”91

따라서 그들은 후자를 시험의 합법적 옵션으로, 특히 고차 구조의 사용을 받아들였다. 더구나 슈와르트와 반데르 벨루텐은 시험의 목표가 있다면 그렇게 말할 정도였다. 

• 시험의 목표가 "추론 과정을 설정하거나, 정보를 요약하거나, 또는 알려진 원리를 다른 맥락에서 적용하는 것이라면", 그리고 특히 한 사람이 글쓰기 능력에도 관심이 있다면, 그렇다면, 유일한 적절한 유형의 필기 질문은 에세이이다. 

다음의 요약이 설명하듯이, 평가 기법으로서 에세이와 포트폴리오의 가치에 대해서도 상당한 양의 심리학적 연구가 있었는데, 그 중 많은 부분이 논란의 여지가 있었다.

They therefore accepted the use of the latter as a legitimate option for testing, particularly of higher-order constructs.91 Moreover, Schuwirth and van der Vleuten have gone so far as to say that 

• if the goal of a test is “to set up a reasoning process or summarise information, or [. . .] to apply a known principle in different contexts” then the only appropriate type of written question is an essay,121 particularly if one is also concerned with writing ability.122 

As the following summary will illustrate, there has also been a significant amount of psychometric research, much of it controversial, on the value of essays and portfolios as evaluative techniques.

에세이 및 포트폴리오

Essays and portfolios

[에세이 평가의 구성적 타당성]은 의학적인 맥락에서 구체적으로 연구되었다. 예를 들어 1990년 연구에서 대학원 수준의 임상적 판단 평가를 위해 논술 시험이 검증되었다. 에세이의 상호 신뢰도 측면에서 여러 연구들이 상반된 결과를 내놓았다. 그들의 일반화 가능성에 대한 연구도 있었다. 예를 들어, 세부적인 체크리스트를 사용하는 비의사 3명이 전체적 표시를 하는 의사 3명으로 교체되었을 때 임상적 판단에 대한 논술 테스트의 일반화가능성은 향상되었다(그리고 필요한 테스트 시간은 감소하였다). Frijns 외 연구진은 [비록 4시간에서 6시간 사이에 1개 또는 2개의 평가자가 있어야 일반화 계수 0.80 이상을 달성할 수 있었지만], 개방된open 문제에 대해 재현 가능한 방식으로 의사-평가자가 채점할 수 있다는 것을 보여주었다. 

The construct validity of essay assessments has been specifically studied in the medical context. For example, in a 1990 study, an essay test was validated for the assessment of clinical judgment at the postgraduate level.123 In terms of essays’ interrater reliability, several studies have given conflicting results.94,124–126 There has also been research into their generalizability. For instance, the generalizability of an essay test of clinical judgment improved (and its required testing time decreased) when three nonphysicians using a detailed checklist were replaced by three physicians marking holistically.127 Frijns et al.128 showed that open-ended questions could be marked by physician-raters in a reproducible manner, although achieving a generalizability coefficient of 0.80 or above with one or two raters required between four and six hours of testing time.

심리측정학 기준이 [평가도구 형식의 고유한 특성이 아니라는 현재의 이해]와 함께 에세이를 채점하는 데 신뢰성의 문제는 [시험 형식에 내재된 문제]가 아니라 [적절한 시험 시간과 전문가 채점자의 가용성]에 대한 문제인 것이다. 슈와르트와 반 데르 벨루텐은 평가되는 구조의 사소한 것을 피하기 위해 에세이를 표시하기 위해 과도한 구조물을 구성하지 않도록 조심하지만, 신뢰도를 향상시키고 그에 따라 그러한 자원의 필요성을 감소시키는 여러 가지 방법이 문헌에 제시되었다.

 In keeping with our current understanding that psychometric criteria are not inherent qualities of an instrument’s format,80 the issue of reliability for marking essays is not an intrinsic problemwith the test type but rather a question of the availability of adequate testing time and of expert markers. Multiple means of improving reliability, and thereby decreasing the need for those resources, have been suggested in the literature,88,121,122,125,126,129–131 although Schuwirth and van der Vleuten caution against overstructuring rubrics for marking essays to avoid trivializing the construct being assessed.121,122

포트폴리오는, [의학 교육에서 보다 개인적이고 프로세스 지향적일 뿐만 아니라] 새로운 것이다. 지금까지 의학적인 맥락에서 연구된 구조와 관련하여 타당성을 입증하는 것은 어려웠다. 포트폴리오에 대해 가장 잘 확립된 형태의 타당성은 시간의 경과에 따른 성찰 및 퍼포먼스을 포함한 건설에 대한 안면 타당성이다. 그러한 구성에 대한 예측, 기준 및 구성 타당성을 설정하는 것은 어려울 것이다. 

Portfolios are newer to medical education, as well as more individual and process-oriented. It has thus far been difficult to establish their validity with respect to the constructs for which they have been studied in the medical context. The best established form of validity for portfolios is face validity for constructs including reflection119,132 and performance over time.119 Establishing their predictive, criterion, and construct validity for such constructs will be challenging.117,119,132,133 

2001년 말 스코틀랜드 던디에서 의대생들의 최종 시험의 일부로 사용된 포트폴리오의 한 연구의 저자들은 보다 전통적인 시험 구성 요소로는 평가되지 않는 태도와 근면성과 같은 구조물에 대한 다양한 타당성의 증거를 주장했다. 정신건강의학과 레지던시 교육에서 포트폴리오에 대한 최근의 연구는 정신과적 지식과 훈련 수준에 대한 적당한 합치성을 보여주었다.

The authors of a study published in late 2001 of portfolios used as part of the final examination for medical students in Dundee, Scotland claimed evidence of divergent validity for constructs, such as attitude and diligence, which are not assessed by their more traditional examination components.134 A more recent study of portfolios in psychiatry residency education demonstrated modest convergent validity for psychiatric knowledge and level of training.135

포트폴리오 평가의 신뢰도도도 연구되었으며, 평가자 간 신뢰도 추정치는 0.1에서 0.82까지이다. 일반화 및 의사결정 연구는 또한 최소 0.8의 일반화에 필요한 광범위한 항목 및/또는 측정자를 생성했다. 포트폴리오 평가에서 신뢰도 향상을 위한 전략의 여러 제안이 나왔다. 여기에는 구체적인 기준과 표준화를 통한 객관화가 포함된다. 그러나, 컨텐츠의 표준화와 구체적인 기준의 개발은, 아마도 실제로 신뢰성의 문제를 제거하지 않고, 학생 성찰과 학습의 범위를 제한함으로써, 평가의 타당성에 위협이 된다는 우려는 남아 있다.

The reliability of portfolio assessments has also been studied, with estimates of interrater reliability ranging from0.1 to 0.82.119,136–138 Generalizability and decision studies have also generated a wide range of numbers of items and/or raters required for a generalizability of at least 0.8.119,135,137 Multiple suggestions of strategies to improve reliability in portfolio evaluation have been made.120,132,139 These include objectification through specific criteria and standardization.120,132 The concern remains, however, that the standardization of content and the development of specific criteria present threats to the validity of the assessment by limiting the range of student reflection and learning,119,120 perhaps without actually eliminating the problem of reliability.140

그래서 우리는 지금 난관에 봉착했다. 에세이와 포트폴리오가 문학과 의학의 평가에 가장 적합한 도구로 홍보되고 있으며, [공감, 개인적 성찰, 전문성과 같이 쉽게 평가할 수 없지만 점점 중요해지고 있는 역량]을 우리가 살펴볼 수 있게 해준다. 그러나, 도구로서, 그것들은 우리의 전통적인 정신 측정학의 세분화된 기법을 사용하여 쉽게 분석될 수 없으며, 어떤 조치들에 의해서 그것들은 총괄적 결정에 사용할 만큼 "좋지" 않다. 그럼에도 불구하고, 이러한 중요한 구조와 그것들을 홍보하기 위해 고안된 커리큘럼을 포기하는 것은 너무 급진적인 선택이다.

So we are now faced with a conundrum. Essays and portfolios are promoted as the most appropriate tools for the evaluation of literature and medicine, and they may allow us to tap into competencies that we cannot easily assess but which are becoming increasingly important, like empathy, personal reflection, and professionalism. However, as tools, they are not readily analyzable using the granular techniques of our traditional psychometrics, and by some measures they are not “good” enough to use for summative decisions. Nonetheless, abandoning these important constructs, and a curriculum that is designed to promote them, is too radical an option.

캐닝스 외 연구진이 다음과 같이 요약한다. 

"진실로 신뢰할 수 있는 평가를 찾기 위한 노력에서, 우리는 때때로 '주관적인' 작품을 평가해야 할 필요성을 간과해서는 안 된다. 그러한 채점에서 신뢰성이 다소 떨어질 것이라는 점을 받아들여야 한다"고 덧붙였다. 

또는 스내든은 우리에게 경고한다. 

"만약 우리가 측정할 수 없는 것을 측정하려고 애쓰게 된다면, [. .we]는 그것이 더 쉽기 때문에 관련 없는 것을 측정하게 될지도 모른다." 

다행히 좀 더 주관적인 평가 도구의 엄격함rigour은 측정에 의존하지 않고 다른 방법으로 평가할 수 있으며, 그러한 평가의 예시들이 의학 문헌에 등장하기 시작하고 있다.

As Cannings et al. summarizes: “In our efforts to find a truly reliable assessment, we must not lose sight of the need to occasionally assess a ‘subjective’ piece of work [. . .]. We then have to accept that there will be some loss of reliability in the marking that follows.”130 Otherwise, Snadden warns us, if we “continue to struggle to measure the unmeasurable, [. . .we] may end up measuring the irrelevant because it is easier.”141 Fortunately, the rigor of more subjective evaluation tools can be assessed in other ways, without relying on measurement, and examples of such assessment are beginning to enter the medical literature.

정성적 방법 및 평가로서의 병리학

Qualitative methods and hermeneutics as assessment

환자 경험, 의사 경험, 모호성의 질적, 개별화된 세계에 정량적 엄격성의 규칙을 적용하려고 시도하기보다는, 우리는 어떤 형태의 평가가 더 잘 연구될 수 있고, 어떤 질문은 질적 방법론을 사용하여 더 잘 대답할 수 있다는 것이 점점 더 많이 공표되는 인식을 볼 수 있다. 

Rather than attempting to apply the rules of quantitative rigor to the qualitative, individualized world of patient experience, physician experience, and ambiguity, we can look to the increasing published recognition that some forms of assessment can be better studied, and some questions better answered, using qualitative methodology.80,87,92

이러한 경향에 반영되고 있는 것은 의료실습과 의학교육의 서술적 세계에서 '해석-의식의 구별'의 중요성에 대한 이해의 증대다. 이는 포트폴리오와 에세이가 제공하는 질적 정보의 풍부함을 감안할 때 특히 해당될 수 있다. 다른 분야의 논술 평가에 대한 분석은 질적 접근법을 취하였다. 포트폴리오가 학생 평가에 대한 정성적 또는 양적, 질적 접근법을 혼합한 것으로 설명되어 왔기 때문에, 일부에서는 의료 교육에서 평가 도구로서의 포트폴리오 평가도 [질적 연구에 기초하여 수립된 접근방식]에서 이익을 얻을 수 있다고 주장해 왔다.

 Reflected in this trend is a growing understanding of the importance of “interpretation—the discernment of meaning”4 in the narrative worlds of medical practice and medical education. This may be particularly true of portfolios and essays, given the wealth of qualitative information that they provide. Analyses of essay evaluations in other disciplines have taken qualitative approaches.142 Because portfolios have been described as embodying a qualitative113 or a mixed quantitative and qualitative119 approach to student assessment, some have argued that the evaluation of portfolios as an assessment tool in health care education could also benefit from an approach founded in qualitative research.138,140,141,143,144

이것은 최근에 마스트리히트 대학의 의과대학에서 시도되었다.145 연구자들은 다음과 같은 세 가지 기본적인 전제에서 그들의 개입을 뿌리내렸다. 

This has recently been tried at the medical school at Maastricht University.145 The researchers rooted their intervention in three basic premises: 

• (1) 포트폴리오 평가의 가치가 표준화에 의해 상실되는 진정한 개인적 경험의 풍부함에 대한 기초에서 비롯된다는 것. 

(1) that the value of portfolio evaluation stems from its basis in the richness of authentic personal experience, which would be lost by standardization; 

• (2) 평가자 훈련과 체크리스트는 기존의 정신측정학 방법에 의해 평가된 적절한 신뢰성을 산출하기 위한 표준화의 결여를 보상할 수 없다는 것 

(2) that rater training and checklists cannot compensate for this lack of standardization to produce adequate reliability as assessed by traditional psychometric methods; and 

• (3) 질적 연구 전통에서 도출된 질적(및 주관적) 방법은 학생 평가에 대한 새로운 접근법을 제공할 수 있다는 것

(3) that qualitative (and subjective) methods, derived from the qualitative research tradition, can offer novel approaches to student assessment. 

그들은 네 가지 의사 역할("의료 전문가, 과학자, 의료 종사자 및 개인")과 관련된 개인의 장단점에 대한 반성과 증거를 포함하도록 의도된 포트폴리오의 형태별 및 종합 평가와 이러한 영역을 다루기 위한 학습 계획을 모두 수행했다. 종합평가에서 각 학생의 멘토는 '장점과 약점 분석의 질', '학습목표의 명확성과 실현가능성' 등 복수의 글로벌 기준을 활용했다.  그 후, 구분, 합격, 불합격 중 하나일 수 있는 멘토가 부여한 등급에 대해 학생과의 논의를 거쳐, 1, 2명의 다른 독자에 의해 확인되었으며, 13명의 평가위원(학생 멘토 포함)이 심사한 결과 계속 의견 불일치가 발생하는 경우.

They carried out both formative and summative evaluations of portfolios intended to contain reflections on, and evidence of, personal strengths and weaknesses in relation to four physician roles (“medical expert, scientist, health care worker and person”145) as well as learning plans to address these areas. In the summative evaluations, each student’s mentor used multiple global criteria such as “the quality of the analysis of strengths and weaknesses” and “the clarity and feasibility of the learning objectives.”145 The grade assigned by the mentor, which could be either distinction, pass, or fail, was then discussed with the student, confirmed by one or two other readers, and in cases of continuing disagreement reviewed by a committee of 13 assessors (including the student’s mentor).

정성적 연구 내에서 [구성주의적 전통으로부터 두 가지 방법론적 기준을 도입]함으로써, 신뢰성과 신뢰성의 병행적 타당성과 신뢰성에 이용할 수 있다. 그리고 나서 그들은 다음을 보장하기 위해 질적인 방법의 영역에서 받아들여진 전략을 사용했다. 

• 신뢰도(절제, 장기적 참여, 회원 확인) 및 

• 종합 평가의 신뢰도(추적 추적, 신뢰도 감사)

Having introduced two methodological criteria from the constructivist tradition146 within qualitative research, credibility and dependability, which can be used to parallel validity and reliability, they then used accepted strategies from the realm of qualitative methods for ensuring the 

• credibility (triangulation, prolonged engagement, member checking) and 

• dependability (audit trail, dependability audit) of their summative assessment.

그러나, 방법론의 진정한 계층이 없는 경우, 우리는 [하나의 전통의 기준]을 [다른 타당성 담론의 이미 엄격한 방법론]에 강요하지 않도록 주의해야 한다. 그렇게 되면 "[단일 평가 수행 기준에 기초한 기계적인 결정]은 [복수의 평가 정보 출처에 걸쳐 축적되고 삼각된 정보에 기초한 전문적 판단]으로 대체된다."

However, in the absence of a true hierarchy of methodologies, we should be careful to avoid imposing the criteria of one tradition onto the already rigorous methodology of another valid discourse, wherein the “mechanistic decision based on a standard of performance on a single assessment is replaced by a professional judgment based on accumulated and triangulated information across multiple sources of assessment information.”87

평가 연구에서 질적 방법의 맥락에서 자주 논의되는 세 번째 방법론적 기준은 authenticity로서, 이는 "측정된 결과가 인간 성과의 적절하고, 의미 있고, 중요하고, 가치 있는 형태를 나타내는 정도"로 정의된다. 

• 특히 포트폴리오가 '일정 기간 동안의 실제 수행, 즉 이론의 적용과 학생이나 의사의 수행 정도를 평가한다'는 평가를 할 수 있다는 점에서 진정한authentic 평가의 형태로 제시되어 왔다. 

• 비슷하게 에세이는 서면 의사소통 기술과 서술 구조와 같은 역량에 대한 진정한 평가 도구라고 주장될 수 있다. 

A third methodological criterion which is often discussed in the context of qualitative methods in assessment research is that of authenticity, defined as “the extent to which the outcomes measured represent appropriate, meaningful, significant and worthwhile forms of human accomplishments.”147 

• Portfolios in particular have been advocated as authentic forms of assessment119 in that they allow the evaluation of “performance in practice over a period of time, in other words they assess the application of theory and the performance of the student or doctor.”117 

• Essays can similarly be argued to be authentic evaluative tools for competencies such as written communication skills and narrative structure. 

이러한 진정성은 "한편으로는 평가와 교육목표, 다른 한편으론 미래실천 요구 사이의 최적의 조화를 가능하게 한다." 그러나, 우리가 본 바와 같이, 신뢰도를 높이기 위해 종종 심리학 담론에서 주창되는, 할당된 업무의 표준화 및 평가의 구조화는, 진정성에 중대한 위협을 제기한다.

Such authenticity allows “optimal congruence between assessment on the one hand and educational goals and the demands of future practice on the other.”92 However, the standardization of assigned tasks and the structuring of their assessment, which, as we have seen, are often advocated in the psychometric discourse to increase reliability, present a significant threat to authenticity.119

서면 본문의 평가에 대한 또 다른 흥미로운 비심리학적 접근법은 모스의 평가방법에 의한 것이다. 이는 마스트리히트 집단의 정성적 기준보다 덜 엄격한 구성주의적 방법론을 사용하며, 대신 헤르메네우틱 텍스트 분석의 고전적 전통에 기초한다(위의 방법 섹션 참조). 모스는 교육에서의 헤르메틱학을 진보적 통합에 기초한 실천으로 묘사하고 있는데, 여기서는,

인간의 현상(문예작품이든 학생의 시험이든)은 "전체를 그 부분에 비추어 이해하려고 노력하며, 각 부분이 전체의 일관성 있는 해석으로 설명될 수 있을 때까지 가용한 증거에 대한 해석을 반복적으로 시험한다"고 해독한다.

Another interesting nonpsychometric approach to the evaluation of written texts comes from Moss’s hermeneutics of assessment. This uses less rigidly constructivist methodology than the Maastricht group’s qualitative criteria, drawing instead on the classic tradition of hermeneutic textual analysis (see the Methods section, above). Moss describes hermeneutics in education as a practice based on progressive integration, in which 

human phenomena (whether literary works or students’ tests) are deciphered by trying “to understand the whole in light of its parts, repeatedly testing interpretations against the available evidence until each of the parts can be accounted for in a coherent interpretation of the whole.”148 

그녀의 방법은 맥락을 강조하고, 포트폴리오에 있을 수 있는 것과 같은 일련의 텍스트에 대한 평가와 관련된 토론과 토론을 문서화되고 단계적인 방식으로 수행된다.

Her methods highlight context and promote discussion and debate around the assessment of a series of texts, such as might be in a portfolio, carried out in a documented, stepwise manner.113

고찰 Discussion

정량적으로 결정된 심리학적 결함에도 불구하고, 에세이와 포트폴리오가 문학 및 의학 교과목의 많은 목표를 평가하는 데 적합한 도구로 남을 수 있다. 예를 들어, 에세이는 추리력, 쓰기 능력과 같은 구성의 평가에 적합한 반면, 포트폴리오들은 반성의 촉진과 평가를 위해 특별히 개발되었다. 따라서 에세이와 관련된 서면 과제는 서사적 능력과 서면 의사소통 능력을 포함한 서술적 능력의 평가에 적절한 메커니즘을 제시한다. 가장 간단히 말해서, 그들은 의사가 [분리된 임상 정보로부터 논리 정연한 병력를 만들어 내고자 면밀한 독서close reading를 하듯] 글에서 이야기를 추출하는 능력을 평가하는 데 사용될 수 있다.

In spite of their quantitatively- determined psychometric flaws, essays and portfolios may remain suitable tools for the assessment of many of the objectives of a literature and medicine curriculum. For example, essays are appropriate for the assessment of constructs such as reasoning and writing skills, whereas portfolios have been specifically developed for the promotion and evaluation of reflection. Essays and related written assignments therefore present an appropriate mechanism for the evaluation of narrative skills, including narrative competence and written communication skills. Most simply, they can be used to assess the ability to extract a story from a text by close reading in the way that physicians fashion a coherent history from disjointed pieces of clinical information.

(에세이나 포트폴리오의) 주관성은 비록 심리측적적 프레임워크 측면에서 문제가 있지만, 모호한 텍스트, 개념, 감정의 탐구에 도움이 된다. 예를 들어, 임상실습 전에 쓴 에세이는, 환자와 의사의 관점에서 제시된 이야기들에 관한 것으로, 학생들에게 다음을 하게끔 한다

• 환자의 경험에 대한 이해를 보여준다

• 환자의 질병이 의사와 다른 보호자에게 미칠 수 있는 정서적 영향을 탐구한다

• 잠재적으로 어려운 직업적 딜레마를 반성한다

Their subjectiveness, although problematic within a psychometric framework, also lends itself to the exploration of ambiguous texts, concepts, and feelings. Essays written in the preclerkship, for example, about stories presented from patients’ and physicians’ points of view, can allow a student 

• to show an understanding of a patient’s experience, 

• to explore possible emotional repercussions of a patient’s illness on her physicians and other caregivers, and 

• to reflect on potentially difficult professional dilemmas. 

내용보다는 과정을 강조함으로써 실생활에서 이런 상황을 경험해야 하기 전에 공감과 정서적 자기반성과 관련된 기술을 개발하는 데 도움이 될 수 있다. 그러한 에세이에 대한 "정답"의 결여는 적절히 프레임을 짜면 문학이나 의학 모두에서 불확실성의 개념을 도입할 수 있다.

By emphasizing process rather than content, this can help develop skills related to empathy and emotional self-reflection before having to experience such situations in real life. The lack of a “right answer” for such an essay can, if framed appropriately, introduce the idea of uncertainty both in literature and in medicine.

현실적인 이유로, 공식적인 에세이는 임상 기간 동안 배정하기 어렵다. 그러나, 임상실습 전에 가르친 스킬을 바탕으로 하는 짧은 성찰 포트폴리오(또는 커리큘럼의 나머지 부분에 따라 더 일반적인 포트폴리오의 한 부분)는 공감, 자기 성찰의 과정, 그리고 서술적 스킬을 계속해서 장려하고 평가할 수 있다.

For practical reasons, formal essays are hard to assign during the clinical years. However, a portfolio of short reflections (or a section of a more general portfolio, depending on the rest of the curriculum), which builds on skills originally taught in the preclerkship, can continue to encourage and assess empathy, the process of self-reflection, and narrative skills.

포트폴리오가 개인, 개인의 속성 및 경험에 초점을 맞추기 때문에 서술적 지식으로 고무된 "한 명의 참가자 또는 관찰자가 한 상황에 대해 지역적이고 특정한 이해"를 표현하는 데 이상적이다. 이러한 맥락에서 학생 성찰의 중요성을 고려할 때, "포트폴리오의 성공적인 성찰적 사용"에 필요한 조건을 만들기 위해 주의를 기울여야 한다. 

• 멘토별 코칭 

• 초기initial 구조(특히 weaker 학생에 대하여). 학생들이 일단 성찰에 익숙해지면 그 구조에서 벗어날 수 있는 자유가 있다. 

• 최종적인 총괄 평가 

• 경험 또는 기타 성찰해야 할 자료의 가용성.

Because portfolios focus on personal, individual attributes and experiences,119 they are ideal for expressing the “local and particular understandings about one situation by one participant or observer”5 encouraged by narrative knowledge. Given the importance of student reflection in this context, care must be taken to create the conditions necessary for “successful reflective use of portfolios”: 

• coaching by mentors; 

• initial structure, especially for weaker students, with the freedom for students to move away from that structure once they are good at reflecting; 

• eventual summative assessment; 

• and the availability of experiences or other material on which to reflect.149

전반적으로 내용보다는 과정에 초점을 두고 있으며, 종합평가는 포트폴리오가 시간이 지남에 따라 발전함에 따라 광범위한 형성적 피드백을 동반해야 한다. 멘토에 의한 선별된 문예지문의 제공은 적절한 실제 경험이 없는 상황에서 자료의 이용가능성 문제에 도움이 될 수 있다. 학생들은 또한 할당된 문학 작품들에 대해 계속해서 간략하게 성찰할 수 있는데, 특히 일련의 짧은 작품들이 그들의 회전을 동반하도록 선택된다면 더욱 그러하다.† 포트폴리오에 통합될 수 있는 그 밖의 관련 항목으로는 병렬parallel 차트가 있다. 이 차트는 학생이 "임상 차트에 속하지 않지만 반드시 어딘가에 기록되어야 하는 환자의 관리 측면에 대하여,"150 또는 환자 이름이 제거된 실제 임상 노트와 편지 사본을 작성하여 서면 의사소통 능력을 평가한다. 

Overall, the focus remains on process, rather than on content, and summative assessment must be accompanied by extensive formative feedback as the portfolio develops over time. The provision of selected literary texts by mentors when needed can help with the issue of availability of material in the absence of appropriate real experiences. Students can also continue to reflect briefly on assigned works of literature, particularly if a series of short works is chosen to accompany their rotations.† Other related items that could be integrated into a portfolio include parallel charts, in which students write “about aspects of the care of their patients that don’t belong in the clinical chart but must be written somewhere,”150 or copies of real clinical notes and letters, with patients names removed, to assess written communication skills. 

결론 Conclusion

문학 및 의학 교과 과정에 적합한 평가 도구는 심리학 담론의 전통적인 평가 기준을 충족하지 못하며, 그 진위를 보존하려면, 향후에 그 평가 도구에 부합하지 않을 가능성이 높다. 그러나 의료 교육 연구에 서서히 도입되고 있는 질적 연구라는 또 다른 담론에서 따온 엄격하고 유용한 기준들이 있다. 이론적인 관점에서, 진리의 실증주의적 개념을 회피하는 평가 전략을 사용하는 것은 문학 및 의학 교과과정의 목적과 일치한다. 문학이 "무엇보다 질적 구별점을 가지고 있다"고 가정한다면, 질적 척도는 적절하다. 그것이 추진하는 학습과 일치하는 평가를 만들 필요가 있음을 반영하여, 평가에 대한 구성주의적 접근법과 헤르메뉴틱 접근법 내에서 개성과 참여에 대한 강조는 문학과 의학의 맥락에 대한 적합성을 더욱 강조한다.

The assessment tools appropriate for a literature and medicine curriculum do not meet the psychometric discourse’s traditional evaluation criteria and, if they are to preserve their authenticity, are not likely to conform to them in the future. However, there are rigorous, usable criteria taken from another discourse, that of qualitative research, which are slowly being introduced into medical education research. From a theoretical perspective, using evaluation strategies that shun the positivist notion of truth is consistent with the objectives of a literature and medicine curriculum; given that literature is “concerned above all with qualitative distinctions,”106 qualitative measures are apposite. Reflective of the need to create assessment congruent with the learning that it drives, the emphasis on individuality and engagement within both the constructivist and hermeneutic approaches to evaluation further highlight their suitability for the context of literature and medicine.

---

Review

 

. 2006 Oct;81(10 Suppl):S128-37.

 doi: 10.1097/00001888-200610001-00032.

Literature and medicine: a problem of assessment

Ayelet Kuper 1

Affiliations 

Affiliation

• 1Wilson Centre for Research in Education, University Health Network, 200 Elizabeth Street, Eaton South 1-565, Toronto, Ontario, Canada M5G 2C4. ayelet94@post.harvard.edu

• PMID: 17001123
 
• DOI: 10.1097/00001888-200610001-00032

Abstract

Background: "Literature and medicine" is increasingly common in medical schools but not within medical education research. This absence may relate to it not being problematizable in the quantitative way in which this psychometrically-oriented community tends to conceptualize research questions.

Method: Databases were searched using relevant keywords. Articles were evaluated using methodologies appropriate to their fields. The resulting information was structured around a framework of construct-appropriate assessment methods.

Results: Literature and medicine is intended to develop skills as potential proxy outcomes for important constructs. Proposed tools to assess these skills are difficult to evaluate using the field's traditional quantitative framework. Methodologies derived from the qualitative tradition offer alternative assessment methods.

Conclusion: The medical education research community should take on the challenges presented by literature and medicine. Otherwise, we run the risk that the current evaluation system will prevent important constructs from being effectively taught and assessed.