온라인 의학교육에서 윤리적으로 가르치기: AMEE Guide No. 146 (Med Teach, 2022)
AMEE guide to ethical teaching in online medical education: AMEE Guide No. 146
Ken Mastersa , David Taylorb , Teresa Lodac and Anne Herrmann-Wernerd

코스 계획
Course planning

법률, 지침 및 정책
Laws, guides and policies

코스를 설계하기 전에 코스 설계자는 윤리적인 코스 설계를 보장하기 위해 수용되어야 하는 다양한 표준을 알고 있어야 합니다. 이것들은 위에 열거된 가장 명백한 윤리적 문제와 관련이 있을 것이다. 다소 느슨하게, 이러한 표준은 [법률, 디자인 가이드 및 기관 정책]의 세 가지 그룹으로 나눌 수 있다.
Before designing a course, course designers should be aware of a range of standards that need to be accommodated in order to ensure the ethical course design. These will relate to the most obvious ethical issues as listed above. Rather loosely, these standards can be divided into three groups: laws, design guides, and institutional policies.

법률
Laws

[관련 법]은 나라마다 다르므로, 모든 교사에게 적용되지 않을 수 있다. 그러나 의학교사가 이러한 법의 관할권 밖에 있는 경우에도 강좌를 설계할 때 유용한 지침이 될 수 있다. 표 1은 가장 관련성이 높은 법률의 목록을 보여줍니다.
The relevant laws differ from country to country, and so may not be applicable to all teachers. Even when the medical teacher falls outside the jurisdiction of these laws, however, they can be useful guides when designing courses. Table 1 gives a listing of some of the most pertinent laws.

In addition, some training is available through the Kansas Accessibility Resource Network (KASN) (free, with registration) (https://ksarn.org/free-training/) and extra tips from the University of Minnesota (https://accessibility.umn.edu/what-you-can-do/start-7-core-skills).

설계 가이드 및 루브릭
Design guides and rubrics

법률 외에도, 자신의 진로를 형성하는 데 도움을 줄 수 있는 몇 가지 [안내서와 루브릭]이 있다. 이들 중 대부분은 전반적인 과정 설계를 위해 설계되었지만, 대부분의 세부 사항은 자료의 접근성에 초점을 맞추고 있습니다. 특히 가치 있는 세 가지는 다음과 같다.
In addition to laws, there are several guides and rubrics that can be used to help shape one’s course. Most of these are designed for overall course design, but many of the specifics focus on the accessibility of materials. Three that will be of particular value are:

• 품질 문제(QM): (https://www.qualitymatters.org/. . . . . 이 사이트는 온라인 교육을 위한 매우 우수하고 포괄적인 도구 세트를 제공합니다. 최소한 고등 교육을 위한 그들의 루브릭(https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . )은 개별 강사들이 자기 평가와 더 넓은 동료 평가를 위해 사용할 수 있다. 루브릭은 여행을 시작하는 사람에게는 부담스러울 수 있으므로 초보자는 천천히 진행하기를 원할 수 있습니다. ERT를 사용해 온 사람들에게는 QM 지침에 따라 귀하의 자료를 변환하는 것이 기본 윤리 기준을 충족하도록 하는 데 큰 도움이 될 것입니다(QM 사이트의 자료의 대부분은 무료가 아니며 저작권 제한).s가 존재하므로 사용자는 무엇을 사용할 수 있는지 알아야 한다).
  
• 앤스티 앤 왓슨의 루브릭(앤스티 앤 왓슨 2018)도 매우 유용하며 크리에이티브 커먼즈(CC BY-NC-SA 4.0) 라이센스를 통해 구입할 수 있다.
  
• QM 자료를 활용한 국가품질온라인학습표준(NSQ)(https://www.nsqol.org/. . . )도 심층 가이드를 제공한다.
• Quality Matters (QM): (https://www.qualitymatters.org/. . . . ). This site provides an extremely good and comprehensive set of tools for online education. At the very least, their rubric for higher education (https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . . ) can be used by individual instructors for self-evaluation and for broader peer-evaluation. The rubric might be daunting for somebody starting on the journey, so novices may wish to progress slowly; for those who have been using ERT, conversion of your material according to QM guidelines will go a long way in ensuring that your course meets basic ethical standards (Much of the material on the QM site is not free, and copyright restrictions exist, so users should be aware of what may be used).
• Anstey and Watson’s rubric (Anstey and Watson 2018) is also very useful and is available through a Creative Commons (CC BY-NC-SA 4.0) licence.
• National Standards for Quality Online Learning (NSQ) (https://www.nsqol.org/. . . . ) which uses the QM material, also offers in-depth guides.

기타 표준 및 루브릭에 대한 논의는 (Martin et al. 2017)을 참조하십시오. 강사들이 루빅 기반 교육 설계에서 벗어나면서, 그들은 그들의 자료를 형식화formalize하고 또한 이러한 많은 루빅 뒤에 있는 원리들을 이해하기를 원할 수 있다. 이러한 경우 관련 이론에 익숙해지기 위한 유용한 출발점이 될 것이다.
For a discussion of other standards and rubrics, see (Martin et al. 2017). As instructors move away from rubric-based instructional design, they may wish to formalise their material, and also understand the principles behind many of these rubrics. For these, useful starting points for familiarising oneself with the pertinent theories would be (Clark and Mayer 2003; Sandars et al. 2015; Picciano 2021).

제도적 정책
Institutional policies

대부분의 기관은 데이터 보호, 개인 정보 보호, LMS의 구체적인 사용 등 전자 시스템의 올바른 사용을 다루는 정책을 가지고 있으며, 이러한 정책들을 교사와 학생 모두 잘 알고 있어야 해당 기관이 운영하지 않을 수 있다.
Most institutions have policies covering the correct use of their electronic systems, including data protection, privacy, and the specific usage of the LMS. It is necessary for both teachers and students to be aware of these so that they do not run afoul of the institution.

또한 개별 부서 및 과정에는 허용 가능한 행동에 대한 [추가 규칙]이 있을 수 있습니다. 모든 관련자들이 이것들을 인식하도록 하는 것이 중요하다. 각 부서는 교사와 학생들에게 알려야 하며, 커리큘럼 문서도 이를 참조하는 것이 좋을 것입니다(아래 약술). (학과에 이러한 사항이 없다면 윤리 교사가 이를 공식화하는 데 도움을 줄 수 있습니다.)
In addition, individual departments and courses may have extra rules regarding acceptable behaviour. It is important that all concerned are made aware of these. Departments should inform their teachers and students, and it would be a good idea for curriculum documents to refer to these also (as outlined below) (If departments do not have these, then the ethical teacher could take a hand in formulating them).

그러나 이 모든 것에서 [윤리적 행동에 대한 욕구와 현실적인 기대의 균형]을 맞추는 것도 중요하다. 대표적인 두 가지 예는 다음과 같다.
In all of these, however, it is also crucial to balance a desire for ethical behaviour with realistic expectations. Two typical examples are:

• 학생들이 다른 학생들로부터 투영된 용납할 수 없는 이미지에 노출되지 않도록 하는 것이 바람직하지만, 교사들은 우리가 온라인에서 가르칠 때, 우리는 학생들의 집에 있다는 것을 기억해야 한다. 결과적으로, 학생들이 그들의 삶의 측면의 이미지나 오디오를 의도치 않게 방송할 가능성이 있다. 그렇지 않으면 대면 교실에서 받아들일 수 없을 것이다. 이는 학생의 집에 있는 다른 사람들의 (고의적이거나 의도적이지 않은) 배경 간섭이나 단순한 잘못된 사건의 결과일 수 있습니다. 격한 반응보다는 교사와 기관의 이해심 있는 반응이 바람직할 것이다.
• While it is desirable to ensure that students are not exposed to unacceptable images projected from other students, teachers should remember that, when we teach online, we are in students’ homes. As a result, it is possible that students will unintentionally broadcast images or audio of aspects of their lives that would otherwise be unacceptable in a face-to-face classroom. This might be the result of (intentional or unintentional) background interference from other people in the student’s home or a simple ill-advised event. An understanding reaction from the teacher and institution, rather than a fierce response, would be preferable.
• [잘못된 생각ill-thought-out이나 광범위한 산업 소프트웨어 표준에 기반을 둔 제도적 온라인 행동 약관]은 교사와 학습자에게 심각한 결과를 초래할 수 있다. 예를 들어, [불쾌한 자료를 보내거나 받는 것]을 범죄로 만드는 것: 이것은 자동으로 LMS 과정 게시판이나 포럼에 게시된 메시지를 여는 것이 범죄라는 것을 의미한다. 따라서 범죄를 저지르는 것에 대한 유일한 확실한 예방 방법은 포럼에 게시된 내용을 절대 읽지 않는 것인데, 그렇게 되면 강좌의 교육적 가치를 즉시 떨어뜨립니다. 그런 정책이 존재한다면 이를 올바른 제도적 경로로 제기해 변화시키는 것이 현명할 것이다.
• Institutional online behaviour terms and conditions that are ill-thought-out, or based on broad industry software standards, can have serious consequences for teachers and learners. For example, making it an offence to send or receive offensive material: this automatically means that opening such a message posted into the LMS course bulletin boards or forums is an offence. The only sure prevention method against committing an offence, then, is to never read anything posted into the forums, which immediately lessens the educational value of the course. If such policies exist, it would be wise to raise this with the correct institutional channels, so that they may be changed.

기관 행정 및 지원 구조
Institutional administrative and support structures

대면교육에서는 개별 교사가 혼자 근무하는 경우가 많고, 주변에는 행정 및 기술 인력이 상주해 학생들의 눈에 띄지 않는 경우가 많다. 그러나 온라인 교육에서 [교육 매체]는 윤리적 의무를 따르는 [테크니컬 및 기타 직원들]에 의해 통제되는데, 이것이 늘 교사의 교육적 필요와 일치하지는 않는다. 결과적으로, 아래에서 논의되는 많은 항목은 개별 교사 및 심지어 부서의 통제를 벗어날 수 있으며, [소프트웨어 및 파일 서버의 원활한 작동]이 주된 관심사인 다른 사람들과 신중하게 협상해야 할 필요가 있을 수 있다.
In face-to-face education, individual teachers frequently work alone, and administrative and technical staff are present on the periphery, frequently unobserved by students. In online education, however, the very medium of instruction is controlled by technical and other staff who may be guided by ethical imperatives that do not always align themselves with the pedagogic needs of the teachers. As a result, many of the items discussed below may be beyond the control of individual teachers and even departments, and may need to be delicately negotiated with others who see their prime concern as the smooth-functioning of software and file servers.

충돌 가능한 영역은 다음과 같습니다.
Areas of possible conflict may include:

• 온라인 교육을 거의 받지 않은 교사와 학생들은 [끊임없이 변화하는 환경]에 적응하고 적응해야 한다.
  
• 접근성을 용이하게 하기 위해 [추가적인 비표준 소프트웨어 및 플러그인, 글꼴, 레이아웃을 사용하고자 하는 교사의 욕구]는 LMS 주제 및 템플릿에 반할 수 있다.
  
• 교원 및 학생에게 [자체 하드웨어 및 소프트웨어 기술]을 교수 및 학습에 사용하도록 요구하는 기관
  
• 온라인 환경에 적용되고 효과가 있을 것으로 예상되는 [대면 교육에 적합하도록 발전된 기관의 시간표, 과정 섹션 및 강의 규모]
  
• [필요한 지원을 하지 않으면서], 교원 및 학생에게 기관의 기준 준수 요구,
  
• 윤리적 교육 윤리적 요건과 상충될 수 있는 [기관 및 교사의 데이터 관행].
  
  
• Teachers and students who are largely untrained in online education having to adapt and adjust to an ever-changing environment;
• Teachers’ desire to use extra non-standard software and plugins, fonts, layouts in order to ease accessibility, but which may be contrary to LMS themes and templates;
• Institutions’ requiring teachers and students to use their own hardware and software technology for teaching and learning;
• Institutions’ time tables, course sections and class sizes that have evolved to suit face-to-face teaching imposed into an online environment and expected to work;
• Institutions’ demands for standards on teachers and students without supplying the necessary support, and
• Institutions’ and teachers’ data practices that may conflict with ethical educationally ethical requirements.

임상 교육에서 환자와 관련된 다른 문제가 발생하며, 이 가이드의 뒷부분에서 다룹니다.

In clinical teaching, other issues around patients arise, and are dealt with later in this Guide.

소셜 미디어 및 타사 소프트웨어
Social media and third-party software

온라인 의학 교육은 소셜 미디어와 제3자 소프트웨어 및 웹 사이트를 사용함으로써 향상될 수 있는데, 일부는 일반적으로 교육적인 것으로 간주되지 않을 수 있으며, 일부는 다른 관할 지역의 윤리 원칙에 따라 지도될 수 있다. 독점, 자유 또는 오픈 소스 여부에 관계없이 소프트웨어 개발자와 공급업체는 소프트웨어 사용에 대한 데이터를 수집하기를 원할 수 있으며, 이러한 활동의 구체적인 내용은 소프트웨어의 약관에 묻혀 있을 수 있습니다. 의학교사와 기관은 이러한 조건을 인지하고, 이러한 조건에 기초하여 소프트웨어 적합성에 대한 결정을 내리는 것이 필수적이다. 학생들에게 우려할 만한 부분이 있다면 학생들에게 이를 알려야 한다.
Online medical education can be enhanced by the use of social media and third-party software and websites, some of which may not normally be considered educational, and some may be guided by ethical principles from other jurisdictions. Whether proprietary, free or open-source, software developers and vendors may wish to gather data about the use of their software, and the specifics of these activities may lie buried in the software’s Terms and Conditions. It is imperative that the medical teacher and the institution be aware of these conditions, and make decisions about the software suitability, based upon those conditions. If there are areas that may be of concern to students, the students should be made aware of this.

When I say ... 페다고지(Med Educ, 2020)
When I say … pedagogy
Tim Dornan1 | Martina Kelly2

[페다고지]라는 단어를 말하는 것은 '당신이 가르치는 것을 의미한다면, 왜 내가 발음할 수 없는 단어를 사용하는가?'라는 대답을 불러일으킨다. 만약 우리가 '여러 학습자들과 함께 앉아 있을 때, 그 다음은 어떻게 될까?'라고 대답한다면, 10명의 선생님들은 서로 모순되는 11개의 답을 할 것이다. 이 기사는 명시적인 교육학이 어떻게 다른 사람을 교육하는 예술을 공식화하고, 교육 프로그램을 일관되게 만들고, 교육자 또는 학생의 개성을 손상시키지 않고 영향을 증가시킬 수 있는지를 설명한다. 그것은 시대정신을 많이 말해주고 있는데 옥스포드 의학 교육 교과서의 7페이지만이 교육학을 언급하고 194페이지가 평가를 언급하고 있다. 만약 우리가 '당신이 기대하는 것이 아니라 당신이 검사하는 것을 배우겠다'는 학생들의 성향에 반하는 가능성을 가지려면, 그것은 그 반대여야 한다: 교육자들은 학생을 시험할 때 만큼이나 학생들이 배우도록 돕는 것(pedagogy)에 28배 더 관심을 가져야 한다.
Saying the word pedagogy invites the reply: ‘If you mean teaching, why use a word I can't pronounce?’. If we were to respond ‘when you sit down with a bunch of learners, what happens next?’ it's likely that 10 teachers would give 11 mutually contradictory answers. This article explains how an explicit pedagogy can formalise the art of educating others, make educational programmes coherent and increase their impact without compromising any educator's or student's individuality. It says a lot about the zeitgeist that just seven pages of the Oxford Textbook of Medical Education refer to pedagogy whilst 194 pages refer to assessment.1 If we are to stand any chance of counteracting pupils' tendency to ‘learn what you inspect, not what you expect’, it should be the other way round: educators should be 28 times as interested in helping students learn—pedagogy—as in testing them—assessment.

그리스어 paydos(아동)와 agogos(지도자)에서 파생된 교육학은 원래 [아이들을 학교로 이끄는 과제]를 기술했다. 시간이 흐르면서, 그 용어는 선생님들에게로 옮겨졌다. 그리고 나서, 리더십은 학생들이 무엇을 어떻게 가르쳐야 하는지를 결정하는 것으로 구성되었다. 그래서 역사는 페다고지라는 단어에 [권력있는 교사와 순응하는 아동]의 [위계적 관계]를 포함시켰다. 20세기 동안 영향력 있는 학자들은 학습자를 덜 종속시키고, 따라서 그들 자신의 교육에 [더 많은 agency을 행사]할 수 있도록 하는 것을 목적으로 하는 정신 이론을 발전시켰다.

• 비고츠키는 사회적 관계 속에서 성인이 어떻게 아이에게 그들의 능력을 확장하도록 자극할 수 있는지를 보여주었다. 성인에 대해서는 '근위 발달 지역'을 만들었다. 
• 듀이는 교육에 대한 민주적 접근을 옹호함으로써 학습자들에게 더 큰 권한을 주었다. 
• 놀스는 학습자들이 학습을 책임질 수 있도록 선생님들이 따뜻하게 행동하도록 격려했다.

Pedagogy, derived from the Greek words paidos (child) and agogos (leader), originally described the task of leading children to school. With time, the term transferred to teachers. Then, leadership consisted of deciding what and how pupils should be taught. So, history embedded a hierarchical relationship between powerful teacher and subordinate child in the word pedagogy. During the twentieth century, influential scholars developed theories of mind whose purpose was to make learners less subordinate and, therefore, able to exercise more agency in their own education.

• Vygotsky showed how an adult, within a social relationship, could stimulate a child to expand their capabilities: the adult created a ‘zone of proximal development’.
• Dewey gave learners greater agency by championing a democratic approach to education.
• Knowles encouraged teachers to behave warmly so that learners felt able to take charge of their learning.

예를 들어, 이러한 교육 혁명은 1990년대에 영국 GMC의 의대 학생 교육에 대한 비전 있는 초판인 '내일의 의사들Tomorrow's Doctors'과 함께 시작되었다. 이 문서는 네덜란드 인지심리학자인 [헹크 슈미트]의 연구를 바탕으로 작성되었는데, 그는 학생들이 의학 이론을 암기하기보다는 적극적으로 배우도록 동기를 부여하는 방법을 체계적으로 연구했다. 그룹 설정에서 교육자는 다음을 통해 이를 수행했다. 

• (a) 학생들이 자신의 사전 지식을 명확하게 표현하도록 유도한다. 
  
• (b) 학생들이 그룹 토론에서 그 지식을 활성화하도록 돕는다. 
  
• (c) 새로운 지식이 통합될 수 있도록 기존 지식을 재구성할 수 있도록 지원합니다. 
  
• (d) 학생들의 정보 저장 및 검색을 개선하기 위한 분석적 토론을 자극한다.

[사회적 상호작용]은 [지적 참여]와 결합될 때 학생들의 호기심, 동기부여, 그리고 따라서 학습을 증가시킬 수 있다. 슈미트가 최첨단 과학을 사용하여 교육의 기술art of education을 공식화한 것은 교육학적 발전을 전형적으로 보여준다. 이러한 작업의 흐름은 또한 '진행 테스트'를 만들어냈고, 이는 '크레밍'보다는 지식의 점진적인 성장에 보상을 주었다. 평가는 이제 페다고지를 전복시키기보다는 [페다고지와 함께] 진행될 수 있다.

This pedagogic revolution came of age in the 1990s with, for example, the visionary first edition of the UK General Medical Council's recommendations for medical student education, ‘Tomorrow's Doctors’.2 This document drew on the work of Henk Schmidt, a Dutch cognitive psychologist, who had systematically researched ways of motivating students to learn the theory of medicine actively rather than by rote. In group settings, pedagogues did this by:

• (a) cueing students to articulate their prior knowledge;
• (b) helping students activate that knowledge in group discussions;
• (c) helping them restructure their existing knowledge so that new knowledge could be integrated with it; and
• (d) stimulating analytical discussion to improve students' information storage and retrieval.3 

Social interaction, when coupled with intellectual engagement, could increase students' curiosity, motivation and therefore learning.4 Schmidt's use of leading-edge science to formalise the art of education epitomises pedagogic development. This stream of work also produced the ‘Progress Test’, which rewarded progressive growth of knowledge rather than ‘cramming’. Assessment could now proceed alongside pedagogy rather than subvert it.

그러나 이후의 사건들은 교육학적 원칙이 '모든 것에 맞는 하나의 사이즈' 방식으로 적용될 수 없다는 것을 보여주었다. 

• 슈미트의 교육학은 학생들이 [임상 전 이론]을 배우는 데 도움을 주었지만, [임상 현장 학습]에 적용되었을 때 덜 성공적이었다.
  • 원칙은 여전히 적용 가능하지만, 그 절차들은 학생들이 토론 그룹, 도서관, 가정 등 [심리적으로 안전한 장소]에서 배운다고 가정했다.
  • 그러나 임상 현장은 임상 작업의 계층적 조직과 사회적 복잡성, 아픈 사람을 돌보는 정서적 노동, 상충되는 우선 순위와 죽음의 필연성 때문에 [심리적으로 덜 안전]하다.
• [순수하게 자기주도적인 이론적 지식의 습득]에 기초한 교육학적 원칙은 [복잡한 사회적 공간을 탐색하는 데 필요한 능력]을 가르칠 수 없다. 운동 기술motor skills을 안정적으로 수행할 수 있도록 훈련시킬 수 없는 것도 마찬가지다.

Subsequent events showed, however, that pedagogic principles cannot be applied in a ‘one size fits all’ fashion.

• Schmidt's pedagogy helped students learn preclinical theory but it was less successful when applied to clinical workplace learning.5 
  • Whilst the principles remained applicable, the procedures assumed that students learned in psychologically safe places: discussion groups, libraries and at home.
  • Clinical workplaces, though, are less psychologically safe because of the hierarchical organisation and social complexity of clinical work, the emotional labour of caring for sick people, conflicting priorities and the inevitability of death.
• Pedagogic principles based purely on the self-directed acquisition of theoretical knowledge cannot teach students the capabilities needed to navigate complex social spaces, just as they cannot train students to perform motor skills reliably.

교육과정이 일관성을 가지기 위해서는, 근간을 이루는 가치(예를 들어, 교사와 학습자 사이의 더 민주적인 관계)가 다양한 학습 맥락과 의도된 학습 결과가 요구하는 바에 따라 [다양한 교육학적 변종]으로 표현되어야 한다.
For a curriculum to be coherent, its underpinning values—for example, more democratic relationships between teachers and learners—need to be expressed in as many different pedagogic variants as different learning contexts and intended learning outcomes require.

[중세 공예 길드]에서 유래한 '견습생'이라는 단어는 학생들이 직장에서 어떻게 배우는지를 묘사하기 위해 종종 사용된다. Lave와 Wenger는 이 용어가 [장기적, 일대일, 업무 중심 관계]를 가정한다고 설명했습니다. 그들은 노동자들이 [단기적, 다대 다, 정체성 중심 관계]에서 배우는 20세기 상황을 반영하기 위해 '실천 공동체'와 '적법한 주변 참여'라는 용어를 만들었다. [분산된 작업 그룹]의 교육적 관계가 오늘날의 전문 학습자에게 [근위 발달 영역]을 제공한다는 그들의 개념은 의학 교육에서 큰 매력을 가지고 있지만, 디테일에 악마가 있다. 병원 및 일반 실습 환경에 대한 우리의 연구에 따르면, [자기 주도 학습]이 학생들이 집단으로 이론을 배우는 방법에 대한 합리적인 설명이지만, ['지원된 참여supported participation']는 그들이 직장에서 배우는 방법을 설명하는 것으로 나타났다.
The word ‘apprenticeship’, whose origins were in medieval craft guilds, is often used to describe how students learn in workplaces. Lave and Wenger explained that this term assumes long-term, one-to-one, task-focused relationships.6 They coined the terms ‘communities of practice’ and ‘legitimate peripheral participation’ to reflect the twentieth century situation, where workers learn in short-term, many-to-many, identity-focused relationships. Their notion that educative relationships in distributed workgroups provide zones of proximal development for today's professional learners has had great appeal in medical education, but the devil is in the detail of implementation. Our research in hospital and general practice settings showed that, whilst self-directed learning is a reasonable description of how students learn theory in groups, ‘supported participation’ describes how they learn in workplaces.7

직장 학습의 전문가인 빌렛Billett은 다음과 같이 말한다.

• 교육학자pedagogues 가 세미나실, 도서관, 시뮬레이션 실험실에서 학생들이 이전에 습득한 추상적 지식과 기술을 맥락화하는 상황에 내재된 경험을 제공함으로써, 모든 직종이나 전문직업의 학생들이 [적극적이고 의도적인 직장 학습자]가 되도록 도울 수 있다.8
• 교육자pedagogues은 학생들을 지도하고, 비공식적 학습을 공유하고, 이야기를 하고, 듣고, 질문하고, 학생들에게 업무 활동을 친숙하게 하고, 학생들이 이를 실천할 수 있도록 함으로써 학습을 강화하고 확장한다.
• 교육자는 '가르칠 수 있는 순간'을 포착하고 작업 관행을 모델링합니다. 이것의 결과는 적응 행동과 그들이 연습할 수 있게 해주는 개인 유형의 지식으로, 전통적인 평가에서 테스트된 성문화 된 지식과는 거리가 멀다.

Billett, a guru of workplace learning, tells us that

• pedagogues can help students of any trade or profession be active and intentional workplace learners by providing situationally embedded experiences, which contextualise the abstract knowledge and skills students gained earlier in seminar rooms, libraries and simulation laboratories.8 
• Pedagogues augment and extend learning by coaching students, sharing informal learning, telling stories, listening, asking questions, familiarising students with work activities and allowing them to practise these.
• Pedagogues seize ‘teachable moments’ and model work practices. The outcomes of this are adaptive behaviour and a personal type of knowledge that allows them to practise, which is far removed from the codified knowledge tested in traditional assessments.

임상 교육자는 의대생들이 뉘앙스, 담론, 행동 수칙, 문화적 관행 및 실천적 지식을 배우는 데 도움이 된다. 그들은 학생들에게 매우 중요한 문서, 절차, 역할 및 과제를 숙지시킨다.
Clinical pedagogues help medical students learn nuances, discourses, codes of behaviour, cultural practices, and knowledge of practice; they acquaint students with all-important documents, procedures, roles and tasks.

우리가 페다고지라는 단어로 의미하는 것은, 인정하건대, 이상이다: 의과대학 교육과정에서 교사가 학습자와 함께 앉아 원칙을 적용할 수 있는 것이다. 이 원칙은 도덕적, 이론적, 경험적으로 건전하고, 명확하게 표현되며, 커리큘럼의 다른 구성요소의 다양한 요구에 맞게 조정된다. 이 원칙은 교수개발에 의해 잘 운영되고 공포된다. 우리는 [요리책 레시피]나, 여러 다른 해석에 열려있는 [모호한 의사표현]을 의미하지 않는다. 교육자나 학습자 모두 순수한 어른이나 순수한 어린이, 노예나 노예 주인이 되어서는 안 된다. 원칙을 명시하고, 이해하고, 공유한 교육과정에서는, 10명의 선생님이 내놓은 11가지 다른 답변은 혼란이라기보다 상호보완적일 수 있다. 우리가 페다고지라고 말할 때, 우리는 학생들이 그들의 능력을 최대한 발휘할 수 있는 [근위 발달 구역]을 만드는 교육적 관계를 형성하는 교사들을 의미한다.

What we mean by pedagogy is, admittedly, an ideal: for any teacher in a medical undergraduate programme to be able to sit down with learners and apply principles that are morally, theoretically and empirically sound, clearly articulated, tailored to the different needs of different components of the curriculum, well operationalised and promulgated by faculty development. We mean neither cook-book recipes nor vague statements of intent that are open to different interpretations. Neither pedagogues nor learners should be pure adults or pure children, slaves or slave masters. In curricula that have stated, understood and shared principles, 10 teachers' 11 different answers can be mutually reinforcing rather than chaotic. When we say pedagogy, we mean teachers forming educative relationships that create zones of proximal development in which students can learn to the best of their abilities.

교육: 표현의 자유? (Med Educ, 2022)
Teaching: The expression of freedom?
Zareen Zaidi

필자는 Freire의 영향을 받은 학자로서, 이전에 식민지화된 국가에서 교육을 받고, 전 세계 북부에서 의료 교육 도구와 관행의 구현에 대해 교육을 받았으며, 그 후 전 세계 남부에서 이러한 접근 방식을 활용했다. Du et al의 문제 기반 학습(PBL) 촉진자 역할을 협상하는 보건 교육자의 전문 기관에 대한 기사는 나의 관심을 끌었다. 파울로 프레이레는 교육학을 매우 정치적인 관행이기도 한 자유의 실천으로 보았다. 이러한 비판적이고 탈식민지적인 관점에서, 나는 외부 신자유주의/서구적 모델이 카타르에 있는 Du et al의 PBL 촉진자들의 기관에 미치는 영향에 대해 궁금해하고 이 논평에서 몇 가지 관점을 논의하였다.
As a Freirean-inspired scholar who has been educated in a previously colonised country, trained in implementation of medical education tools and practices in the global North, and has then utilised these approaches in the global South, Du et al.'s1 article on health educators' professional agency in negotiating their Problem-Based Learning (PBL) facilitator roles captured my attention. Paulo Freire viewed pedagogy as a practice of freedom that is also an eminently political practice. From this critical and decolonial point of view,2-4 I wondered about the impact of external neoliberal/western models on the agency of Du et al.'s PBL facilitators in Qatar and discuss some perspectives in this commentary.

세계적으로 의학교육의 기초는 '신자유주의'라는 이념에 점점 더 기반을 두고 있다. 신자유주의란 모든 경제활동에서 [민간부문의 역할]을 높이기 위해 노력하면서, [국가의 간섭을 제한함]으로써 자본주의를 통한 진보를 이룰 수 있다는 이념이다.5 교육 기관은 시장 주도형이며, 경쟁력을 강조한다. 신자유주의는 교육이 더 많은 표준화와 교수진의 더 많은 관리 통제와 함께 비즈니스 세계를 모델로 삼을 것을 요구한다. 신자유주의적 관점에서 교직원은 (Freire에 따라) 부차적인 계급으로 간주되거나, 학생들이 고객으로 보는 관점과 별합하여 army of labour로 간주된다. 
Globally, the foundations of the pedagogical system in medical education are increasingly based upon the ideology of ‘neoliberalism’. This is the ideology that progress can be achieved through capitalism and by limiting state interference while working to increase the role of the private sector in all economic activities.5 Education institutions are market driven, placing emphasis on competitiveness. Neoliberalism calls for education to be modelled after the business world with more standardisation and more managerial control of faculty. From a neoliberal perspective, faculty are viewed as a subaltern class (per Freire) or as an army of labour with students viewed as customers.6-8

[의학 교육에서 신자유주의의 증거]는, 주로 경제적 측면과 실습 확대에 초점을 맞춘 제도적 목표를 위해 교수들에게 [서비스 수익 창출에 대한 압력]을 증가시키는 학문적 비즈니스 모델에서 찾을 수 있다. 교육 및 연구 참여에 대한 보상이 거의 없는 상태에서 임상 생산성에 대한 집중도가 높아짐에 따라 환자 치료, 교육 및 연구 등 학술적 의료academic medicine의 임무가 위협받고 있습니다.
Evidence of neoliberalism in medical education can be found in the academic business models putting increased pressure on faculty to generate revenue in service to institutional goals that primarily focus on economics and practice expansion. The increased focus on clinical productivity with little compensation for engagement in education and research threatens the very mission of academic medicine—patient care, education and research.9

신자유주의는 개인과 기관이 '컨설턴트'나 파트너로 급여를 받는 등 역량기반 의료교육(CBME), 위탁가능 전문활동(EPA), PBL 등 하향식 교육과정에 초점을 맞춰 교육을 감염시킨다. MCQ와 OSCE를 포함한 평가도 관행을 표준화하는 데 사용되는 핵심 도구이다. 이러한 평가의 문제 중 하나는 '학습이 일련의 측정 가능한 기술과 행동으로 축소될 위험성'이지만, 이 관행은 또한 의료 교육을 영리 공급업체가 시험 준비 서적 및 인증을 판매하는 시장으로 변화시킨다(MCAT, Step 1-2, NBME).  
Neoliberalism infects education through a focus on top-down curricula such as competency-based medical education (CBME), Entrustable Professional Activities (EPAs) and PBL, with individuals and institutions being paid as ‘consultants’ or partners. Assessments including MCQ's and OSCEs are also key tools used to standardise practice. Although one of the problems with such assessments is the ‘risk of reducing learning to a series of measurable skills and behaviours’,10 the practice also turns medical education into a marketplace where for-profit vendors sell test prep and certification (MCAT, Step 1–2, NBME).11

신자유주의는 표준화된 무언가가 이익과 축적을 위해 거래되는 모델로 나타난다. 이와 관련하여 도그라 등은 많은 교육적 접근법이 '소수자에 대한 백인 지배의 역사적 맥락에 뿌리를 두고 있다'고 언급하고 있다. 겉보기에는 온화해 보이지만, 전문성 문화의 지배는 궁극적으로 파트너 기관의 전통 문화를 압도한다. 요점은, 이러한 교류가 반드시 양방향일 필요는 없고, 한 문화가 다른 문화에 대해 비대칭적인 문화적 강요가 된다는 것이다.
Neoliberalism, that is, manifests as models that become standardised and traded for profit and accumulation.12, 13 In this regard, Dogra et al. note that many educational approaches are ‘rooted in the historical context of white domination of disadvantaged minorities’.14 The dominance of the culture of expertise, although seemingly benign, ultimately overwhelms the traditional cultures of partnering institutions.15 The point being, these exchanges are not necessarily bidirectional, but are asymmetric cultural impositions of one culture upon another.

PBL은 고전적인 신자유주의 교육학적 사례로 작용한다. PBL은 또한 인적 자원에 대한 비용과 수요로 인해 비판받았지만, 여전히 전 세계적으로 널리 채택되어 왔으며, 이 분야의 서양 전문가들이 비서구적, 종종 비민주적, 맥락적, 또는 지역 교수진이 교육 프로그램에 등록하기 위해 개발도상국 기관의 지원을 받고 있다. 이런 의미에서, PBL은 위계에 도전하지 않으며, 전문가(주로 서구 출신의 부유한 전문가)가 비서구민에 대한 권한을 부여하는 전문화된 권위의 기존 구조를 유지한다. 또한, 교육자들은 교육의 목표를 더 폭넓게 성찰할 필요가 있다. 만약 목표가 [해방과 형평성]을 포함한다면, 교육자의 전문성을 인정하고 그들이 처한 상황에서 학습자의 요구를 충족시키기 위해 그들의 전문성을 사용할 수 있도록 권한을 부여하는 교육학의 필요성이 있다. PBL의 일부 지지자들은 PBL이 비판적 사고를 촉진할 수 있다고 주장한다. Freire는 비판적 사고가 시험으로 확인할 목표나 성과가 아니라고 설명함으로써 이 주장에 이의를 제기할 가능성이 높다. 오히려, 비판적 사고는 자기 결정과 시민 참여를 위한 도구이다.

PBL serves as a classic neoliberal pedagogical example. Although PBL has also been critiqued for its cost and demand on human resources, there has still been broad adoption worldwide, with western experts in the field being invited to implement PBL in non-western, often non-democratic, contexts or local faculty being supported by institutions in developing countries to enrol in training programmes.13, 16 In this sense, PBL does not challenge hierarchy but sustains the existing structure of professionalised authority wherein experts (primarily wealthy professionals from the west) are afforded power over non-westerners.17, 18 Additionally, educators need to reflect on the goals of education more broadly. If the goals include emancipation and equity, then there is a need for pedagogies that recognise the expertise of educators and empower them to use their expertise to meet the needs of the learners in the context they are situated. Some proponents of PBL contend that PBL can promote critical thinking; Freire would likely contest this claim by explaining that critical thinking is not an objective or outcome to be tested. Rather, it is a tool for self-determination and civic engagement.8

점점 더 [비서구권 맥락에 초대받는 서양 교육자들]과 [비서구권 기관] 간의 양방향 협업 교류가 요구되고 있다. 이러한 요구를 고려할 때, 나는 [국제적으로 협력하도록 초청된 의학 교육 학자들과 서양 훈련 맥락의 연구자들]이 프로젝트의 실행 과정 동안 그들의 reflexivity(즉, 그들의 판단, 관행 및 신념)을 설명할 것을 권고한이다. 그래서 그들의 가정과 관점이 독자들에게 명확하게 드러나야 한다. [반사성의 과정]은 권력 역학에 대한 논의와 그러한 우려를 잠재적으로 해결하기 위한 노력이 어떻게 이루어졌는지를 입증하는 데 도움이 될 것이다.
Increasingly, there have been several calls for bidirectional collaborative exchanges between western educators and their institutions, who are invited to non-western contexts.4, 19-21 Given these calls, I would encourage medical education scholars and researchers from western training contexts who are invited to collaborate internationally to describe their reflexivity (i.e. their judgements, practices and beliefs) throughout the process of implementation of a project so their assumptions and perspectives are evident to readers. The process of reflexivity would help demonstrate discussions about power dynamics and how efforts were made to potentially address such concerns.

카타르 보건 전문 교육 프로그램에서 PBL 촉진자 역할을 협상하는 촉진자의 professional agency에 초점을 맞춘 Du 등의 논문은 이러한 인식론적 관점과 맥락으로 읽을 수 있다. 카타르는 주로 이슬람교도이며, 1868년부터 군주제에 의해 통치되어 1971년 영국의 지배로부터 독립했습니다. 세계 자본주의 시장에서 상당한 자원과 부를 가진 지역 강국으로 부상했다.
It is with this epistemological lens22 and context that I read Du et al.'s1 article, which focuses on the professional agency of facilitators in negotiating their PBL facilitator roles in a health professions education programme in Qatar. Qatar is predominantly Muslim and has been ruled by a monarchy since 1868, gaining independence from British rule in 1971. It has emerged in the global capitalistic market as a regional powerhouse with significant resources and wealth.

Du et al.의 연구는 카타르 의과대학의 교수진의 agency를 조사한다. 간단한 말로 설명하면, 대리인은 그들의 일을 구체화하는데 있어 교사들의 적극적인 기여이다(즉, 개인과 직업 생활에서 통제력을 행사할 수 있는 정도). 저자들은 Q-방법론을 사용하여 촉진자의 전문 기관의 출처에 대한 5가지 다른 '관점'을 확인했는데, 그 중 4개는 긍정적이고 1개는 부정적이었다. 부정적인 시각(PBL 퍼실리테이터 agency의 출처로서의 정책지침)을 표명한 참가자들은 PBL 역할에 대한 agency가 떨어지는 것으로 나타났으며, 퍼실리테이션 업무에 대한 인식이 좋지 않고, 관심이 부족한 것으로 나타났다. 저자들은 이것이 [교수와 학습에 대한 관심이 부족]하다거나, [PBL 및 학생 중심 학습과 일치하지 않는 교육학적 신념]을 유지하는 것과 같은 [개인 내 특성]과 관련이 있을 수 있다고 가정한다.
Du et al.'s study examines the agency of faculty at Qatar University College of Medicine. Described in simple words, agency is the active contribution of teachers in shaping their work (i.e. the extent to which they are able to exert control in their personal and professional lives).23 Using Q-methodology, the authors identified five different ‘viewpoints’ on the sources of facilitators' professional agency, four of which were positive and one of which was negative. Participants expressing the negative viewpoint (policy guidelines as a source of PBL facilitator agency) appeared to be less agentic regarding their PBL roles and reported poor perceptions and lack of interest in facilitation work. The authors postulate that this may be connected to their intrapersonal traits such as lacking interest in teaching and learning and holding pedagogical beliefs that were not aligned with PBL and student-centred learning.

신자유주의 교육 모델의 역사를 고려할 때, 이러한 결과는 흥미롭지만 확실히 놀랍지는 않다. 하나의 교육 모델을 외국의 맥락에 적용하는 것을 전제로 하는 한, [가치 불일치]에 직면한다는 점에서 [촉진 과정에 대한 관심 부족]은 타당하다. 경험이 적거나 대학에 처음 온 교수진이 가치 불협화음을 더 많이 경험했다는 사실은 더 많은 탐구를 할 만하다. 비록 이 기관의 교수진이 일반적으로 PBL을 지지했지만, 그 결과는 기관/지역에 더 유기적일 수 있는 대안적인 교육학적 모델에 대한 의문을 제기한다. 신자유주의적 관점에서, 교수진의 agency는 (서부로부터) PBL 전문가들이 규정한 교육학을 집행enact할 수 있는 능력에 기초한다. 그러나 프리어의 해방적 관점에서는 다른 의미를 가질 것이다. 교수진은, 저자들이 주장하는 것처럼, 교육에 대한 agency가 부족한 것이 아니라, 오히려 자신이 설계의 이해당사자가 아닌 커리큘럼에 환멸을 느꼈을 수도 있다. 이 틀을 통해, 교수진은 [설계의 행위자성design agency]가 부족했고, 서구 교육학적 틀을 전달하는 [수동적인 군대passive army]가 되었다.
Given the history of neoliberal education models, these results are interesting but certainly not surprising. Insofar as education is premised upon the imposition of one model onto a foreign context, the lack of interest in facilitation processes makes sense in the face of value dissonance. The fact that faculty with less experience or who are new to the university experienced more value dissonance warrants more exploration. Although faculty at this institution were generally supportive of PBL, the results beg the question of alternative pedagogical models that may be more organic to the institution/region. From a neoliberal perspective, the faculty's agency is based on their ability to enact the pedagogy as prescribed by the experts in PBL (from the west). But from a Freirean emancipatory perspective agency would have a different meaning. The faculty may not have less agency about teaching, as the authors claim, but may rather have been disillusioned by a curriculum they were not stakeholders in designing. Through this frame, the faculty lacked design agency and became a passive army for the delivery of western pedagogical frameworks.

비록 저자들은 촉진자들 사이에 agency의 차이가 있었다고 결론지었고, 일부는 그들의 역할에 대해 더 'agentic'하였다. 하지만 그런 높은 agency는 외부 신자유주의/서구적 모델에 의해 어떻게 중재되었는가? 기관이 행동한다는 것은 PBL 채택에 반대하는 목소리를 낼 수 있는 능력을 의미하는가? PBL 모델은 의견 공유를 허용하고 교수진이 오프스크립트(즉, 진행자 가이드에서 드리프트)로 갈 수 있도록 허용합니까? [agency]와 [위계질서] 사이의 역설은 비서구적 기관에만 내재된 것이 아니라 서양의 맥락에서도 존재하며, 교수진의 기관은 종종 기관과 통치 기관의 위계질서와 권력 역학에 의해 억압된다. 
Although the authors conclude that there was a variation of agency amongst the facilitators, with some being more ‘agentic’ about their role, how was that agency mediated by external neoliberal/western models? Does agency to act imply the capacity to voice disagreement with adopting PBL? Does the model of PBL permit sharing of opinions and allow faculty to go off-script (i.e. drift from the facilitator guide)? The paradox between agency and hierarchy is not intrinsic to only non-western institutions, rather is present in the western context as well, where the agency of faculty is often suppressed by hierarchy and power dynamics of the institution and governing bodies.24

따라서 신자유주의는 [단순한 행동 능력이 아니라, 의사소통 교환의 표준화된 모델에 저항하는 능력]으로 정의되는, pure agency의 표현을 억제하는 위계구조의 접지선grounding wire 역할을 한다. 의학교육이 측정과 기준 설정을 통해 지속된 교육의 상품화라는 족쇄를 없앨 수 있을 때까지, 이 시스템은 교직원들을 계속 억압할 것이다. 그 결과 평등주의를 악용한 교육모델을 양성하고, 그 과정에 관여한 교사를 무시할 것이다. [유기적 촉진자로서의 교사의 역할]은 [특정한 방식으로 전달되는 특정한 종류의 스크립트 콘텐츠]를 학생들의 의식 속에 '기탁deposit'하려는 기계적인 욕구에 의해 억제된다. 그렇다면 교육은 [agency of teachers]라는 주장에도 불구하고 자유의 대척점이 된다.

Neoliberalism thus serves as a grounding wire for a hierarchy that suppresses the expression of pure agency, defined not simply as the ability to act, but also as the capacity to resist standardised models of communicative exchange. Until medical education can get rid of the shackles of commodification of education perpetuated through measurement and standard setting, the system will continue to suppress faculty. The result is the cultivation of educational models under the ruse of egalitarianism with a disregard for the teachers involved in the process. The role of teacher as an organic facilitator becomes sub-tended by a mechanistic desire to ‘deposit’25 a particular kind of scripted content delivered in a particular way into the consciousness of students. Education, then, becomes the antithesis of freedom despite an insistence on the supposed agency of teachers.

Du 등은 'agentic action의 시행을 강조하는 대안적 접근법' 개발, 공유된 'PBL 촉진 작업에 대한 이해', 나아가 PBL 촉진에 대한 전문적인 학습을 지원하기 위한 '제도적 노력'을 개발할 것을 권고한다. 그러나 나는 다음과 같은 질문이 필요하다고 주장하고 싶다. 우리는 정말로 교수진에게 권한을 주고 싶은가, 아니면 순응을 원하는가? 우리는 그들이 PBL 진행자 가이드를 고수하기를 원합니까, 아니면 그들이 그들의 경험을 공유하는 주제를 벗어나도록 장려하기를 원합니까? 우리가 교육과정에서 비판적 사고를 열망할 때에도 우리는 단순히 사람들에게 '최고의 답'을 주고 '대본'을 따르는 방법을 훈련시키는 순환을 영속시키고 있는가?
Du et al. recommend working on developing ‘alternate approaches highlighting enforcement of agentic actions’, a shared ‘understanding of PBL facilitation work’ and further ‘institutional efforts’ to support professional learning for PBL facilitation. However, I would contend that the following questions need to be asked: Do we really want to give faculty agency or do we want conformity? Would we like them to stick to PBL facilitator guides or encourage them to go off topic sharing their experiences? Even when we aspire for critical thinking in the curriculum are we simply perpetuating a cycle of training people how to give the ‘best answer’ and follow a ‘script’?

국제적으로 일할 기회를 가졌고 기관이 지역의 필요와 맥락에 거의 관심을 기울이지 않고 서구 교육 도구를 채택하는 방법을 목격한 의학 교육자이자 학자로서, 나는 이 경험을 서구 환경에서 그러한 도구의 활용과 비교할 수 있다. 주목해야 할 공통점 중 하나는 커리큘럼 설계 및 구현에 관한 faculty agency의 부재로, 이들의 역할이 숙련된 기술 조교skilled technical assistants로 축소되었다는 것이다. Paulo Freire는 가르치는 것이 자유의 표현이라고 말했다. 나는 우리 독자들이 이 질문에 수사적으로 대답하도록 남겨둔다: 현재의 신자유주의 시대에, 가르치는 것은 정말로 자유의 표현인가?

As a medical educator and scholar who has had the opportunity to work internationally and has witnessed how institutions adopt western pedagogical tools with little attention to local needs and contexts, I am able to compare this experience with utilisation of such tools in western settings. One of the commonalities to be noted is the lack of faculty agency regarding curriculum design and implementation, with their role being reduced to that of skilled technical assistants. Paulo Freire said teaching is the expression of freedom. I leave our readers to rhetorically answer this as a question: In the current neoliberal times, is teaching truly an expression of freedom?

Med Educ. 2022 Aug;56(8):787-790. doi: 10.1111/medu.14849. Epub 2022 Jun 14.

Teaching: The expression of freedom?

PMID: 35670766

DOI: 10.1111/medu.14849

조언과 멘토링을 넘어: 의학교육에서 코칭을 위한 역량(Med Teach, 2021)
Beyond advising and mentoring: Competencies for coaching in medical education
Meg Wolffa , Nicole M. Deioriob , Amy Miller Juvec , Judee Richardsond, Gail Gazellee, Margaret Mooref, Sally A. Santenb and Maya M. Hammoudg 

결과.
Results

패널 7명 전원이 3차례 델파이 라운드에 참여했다. 이 과정을 통해 코칭 프로세스/구조, 관계형 스킬, 코칭 스킬, 코칭 이론 및 모델, 코치 개발 등 5개 영역에서 코치에 초점을 맞춘 15가지 역량을 얻게 되었습니다(표 1).
All seven panel members participated in three Delphi rounds. This process resulted in 15 competencies in five domains focused on coaches working with learners across the continuum:

• coaching process/structure,
• relational skills,
• coaching skills,
• coaching theories and models, and
• coach development (Table 1).

유토피아에서 디스토피아까지: CBME의 러닝 애널리틱스에서 과정을 기록하기(Acad Med, 2021)
From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education
Brent Thoma, MD, MA, MSc, Rachel H. Ellaway, PhD, and Teresa M. Chan, MD, MHPE

역량 기반 의료 교육(CBME)으로의 전환은 중요한 과제를 제시할 수 있다. 이러한 전환은 단순히 새로운 용어에 익숙해지는 문제가 아닙니다. CBME는 평가 관행과 절차의 복잡성과 부담을 상당히 증가시킨다. CBME 이전 시대의 평가는 종종 로테이션당 연수생당 1~2개의 평가를 생성하지만, 특히 신뢰할 수 있는 전문 활동(EPA)을 중심으로 구성된 CBME 프로그램은 종종 모든 연수생에 대해 주간 평가를 생성한다. 5

The transition to competency-based medical education (CBME) can present significant challenges. 1–3 This transition is not just a matter of getting used to new terminology. CBME substantially increases the complexity and burden of assessment practices and procedures. 4,5 While assessment in the pre-CBME era often generated 1 or 2 assessments per trainee per rotation, CBME programs, particularly those structured around entrustable professional activities (EPAs), often generate multiple weekly assessments for every trainee. 5

CBME를 성공적으로 구현하려면 평가 데이터 사용에 있어 시스템 수준의 변화가 필요하다. [전자 추적 시스템]이 구축되었고, EPA 기반 평가 데이터의 증가된 양을 검토하기 위한 [역량 위원회]가 구성되었으며, 이러한 이질적이고 종단적인 데이터 세트에 새로운 [프로그램적 평가 이론]이 적용되었으며, 이는 다시 우리가 그것으로부터 [도출하는 추론]을 변화시켰다. 이 접근법은 데이터를 집계하고 연습생 진도를 모델링하기 위해 사용하지만, 실제로 이러한 데이터를 어떻게 통합, 분석 및 시각화해야 하는지 잘 확립되어 있지 않다. 2 [단순한 선형 접근법]으로 디폴트하면, 미묘한 데이터를 환원주의적 경향으로 축소할 위험이 있으며, 서사적 피드백 또는 기타 더 정교한 모델링 및 분석의 장점을 무효화한다. 연수생 성과에 대한 균형 있고 통찰력 있는 관점을 육성하기 위해 CBME 평가의 서술적 데이터와 수치적 데이터를 모두 활용하기 위한 추가 작업이 수행되어야 한다.
The successful implementation of CBME requires a systemic change in the use of assessment data.

• Electronic tracking systems have been established,
• competence committees have been formed to review the increased volume of EPA-based assessment data, 6 and
• new programmatic theories of assessment have been applied to these heterogeneous and longitudinal datasets,
• which, in turn, have changed the inferences that we draw from them. 7,8 

Although this approach is predicated on aggregating data and using them to model trainee progress, how these data should be amalgamated, analyzed, and visualized in practice is not well established. 2 Defaulting to simple linear approaches runs the risk of reducing nuanced data into reductionistic trends 9 and nullifies the advantages of narrative feedback or other more sophisticated modeling and analysis. Further work will need to be done to harness both the narrative and numerical data of CBME assessments to foster a balanced and insightful perspective on trainee performance.

다른 분야의 교훈은 데이터가 집계되고 사용될 수 있는 다양한 방법을 보여주며, 각 방법은 도출될 수 있는 추론의 종류에 영향을 미칩니다. 예를 들어, 비즈니스와 스포츠는 점점 더 정교한 데이터 수집 및 분석 기술을 사용합니다. 고등교육에서의 유사한 노력은 온라인 학습 플랫폼의 출현에서 비롯되었다. 14 이러한 [학습 분석learning analytics]은 "학습과 학습이 발생하는 환경을 이해하고 최적화하기 위한 목적으로, 학습자와 그 맥락에 대한 데이터의 측정, 수집, 분석 및 보고"로 정의할 수 있다. 15 증가를 고려할 때CBME에서 대규모 평가 데이터 세트의 가용성에 따라, 의학 교육 문헌에서 학습 분석이 점점 더 많이 참조되고 있는 것은 놀라운 일이 아니다. CBME 결과 프레임워크 및 연구 어젠다 19는 의학 교육 연구자들이 개념적으로 그리고 실제로 탐구하는 학습 분석과 관련된 다양한 개념을 설명한다. 5,24
Lessons from other fields illustrate the many different ways in which data might be aggregated and used, each of which has implications for the kinds of inferences that might be drawn. 10,11 For example, business 12 and sport 13 use increasingly sophisticated data collection and analysis techniques. Similar efforts in higher education originated with the advent of online learning platforms. 14 These learning analytics can be defined as the “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.” 15 Given the increasing availability of large assessment datasets in CBME, it is not surprising that learning analytics are increasingly being referenced within the medical education literature. CBME outcomes frameworks 16–18 and research agendas 19 describe a range of concepts related to learning analytics that medical education researchers are exploring both conceptually 20–23 and practically. 5,24

언뜻 보기에 학습 분석 도구와 관행은 의료 교육 및 환자 관리를 개선하기 위해 EPA 기반 CBME 교육 프로그램의 광범위한 평가 데이터 세트를 활용할 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 분석 역시 문제가 되었다. 예를 들어, ten Cate 등은 [애널리틱스의 도입]이 [과도한 표준화, 활동 제약, 교육 효율성 및 비용]에 영향을 미치고, [프로그램 및 그 결과의 integrity]를 위협할 것이라고 경고합니다. 교육 프로그램, 교육 프로그램이 채택하는 분석 접근 방식 및 다양한 구현 설계의 여건에 대한 주의 깊고 신중한 탐색과 정렬이 필요하다.
At first glance, learning analytics tools and practices have immense potential to leverage the extensive assessment datasets resulting from EPA-based CBME training programs to improve medical education and patient care. 11,20 However, these analytics have also been problematized. For instance, ten Cate et al warn about analytics implementations that overstandardize, constrain activity, impact educational efficiency and cost, and threaten the integrity of programs and their outcomes. 21 There is need for mindful and deliberate exploration of and alignment between educational programs, the analytics approaches they employ, and the affordances of different implementation designs.

CBME 평가 데이터를 해석하기 위한 학습 분석의 광범위한 활용이 점점 실행 가능해짐에 따라, 이 용감한 새로운 세계 내에서 미래의 경로를 그리는 것이 그 어느 때보다도 중요하다. 25 본 논문에서는 신중한 매핑을 목표로 CBME에서 학습 분석에 대한 유토피아적 및 디스토피아적 관점(상자 1과 2 참조)을 탐구한다. 그러나 보다 광범위한 교육 및 컴퓨터 과학 문헌의 원칙적인 지침을 통합하여 우리 분야에서의 응용을 위한 미래를 결정하였습니다(상자 3 참조).
As the widespread utilization of learning analytics to interpret CBME assessment data becomes increasingly viable, it is more important than ever to chart the future path within this brave new world. 25 In this paper, we explore utopian and dystopian perspectives on learning analytics (see Boxes 1 and 2) in CBME with the goal of mapping a cautious but determined future for its application in our field (see Box 3) by incorporating principled guidance from the broader education and computer science literature.

가능한 유토피아
A Possible Utopia

유토피아에서는 모든 것이 모든 사람에게 가장 유리하게 작용한다. 사람들은 행복하고 그들이 원하는 대로 번창하고 성장할 수 있다. 우리의 유토피아 시나리오(상자 1)는 학습 분석과 관련하여 표현된 희망(혹은 과대광고)의 상당 부분을 반영한다. 모든 것이 효과가 있고, 혜택은 증가하며, 모든 사람이 승리한다. 물론, 이것은 사실이기에는 너무 좋은 일이다. 

In a utopia, everything works to the best advantage of everyone. People are happy and able to thrive and grow as they will. Our utopian scenario (Box 1) reflects much of the hope (or perhaps hype) that has been expressed with regard to learning analytics 11,20,26; everything works, benefits multiply, and everyone wins. Of course, this is too good to be true.

박스 1 역량 기반 의료 교육 시스템에서 분석을 위한 유토피아 시나리오를 설명하는 가상의 사례 연구
Box 1 Fictional Case Study Describing a Utopian Scenario for Learning Analytics in a Competency-Based Medical Education System

Walzar 박사는 그녀의 컴퓨터 화면에서 뒤로 기대어 미소를 지었다. 그녀의 병원의 다른 프로그램 책임자들은 그녀가 역량 기반 평가 시스템의 문제를 해결하기 위한 새로운 소프트웨어를 개발하기 위해 정보 기술 부서와 협력할 것을 제안했을 때 회의적이었습니다. 그들은 그들의 EHR이 시행되기 전에 비슷한 효율성의 약속들을 들었었지만, 그것은 결코 그 과대광고에 부응하지 못했다. 이것은 달랐다. 일단 그녀가 그들에게 작동하는 프로토타입을 보여주자, 그들은 그들의 프로그램을 도입하자고 간청했다. 새로운 데이터 시각화 및 분석 제품군을 설정하고 최적화하는 것은 어려운 일이었지만, 그 결과는 그만한 가치가 있었습니다. 그녀의 프로그램 관리자는 평가 데이터의 스프레드시트 이후 스프레드시트를 정리해야 하는 족쇄에서 해방되어 마침내 휴가를 얻어 여가 시간에 프로그램을 개선하기 위한 새로운 아이디어를 생각해 냈습니다. 역량 위원회 위원들은 그들의 회의가 월별, 하루 종일 열리는 마라톤에서 분기별 한 번씩 한가로운 아침으로 바뀌어 행복했다. 그리고 그녀는 그들이 더 나은 결정을 내리고 있다고 확신했습니다! 그녀의 교육생들조차도 새로운 교수 대시보드를 교수 개발 세션에 통합한 후 받은 향상된 피드백에 깊은 인상을 받았습니다. 그들은 또한 그들의 커리큘럼에 대한 데이터 중심의 변화가 그들이 유능한 의사가 되기 위해 필요한 경험을 얻을 수 있는 충분한 기회를 제공한다는 것을 알아챘다.
Dr. Walzar leaned back from her computer screen and smiled. The other program directors at her hospital had been skeptical when she had proposed working with their information technology department to develop new software to address the challenges of their competency-based assessment system. They had heard similar promises of efficiency before the implementation of their electronic health record, but it had never lived up to the hype. This was different. Once she had shown them a working prototype, they were begging to have their programs brought on board. Setting up and optimizing their new data visualization and analytics suite had been a challenge, but the results were worth it. Her program administrator, unleashed from the shackles of organizing spreadsheet after spreadsheet of assessment data, was finally taking a vacation and, in her spare time, had been coming up with new ideas to improve their program. Her competence committee members were happy as their meetings went from monthly, full-day marathons to leisurely mornings once a quarter. And she was sure that they were making better decisions, too! Even her trainees were impressed with the improved feedback they were receiving after they incorporated their new faculty dashboard into their faculty development sessions. They had also noticed that the data-driven changes to their curriculum were giving them ample opportunity to get the experiences they needed to become competent physicians.

가장 최근에, 그녀는 QI 전공의 몇몇 동료들과 연락했다. 그들은 그녀의 진전에 흥미를 느꼈고 그녀의 교육 데이터와 임상 결과의 통합을 탐구하기를 원했다. 그들은 각 연수생의 임상 치료 품질을 정량화하기 위해 전자 건강 기록의 데이터를 평가 대시보드에 통합하기 시작했다. 그녀는 교육 평가와 함께 임상 측정 기준을 추적하고 어떻게 그것들이 함께 사용될 수 있는지 볼 수 있는 가능성에 대해 흥분했습니다. 이 새로운 대시보드는 교육생들에게 환자의 건강에 직접적인 영향을 미치는 자신의 진료 패턴에 대한 통찰력을 제공할 것이다. Walzar 박사는 이러한 새로운 임상학습 애널리틱스를 만들기 위해 그녀의 임상 운영 팀과 협력하기를 고대했습니다.
Most recently, she had connected with some of her colleagues with backgrounds in quality improvement. They were intrigued by her progress and wanted to explore the integration of clinical outcomes with her educational data. They had begun integrating data from their electronic health record into the assessment dashboard to quantify the quality of each trainee’s clinical care. She was excited about the potential to track clinical metrics alongside educational assessments and see how they could be used together. This new dashboard would provide trainees with insights about their own practice patterns that had direct impact on the health of their patients. Dr. Walzar was looking forward to working with her clinical operations team to create these new clinical learning analytics.

프로그램 감독으로서 그녀에게는 다른 이점도 있었다. 그녀는 교육생들의 데이터에 쉽게 접근할 수 있었고 평가나 평가 패턴과 관련된 것이 발견되었을 때 실시간 경보를 받을 수 있었다. 그녀는 또한 비정상적인 행동을 식별하기 위해 교직원들의 평가 행동을 추적했다. 예를 들어, 그녀는 비센 박사가 수년 동안 성차별적 평가를 제출했다고 생각했지만 컴퓨터가 그것을 확인하기 전까지는, 그녀는 어떤 증거도 가지고 있지 않았다! 무엇보다도, 평가 데이터를 인증 기관에 제출하는 것이 자동화되었습니다. 그들의 분석은 그녀의 프로그램이 그들의 평가의 양과 질에 있어서 전국에서 상위 5퍼센트 안에 들어있다는 것을 보여주었다. 그녀는 올해 말 승진 지원서에서 그 성과를 강조하는 것을 기억해야 할 것이다. 이 모든 "학습 분석 자료"는 결국 완성되었다.
There had also been other benefits for her as a program director. She could readily access her trainees’ data and receive real-time alerts when concerning assessments or assessment patterns were found. She also tracked the assessment behaviors of her faculty members to identify abnormal behavior. For example, she thought that Dr. Bisen had been submitting sexist assessments for years but until the computer had identified it, she did not have any proof! Best of all, the submission of assessment data to their accrediting body was now automated. Their analyses showed that her program was performing in the top 5 percentile in the entire country in terms of the quantity and quality of their assessments. She would have to remember to highlight that accomplishment in her application for promotion later this year. All of this “learning analytics stuff” had panned out after all.

유토피아 시나리오는 형성적 및 총괄적 역량 평가의 맥락에서, 데이터 시각화 및 학습 분석의 잠재적 이점을 보여준다. 특히 데이터 시각화를 통해 교육생은 물론 교사 및 프로그램 책임자가 어려움을 겪고 있거나, 만족하거나, 우수한 수행 패턴을 식별하는 데 도움이 되는 [빈번한 저부담 EPA 기반 평가 데이터]를 [효율적으로 검토]할 수 있다. 이러한 기술은 교수진 개발과 지속적인 품질 개선을 위해 이러한 평가 데이터를 동시에 사용함으로써 조직 개발 프로그램에 기여할 수 있다. 
The utopian scenario demonstrates the potential benefits of data visualization and learning analytics in the context of assessing competence, both formatively and summatively. In particular, data visualization could allow for the efficient review of frequent, low-stakes EPA-based assessment data to help trainees as well as their preceptors and program directors to identify patterns of struggling, satisfactory, or excelling performance. 27–29 These techniques could feed into a program of organizational development through the simultaneous use of these assessment data for faculty development and continuous quality improvement. 22

예를 들어, [서술형 평가 코멘트의 품질]을 평가하기 위해 Quality of Assessment of Learning (QuAL) 점수를 사용할 수 있는 타당성 증거가 있다. 자연어 처리 알고리즘을 사용한 QAL 점수 등급의 자동화는 역량 위원회가 [고품질의 서술적 논평]으로 EPA를 쉽게 식별하도록 하여 총괄 평가 결정을 지원할 수 있다. 이러한 점수는 또한 시간 경과에 따른 서술적 피드백 개선에 초점을 맞춘 개입의 영향을 정량화하기 위해 교수진 및 프로그램 수준에서 통합될 수 있다. 개인 및 그룹 성과에 대한 더 많은 세부 사항이 설정될 수 있기 때문에 개인은 이 정밀도로부터 이익을 얻을 수 있다는 점에서 정밀 의료와 분명한 유사점이 있다. 이 정보는 또한 학습 환경을 개별 교육자의 요구와 궤적에 더 잘 맞추는 데 도움이 될 수 있다. 33 
For example, there is validity evidence to support the use of the Quality of Assessment of Learning (QuAL) score for the evaluation of the quality of narrative assessment comments. 30,31 The automation of QuAL score ratings with natural language processing algorithms could support summative assessment decisions by making it easier for competence committees to identify EPAs with high-quality narrative comments. These scores could also be amalgamated at the faculty member and/or program level to quantify the impact of interventions focused on improving narrative feedback over time. There are clear parallels with precision medicine 32 in that as greater detail of individual and group performance can be established, individuals can benefit from this precision. This information may also help us to better align the learning environment with individual trainees’ needs and trajectories. 33

학습 애널리틱스의 발전은 또한 성차별적이거나 인종 차별적인 평가 관행을 식별하고 정량화함으로써 [형평성 문제]를 해결하는 데 도움이 될 수 있다. 이러한 문제들이 쉽게 식별될 수 있을 때까지, 그것들이 다뤄질 것 같지는 않다. 평가의 성별 편견에 대한 Mueller 등과 Dayal 등의 초기 연구는 개별 교수진, 교육 프로그램, 기관 및 전문 분야의 평가 데이터 내에서 편향을 모니터링하도록 확장 및 자동화될 수 있다. 이 정보는 평가자 편견에 대한 추가 조사를 안내하고 이를 감지하고 완화하기 위한 개입을 개발할 수 있다.
Advances in learning analytics could also help to address equity issues through the identification and quantification of sexist or racist assessment practices. Until these issues can be readily identified, it is unlikely that they will be addressed. Early work by Mueller et al 34 and Dayal et al 35 on gender bias in assessments could be expanded and automated to monitor for biases within the assessment data of individual faculty members, training programs, institutions, and specialties. This information could guide further investigation into rater biases and develop interventions to detect and mitigate them.

또 다른 유토피아적 관점은 [여러 데이터 소스, 특히 임상 결과 데이터를 마이닝하고 통합]하는 데 중점을 둔다. [임상 데이터]와 [교육 평가]의 통합은 물론, 교직원과 실습생의 임상 결과의 상호 의존성을 넘어서서, [전공의-민감 품질 지표]의 식별에 대한 작업이 이미 시작되었다. 앞으로 질 향상과 의료교육에 전문성을 갖춘 의사들 간의 협업이 연수생 평가 데이터와 그동안 보살펴온 환자의 임상 결과를 연계할 것으로 기대한다. 이러한 [임상-교육 통합]을 실현하기 위해서는 학습 분석, 실습 분석 및 환자 결과 간의 연결이 설정되어야 한다. 이상적으로, 이러한 연결은 개인, 프로그램 및 시스템 수준의 변경을 지원하기 위해 의미 있게 해석될 수 있는 통합 분석 및 시각화를 사용하여 치료 품질 및 비용을 최적화하는 데 도움이 될 수 있습니다.

Other utopian perspectives focus on mining and integrating multiple data sources, in particular clinical outcome data. 16,17 Work has already begun on the integration of clinical data and educational assessment 36,37 as well as the identification of resident-sensitive quality metrics 38,39 that move beyond the interdependence of faculty and trainee clinical outcomes. 40,41 In the future, we anticipate that collaboration between physicians with expertise in quality improvement and medical education will link trainee assessment data with the clinical outcomes of the patients that they have cared for. 42 To realize this clinical–educational integration, links will need to be established between learning analytics, practice analytics, and patient outcomes. Ideally, these connections would help to optimize the quality and cost of care using integrated analytics and visualizations that can be meaningfully interpreted to support individual-, program-, and system-level changes.

물론, 이러한 종류의 파놉티시즘이 유토피아인지 아닌지는 논쟁의 여지가 있습니다. 한 사람의 유토피아는 다른 사람의 디스토피아일 수 있기 때문입니다.
Of course, whether panopticism of this kind is utopian is debatable, as one person’s utopia might well be another person’s dystopia.

미래형 디스토피아
A Prospective Dystopia

디스토피아는 이상과는 거리가 멀고 불만이 보통이다. 기술 발전 속도는 소프트웨어 공급업체들이 디지털 전환을 약속하는 우리 기관의 문을 두드리는 날이 머지않을 것으로 보인다. 우리의 인공지능 사용은 계속 개선될 것이며, 그것은 우리의 평가와 임상 데이터 모두에 더 광범위하게 적용될 수밖에 없다. 구현을 안내할 구조가 마련되지 않으면 디스토피아 시나리오(Box 2)가 실현될 수 있습니다.

In a dystopia, things are far from ideal and dissatisfaction is the norm. The pace of technological advancement makes it likely that it will not be long before software vendors are knocking on the doors of our institutions promising digital transformation. Our use of artificial intelligence will continue to improve, and it is inevitable that it will be applied more broadly to both our assessment and clinical data. If we do not have a structure in place to guide its implementation, our dystopian scenario (Box 2) may come to pass.

박스 2 CBME에서 학습 애널리틱스에 대한 디스토피아 시나리오를 설명하는 가상의 사례 연구
Box 2 Fictional Case Study Describing a Dystopian Scenario for Learning Analytics in Competency-Based Medical Education

Walzar 박사는 자신의 데이터 시각화 및 분석 시스템의 완벽한 구현에 대해 학장과 동료 프로그램 감독들로부터 열렬한 피드백을 받고 있었습니다. 다음 순간 그것은 와르르 무너져 내렸다. 연습생 중 한 명 정도를 받았다는 통보로 시작됐다. 제이콥은 프로그램 내에서 호감을 얻고 있었고, 컴퓨터가 그의 최근 평가 패턴에 관한 플래그를 세우기 전까지 잘 지내오고 있었다. 역량 위원회가 과거에 비슷한 깃발을 보았을 때, 그들은 행동하지 않았고, 확실히 몇 달 안에 이 훈련병들이 고군분투하고 있다는 것을 증명했다. 역량위원들은 이번에는 기다리지 않기로 했다. 그들은 월자르 박사가 제이콥을 불러서 진찰을 받으라고 요청했다.
One minute Dr. Walzar had been enjoying glowing feedback from her dean and fellow program directors on the flawless implementation of her data visualization and analytics system. The next minute it had come crashing down. It started with a notification that she received about one of her trainees. Jacob was well liked within the program and had been progressing well until the computer had flagged his recent assessment pattern as concerning. When the competence committee had seen similar flags in the past, they had not acted and, sure enough, within a few months the evidence demonstrated that these trainees were struggling. The competence committee members decided that this time they did not want to wait. They requested that Dr. Walzar call Jacob in for a meeting to check in.

회의에서, 그녀는 알고리즘은 EPA 수행에 플래그를 달았지만, 역량 위원회는 아직 어떤 문제도 발견하지 못했다고 언급했다. Jacob은 눈에 띄게 화가 나서 "이게 무슨 점쟁이 같은 쓰레기야? 정말 미래를 예측할 수 있다는 말인가요?"라고 물었다. 그때부터, 제이콥은 그녀와 평가 시스템, 그리고 훈련 프로그램에 대해 불신하게 되었다. 그의 임상 성적은 악화되었다. 그녀는 컴퓨터가 옳았고 이것이 불가피한 것인지, 아니면 그의 쇠퇴를 촉발시킨 것이 회의 그 자체인지 궁금했다. 그럼에도 불구하고, 문제는 그녀가 그를 프로그램에서 말릴 수 밖에 없을 때까지 계속되었다. 그녀는 바로 다음 주에 그의 제적dismissal과 관련된 소송을 제기했었다.

During the meeting, she mentioned that their algorithm had flagged his EPA performance, but that the competence committee could not identify any problems just yet. He had become visibly upset, asking “What kind of fortune-telling garbage is this? Are you seriously saying you can predict the future?” From then on, Jacob was distrustful of her, the assessment system, and the training program. His clinical performance deteriorated. She wondered if the computer had been right and this was inevitable, or if it was the meeting itself that had set off his decline. Regardless, the problem had festered until she had no choice but to terminate him from the program. She had been served with a lawsuit regarding his dismissal the very next week.

문제는 거기서 끝나지 않았다. 지난 주에 그들의 인증 기관이 해킹을 당했다. 그들의 모든 훈련생들의 평가 자료가 도용되어 온라인에 게재되었다. 그들을 제거하기 위해 그들이 할 수 있는 것은 아무것도 없는 것처럼 보였다. 그녀는 수련생들로부터 주요 병원 그룹이 이러한 데이터에 접근했다는 속삭임을 들었고, 아무런 설명도 없이 훈련 기간 동안 어려움을 겪었던 훈련병들의 인터뷰를 취소했다.
The problems did not end there. Last week their accrediting body had been hacked. All their trainees’ assessment data were stolen and published online. It did not seem like there was anything that they could do to have them removed. She had heard whispers from her trainees that the major hospital groups had gotten access to these data and, without any explanation, had canceled the interviews of the trainees who had struggled during parts of their training.

가장 나쁜 것은, 유출된 평가 중 하나가 현재 그녀의 훈련생, 동료, 그리고 병원을 고소하고 있는 한 환자가 받은 치료에 관한 것이었다는 사실이다. 연습생의 ICU 로테이션 동안, 그들은 central line을 놓으려고 애썼다. 절차에 대한 교수진의 EPA 평가는 낮은 수준의 위탁을 나타냈으며, 기술의 어려움을 강조하는 유용한 형성적 피드백을 제공했다. 불행하게도, 이것은 환자의 중심선 감염에 기여했을 수 있다. 연수생 변호인단은 이 평가가 과실의 증거로 소송에서 인용될 것이라고 확신했다.
Worst of all, one of the leaked assessments referenced the care received by a patient who was currently suing her trainee, colleagues, and hospital. During the trainee’s intensive care rotation, they had struggled to place a central line. The faculty member’s EPA assessment of the procedure indicated a low level of entrustment and provided helpful formative feedback that highlighted difficulties with technique. Unfortunately, this may have contributed to the patient’s development of a central line infection. The trainee’s lawyers were certain that this assessment was going to be cited in the lawsuit as evidence of negligence.

그 승진에 대해서는 잊어버려. 그녀는 의학을 완전히 그만두어야 할까 봐 걱정했다. 그녀는 그녀가 이런 학습 애널리틱스를 시작하지 않았어야고 생각했다.

Forget about that promotion. She was worried that she was going to have to leave academic medicine altogether. She wished that she had never gotten started with this learning analytics stuff.

디스토피아 시나리오는 훈련생의 EPA 데이터를 정밀하게 분석하는 것이 해로울 수 있는 몇 가지 방법만을 보여준다. 앞으로 나아가면서, 우리는 어떻게 하면 그것이 가져올 수 있는 문제에 굴복하지 않고 궁극적으로 환자 결과를 개선할 수 있는 방법으로 집계된 데이터의 시각화 및 분석의 이점을 유지할 수 있는지 고려해야 한다. 학습 애널리틱스를 통합하는 혁신적인 데이터 솔루션을 추진하는 사람들에게 특히 주목할 만한 몇 가지 영역이 있다.

The dystopian scenario illustrates only some of the ways that the sophisticated analysis of trainees’ EPA data could be detrimental. 21 As we move forward, we must consider how we can maintain the benefits of the visualization and analysis of aggregated data in ways that can ultimately lead to improved patient outcomes without succumbing to the problems that it could present. Several areas are deserving of particular attention for those pushing forward innovative data solutions incorporating learning analytics.

데이터 보안
Data security

애널리틱스 접근 방식을 사용하든 사용하지 않든, [교육생 평가 데이터의 보안]은 우려 사항이다. 이 문제가 항상 존재했지만, 현대의 시스템은 수많은 분산 액세스 포인트가 있는 더 큰 데이터베이스에 저장되기 때문에 해킹과 다른 디지털 데이터 보안 침해에 더 취약할 수 있다. 또한, 우리가 수집하는 평가 데이터는 점점 더 상세해지고 민감해집니다. 불행하게도, 이러한 전환이 일어나면서, 우리의 고등 교육 기관들은 점점 더 많은 보안 침해의 대상이 되었습니다. 교육생과 직원들에 대한 대량의 귀중한 데이터, 정보기술 구조의 분산된 조직, 네트워크에 액세스할 수 있는 다수의 개인, 그리고 이러한 위협에 대처하기 위한 상대적으로 부족한 자원 때문에 해커의 표적이 된다는 것이 입증되었습니다.정부와 대기업. 교육 평가 데이터 유출로 인한 잠재적 영향은 고려해야 할 매우 현실적인 위험이다.

Whether or not an analytics approach is used, the security of trainee assessment data is a concern. 43 While this problem has always existed, modern systems may be more prone to hacking and other digital data security breaches because they are stored in larger databases with numerous distributed access points. Additionally, the assessment data that we collect are increasingly detailed and sensitive. Unfortunately, as this transition has occurred, our higher education institutions have been subject to an increasing number of security breaches. 44 They have proven to be targets for hackers due to the large amount of valuable data they store about their trainees and employees, the decentralized organization of their information technology structure, the large number of individuals that are able to access their network, and the comparative lack of resources to combat this threat relative to government and big business. 45 The potential fallout from the leak of educational assessment data is a very real risk that should be considered.

예측적 분석
Predictive analytics

1956년 그의 공상과학 단편소설 "마이너리티 리포트"에서 필립 K. 딕은 "precrime"이라는 개념을 도입했다. 즉, 아직 저지르지 않았지만 명백한 시스템에 의해 예측된 범죄에 대해 체포되어 기소될 수 있다는 것이다. 46 예측 분석은 수습 성과와 같은 미래 사건에 대해 추론하는 기법이다. [예측 분석]을 통합하는 것은 어려움을 겪고 있는 교육생을 식별하고 그들에게 추가적인 지원을 제공하기 위해 압도적 역량 위원회를 지원할 수 있는 잠재력을 가지고 있지만, 교육생을 조기에 [struggling 또는 deficient]으로 분류하는 것은, 연수생 자신 또는 프로그램의 인식을 예상하지 못하거나 잠재적으로 부정적인 방식으로 바꿈으로써, 오히려 교육생의 어려움을 유발하거나 악화시킬 수 있다. 분석적 예측에 기초하여 고위험 결정을 내리는 윤리 및 합법성과 같은 다른 과제들도 고려할 필요가 있다.
In his 1956 science fiction short story The Minority Report, Philip K. Dick introduced the concept of “precrime”—that one could be arrested and charged for a crime that they had not yet committed but that had been predicted by a seemingly infallible system. 46 Predictive analytics are techniques that make inferences about future events such as trainee performance. 10 While the incorporation of predictive analytics has the potential to assist overwhelmed competence committees to identify trainees who may be struggling and provide them with additional support, it is equally possible that prematurely labeling trainees as struggling or otherwise deficient may cause or exacerbate a trainee’s struggles by altering their and their program’s perceptions in unanticipated and potentially negative ways. 47 Other challenges such as the ethics and legality of making high-stakes decisions on the basis of analytical predictions also need to be considered.

데이터 소유 및 사용
Data ownership and use

[데이터의 접근, 소유권 및 거버넌스를 둘러싼 윤리적 문제]는 의료 교육에서 학습 분석의 사용이 증가함에 따라 특히 우려되는 사항으로 식별되었다. 이러한 우려는 다음과 같은 과제를 식별하는 광범위한 교육 문헌 내에서 마찬가지로 나타난다. 예를 들면,

• 단편화되거나 불완전한 데이터에서 고부담 의사 결정을 내린다.
  
• 모집단에서 도출한 통찰력을 개별 교육생에게 적용한다.
  
• 교육생에게 데이터 사용에 대한 동의를 구하는 것이 불충분하거나, 동의를 구하지 않는다.
  
• 고도로 민감한 데이터의 적절한 관리를 보장하지 못한다.
  
• 분석에 의해 전파되는 편견을 고려하지 않는다.

이러한 문제는 (비교적 추상적인 영어단어 점수를 포함하는 다른 분야의 학생들에 대해 더 일상적으로 수집된 데이터와 달리) [개별 환자의 치료에서 전문 역량에 대한 상세한 실제 평가]를 포함하는 EPA 기반 프로그램의 성격을 고려할 때 의료 교육 내에서 특히 고려할 가치가 있다. 
Ethical issues surrounding access, ownership, and governance of data have been identified as particular concerns with the growing use of learning analytics in medical education. 21,43 These concerns are paralleled within the broader educational literature which identifies challenges including

• making high-stakes decisions from fragmented or incomplete data,
• applying insights derived from populations to individual trainees,
• inadequately (or simply not) seeking consent from trainees regarding the use of their data,
• failing to ensure appropriate stewardship of high-sensitivity data, and
• neglecting to consider the biases propagated by analyses. 48 

These issues deserve particular consideration within medical education given the differences between EPA-based programs which contain detailed, real-world assessments of professional competency in the care of individual patients, as opposed to more routinely collected data about students in other fields which contain relatively abstract alphanumerical grades.

또한 분석 엔진이 [독립적 의료행위로의 진전을 결정하는 데 있어 궁극적인 권위]라고 가정되는 선험적인 것인지도 우려된다. 상소권을 포함한 [견제와 균형]이 그러한 시스템에 내장될 필요가 있다. 일반적으로 고등교육을 위해 설계된 광범위한 기관 정책이 연수생-환자 상호작용에 초점을 맞춘 종적 EPA 평가 데이터의 복잡한 감독에 완벽하게 적합하지는 않을 것이다.

It is also a concern if the analytics engine is a priori assumed to be the ultimate authority in determining progress toward independent practice. Checks and balances, including rights of appeal, need to be built into any such system. It is unlikely that broad institutional policies designed for higher education in general will be a perfect fit for the complex oversight of longitudinal EPA assessment data focused on trainee–patient interactions.

임상 통합
Clinical integration

[의학 교육]은 [교육생이 중요한 임상 치료를 제공하는 견습 모델] 내에서 [교육생에 대해 상당한 양의 평가 데이터]가 수집된다는 점에서 비교적 독특하다. 임상 결과와 교육 평가를 연계함으로써 얻을 수 있는 잠재적 이익을 고려할 때, 우리는 교육생이 추가적인 [의료법적 위험]에 과도하게 노출되지 않도록 보장해야 한다. 영국의 Bawa-Garba 사건은, 한 소아과 수련생이, 부분적으로, 그녀의 전자 포트폴리오에서 끌어낸 성찰에 근거하여, 중과실 치사죄로 유죄 판결을 받은 것으로, 이것이 우리가 믿고 싶은 것보다 더 가능하다는 것을 암시합니다. 
Medical education is relatively unique in that a substantive amount of assessment data is collected on trainees within an apprenticeship model wherein trainees provide clinical care of significant consequence. As we consider the potential benefits of linking clinical outcomes with educational assessments, we must ensure that we do not unduly expose trainees to additional medicolegal risk. The Bawa-Garba case in the United Kingdom, wherein a pediatric trainee was convicted of gross negligence manslaughter based, in part, on reflections pulled from her electronic portfolio, suggests that this is more possible than we would like to believe. 49

디스토피아 시나리오는 의학 교육에서 학습 분석과 관련하여 제기된 모든 우려를 설명하지는 않지만, 우리가 이러한 새로운 도구를 사용하기 시작할 때 직면하게 되는 함정에 대해 적나라하게 상기시키는 역할을 해야 한다. 현장의 잠재력을 극대화하는 방식으로 전진하려면 사려 깊고 의도적인 접근이 필요하다.
While the dystopian scenario does not illustrate all of the concerns that have been raised regarding learning analytics in medical education, 21 it should serve as a stark reminder of the pitfalls that we face as we begin to use these new tools. Moving forward in a way that maximizes the potential of the field will require a considered and intentional approach.

과정 차트 작성
Charting a Course

대부분의 관할 구역은 CBME를 지원하기 위한 학습 애널리틱스의 사용이 탐구되고 있는 중요한 벼랑에 있지만, 우리의 교육생과 기관을 통제하고 보호하기 위한 정책과 프로세스는 아직 정비되지 않았다. 우리는 유토피아와 디스토피아 시나리오의 공유가 이 기술의 필요성과 탄력적이고 미묘한 그리고 민첩한 감독 시스템을 구축하는 것의 중요성을 모두 전달했기를 바란다. 이러한 과제에 대처할 수 있다면 세 번째 시나리오(상자 3)에 설명된 결과가 더 가능성이 높습니다.

Most jurisdictions are at an important precipice where the use of learning analytics to support CBME is being explored, but the policies and processes to govern and protect our trainees and institutions have not yet been ironed out. We hope that the sharing of utopian and dystopian scenarios has conveyed both the need for this technology and the importance of building resilient, nuanced, and nimble systems of oversight. If we can rise to this challenge, the outcomes described in our third scenario (Box 3) are more likely.

박스 3 CBME에서 학습 애널리틱스의 안전하고 윤리적인 구현을 설명하는 가상의 사례 연구
Box 3 Fictional Case Study Describing the Safe and Ethical Implementation of Learning Analytics in Competency-Based Medical Education

Walzer 박사가 분석 학습에 대해 더 많이 배우면서, 그녀는 자신의 프로그램이 몇 가지 심각한 결과에 얼마나 가까이 다가왔는지를 깨달았다. 지역 정보 기술 팀과 함께 일하면서, 그녀는 자신의 작업의 윤리적, 기술적 함의를 연구했고 그 문제들을 앞질렀다. Walzar 박사는 자신의 새로운 지식을 바탕으로, [데이터 유형을 구분하고 프로그램 평가 및 연구에 데이터가 어떻게 사용될 것인지를 명확히 하는 데이터 액세스 표준] 개발을 위한 투입input과 리더십을 제공했습니다. 이 계획은 평가 데이터를 인증 기관에 전송하고 저장하는 데 영향을 미쳤다. 전송에 예상보다 시간이 오래 걸렸지만, 익명화된 집계 데이터만 업로드되도록 주요 변경 사항이 적용되었습니다. 인증기관이 (제3자 보안감사 권고사항을 이행했음에도) 해킹을 당했을 때 조차, 교육생들의 평가 자료는 구체적으로 식별되지 않았다.

As Dr. Walzer learned more about learning analytics, she realized just how close her program had come to some serious consequences. Working with her local information technology team, she studied the ethical and technical implications of her work and got ahead of the issues. With her newfound knowledge, Dr. Walzar also provided input and leadership on the development of data access standards that distinguished types of data based upon their sensitivity and clarified how data would be used for program evaluation and research. This planning impacted the transfer and storage of assessment data to their accrediting body. While the transfer took longer than anticipated, major changes were made to ensure that only anonymized, aggregate data were uploaded. When the accrediting body was hacked despite having implemented the recommendations of a third-party security audit, none of their trainees’ assessment data were specifically identifiable.

그녀는 [공동 설계 방법론]을 활용하여 일선 교수진, 현재 교육생 및 심지어 소수의 환자를 포함한 이해 당사자들을 참여시켰습니다. 몇 년 안에, 그녀는 이 수련생들이 병원의 최신 교수진이 될 것이라고 예상했고, 그녀는 그들의 참여를 수련생들에게 이 작품이 받아들여질 수 있도록 하는 방법과 그들의 문화와 시스템의 지속 가능성에 대한 투자로 보았다. 또한 작업에 대한 투명성과 신뢰도를 높였습니다. 이해관계자들이 제안한 변경사항으로 인해 관련성이 높아졌으며 여러 가지 우려사항이 구현되기도 전에 해결되었습니다.
She leveraged a co-design methodology to engage stakeholders including frontline faculty, current trainees, and even a few patients. Within a few years, she anticipated that these trainees would become their hospital’s newest faculty and she saw their involvement as both a way to ensure the work was embraced by the trainees and as an investment in the sustainability of their culture and system. It also increased the transparency and trust in the work. The changes the stakeholders suggested made it more relevant and resulted in multiple concerns being addressed before they were even implemented.

프로그램을 [역량 위원회 결정]에 inform하기 위해 예측 분석을 사용하는 것도 지연되었다. 그 시간에, 그들은 고부담 평가 결정을 지원하는 데 이러한 새로운 방법론을 사용하기 위한 [타당성 증거]를 수집했다. 역량 위원회 위원들은 이것이 그들의 결정을 더 잘 뒷받침하는 더 명확하고 강력한 분석 결과를 가져왔다는 데 동의했다. 이러한 학술적 접근은 또한 그들의 부서 구성원들을 위한 수많은 출판물을 낳았다. 그들은 모든 훈련생들에게 개별화된 학습 계획을 알리기 위해 새로운 방법을 사용하는 방법을 배우는 시간을 가졌습니다. 그녀는 교육생들이 단순히 시스템에 의해 플래그가 지정되는 것을 방치하는 것이 아니라, 교육생들이 데이터를 해석하고 그에 따라 행동할 수 있도록 돕는 데이터 전문 교수진을 구축하기 위해 지역 교육자들과 광범위하게 협력했다.
Her program’s use of predictive analytics to inform their competence committee decisions was also delayed. In that time, they collected validity evidence for the use of these novel methodologies in supporting high-stakes assessment decisions. The competence committee members agreed that this resulted in more clear and robust analytics that better supported their decisions. This scholarly approach also resulted in numerous publications for members of their department. They took the time to learn how to use the new methods to inform the individualized learning plans for every trainee. She worked extensively with local educators to build up a cadre of data-savvy faculty who were comfortable with helping the trainees to interpret and act upon the data, rather than simply leaving trainees to be flagged by the system.

몇 년 안에, Walzer 박사와 그녀의 교육생들, 그리고 그 기관은 학습 애널리틱스를 그들의 프로그램에 통합하는 것이, 부정적인 결과를 방지하면서, 모든 당사자에 대한 이익을 극대화하는 방식으로 이루어졌다는 것을 편안하게 느끼게 되었다. 그들은 또한 계속해서 새로운 계획들을 생각해냈다. 예를 들어, 그들은 교육생을 위한 주요 성과 지표를 취약한 환자 집단의 임상 관리 개선에 매핑하기 시작했다.
Within a few years, Dr. Walzer, her trainees, and the institution became comfortable that the incorporation of learning analytics into their program was done in a way that maximized the benefits to all parties while preventing negative consequences. They also continued to come up with new initiatives. For example, they had begun mapping key performance indicators for their trainees to improvements in the clinical care of vulnerable patient populations.

1942년 단편 'Runaround'에서, Issac Asimov는 로봇 행동의 지배 원리로 로봇 공학의 3가지 법칙을 제안했다. 로봇 기술의 초기에 쓰여졌음에도 불구하고, 이러한 원칙들은 오늘날까지 계속 논의되고 논의되고 있다. 로봇 공학 및 학습 분석은 특정 지침의 장기적 관련성을 제한하면서 신속하고 예측할 수 없는 진화할 수 있는 기술이라는 공통점을 공유한다. 이를 염두에 두고 학습 분석의 개발 및 구현에 대한 유사한 원칙적 접근 방식이 적절하다고 본다. Slade와 Prinslu는 CBME 내에서 광범위하게 적용할 수 있는 [학습 애널리틱스를 위한 6가지 윤리적 원칙]을 제안했다. 48 표 1은 이러한 원칙을 설명하고 CBME 평가 프로그램 내에서 이들의 적용 예를 제공한다.
In his 1942 short story Runaround, Issac Asimov proposed 3 laws of robotics as governing principles for robot behavior. 50 Despite being written in the early days of robotic technology, these principles continue to be discussed and debated to this day. Robotics and learning analytics share the commonality of being technologies that can evolve rapidly and unpredictably, limiting the long-term relevance of specific guidelines. Bearing this in mind, we believe that a similarly principled approach to the development and implementation of learning analytics is appropriate. Slade and Prinsloo have proposed 6 ethical principles for learning analytics that are broadly applicable within CBME. 48Table 1 describes these principles and provides an example of their application within a CBME assessment program.

분석을 배우는 것은 도덕적인 실천이 되어야 한다.
Learning analytics should be a moral practice

학습 분석은 의사 결정에만 사용해서는 안 되며, 의료 시스템 내의 [교육생, 기관 및 환자의 이익]을 위해 [학습에 대한 이해]를 높이는 데 사용되어야 한다. 적절한 [정책, 시스템 및 문화를 구축 및 조정]하여 사용을 가이드하도록 주의를 기울여야 한다. 예를 들어, 예측 분석을 구현할 때, 우리는 우리가 찾고 있는 정보뿐만 아니라 그러한 정보가 이러한 그룹에 어떻게 그리고 왜 도움이 될 것인지를 신중하게 고려해야 합니다. 우리의 결정에 영향을 미칠 수 있도록 허용하는 분석이 우리의 [시스템에 구축된 가정, 목적 및 체계적 편견을 탐구explore하는 [타당성 주장]에 의해 뒷받침되도록 하는 것]이 매우 중요하다. 학습 분석의 사용이 제도적 및 공동체적 가치와 일치하도록 보장하기 위해 PAIR(참여, 접근, 포함 및 표현) 원칙의 의도적인 고려가 제안되었다. 
Learning analytics should not be used solely to drive decisions, but to gain greater understanding of learning for the benefit of the trainees, institutions, and patients within our health care systems. Care should be taken to build and/or adapt appropriate policies, systems, and cultures to guide their use. 43 For example, when implementing predictive analytics, we must carefully consider what we are looking for as well as how and why that information will benefit these groups. It will be crucial to ensure that the analytics which we allow to influence our decisions are supported by validity arguments that explore the assumptions, purpose, and systemic biases that are baked into our systems. The intentional consideration of the PAIR (Participation, Access, Inclusion, and Representation) principles has been proposed to ensure that the use of learning analytics aligns with institutional and community values. 51

에이전트로서의 교육생
Trainees as agents

학습 분석은 "교육생에게" 가해지는 것이 아니라 "교육생과 함께" 하는 것이어야 한다. 시스템 내에서 교육생의 공동 설계와 참여는 필수적이며, 특히 상급 교육생이 후배들을 육성하고 가르치는 데 있어 어텐딩보다 실제 접근 방식을 더 많이 취하는 시스템에서 더욱 중요하다. 교육생은 당사 시스템의 설계 및 운영에 파트너로 참여해야 합니다. 어떤 데이터가 수집되고 어떻게 사용되는지 알려주면 이러한 분석에 참여하고 이익을 얻는 데 도움이 될 것이다. 이는 훈련생의 성과를 모니터링하기 위해 예측 분석을 사용하기 때문에 특히 중요하다. 이러한 분석의 개발에 교육생을 참여시키는 것은 교육생들이 자신에게 중요한 평가 프로그램에 대리점을 제공하는 동시에 그들의 이점과 한계를 이해하는 데 도움이 될 것이다. 성공적인 공동 설계 노력은 또한 미래 교육 리더의 도제 교육을 가능하게 합니다. 그들의 지속적인 기관은 데이터 시스템의 진화와 갱신에 기여하기 때문에 지속 가능성을 향상시킬 것입니다. 데이터 통찰력에서 학습하는 인간의 측면은 지속적인 전문 개발 문헌에 설명되어 있으며 교육생들에게 번역될 수 있다. 최적의 학습 시스템과 발전 지향적인 조직을 만들기 위해 어떤 교육적 지원, 정책, 시스템이 필요한지 이해하기 위해서는 더 많은 연구가 필요하다. 

Learning analytics should not be “done to” trainees but “done with” them. Co-design and involvement of trainees within the systems are imperative, especially in systems where senior trainees take more of a hands-on approach than attendings in nurturing and teaching their junior colleagues. Trainees should be involved as partners in the design and operation of our systems. Making them aware of what data are being collected and how they are being used will help them to engage with and benefit from these analyses. 28,52 This will be particularly important as predictive analytics are used to monitor trainee performance. Involving trainees in the development of these analyses will help them to understand their benefits and limitations while providing agency in an assessment program that matters to them. Successful co-design efforts also allow for the apprenticeship of future educational leaders whose continued agency will enhance sustainability as they contribute to the evolution and renewal of our data systems. 53–55 The human aspect of learning from data insights has been described in the continuing professional development literature and may translate to trainees. 56 More study is needed to understand what educational supports, policies, and systems will be required to create optimal learning systems and developmentally oriented organizations. 22,43

훈련생 신분과 성과는 시간적 역동적 구조이다.
Trainee identity and performance are temporal dynamic constructs

학습 분석을 구현하면서 교육 및 임상 결과가 [교육생의 상황]에 어떻게 영향을 미칠 수 있는지 결정해야 한다. EPA 평가는 [관찰 데이터]로 구성된다. 이러한 관찰은 [팀 기반 의료]의 맥락에서 발생하며, [암묵적 편견의 영향]을 받을 수 있는 교수진에 의해 완료된다. 우리가 이러한 데이터를 해석하기 시작할 때, 이러한 맥락을 기억하고 시간이 지남에 따라 교육생들의 성장을 고려하는 것이 중요할 것이다. 이는 [복잡한 시스템 속의 환자 결과]와 [교육생 주변에 존재하는 팀]을 통합할 때 특히 그렇습니다. 우리는 연습생이 일하는 맥락을 이해하고 성공을 어떻게 귀속시킬지를 결정하는 데 있어 그것을 설명하기 위해 미묘한 과학이 필요할 것이다. [전공의에 민감한 품질 척도]를 조사 및 분리하고, [의료 팀의 상호 의존성]을 분리하는 데 초점을 맞춘 최근 연구는 이 복잡하고 미묘한 데이터의 해석을 안내해야 한다.
As we implement learning analytics, we should seek to determine how educational and clinical outcomes can be and are impacted by our trainees’ contexts. 57 EPA assessments consist of observational data. These observations occur within the context of team-based health care and are completed by faculty members who may be influenced by implicit bias. 58 As we begin to interpret these data, it will be important to remember this context and consider the trainees’ growth over time. 57 This is particularly true when incorporating patient outcomes within the complex systems and teams that exist around our trainees. We will need nuanced science to understand the context in which the trainee works and account for that in determining how to attribute success. Recent work focused on examining and isolating resident-sensitive quality measures 38,39 and teasing apart the interdependence of health care teams 40,41 should guide the interpretation of this complex and nuanced data.

훈련생들의 성공은 복잡하고 다차원적인 현상이다.
Trainee success is a complex and multidimensional phenomenon.

우리는 학습 분석을 해석하고 사용하는 교육자를 교육하여, 학습 애널리틱스가 도출하는 추론에 대해 어느 정도 회의적인 태도를 유지하도록 해야 한다. 21 기계 학습, 자연어 처리 및 기타 고급 예측 도구는 [상관 관계 데이터 기법의 파생물]이므로 [인과관계와 연결되어 있다고 가정할 수 없다]. 임상 의사 결정 지원 도구, 위험 기반 계산기 또는 기타 지침을 임상 진료에서 사용하는 방법과 유사하게, 우리는 교육에 사용하는 [도구의 진단 부정확성]에 대해 경계해야 한다. 도구의 민감도 및 특수성과 같은 속성을 연구하면 도구의 강점과 한계를 이해하고 저위험 및 고위험 평가 결정에 적절하게 기여하고 있는지 확인하는 데 도움이 될 것이다. 무엇보다도, 우리는 [상관관계가 있는 결과]와 [운명fate]을 혼동하지 않도록 해야 한다.

We should train the educators who interpret and use learning analytics to sustain a degree of skepticism with respect to the inferences they draw from them. 21 Machine learning, natural language processing, and other advanced prediction tools are derivative of correlational data techniques and cannot be assumed to be linked to causality. 59 Similar to how we use clinical decision support tools, risk-based calculators, or other guidelines in clinical care, we should remain wary of the diagnostic imprecision of the tools that we use in education. Studying attributes such as the sensitivity and specificity of our tools will help us to understand their strengths and limitations and ensure that they are contributing appropriately to low- and high-stakes assessment decisions. Above all, we must ensure that we do not confuse a correlated outcome with fate.

투명성.
Transparency.

교육생들의 신뢰를 쌓고 유지하기 위해서는 [투명성]이 필수적입니다. EPA 평가 데이터에는 실습생 학습 및 평가에서부터 교수진 개발, 프로그램 평가, 품질 개선, 연구 및 인증에 이르는 수많은 사용 사례가 있다. 연수생의 평가 데이터가 이러한 모든 목적에 사용될 것이 분명하지 않기 때문에, 연수생은 자신의 데이터가 어떻게 사용될 것인지를 알아야 한다. 또한, 투명한 정책은 다양한 유형의 데이터의 [소유권과 민감도]를 분류하고, [누가 어떤 목적으로 각 유형의 데이터에 액세스할 수 있는지] 명확하게 설명해야 한다. 기관들은 그들의 정책과 지역 입법에 기초하여 그들 자신의 지침을 개발할 필요가 있을 것이다. 예를 들어, 내부 프로그램 평가 및 인증 목적을 위해 익명으로 집계된 수습 평가 데이터 세트를 사용하는 것은 오랜 표준 관행이지만 학습자에게 데이터가 이러한 방식으로 사용될 것임을 공식적으로 알리는 것이 중요하다. 한편, 연구 목적으로 식별 가능하거나 잠재적으로 식별 가능한 평가 데이터를 공유하려면 데이터의 민감도에 따라 선택 또는 선택 동의 프로세스가 필요할 수 있다. [[프로그램 평가]와 [연구] 사이의 구분을 명확히 하는 것]은 종종 프로그램 평가 작업으로 확장되는 윤리적 면제 및 감소된 정밀 조사를 고려할 때 매우 중요할 것이다. 훈련생 평가 데이터의 프라이버시를 보장하기 위해 취한 보안 절차의 한계도 투명해야 한다. 

Transparency is essential to develop and maintain the trust of our trainees. 60 There are numerous use cases for EPA assessment data that span from trainee learning and assessment through faculty development, program evaluation, quality improvement, research, and accreditation. 26 As it is not obvious that a trainee’s assessment data would be used for all of these purposes, they should be made aware of how their data will be used. Further, transparent policies should categorize the ownership and sensitivity of various types of data and explicitly outline who has access to each type of data for what purpose. Institutions will need to develop their own guidelines based upon their policies and local legislation. For example, using an anonymized, aggregated dataset of trainee assessments for internal program evaluation and accreditation purposes is a long-standing and standard practice, but it is important to formally inform learners that their data will be used in this way. On the other hand, the sharing of identifiable or potentially identifiable assessment data for research purposes is likely to require opt-out or opt-in consent processes depending upon the sensitivity of the data. Clarifying the division between program evaluation and research will be extremely important given the ethical exemptions and decreased scrutiny that are often extended to program evaluation work. 61 The limitations of the security procedures taken to ensure the privacy of trainee assessment data should also be made transparent. 62

데이터셋 간의 연결을 강화하면 데이터셋 분석을 지원하고 해킹이나 기타 기술적 문제에 더욱 취약해진다.

• 데이터 파티셔닝(즉, 데이터가 저장되는 위치를 분리하고 온디맨드 방식으로 연결), 
  
• 익명화(즉, 교육생이 데이터만으로 식별할 수 없도록 데이터를 코드화된 식별자로 재작성) 
  
• 블록체인 기술(즉, 분산 원장 시스템을 사용하여 데이터 무결성을 보장하고 장애 지점을 최소화함) 및 
  
• 다른 고급 데이터 보안 기술

...은 보안을 강화할 수 있지만 교육 기관의 현재 기술 수준을 넘어설 수 있습니다. 종합하면, 기관 정책은 [다양한 유형의 수습 데이터를 어떻게 사용할 수 있는지]와 [그 보안을 보장하기 위해 어떤 예방 조치가 마련되어 있는지] 투명하게 정의해야 한다. 
Strengthening the connections between datasets supports their analysis and also makes them more vulnerable to hacking or other technical issues. 23 

• Data partitioning (i.e., separating where data are stored and linking on demand),
• anonymization (i.e., redacting data down to only coded identifiers so that trainees cannot be identified by data alone),
• block-chain technology (i.e., using a decentralized ledger system to ensure data integrity and minimize points of failure), and
• other advanced data security techniques

...could increase security but may be beyond the current technological skill set of educational institutions.

Taken together, institutional policies should transparently define

• how various types of trainee data can be used and
• what precautions are in place to ensure its security.

고등교육은 데이터를 사용하지 않을 여유가 없다.
Higher education cannot afford to NOT use data.

마지막으로, 우리는 학습 분석의 사용을 진전시키기 위한 결의와 용기가 필요할 것이다. 이러한 원칙은 복잡하고 진화하는 문제를 제기하는데, 이러한 문제를 안전하고 윤리적으로 해결하기 위해 해결해야 합니다. 그러나 미래의 교육생과 환자의 이익을 위해 교육 시스템을 개선하기 위해 CBME 내에서 수집한 평가 데이터를 사용하지 않는 것도 문제가 될 수 있다. 인력, 프로그램 및 시스템을 지속적으로 개선한다는 목표로 이러한 새로운 도구의 사용에 접근하면 교육생이 제공하는 임상 관리를 개선할 수 있는 방법에 대한 통찰력을 얻을 수 있습니다.
Finally, we will need resolve and courage to move forward with the use of learning analytics. These principles raise complicated and evolving concerns that will need to be addressed to do this safely and ethically. However, not using the assessment data that we collect within CBME to improve our training systems for the benefit of our future trainees and their patients would also be problematic. If we approach the use of these new tools with the goal of constantly improving our people, programs, and systems, 22 then they will provide insight into how we can improve the clinical care provided by our trainees.

결론들
Conclusions

학습 분석은 교육생, 프로그램 및 시스템에 도움이 되는 방식으로 EPA 기반 CBME 평가 시스템에 의해 수집되는 엄청난 양의 평가 데이터를 활용할 수 있는 잠재력을 가지고 있습니다. 그러나 이들의 활용은 새롭고 잠재적으로 위험한 과제를 제시하기도 한다. 안전하게 전진하기 위해, 우리는 교육과 컴퓨터 과학의 더 넓은 분야에서 개발된 학습 분석의 윤리적 원칙을 고려하고 기초할 필요가 있을 것이다.

Learning analytics have the potential to leverage the incredible amount of assessment data that are being collected by our EPA-based CBME assessment systems in ways that will benefit our trainees, programs, and systems. However, their utilization also presents new and potentially dangerous challenges. To move forward safely, we will need to consider and build upon the ethical principles of learning analytics that have been developed in the broader fields of education and computer science.

Copyright © 2021 by the Association of American Medical Colleges.

의학교육 도구로서 서사의학: 체계적 문헌고찰(Med Teach, 2019)
Narrative medicine as a medical education tool: A systematic review
M. M. Milota, G. J. M. W. van Thiel and J. J. M. van Delden

방법들
Methods

우리의 목표는 서사 기반 의학에 대한 이론적 출판물에서 제안된 교육 전략이 보건 교육 환경에 체계적으로 적용되었는지 여부를 확인하는 것이다. 이러한 이유로, 우리의 건강교육 체계적 검토는 임상적 환경이나 비건강교육 환경에서 서사의학 사용을 설명하는 기사가 아니라 의료교육 또는 의료실무자의 지속적인 전문적 발전에 대한 구체적인 서사의학 개입에 대해 보고하는 기사에 초점을 맞출 것이다. 이 검토는 다음의 세 가지 하위 질문에 답하려고 시도할 것이다: 

• 첫째, 건강 교육에 서술 기반 의학의 구조화된 모델의 증거가 있는가? 그리고 만약 그렇다면, 그것이 일관되게 적용되고 있는가?
• 둘째, 서술 기반 강의실 개입이 측정 가능한 결과를 초래한다는 증거가 있는가?
• 마지막으로 보고된 결과의 품질과 특성은 무엇입니까?

Our goal is to ascertain whether or not the pedagogic strategies proposed in the theoretical publications about narrative-based medicine were systematically applied in health education settings. For this reason, our health education systematic review (Gordon 2018) will focus on articles that report on specific narrative medicine interventions in medical education or in the continuing professional development of medical practitioners, not on articles that describe the use of narrative medicine in clinical settings or in non-health education settings. This review will attempt to answer the following three sub-questions:

• first, is there evidence of a structured model for narrative-based medicine in health education, and if so, is it consistently applied?
• Second, is there evidence that narrative-based classroom interventions result in measurable outcomes?
• Finally, what is the quality and nature of the reported outcomes?

문헌 검색
Literature search

우리의 체계적인 검토는 두 단계로 실행되었다. 첫째, 우리는 전자 데이터베이스를 검색했고, 둘째, 우리는 서술 의학 관련 주요 저자와 기사를 대상으로 반복적인 검색을 실행했다. 첫 번째 단계의 기사는 다음과 같은 전자 데이터베이스에서 얻었다. PubMed, Medline, Psychinfo, EBSCO 학술 검색 프리미어 및 간호 및 관련 건강 문헌 누적 지수(CINAHL)가 포함되어 있습니다. 별도의 검색 문자열 목록은 부록에서 확인할 수 있습니다. 가장 관련성이 높은 출처를 검색하기 위한 수단으로 제목, 추상 또는 키워드에 "의학" 또는 "의학 기반 의학"이 포함된 기사를 검색했습니다. 또한 1999년에 서술 의학 또는 서술 기반 의학을 개념으로 설명하는 첫 번째 이론적 출판물과 잠재적 강의실 개입이 출판됨에 따라 2000년부터 발행된 논문으로 검색을 제한했다. 검색어에 대한 합의가 이루어지자 한 저자(M.M.)가 2017년 11월 6일 초기 검색을 실행했다. 이 검색은 2018년 5월 31일에 반복되었다.

Our systematic review was executed in two phases: first, we searched electronic databases; second, we ran an iterative search targeting key authors and articles related to narrative medicine. Articles in the first phase were obtained from the following electronic databases: PubMed, Medline, Psychinfo, EBSCO Academic Search Premier, and the Cumulative Index to Nursing and Allied Health Literature (CINAHL). A list of the separate search strings can be found in the Supplementary Appendix; as a means of retrieving the most relevant sources, we searched for articles that included “narrative medicine” or “narrative-based medicine” in the title, abstract, or keywords. We also limited our search to articles published from 2000 onwards as the first theoretical publications describing narrative medicine or narrative-based medicine as a concept and potential classroom intervention were published in 1999. Once we had reached consensus about the search terms, one author (M.M.) ran an initial search on November 6, 2017. This search was repeated on May 31, 2018.

두 번째 단계에서는 컬럼비아 대학의 서사의학 프로그램의 공동 설립자인 Rita Charon, Sayantani Das Gupta Craig Irvine 및 Maura Spiegel을 대상으로 서사의학 강의실 개입에 대한 주요 기사를 별도로 검색했다. 그런 다음 관련 출처를 찾기 위해 이러한 기사의 참조 목록을 검토했다. 우리는 또한 우리의 연구 질문과 관련이 있을 수 있는 추가 기사를 식별하기 위해 서사의학, 공감 및 의학 교육의 예술에 대한 체계적인 리뷰에서 인용된 작품들을 조사했다. 중복을 제거한 뒤 378건의 글이 남았다.

For the second phase, we ran a separate search on PubMed by author, in this case for the co-founders of Columbia University’s Narrative Medicine Program—Rita Charon, Sayantani DasGupta Craig Irvine, and Maura Spiegel—in order to identify key articles about narrative medicine classroom interventions. We then examined the reference lists of these articles for further relevant sources. We also examined the works cited in systematic reviews on narrative medicine, empathy, and the arts in medical education to identify any additional articles that could be relevant to our research questions (Kuper 2006; Batt-Rawden et al. 2013; Cowen 2016; Barber and Moreno-Leguizamon 2017; Wieżel et al. 2017). After removing duplicates, 378 articles remained.

 

기사선정
Article selection

두 명의 저자(M.M.과 G.V.T.)는 다음과 같은 자격 기준에 기초하여 제목과 요약본을 스캔하여 Cvidence의 전체 텍스트 검토를 위한 관련 기사를 독립적으로 식별했다.
Two authors (M.M and G.v.T.) independently identified relevant articles for full-text review in Covidence by scanning the titles and abstracts on the basis of the following eligibility criteria.

• 포함 기준: 
  • 학부, 대학원 또는 대학원 수준의 의료 또는 의료 교실 환경에서 서술적 의학 커리큘럼, 과정, 세미나 또는 교수 관행을 설명하는 출판물 
    
  • 의료 서비스 제공자를 위한 교수진 개발 전문 개발 개입을 설명하는 연구 
    
  • 질적 및/또는 정량적 평가를 통해 교육학적 도구로서 서술적 의학의 영향을 시험하려는 출판물.

Inclusion criteria: publications that describe narrative medicine curricula, courses, seminars, or teaching practices in a medical or paramedical classroom setting at the undergraduate, graduate, or postgraduate level; studies describing a faculty development professional development intervention for health care providers; publications that attempt to test the impact of narrative medicine as a pedagogic tool with qualitative and/or quantitative assessment.

• 제외 기준: 
  
  • 임상 환경에서 서술적 의학 사용에 대해 보고하는 출판물 
    
  • 서술 의학에 대해 이론화하지만 특정 강의실 환경에서 그것의 사용을 설명하지 않는 출판물 
    
  • 비의료 환경에서 서술형 의학의 사용을 설명하는 출판물(예: 수의학교) 
    
  • 서술적 의학을 교육학적 도구로 명시적으로 언급하고 사용하지 않는 출판물 
    
  • 비영어 출판물; 체계적인 문학 평론

Exclusion criteria: publications that report on the use of narrative medicine in a clinical setting; publications that theorize about narrative medicine but do not describe its use in a specific classroom setting; publications that describe the use of narrative medicine in a non-medical setting (for example, veterinary school); publications that do not explicitly mention and use narrative medicine as a pedagogic tool; non-English publications; systematic literature reviews.

포함 목록을 비교하기 위해 회의를 하고 갈등을 해결한 후, 한 연구원(M.M.)은 자격에 대한 전문 분석을 실시했다. 서사의학 강의실 개입에 대한 총 36개의 연구가 최종 분석에 포함되었다. 그림 1에는 검색 프로세스의 흐름도가 나와 있습니다.
After meeting to compare inclusion lists and resolving any conflicts, one researcher (M.M.) conducted a full-text analysis for eligibility. In total, 36 studies reporting on a narrative medicine classroom intervention were included in the final analysis. Figure 1 contains a flow diagram of the search process.

데이터 추출
Data extraction

한 저자(M.M.)는 전체 텍스트를 검토하고 다음과 같은 일반 정보를 추출했다: 저자, 출판 연도, 강의실 개입 현장, 연구 유형(개입 보고서, 정성 및/또는 정량적 평가 구성요소), 서술 의학 과정 수준 및 분야, 과정 유형(선택, 필수, 교수 개발), 코스 기간 및 참가자 수(참가자 수 포함)에 대해 설명합니다.

또한, 이 추출물은 보고된 서술 의학 과정 내용의 더 자세한 측면을 기록했습니다. 여기에는 다음이 포함됩니다. 코스 자체에 사용된 공식 및 비공식 평가 도구(예: 동료 피드백 또는 의사-작가 및 전문가와의 글쓰기 워크샵 세션)뿐만 아니라 코스에 사용된 특정 예술 형식 또는 이론적 텍스트, 특정 쓰기 과제, 공식 및 비공식 평가 도구 마지막으로, 추출은 또한 교육학적 개입에 대한 정성적 및/또는 정량적 평가를 포함하는 연구에서 보고된 방법, 목표 및 결과를 기록하였다.

One author (M.M.) reviewed the full texts and extracted the following general information: authors, year of publication, site of classroom intervention, type of study (report of intervention, qualitative and/or quantitative assessment component), the narrative medicine course level and field, type of course (elective, required, faculty development), the duration of course, and the number of participants, if mentioned.

In addition, the extraction recorded more detailed aspects of the reported narrative medicine course content. This included: specific art forms or theoretical texts used in the course, specific writing assignments as well as formal and informal assessment tools used in the course itself (for example, peer feedback or writing workshop sessions with a physician-writer and expert). Finally, the extraction also recorded the methods, objectives, and outcomes reported in the studies that included a qualitative and/or quantitative assessment of a pedagogic intervention.

증거 등급
Evidence grading

 

서술형 의학 강의실 개입의 결과를 평가하려고 시도한 연구는 Kirkpatrick 기반 결과 척도 및 증거 척도를 모두 포함하는 BEME(Best Evidence in Medical Education) 글로벌 평가 척도를 사용하여 평가되었다. Kirkpatrick 모델은 원래 기업 조직의 교육 프로그램을 평가하는 수단으로 고안되었으며, 의료 교육을 포함한 고등 교육(Praslova 2010)에서 프로그램의 효과를 측정하는 표준 도구가 되었다. BEME 글로벌 척도는 표 1에서 확인할 수 있습니다.

Studies that attempted to assess the outcomes of a narrative medicine classroom intervention were rated using the Best Evidence in Medical Education (BEME) Global Rating Scale, which includes both a Kirkpatrick-based outcomes scale and a strength of evidence scale (Hammick et al. 2010). Originally conceived as a means of assessing training programs in business organizations (Kirkpatrick 1959, 1976, 1996), the Kirkpatrick model has become a standard tool for gauging the effectiveness of programs in higher education (Praslova 2010) including medical education (Issenberg et al. 2005; Littlewood et al. 2005; Steinert et al. 2006; Colthart et al. 2008; Tochel et al. 2009; Sullivan 2011). The BEME Global Scale can be found in Table 1.

 

 

데이터 추출을 완료한 후 한 작성자(M.M.)는 BEME Global Scale을 사용하여 포함된 기사를 코드화했습니다. 이 단계가 완료되면 두 번째 작성자(G.V.T.)는 무작위로 선택된 5개의 기사에 대한 독립적인 채점을 완료했다. 그 후 두 저자는 그들의 점수를 비교하고 의견 차이를 해결하기 위해 만났다. 보충 표 2는 증거와 결과 점수의 BEME 강도뿐만 아니라 데이터 추출의 핵심 정보를 제공한다.
After completing the data extraction, one author (M.M.) coded the included articles using the BEME Global Scale. Once this step was completed, a second author (G.v.T.) completed an independent grading of 5 randomly selected articles. The two authors then met to compare their scores and resolve disagreements. Supplementary Table 2 provides key information from the data extraction as well as the BEME strength of evidence and outcome scores.

결과.
Results

서사기반 의료 개입을 위한 구조화된 모델의 증거
Evidence of structured model for narrative-based medicine interventions

보건 교육에서 서술 의학에 대한 이론적 출판물은 일반적으로 세 가지 기본 단계로 구성된 교육학적 전략을 설명한다.

• 첫 번째 단계는 환자 내러니트, 문학 텍스트, 영화 단편, 예술 작품 또는 음악 작품과의 [성찰적 참여]를 포함한다. 컬럼비아의 내러티브 메디컬 프로그램에서 이 단계는 특정 형태의 예술을 [자세히 읽거나 비판적으로 분석하는 것]을 포함하며, 그들의 내러티브 의학 강의실에서 대표적인 방법으로 여겨진다.
• 이 참여 동안 얻은 통찰력은 [관련된 쓰기 과제 또는 개인적인 성찰]을 통해 교육학적 전략의 두 번째 단계에서 강화된다.
• 만남은 세 번째 단계에서 더욱 풍성해지는데, 이것은 이러한 [작은 자기 성찰 행위들을 공유하고 토론하는 것]으로 구성되어 있다. 

Theoretical publications about narrative medicine in health education typically describe a pedagogic strategy consisting of three basic steps.

• The first step involves a reflective engagement with a patient narrative, literary text, film fragment, art work, or piece of music. At Columbia’s Narrative Medicine Program, this step includes a close reading—or critical analysis—of the art form and is considered the signature method in their narrative medicine classrooms (Charon, DasGupta, et al. 2016, p. 181).
• The insights gained during this engagement are reinforced in the second step of the pedagogic strategy by means of a corresponding writing assignment or personal reflection.
• The encounter is further enriched in the third step, which consists of sharing and discussing these small acts of self-reflection (Balmer and Richards 2012, p. 2).

다시 말해서, [서사의학 강의실 개입]은

• 예술 형태나 서사를 만나거나 분석하고,
• 이 만남을 성찰하고,
• 주의 깊게 관찰되고 뒷받침되는 환경에서 자신의 발견을 다른 사람들과 공유하는 것을 포함한다.

In other words, a narrative medicine classroom intervention entails

• encountering and/or analyzing an art form or narrative,
• reflecting upon this encounter, and
• sharing one’s discoveries with others in carefully monitored and supportive environment (Charon, DasGupta, et al. 2016).

본 검토에서 서사의학을 교육학적 도구(N = 36)로 사용하는 것에 대해 보고한 연구들 중, (밀접한) 읽기-반성-응답의 3단계 과정의 증거는 대부분의 기사(N = 22)에서 찾을 수 있다. 소수의 과정에서는 성찰적 글쓰기와 토론만 포함했습니다(N = 12). 극소수는 서면 반영(N = 2)을 포함하지 않았다.

Of the studies in this review that reported on their use of narrative medicine as a pedagogic tool (N = 36), evidence of this three-step process of (close) reading-reflecting-responding could be found in the majority of the articles (N = 22). A minority of courses only included reflective writing and discussion (N = 12). A very small minority did not include written reflection (N = 2).

측정 가능한 결과의 증거
Evidence of measurable outcomes

이 검토에서 23개의 연구는 그들의 서술적 의학 교실 개입의 영향을 평가했다. Kirkpatrick 모델에 따라 분류된 연구 결과의 간략한 요약은 표 2에서 확인할 수 있다. 이러한 연구의 측정 및 결과에 대한 자세한 설명은 부록에서 확인할 수 있다.

In this review, 23 studies assessed the impact of their narrative medicine classroom interventions; a brief summary of the findings categorized according to the Kirkpatrick model can be found in Table 2. A detailed description of the measures and outcomes of these studies can be found in the Supplementary Appendix.

 

1단계: 참여
Level one: participation

대부분의 연구에는 1단계 또는 2단계 평가가 포함되었다. 수준 1 결과 측정치(N = 14)를 포함하는 연구는 성과척도로서 조사 또는 피드백 양식에 압도적으로 의존했지만 서사의학, 개입 자체에 대한 긍정적인 학생 반응과 감사, 희망, 만족 또는 기쁨과 같은 긍정적인 효과를 보고했다.
The majority of the studies included level one or two assessments. Studies that included level one outcome measures (N = 14) overwhelmingly relied on surveys or feedback forms as outcome measures but reported positive student reactions to the narrative medicine interventions themselves (Winkel 2010; Ross 2014) and positive effects, such as a sense of gratitude, hope, satisfaction, or pleasure (DasGupta and Charon 2004; Feigelson and Muller 2005; Garrison 2011; Chretien 2015).

2단계: 태도, 인식, 지식 또는 기술의 수정
Level two: modification of attitudes, perceptions, knowledge, or skills

예를 들어, 참가자들의 태도나 인식의 변화에 대해 보고한 연구들(레벨 2a; N = 16)은 그들의 동료들과 더 넓은 전문 커뮤니티에 대한 정체성 증가, 그들의 일에 대한 더 많은 만족과 웰니스 감각, 또는 문화적 다양성에 대한 더 나은 인식을 발견했다. 임상실습 3학년 학생들을 위한 서사의학 환자 스토리텔링 과정에 대한 크레티엔의(2015) 평가 연구는 예시적인 예를 제공한다. 그 과정 동안, 학생들은 환자를 인터뷰하고, 그들의 인터뷰를 서술형으로 쓰고, 그들의 인터뷰 대상자들과 이 쓰여진 작품을 공유해야 했다. 강의가 끝난 후 포커스 그룹과 학생과 참여 환자 모두를 대상으로 한 인터뷰가 진행됐다. 학생들은 이 연습을 통해 다음을 했다고 보고했다

• 환자로부터 질병 이상의 것을 발견하는데 도움을 주었고,
• 천천히 듣고 들을 수 있는 기회를 갖도록 더 개방적으로 만들었으며,
• 이야기들이 환자 치료에 긍정적인 영향을 미칠 수 있다는 것을 확실히 보여주었다.

Studies that reported on modification of participants’ attitudes or perceptions (level 2a; N = 16) found, for example,

• increased identification with their peers and the broader professional community (Feigelson and Muller 2005; Balmer and Richards 2012; Al-Imari et al. 2016),
• more satisfaction with their work and sense of wellness (Feigelson and Muller 2005; Graham 2009), or
• a better awareness of cultural diversity (DasGupta et al. 2006).

Chretien’s (2015) assessment study of a narrative medicine patient storytelling course for third-year medical clerkship students provides an illustrative example. During the course, students had to interview patients, write up their interview as a narrative, and share this written work with their interviewees. Focus groups and interviews with both students and participating patients were conducted after the course was completed. Students reported that the exercise

• helped them discover that patients are more than their disease,
• made them more open to taking the opportunity to slow down and listen, and
• made clear to them that stories can positively impact patient care.

상당수의 연구는 또한 서사의학 개입의 직접적인 결과로 지식이나 기술의 수정을 평가했다(수준 2b; N = 14). Liben(2012)은 서사의학 워크숍의 교수진 참가자들이 후속 테스트에서 서사적 용어 습득을 입증하고 나중에 이러한 서사의 기술을 교육 및 임상 환경에 적용했다고 보고했다. 마찬가지로, Ross(2014)는 서사의학 과정(평균 점수 51.6–71.5, p < 0.001)을 완료하기 전후에 실시한 서사적 기술 평가에서 유의미한 향상을 기록했다. 커닝햄(2018)은 학생들이 자신의 서술적 성찰에서 다음과 같은 주제를 다루었다는 것을 발견했다: 자기 인식, 공감, 정서적 거리와 연민의 균형. 다른 연구들은 의사소통에 대한 이해와 능력이 향상되었다고 보고했다.
A considerable number of studies also assessed the modification of knowledge or skills as a direct result of the narrative medicine intervention (level 2b; N = 14). Liben (2012) reported that faculty participants in a narrative medicine workshop demonstrated the acquisition of narrative terms in a follow-up test and later applied these narrative skills in teaching and clinical settings. Similarly, Ross (2014) recorded significant improvement in a narrative skills assessment administered before and after the completion of a narrative medicine course (mean scores 51.6–71.5, p < 0.001). Cunningham (2018) found that students addressed the following themes in their written narrative reflections: self-awareness, empathy, and balancing emotional distance and compassion. Other studies reported an enhanced understanding of and capability in communication (Garrison 2011; Arntfield et al. 2013; Welch 2016).

많은 연구들은 학생들이 그들의 환자에 대한 공감과 연결성을 증가시켰다고 보고했다. Sands(2008)는 또한 baseline에 비해서 Interpersonal Reactivity Index를 사용한 개입 후 평가에 따라 공감적 관심empathic concern의 개선을 발견했다. 하지만, 서사의학 개입 전후에 공감 수준을 평가하려는 모든 시도가 긍정적인 결과를 가져온 것은 아니다. 서사의학 세미나 세션에 참석하면 번아웃을 줄이고, 공감 능력을 높이고, 반사 능력을 높이고, 주민들이 업무에서 접하는 다중 스트레스 요인을 처리하는 데 도움이 될 것이라는 윙클 외(2016)의 가설을 Maslach Burnout Inventory, Interpersonal Reactivity Index 및 Self-Care Inventory를 통해 검증하였으며, 참가자가 서술 의학 세미나를 마친 후 1년 후 기준에서 시행하였다. 그 결과에서, 서사의학 개입 이후 공감적 관심이 약간 증가했다고 보고했습니다(+0.76, p = 0.01). 그러나 전체 수준에서 저자들은 번아웃 수준은 높은 수준을 유지했지만 점수에서 큰 차이를 발견하지 못했다.
A number of studies reported that students had an increased sense of empathy for and connection to their patients (DasGupta and Charon 2004; Maurer 2006; Vannatta and Vannatta 2013; McDonald 2015). Sands (2008) also found an improvement in empathic concern (p = 0.056) according to baseline and post-intervention assessments using the Interpersonal Reactivity Index. This being said, not all attempts to assess empathy levels before and after a narrative medicine intervention resulted in positive results. Winkel et al.’s (2016) hypothesis that attending narrative medicine seminar sessions would reduce burnouts, enhance empathy, increase reflective capabilities, and help residents process the multiple stressors the encountered on the job, was tested by means of a Maslach Burnout Inventory, Interpersonal Reactivity Index, and Self-Care Inventory administered at the baseline and one year after participants’ completion of the narrative medicine seminars. The study reported a small increase in empathic concern after the narrative medicine intervention (+0.76, p = 0.01). Yet at the aggregate level, the authors found no significant difference in scores, although burnout levels remained high.

3단계: 행동 변화
Level three: behavioral change

이 검토에 포함된 세 가지 연구는 서술 기반 의학 개입의 결과로 행동 변화를 명시적으로 측정하기 위한 시험을 설계하고 실행했다. 이러한 연구에는 여러 측정 도구가 포함되었으며 세 가지 중 두 가지에는 데이터 삼각측량이 포함되었다. Bhavarju는 서사의학 교수 훈련 개입의 영향을 평가하기 위해 사전 및 사후 리커트 척도 설문지를 사용하여

• 쓰기 및 쓰기 연습 리딩에 대한 자신감 향상(3.1–4.2)과
• 독서토론 리딩에 대한 높아진 자신감(3.7–4.4)을 확인했다. 참가자들은 또한
• 강의에 서사의학 도구를 통합한다(2.0–2.7)고 보고했다. 

Three studies included in this review designed and executed tests to explicitly measure behavioral change as a result of a narrative-based medicine intervention (Balmer and Richards 2012; Arntfield et al. 2013; Bhavaraju and Miller 2014). These studies included multiple measurement tools and two of the three included data triangulation (Balmer and Richards 2012; Arntfield et al. 2013). Using pre- and post-intervention Likert Scale questionnaires to assess the impact of a narrative medicine faculty training intervention, Bhavaraju found an

• increase in participants’ confidence in writing and leading writing exercises (3.1–4.2) and
• increased confidence in leading literary discussions (3.7–4.4). Participants also reported
• integrating narrative medicine tools in their teaching (2.0–2.7).

발머의 교수 교육 프로그램 분석은 전문적 성장(교습 전략 학습, 여러 과정에 이러한 전략 적용), 개인적 성장(관점 수용), 집단적 및 공동적 지원의 증거를 발견했다. (다른 사람, 소속감, 그리고 풍부한 연결감을 봅니다.) Arntfield의 학부 서사의학 선택과목 평가는 3가지 데이터 수집 및 분석 수단을 사용했다. 즉, 개입 전 익명 조사, 포커스 그룹, 개입 후 1.5년 후 추적 조사이다. 따라서 이 연구의 결과는 Kirpatrick 모델의 여러 수준으로 분류될 수 있지만, 참가자들은 커뮤니케이션에 대한 이해와 능력의 향상 형태로 행동 변화를 보고했다.

Balmer’s analysis of a faculty training program found evidence of professional growth (learning teaching strategies, applying these strategies to multiple courses), personal growth (perspective taking), and collective and communal support (seeing the “other,” affiliation, and a sense of rich connectedness). Arntfield’s assessment of an undergraduate narrative medicine elective course used three means of data collection and analysis: an anonymous pre-intervention survey, a focus group, and a follow-up survey 1.5 years after the intervention. The outcomes of this study could thus be categorized on multiple levels of the Kirpatrick model, but participants reported behavioral changes in the form of enhanced understanding of and capability in communication.

레벨 4: 조직 관행 또는 환자 상호 작용의 변화
Level four: change in organizational practice or patient interaction

임상 기술 개발에 대한 서술적 의학 강의실 개입의 장기적인 결과를 측정하기 위한 두 가지 연구가 시도되었다. 조직 관행의 변화와 관련하여, Arntfield의 연구 참가자들은 [(환자의 관점에 대한 개선된 인식이란 형태로) 더 나은 치료 전달]을 보고하였다. 발머의 연구의 목표는 진행 중인 [프로세스-지향 서사의학 교수개발 프로그램]이 참가자들에게 미치는 영향을 탐구하는 것이었다. 그리고 저자들은 그들의 의도가 개인 개입 자체를 평가하는 것이 아니라, [대인 관계와 제도적 관행의 진화하는 변화를 살펴보는 것]이라고 명시적으로 말했다. 이 연구는 교수진 개발 프로그램의 참가자들이 나중에 컬럼비아의 새로운 커리큘럼의 규범과 관행을 형성하는 데 도움을 주었다고 결론지었다. 두 연구 모두 교수세미나의 영향에 대한 분석에서 질적 방법만을 사용했지만, 그럼에도 불구하고 참여자들은 [서사의학적 실천을 더 많이 포함하도록 대학의 의과대학 커리큘럼을 형성]하는 데 결정적이고 측정 가능한 수단hand을 가지고 있다고 확신했다.

Two studies attempted to measure the long-term results of a narrative medicine classroom intervention on clinical skill development (Balmer and Richards 2012; Arntfield et al. 2013). Regarding changes in organizational practice, participants in Arntfield’s study reported better delivery of care in the form of a better awareness of patients’ perspectives. The goal of Balmer’s study was to explore the impact of an ongoing, process-oriented narrative medicine faculty development program on participants, and the authors explicitly stated that their intention was to look at evolving changes in interpersonal relationships and institutional practices, not to assess the individual interventions themselves. The study concluded that the participants in the faculty development program later helped shape the norms and practices in Columbia’s new curriculum. Both studies used solely qualitative methods in their analyses of the impact of the ongoing faculty seminars but were nevertheless confident that those who participated had a decisive and measurable hand in shaping the university’s medical school curriculum to include more narrative medicine practices.

증거품질
Quality of evidence

이 연구에 포함된 소수의 출판물(N = 13)은 개입의 결과를 평가하려고 시도하지 않았으며, 대신 서사의학 수업을 위한 교육 도구 개발에 대한 보고를 선택했다. 예로는 작업장 테마 및 설계(DasGupta 2003) 또는 학생 및 교직원 피드백 가이드에 대한 설명이 있습니다. 이 문서들은 비공식적인 증언 증거나 저자들의 개인적인 의견을 포함하고 있기 때문에, 그들은 오직 1의 BEME 증거 점수만을 수여받을 수 있었다.

A minority of publications included in this study (N = 13) did not attempt to assess the outcomes of their intervention, choosing instead to report on their development of pedagogic tools for the narrative medicine classroom. Examples include descriptions of workshop themes and designs (DasGupta 2003) or student and faculty feedback guides (Wald 2010; 2011; Charon, Hermann, et al. 2016). As these articles included informal testimonial evidence or the authors’ personal opinions, they could only be awarded a BEME strength of evidence score of 1.

나머지 논문의 대부분(N = 16)을 2로 채점했는데, 이는 일반적으로 표본 크기가 작거나 하나의 평가 도구만 사용되었기 때문에 결과가 모호하다는 것을 의미한다. BEME 척도에서 5개의 연구를 3점 만점으로 채점했는데, 이는 이러한 연구의 결론이 결과와 연관될 가능성이 높다는 것을 의미한다. 단 하나의 연구만이 4점을 채점했는데, 이는 결과가 분명하고 사실일 가능성이 높다는 것을 의미한다. 우리의 평가에 따르면, 이 체계적인 검토에 포함된 어떤 연구도 명확한 결과를 제공하지 않았다.

We scored the majority of the remaining articles (N = 16) with a 2, meaning that the results were ambiguous, usually because of the small sample size or the fact that only one assessment tool was used. We scored five studies as a 3 on the BEME scale, meaning that conclusions in these studies could likely be linked to the results; only one study scored a 4, meaning the results were clear and likely to be true. According to our appraisal, none of the studies included in this systematic review provided unequivocal results.

용어집Glossary
내러티브(기반) 의학: 질병의 이야기를 인식하고, 흡수하고, 해석하는 이러한 기술을 가진 의학의 실천; 건강 관리의 새로운 틀로서, 그것은 치료를 받고 있는 사람들을 인식하고 존중하는 것보다 효과적인 건강 관리 시스템을 만드는 것을 목표로 한다.
Narrative-(based) medicine: The practice of medicine with these skills of recognizing, absorbing, interpreting by the stories of illness; as a new frame for health care, it aims to create an effective health-care system than recognizing and respecting the persons undergoing care.
Marini MG. 2015. Narrative medicine: bridging the gap between evidence-based care and medical humanities. eBook: Springer. p. 143.

성찰적 실천으로서 감정: 피드백 실천과 연구를 위한 새로운 담론(Med Educ, 2022)
Emotion as reflexive practice: A new discourse for feedback practice and research
Rola Ajjawi1 | Rebecca E. Olson2 | Nancy McNaughton3

1 소개
1 INTRODUCTION

이상적으로 보건 직업의 학생들은 학부 직원, 임상 교육자, 동료 및 환자로부터 받은 피드백 정보를 비판적으로 평가하고 이에 따라 행동할 수 있는 능력을 개발한다. 이것은 전문가와 평생 학습자로 발전하는 데 중심적이다. 의학이나 건강관리와 마찬가지로 [피드백은 감정으로 가득 찬 행위]이다: 주어진 맥락에서 [자신의 감각]과 [자신의 지위]에 관련된 감정으로 가득 차 있다. 보건 전문 교육 연구는 피드백 문헌에서 감정의 위치를 비판적으로 조사하지 않았다. 우리는 이 관계를 새롭게 보는 것이 실무자와 연구자들이 생산적인 방식으로 감정을 설명하도록 안내해야 한다고 제안한다.
Ideally, students of health professions develop capabilities to critically evaluate and act on the feedback information they receive from academic staff, clinical educators, peers and patients. This is central to developing as professionals and lifelong learners. Like medicine and health care more broadly, feedback is a practice imbued with emotion: saturated with feelings relevant to one's sense of self and one's status within a given context. Health professions education research has not critically investigated the positioning of emotions in the feedback literature. We suggest that looking anew at this relationship should guide practitioners and researchers to account for emotions in productive ways.

피드백 문헌은 광범위한데, 많은 개념화와 실천이 있다. 그러나 이 문헌의 공통점은 [피드백이 정보 전달, 프로세스 또는 공동 구성으로 개념화되었는지 여부에 관계없이], [피드백이 학습으로 이어진다는 것]이다. 문헌을 대충 훑어보는 것만으로도 피드백 관행 내의 감정은 다르게 본다는 것을 강조한다. 간단한 선형 반응부터 피해야 할 피드백 정보, 주의할 상태, 학습자가 자신의 감정을 인식하고 작업할 수 있도록 돕는 감정적 프롬프트에 이르기까지 연속체를 따라 설명된다. 부정적인 감정의 관점에서 피드백의 유산은 수년 동안 지속될 수 있다.
The feedback literature is extensive, with many conceptualisations and practices. Common to this literature, though, is an intention that feedback leads to learning, regardless of whether feedback is conceptualised as information transmission,1 a process2 or co-construction.3 Even a cursory glance at the literature highlights that emotions within feedback practices are viewed differently. They are described as ranging along a continuum

• from simple linear reactions to feedback information to be avoided,4 
• to states to be mindful of,5 
• to affective prompts helping learners recognise and work with their feelings.6 

The legacy of feedback in terms of negative emotions can last for many years.7, 8

[긍정적인 학습 환경을 조성]하고 [방어적인 학습자 반응의 가능성을 줄이기] 위해 다양한 피드백 모델이 긍정과 부정의 동등한 코멘트를 기반으로 한다.9 긍정과 부정의 균형을 넘어, 다른 사람들은 피드백 '제공자'가 학습자의 '심리적 면역 반응'의 활성화를 감소시키려면, 사람보다는 [과제나 과정에 의견을 집중해야 한다]고 권고한다. 그러나, 다른 사람들은 성과에 대한 피드백이 항상 자신을 향한다고 지적하며, '피드백 프로세스에 [학습자를 참여시키는 것]이 감정적 반응을 이끌어내기 위한 피드백 상호작용의 가능성을 협상하는 가장 건강한 방법일 수 있다.'라고 말한다. 여기서 피드백 리터러시의 개념이 작동한다.

Various feedback models are predicated on an equal balance of positive and negative comments in order to create positive learning environments and to reduce the likelihood of defensive learner reactions.9 Beyond a balance of positive and negative, others recommend that feedback ‘givers’ should focus their comments on tasks or processes, rather than the person10 to reduce activation of a learner's ‘psychological immune response’.11 However, others note that feedback about performance is always oriented towards the self and so ‘involving the learner in feedback processes may be the healthiest way to negotiate the potential for feedback interactions to elicit emotional responses’2 (p. 38). This is where feedback literacy comes in.

1.1 피드백 리터러시
1.1 Feedback literacy

[피드백 리터러시]는 '정보를 이해하고, 정보를 업무 또는 학습 전략을 강화하기 위해 사용하는 데 필요한, 이해, 역량 및 성향'으로 정의된다. 간단히 말해서, 그것은 '피드백을 최대치로 활용하기'에 관한 것이다. 피드백 리터러시의 네 가지 요소는 다음과 같다.

• 피드백 평가하기,
• 판단 내리기,
• 감정 관리하기,
• 행동 취하기

Feedback literacy is defined as the ‘understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies’12 (p. 1316). In short, it is about ‘making the most of feedback’.13 Four components of feedback literacy are

• appreciating feedback,
• making judgements,
• managing emotions and
• taking action.

이 개념은 의학 교육 문헌에서 비교적 짧은 기간 동안 인기를 끌었으며, 학자들은 공식적인 피드백 대화와 지저분한 병원 환경을 위해 피드백 리터러시 프로그램을 개발해야 한다고 주장한다. 불행하게도, 피드백 리터러시는 감정은 [피드백 획득에 대한 위협]이기에, [예상되고 관리되어야 하는 것]으로 포장한다. 그렇게 함으로써, 학습자들은 정서적 취약성의 입장에 서게 되는 반면, '학교는 학생의 정서적 트라우마를 가중시킬까 봐 학습자들에게 도전하는 것challening을 단념한다'. 이러한 [감정의 병리화]는 분명히 (그것의 '사라짐'을 포함하여) 피드백에 해로울 수 있다. 피드백 효과의 중재자로서 피드백 리터러시에 대한 관심이 높아짐에 따라, 우리는 감정과 형성 실천에 대한 잠재력에 대한 보다 광범위한 관점을 제공하기 위해 [피드백에 대한 감정]의 위치를 체계적으로 분석하는 것이 시기적절해 보인다.

This concept has become popular in a relatively short timeframe in medical education literature, with scholars calling for feedback literacy programmes to be developed for formal feedback conversations14 and messy hospital settings.15, 16 Unfortunately, feedback literacy casts emotions as a threat to feedback uptake that needs to be anticipated and managed.12, 17 In so doing, learners are socialised into a position of emotional vulnerability whilst ‘academics are dissuaded from challenging learners for fear of adding to their emotional traumas’18 (p. 36). This pathologising of emotions can clearly be detrimental to feedback including its ‘vanishing’.4 Given the increased interest in feedback literacy as a mediator of feedback effectiveness, it seems timely that we systematically analyse the positioning of emotion relative to feedback to offer a more expansive perspective on emotions and their potential for shaping practice.

1.2 감정
1.2 Emotion

매노턴은 의학 교육 문학에 대한 그녀의 중요한 푸코우스의 담론 분석 논문에서 다음과 같은 세 가지 감정의 핵심 담론을 확인하였다.

• 생리적(EP; 감정은 신체 내부에 위치한다), 
  
• 기술(ES; 인지 능력으로서의 감정)
  
• 사회문화(ESCM; 사회적, 정치적, 문화적 중재자로서의 감정) 

In her seminal Foucauldian discourse analysis paper of medical education literature, McNaughton19 identified three key discourses of emotion:

• physiological (EP; emotion is located inside the body),
• skill (ES; emotion as cognitive competence) and
• sociocultural (ESCM; emotion as a social, political and cultural mediator).

그녀는 이렇게 썼다. '감정은 이 각각의 담론에 뚜렷하게 구성되어 있다; 그러나 그들은 서로로부터 고립되어 있지 않다.' McNaughton은 문헌에서 감정이 어떻게 '작동'되는지를 연구하는 것은 문제가 되는 관행을 재현하는 보이지 않는 감정 체계를 눈에 띄게 만든다고 주장했다. 담론은 '(사람들이) 말하는 대상을 체계적으로 형성하는 관행'으로 정의될 수 있다. 다시 말해서, 담론은 단순히 지식의 표현representation이 아니다. 담론은 능동적active이며, 사람들과 사회를 구성한다. 그러므로 담론의 '일work'에 대해 말하는 것은, [앎의 방법]과 [존재의 방법]을 생산하는데 있어서 담론의 사회적 중요성을 이해하는 것이다. 또한 담론은 숨겨지고, 경쟁하고, 모순될 수 있다.

She writes, ‘emotion is constituted distinctly in each of these discourses; however, they are not isolated from one another’ (p. 78). McNaughton argued that researching how emotions are ‘put to work’ in the literature makes visible the invisible emotion schemas that reproduce problematic practices. Discourse can be defined as ‘practices that systematically form the objects of which they speak’20 (p. 49). In other words, discourses are not mere representations of knowledge; they are active and constitutive of people and society. Therefore, to talk of the ‘work’ of discourses, is to seek to understand their social significance in producing ways of knowing and being, and these may be hidden, competing and contradictory.

건강 전문 교육을 넘어선 문헌에서는 감정을 [반사적 실천(ERP)]으로 보는 담론도 있다. 올슨 외 연구진은 [감정적 성찰성]을 '감정에 의지하여 잠재적으로 독특한 경로를 그리는 과정'으로 묘사하며, 감정적으로나 관계적으로 세계를 관통하는 우리의 길을 만든다. 이 담론이 피드백에서 잠재적으로 우리를 attune하는 것은 [학습자가 자신의 목표와 훈련 프로그램의 목표 사이에서 학습 경로를 탐색하기 위해, 자신과 슈퍼바이저의 감정을 어떻게 해석하고 반응할 수 있는가] 하는 것이다. 이 네 개의 담론은 감정 담론의 범위와 서로 다른 담론이 하는 일(가능하거나 불가능하게 만드는 것)을 검토하는 것을 목표로 한 우리의 비판적 검토의 배경을 형성했다. 우리는 다음을 묻는다.

• 피드백 문헌에서 감정 담화는 어떻게 표현되는가?
• 이러한 감정 담론을 뒷받침하는 가정이 피드백의 개념화를 어떻게 형성하는가?

Literature beyond health professions education introduces other discourses including emotion as reflexive practice (ERP). Olson et al.21 describe emotional reflexivity as ‘a process of drawing on emotions to, potentially, chart a unique path’ (p. 2), thus making our way emotionally and relationally through the world. What this discourse potentially attunes us to in feedback is how a learner might interpret and respond to their own and their supervisors' emotions to navigate a path of learning between their own goals and those of a training programme. These four discourses formed the backdrop of our critical review, in which we aimed to examine the range of discourses of emotion and the work the different discourses do (what it makes possible or not possible) to open new agendas for thinking about and researching emotion in feedback. We asked:

2 방법
2 METHODS

우리는 상위 3대 의학 교육 저널에서 피드백과 감정 문헌에 대한 비판적인 검토를 실시했다. 비판적 검토는 '이전 작업으로부터 어떤 가치가 있는지를 재고하고 평가할 수 있는 기회를 제공한다'. 최고의 저널로서, 우리는 그것들이 그 분야에서 피드백과 감정 사이의 관계에 대해 받아들여지고 따라서 연습에 가장 큰 영향을 미친다고 인정된 아이디어를 나타낸다고 판단했다.
We conducted a critical review of feedback and emotion literature in the top three dominant medical education journals. A critical review ‘provides an opportunity to take stock and evaluate what is of value from the previous body of work’22 (p. 93). As the top journals, we judged that they represent what is acknowledged to be accepted ideas about the relationship between feedback and emotion in the field and therefore the most influential for practice.

2.1 검색
2.1 The search

[비판적 문헌고찰]는 비판하고 분야를 확장하기 위한 출발점으로 작용한다. 따라서, 비판적 문헌고찰에서는 완전하거나 체계적인 것을 의도하는 것이 아니라, 가장 중요한 항목을 식별하려고 하며, 이는 '목적적'이라고 묘사될 수도 있다. 따라서 영향요인에 따라 등급별로 나열된 '교육, 과학 분야'의 학술지를 바탕으로 학술의학, 의학교육, 보건과학 교육의 발전 등 3대 학술지를 수작업으로 검색했다.
Critical reviews act as a launching point for critiquing and expanding a field. Thus, they are not meant to be exhaustive or systematic, instead they seek to identify the most significant items in the field, also described as purposive.23 Hence, based on journals in ‘Education, Scientific Disciplines’ listed by rank according to impact factor, we manually searched the top three journals: Academic Medicine, Medical Education and Advances in Health Sciences Education.

검색어에는 변형이 없는 '피드백'과 '감성'이 포함되었다. 피드백은 논문에서 다양하게 정의되었지만, 피드백이 학습으로 이어질 것이라는 의도는 공통적이었다. 검색이 완료된 2013년 1월부터 2020년 5월까지 실증연구 논문을 포함했다. 우리는 McNaughton의 중요한 논문이 발표되었을 때이기 때문에 2013년을 선택했는데, 이 날짜 이후에 해당 분야의 감정 담론에 대한 모든 효과가 나타날 수 있다는 추론을 했다. 우리는 의견, 사설, 논평, 편집자에게 보내는 편지, 그리고 피드백 및 감정에만 대충 주의를 기울이는 연구를 제외했다. 피드백과 감정 모두에 초점을 맞춘 경험적 논문은 다른 출판 방식과 비교하여 관련 연설을 결정하는 심층 프레젠테이션을 제공할 가능성이 가장 높았다. 우리는 각 포함 항목의 개념적 기여가 비판적 검토의 초점이기 때문에 포함 논문의 품질 평가를 실시하지 않았습니다.

The search terms included ‘feedback’ AND ‘emotion’ with no variants. Feedback was variously defined in the papers, but common was the intent that feedback would lead to learning. We included empirical research papers from January 2013 to May 2020 when the search was completed. We chose 2013 as this was when the seminal paper by McNaughton19 was published, reasoning that any effects on emotion discourses in the field might be seen following this date. We excluded opinion pieces, editorials, commentary, letters to the editor and studies that only gave cursory attention to feedback and/or emotion. Empirical papers focused on both feedback and emotion were most likely to offer a deep presentation from which to determine the relevant discourses, compared with other modes of publication. We did not conduct a quality assessment of included papers as the focus in critical reviews is the conceptual contribution of each included item.22

2.2 데이터 추출
2.2 Data extraction

두 명의 저자가 각 논문에서 데이터를 추출한 다음 세 명의 저자가 모두 논의하여 합의에 도달했다. 우리는 Olson과 Bialocerkowski가 사용하는 기존 데이터 추출 도구를 수정하고 각 기사에서 다음을 추출했다.

• 분야, 기관 및 위치를 포함한 저자 세부 사항
  
• 제목, 출판 연도, 저널 제목을 포함한 기사 내용
  
• 기사 방법론적 접근, 감정, 피드백 및 두 사람의 작업.
  
• 사용된 이론과 중요한 주장을 포함한 기사 기여

Data were extracted from each paper by two of the authors and then discussed by all three authors to reach consensus. We modified an existing data extraction tool used by Olson and Bialocerkowski24 and extracted the following from each article:

2.3 분석 골조
2.3 Analytical framing

비판적 담화 분석에 대한 Foucauldian 접근법은 우리의 비판적 검토에 대해 inform하였다. 푸코에게 담론은 언어, 말하는 방법, 그리고 말하는 것, 생각하는 것, 그리고 행동하는 것을 체계적으로 정리하는 실천을 말한다. 감정과 피드백을 연구하는 담론적 접근법은 '[사회적 관계를 통해 제도적 환경에서 역사적으로 형성된 단어뿐만 아니라, 실천으로서의 감정에 초점]을 맞춘다. 그리하여 담론은 [세계에 영향을 미치는 사회적 행동]의 형태로 조사될 수 있다.' 감정에 대한 생각은 건강 전문가 훈련에 중요한 의미를 가지며, 건강 전문가들이 말하고, 하고, 느끼는 것에 대한 규칙뿐만 아니라 학습과 평가의 커리큘럼 구조에 공식적으로 포함되어 있다. 
A Foucauldian approach25 to critical discourse analysis informed our critical review. For Foucault,20 discourse refers to language, ways of speaking and practices that systematically organise what is possible to say, think and do. A discursive approach to studying emotion and feedback ‘focuses on emotions as practices, as well as written words that are shaped historically in institutional settings through social relations. As such, discourses can be investigated as forms of social action that create effects in the world’19 (p. 72). Ideas about emotion have material implications for health professional training and are embedded (in)formally in curricular structures of learning and assessment, as well as in rules about what is possible for health professionals to say, do and feel.26

연구팀에는 피드백 연구자(RA), 감정 사회학 연구자(RO), 담론 전문가(NM)가 포함되었다. 우리는 정기적으로 만나 각 담론에 대한 개념적 이해와 문헌 내에서의 발표, 즉 당연하게 여겨지는 것과 이러한 담론으로부터 우리가 놓치고 얻는 것에 대해 논의했다. 일부 신문의 경우 주요 담론에 대한 합의에 도달하기 위해서는 여러 가지 대화가 필요했다.

The research team included a feedback researcher (RA), sociology of emotions researcher (RO) and a discourse specialist (NM). We met regularly to discuss our developing conceptual understanding of each discourse and its presentation within the literature: what's taken for granted and what we miss and gain from these discourses. Discourses were multiple, overlapping and not necessarily readily untangled; for some papers, it took multiple conversations to reach consensus on the primary discourses.

3 연구 결과
3 FINDINGS

이 분야의 상위 3개 저널을 검색한 결과 59편의 논문을 발표했는데, 그 중 32편의 경험적 연구 논문은 피드백과 감정을 조사하였다(학술 의학 7편, 의학 교육 17편, 보건 과학 교육 8편). 학생에 대한 이러한 16가지 지향적 피드백(단일직업 또는 혼합) 중 14개는 교수진 및/또는 학생의 혼합을 포함했고, 2개는 의료 교육 피드백에 환자를 포함했다. 우리는 일차 감정 담론으로 식별된 것들이 피드백 문헌(표 1)에서 어떻게 제시되는지를 정의하고 설명하는 것으로 시작한 다음 각 담론의 '작업'에 대해 논의한다. (논문 및 코드화된 감정 담화 전체 목록은 표 S1A를 참조하십시오.)
A search of the top three journals in the field yielded 59 papers of which 32 empirical research papers matched our inclusion criteria, examining feedback and emotions (7 in Academic Medicine, 17 in Medical Education, 8 in Advances in Health Sciences Education). Of these 16 oriented feedback to students (single profession or mixed), 14 included a mix of faculty and/or students, and 2 included patients in medical education feedback. We start by defining and describing how those identified as primary emotion discourses are presented in the feedback literature (Table 1), then discuss the ‘work’ of each discourse. (For a full list of papers and coded emotion discourses please see Table S1A.)

3.1 피드백 관행 형성에 있어 담론의 '작업'
3.1 The ‘work’ of the discourse in shaping feedback practices

3.1.1 생리학으로서의 감정
3.1.1 Emotion as physiology

논문의 절반(n = 16)이 EP 담론에 맞춰져 있습니다. 이 담론에서 감정은 피드백에 대한 대부분 선형적이고 개인주의적인 '반응'으로 캐스팅되었다. 한 연구에서, [긍정적인 감정]은 학생들이 그들의 학습에 피드백을 통합할 수 있다는 것을 의미한 반면, [부정적인 감정]은 피드백의 수정/학습 잠재력을 '간섭interfere'한다고 말했다. 감정을 그렇게 대하는 것은 학습자와 교육자가 감정을 [극복해야 할 것]으로 보도록 촉구한다. 마찬가지로 해리슨 외 연구진도 총체적 평가 후 피드백에 따라 행동하는 데 있어 두려움을 [학습 기회를 제한하는 주요 장애물로 파악]하였다. 다른 이들은 감정이 가라앉을 때까지 피드백을 미뤄야 한다고 제안했다.
Half of the articles (n = 16) aligned with an EP discourse. In this discourse, emotions were cast as mostly linear and individualistic ‘reactions’ to feedback. In one study, positive emotions meant that students could integrate feedback into their learning, whereas negative emotions were said to ‘interfere’ with feedback's corrective/learning potential.33 Such treatment of emotions pushes learners and educators to see emotions as something to overcome. Similarly, Harrison et al.34 identified fear as a major obstacle to acting on feedback following a summative assessment, limiting learning opportunities. Others suggested feedback should be delayed until emotions have subsided.7

이 담론을 바탕으로 한 일부 기사들은 [감정을 문제시]했다. 추 대표 등의 감정은 피드백 전달의 실패로 간주되었기 때문에 피드백의 감정적 Protention를 줄일 수 있는 신뢰 환경을 조성함으로써 피해야 할 것이다. Conforti와 동료들은 배경 소음으로 감정을 던진다. 다른 이들은 부정적인 감정이 '방해hindrance'라며 더 격렬히 반응했다. 예를 들어, 포크마 등은 부정적인 감정을 예측하고 예방하거나 관리해야 한다고 주장했다. 그러한 글에서, 긍정적인 감정은 대부분 자신감과 동기 부여와 같은 긍정적인 인지적 지표로 무시되었다.
Some articles drawing on this discourse positioned emotions, as problematic. For Chou et al.27 emotions were seen as a failing of feedback delivery, something to be avoided through creating a trusting environment where feedback's emotional protentional can be reduced. Conforti and colleagues30 cast emotions as background noise. Others were more vehement about negative emotions being a ‘hindrance’. Fokkema et al.,32 for instance, asserted that negative emotions should be anticipated and prevented or managed. In such articles, positive emotions were mostly ignored in favour of positive cognitive markers like confidence and motivation.

세 가지 연구는 처음에 피드백과 학습에 대한 사회 문화적 정의를 제공했지만 불가피하게 그들의 분석에 감정의 생리학적 개념을 적용했다. 이 담론에서 긍정적인 감정이 피드백에 미치는 부정적인 영향을 고려한 연구는 단 한 가지뿐이었다. 네이스미스와 라조이는 긍정적인 감정이 피드백에 대한 관심을 덜 끌 수 있고, 그 반대도 마찬가지라는 것을 보여주며, 감정적 원자가valence와 주의attention 사이의 역관계를 시사했다. 예를 들어 수치심과 같은 성과 목표와 감정은 주의력, 피드백 흡수 및 피드백 탐색 행동에 긍정적인 영향을 미칠 수 있다.

Three studies initially offered sociocultural definitions of feedback and learning7, 38, 41 but inevitably applied physiological conceptions of emotions in their analysis. Only one study in this discourse considered the negative effects of positive emotions on feedback. Naismith and Lajoie28 showed that positive emotions can lead to less attention to feedback and vice versa, suggesting an inverse relationship between emotional valence and attention. Performance goals and emotions such as shame, for instance, can positively influence attention, feedback uptake and feedback seeking behaviours.

3.1.2 기술로서의 감정
3.1.2 Emotion as skill

ES를 1차 담론으로 채택한 세 논문에서 [감정과 피드백은 문제가 있는 관계를 가진 것]으로 묘사되었다. 앞의 담론처럼 피드백은 자기가치감과 '자신감'에 challenge할 수 있는 잠재력을 지녔다고 한다. 자존심에 대한 그러한 도전은 [수치심과 불안]이라는 [부정적인 감정]으로 가득 차 있는 것으로 나타났다. 피드백이 [프라이드와 같은 긍정적인 도덕적 감정]을 자극할 수 있지만, 이것은 ES 담론을 사용한 어떤 연구에서도 초점이 되지 않았다. 자기 가치 있는 피드백의 정서적 악영향들을 돌리기 위해 사용되는 대처 전략은 적응적 변화를 향한 노력을 탈선시킬 위험이 있다고 한다. 파텔 외 연구진은, 자기 조절 학습 이론을 바탕으로, [부정적인 감정]이 '자기 가치'에 대한 학습자의 개념화에 도전하고, 변화를 저해하는 대처 전략(실패의 정상화와 같은)을 촉구함으로써 [자기 조절 학습을 방해한다]고 결론지었다.
Within the three papers employing ES as the primary discourse, emotion and feedback were depicted as having a problematic relationship. Like the previous discourse, feedback was said to have the potential to challenge self-worth and ‘self-confidence’.42, 43 Such challenges to self-worth were shown to be laden with negative emotions: shame and anxiety. Although it is also likely that feedback can prompt positive moral emotions, such as pride, this was not a focus of any of the studies using the ES discourse. Coping strategies used to divert the emotional ill effects of self-worth-challenging feedback were said to risk derailing efforts towards adaptive change. Patel et al.,44 drawing on self-regulated learning theory, concluded that negative emotions interrupt self-regulated learning, by challenging learners' conceptualisations of ‘self-worth’ and prompting coping strategies (like normalising failure) that undermine change.

이 담론에서 확인된 연구는 [감정]을 피드백으로부터의 학습을 위해서 [개인이 관리해야 하는 것]으로 취급함으로써 이전과 달랐다. 연구자들은 대처전략coping strategies을 수정하기 위한 개입을 시작했는데, 예를 들면 [긍정적인 대처 기술을 가르치기 위한 회복탄력성 훈련]이라든가, [검사 후 피드백에서 상대 대조군normative comparators을 제거하는 것과 같은 부정적인 감정을 예방하는 것]등이 있다. 이러한 담론은 [(효과적인 학습에 덜 도움이 되는 스트레스 관계나 정서적 환경을 만들 수 있는) [학습 환경의 사회적, 정치적, 문화적 특징]]에 초점을 두지 않는다. 패틀 외 연구진은 급우들 사이의 신뢰 관계가 도움을 구하는 것이 정서적으로 안전하다고 느끼는 중요한 지원의 원천이 될 수 있다고 제안했지만, 그들은 의과대학의 문화적 환경의 정서적 차원에서 신뢰를 검토하는 데 그친다.
Studies identified in this discourse diverged from the previous, by treating emotion as something to be managed by the individual in order to learn from feedback. Authors initiated interventions to correct coping strategies, for example, through resilience training to teach positive coping skills42 or by preventing negative emotions—such as removing the normative comparators in post-examination feedback.43 Such a discourse shifts focus away from examining the social, political and cultural features of a learning environment, which may be creating stressful relationships or emotional climates less conducive to effective learning. Although Patel et al.44 suggested trusting relationships between classmates may be important sources of support, where failing classmates feel it is emotionally safe to seek help, they stop short of examining (dis)trust as an emotional dimension of the medical schools' cultural environment.

3.1.3 성찰성적 실천으로서의 감정
3.1.3 Emotion as reflexive practice

ERP 담론에 맞춰 네 개의 기사를 정렬하여, 감정을 (조절regulation이 아니라) 반성reflection이 필요한 관계적이고 불가피하며 중요한 정보로 배치했다. 이 네 개의 논문 중 두 편에는 감정이 피드백에 문제가 있다는 암묵적인 가정이 있었다. 그러한 가정은 반박되었지만 여전히 존재한다. 예를 들어 Kerins 등은 의료 교육자들이 피드백(예: 불안과 죄책감)으로 인한 감정의 잠재적 부정적인 영향에 대해 경각심을 가져야 한다고 제안했지만 계속해서 다음과 같이 주장했다. '학습자에게 부정적인 감정의 가능성을 피하려고 노력하는 것'보다, 이러한 연구 결과는 '학습자의 존재감presence을 높이고 힘power을 활용하는 것'의 이점을 보여준다.

Four articles were aligned with the ERP discourse, positioning emotions as relational, inevitable and important information requiring reflection (rather than regulation) before their impact can be realised. Within two of these four papers,46, 47 there was an implicit assumption that emotions are problematic to feedback. Such assumptions were countered but still present. Kerins et al.,47 for example, suggested medical educators should remain alert to the potential negative effects of emotions from feedback (e.g., anxiety and guilt) but went on to assert: ‘rather than striving to avoid the possibility of negative emotions in their learners’, such findings suggested the benefits of ‘acknowledging their presence and utilising their power’47 (p. 271).

학습자가 지지적 환경에서 [불안, 두려움, 죄책감, 수치심]을 경험하고, 이런 감정이 성찰을 촉진하는 방식으로 다뤄질 때, 그러한 감정은 잠재적으로 강력한 [변혁적 학습]을 촉진한다고 한다. 이 담론을 활용한 기사 안에서 감정은 학습 경험에 유용하게 쓰일 수 있도록 신중하게 다뤄야 하고 (반성을 통해) 활용해야 하는 피할 수 없는 일상 경험으로 캐스팅됐다.

When anxiety, fear, guilt and shame are experienced by learners in a supportive setting, and handled in a way that promotes reflection, such emotions were said to foster potentially powerful transformative learning. Within articles using this discourse, emotions were cast as unavoidable everyday experiences that should be handled carefully and harnessed (through reflection) so that they can be useful to the learning experience.

[ERP 담론]은 또한 역할 모델, 피드백 및 피드백 소스(도구, 감독자)의 다양성을 인식하는 [정서적 몰입 학습emotionally imbued learning] 접근 방식을 지지하는 것으로 보인다. 예를 들어, Karnieli-Miller 외 연구에서 ERP 담론은 피드백의 평가(그리고 경험에 대한 감정 형태의 피드백)와 나쁜 소식을 전하는 '올바른' 방법을 알아내는 것 이상 유용하지만 어떤 종류의 의료 전문가가 되고 싶은지 알아내는 데 유용하게 뒷받침했다. 마찬가지로, Rietmeijer et al과 Telio et al의 연구에서 ERP는 다양한 [정서적 몰입 관계]에 내재된 피드백에 대한 인식을 지원합니다. 즉, 피드백의 인식된 신뢰도와 수신도가 특정 지도자와 학생 간의 관계에 따라 달라진다.

The ERP discourse also seems to support an approach to emotionally imbued learning that recognises multiplicity in role models, feedback and sources of feedback (tools, supervisors). In the Karnieli-Miller et al.46 study, for example, an ERP discourse underpinned an appreciation of feedback (and feedback in the form of one's emotions about an experience) as useful to more than figuring out the ‘right’ way to break bad news but as useful to figuring out what kind of health care professional one wants to be. Similarly, in Rietmeijer et al.'s48 and Telio et al.'s45 studies, ERP supports an appreciation of feedback as embedded within various emotionally imbued relationships—where feedback's perceived credibility and reception depends on the relationship between a particular supervisor and student.

ERP 담론은 감정을 [정보 교환 프로세스에 방해가 되는 것]이 아니라 [피드백에 도움이 되는 것]으로 배치합니다. 감정은 피드백의 의미, 무게, 강도를 주어 [피드백과 학습의 효과를 심화]시킨다. 피드백이 개인이 자신이 생각하거나 원하는 사람이 아니라는 것을 나타내는 정보를 제공한다면, 그들은 시간이 주어지고 구조화된 방식과 안전한 환경에서 반성한다면 생산적인 행동을 촉발할 수 있는 불쾌한 사회적 감정을 느낀다.

Rather than being disruptive to an information exchange process, the ERP discourse positions emotions as helpful to feedback. Emotions give feedback meaning, weight and intensity—deepening the effects of feedback and learning. If feedback provides information that indicates individuals are not who they think they are or want to be, they feel unpleasant social emotions that, if given time and reflected on in a structured way and safe environment, can prompt productive action.

3.1.4 사회문화로서의 감정
3.1.4 Emotion as socio-cultural

9개의 기사가 ESCM 담론에 대해 전문적인 문화계 내에서 일상적인 실천으로 묘사된 피드백과 감정으로 그려졌다. 이 글에서 [사회적 관계와 문화적 풍토]는 [피드백이 학습자에게 미치는 정서적 영향]에 필수적으로 영향을 미쳤다. 예를 들어, Watling 등은 비판이 문화 내에서 일반화normalized되면, 그 정서적 영향이 감소한다는 것을 발견했다. 만약 비판criticism이 예상하지 못한 것일 경우, 그것의 감정적 영향은 훨씬 극심했다. 이 담론에 내재된 것은, 감정을 [탈맥락화하여], [피드백 실천에 긍정적이거나 부정적인 것으로 보는 Valence화된 방식]으로 보기를 거부함을 의미한다. 예를 들어, 데이비스와 동료들은 일부 학생들이 감독관들에 의한 존엄성 위반에 대한 부정적인 경험에 대한 설명에도 불구하고, 증가된 학습 결과가 보고되었다고 결론지었다.
Nine articles drew on an ESCM discourse with feedback and emotions depicted as everyday practices within professional cultural worlds. In these articles, social relationships and cultural climate necessarily influenced feedback's emotional impact on learners. For example, Watling et al.56 found that when criticism was normalised within a culture, its emotional impact was dampened; when it was unexpected, its emotional impact was more acute. The embedded understanding of emotion within this discourse meant authors often resisted decontextualised and valenced assessments of emotions as positive or negative to feedback practice. Davis and colleagues,49 for instance, concluded that despite some students' descriptions of negative experiences with dignity violations by supervisors, increased learning outcomes were reported.

ESCM 담론과 정렬된 기사에 걸친 몇 가지 공통 요소는 [장소와 직업의 집단적 과정과 관련하여, 감정적으로 경험되는 현상]으로 피드백을 이해하도록 촉진했다. 
Several common elements across articles, aligned with an ESCM discourse, fostered an understanding of feedback as a phenomenon experienced emotionally in relation to collective processes of place and profession.

첫째, 맥락과 감정은 ([신뢰]가 가장 중요한 지지적 감정이었다) 피드백 프로세스에서 얽혀 있는 것으로 보였다. 즉, 단순히 기술을 평가하기 위한 것이 아니라, 전문가로서 [학습자의 이익]을 위해 관찰 가능한 특정 정보를 공유하는 것이다. 예를 들어, La Donna 등에서는 [신뢰를 촉진하는 문화적 요인]이 [피드백에 대한 학생들의 태도]에 기여하는 것으로 인식되었다. 이러한 태도는 뒤이어 학생들의 전문적업적 형성 및 [듣기 불편한 정보를 내재화하려는 동기]가 된다. 여기서 평가 상황은 [위계적 관계]와 [더 수준 높은 전문적 개발] 설정이 대조되어, 장소가 감정, 관계 및 피드백의 의미에 미치는 영향을 강조하였다.

First, context and emotion—with trust the cardinal supporting emotion16, 53-56—were seen to be intertwined in feedback processes: sharing specific, observable information for the learner's benefit as a professional not just for assessment of skills. For example, in La Donna et al.,54 cultural factors facilitating trust were recognised as contributing to a students' attitudes towards feedback as part of their professional formation and subsequent motivation to internalise information that may be difficult to hear. Here assessment settings, with their hierarchical relationships, and more level professional development settings were contrasted, emphasising the impact of place on emotions, relationships and feedback's meaning.

둘째, 피드백은 상호 목표를 설정하고, 다루고, 협상할 수 있도록 [피드백 제공자와의 종단적 관계]를 전제로 했다. 여기서는 [돌봄Care]이 [감정을 뒷받침하는 주요 요소]였다. 예를 들어, 피드백 대화는 전공의들이 다른 관리자와 경험하지 않은 방식으로 정서적으로 지지받고 '돌봄'을 느낄 수 있도록 했다. 보이어 외 연구진은 전공의들이 이런 것들을 느꼈다고 말했다. '… 일반적으로 경험하는 것보다 더 평등한 기반에서 관계를 발전시켜 보다 솔직한 대화를 가능하게 했습니다.' (p.950).
Second, feedback was premised on a longitudinal relationship with the feedback provider allowing for mutual goals to be set, addressed and negotiated. Care was the cardinal supporting emotion.49, 52, 54 For example, feedback conversations allowed residents to feel emotionally supported and ‘cared for’ in ways they did not experience with other supervisors. Voyer et al.52 stated that residents felt these ‘… relationships developed on a more equal footing than those they typically experienced … and hence allowed for more honest conversation’ (p. 950).

셋째, [체면을 잃을 염려 없이 실수를 허용하는 피드백]은 ESCM 담론을 채택한 학자들에 의해 특히 중요시되었다. 이는 [인간의 실패]를 [개인의 특성이 아닌 공유된 경험]으로 인식하는 것이다. 여기서는 [자신감]이 감정을 뒷받침하는 주요 요소였다. 학생-감독자 관계는 평가적이 아니라 정보적인 피드백 대화를 통해 학생 개선을 위해 공유할 수 있는 잠재력을 가지고 있다. 학생들은 [감정적 투쟁]을 [학습과 전문가로서의 성장에 긍정적인 영향을 미치는 것]으로 경험했다. 한 학생이 말했듯이, '우리를 깊은 곳에 내던진 것은, 장기적으로 봤을 때 제 자신감에 큰 도움이 되었고, 곧 이것이 모든 것을 제대로 할 필요가 없는 놀라운 학습 기회라는 것을 깨달았습니다.'

Third, feedback that allowed for mistakes without fear of losing face were particularly valued by scholars adopting the ESCM discourse: recognising human failure as a shared experience, not an individual trait. Confidence was the cardinal supporting emotion.49-51 The student–supervisor relationship has the potential to support student confidence through feedback conversations that are not evaluative but informative, shared for the benefit of student improvement. Students experienced emotional struggles as positively impacting their learning and their growth as professionals. As one student stated, ‘Throwing us in the deep end was great for my confidence in the long run and I soon realised this was an amazing learning opportunity where we didn't have to get everything right …’50 (p. 70).

4 토론
4 DISCUSSION

이것은 보건 전문 교육에서 피드백 관행에 대한 연구에서 감정 담론을 비판적으로 분석하는 첫 번째 검토이다. 연구 결과는 개인주의에서 사회적까지 연속체에 존재하는 네 가지의 중복된 담론을 묘사한다.

• (1) 생리학적인 감정, 
  
• (2) 기술로서의 감정, 
  
• (3) 성찰적 실천으로서의 감정
  
• (4) 사회문화적 중재자로서의 감정

우리의 연구 결과는 감정 담론을 보건 직업 교육 연구에 아직 등장하지 않은 ERP를 포함하도록 확장하고, 각 담론이 피드백 실행에 어떻게 영향을 미치는지 식별한다.

This is the first review to critically analyse discourses of emotion in studies of feedback practices in health professions education. Findings depict four overlapping discourses existing on a continuum, ranging from individualistic to social:

• (1) emotion as physiology,
• (2) emotion as skill,
• (3) emotion as reflexive practice and
• (4) emotion as socio-cultural mediator.

Our findings extend discourses of emotions to include ERP, which has not yet featured in health professions education research, and we identify how each discourse influences feedback practice.

[EP 담론]은 전통적인 [심신 이원론]을 강화하여, 감정을 [(마음) 피드백에 대한 긍정적이거나 부정적인 물리적 (신체) 반응]으로 묘사하며, 감정은 실천에 피드백의 통합하는 과정을 촉진하거나 약화시킨다. 이러한 개념화가 지배적이었으며, [모든 논문의 절반]이 이 담론을 사용했다. 그러나 이 글들은 부정적인 감정을 병적으로 해석하고 감정이 일상 생활의 일부라는 현실을 무시하기 위해 작용한다. 또한, 그들은 감정을 피드백 정보 처리의 금기anathema로 여기며, 감정과 피드백 사이의 관계에 대한 구시대적이고 단순한 이해를 강화한다.
The EP discourse reinforces traditional mind–body dualism binaries,57 casting emotion as a positive or negative physical (body) response to (mind) feedback that either facilitates incorporation of feedback into one's practice or undermines this process. Such conceptualisations dominated, with half of all the articles employing this discourse. These articles, however, work to pathologise negative emotions and ignore the reality that emotions are part of everyday life. Further, they reinforce outdated and simplistic understandings of emotion58 and the relationship between emotion and feedback, such as emotions being anathema to processing feedback information.

[ES 담론]은 감정 조절 기술에 초점을 맞춤으로써 [EP 묘사를 확장]한다. 감정으로부터 자존감을 보호하기 위해 사용되는 [대처 전략]은 피드백에 따라 행동하는 학습자에게 위협으로 던져진다. 이 담론은 학습자는 [감정을 관리하려는 노력]을 통해서 [피드백 과정을 방해하지 않도록 할 수 있음]을 시사하지만, 단순히 학습 환경을 검토하는 데 그친다. 이렇게 범위를 제한함으로써, [ES 담론]은 [피드백이 잘 안 될 경우]에 이를 [개별 학습자의 자존감, 관련 감정 및 대처 전략의 문제]로 보도록 유도한다. 이러한 개념은 교사와 교육기관이 [관계와 학습 환경]의 복잡성을 인식하지 못하게 한다. 비록 이 담론에서 일하는 저자들은 그들의 감정의 개념이 제한적일 수 있고, 감정과 피드백 사이의 관계에 대한 더 많은 사회문화적 이해가 관련될 수 있다는 것을 인정하지만, 이 담론은 [학습자 감정]이라는 '문제'를 해결하기 위한 비교적 직접적인 방법으로 [인지적 접근법]을 위치시킨다.
The ES discourse extends EP depictions by focusing on emotion regulation skills. Coping strategies used to protect self-esteem from emotions are cast as threats to learners acting on feedback. This discourse suggests that with effort, leaners can manage emotions so they do not hinder feedback processes. However, it stops short of examining learning environments. In limiting the scope, an ES discourse pushes us to see individual learners' self-esteem, associated emotions and their coping strategies as the problem when feedback goes awry. This conception shields teachers and institutions from recognising relationships and the learning environment as complicit. Although authors working within this discourse acknowledge that their conception of emotion may be limited, and that more socio-cultural understandings of the relationship between emotion and feedback may be relevant, they situate a cognitive approach as a relatively straightforward way to address the ‘problem’ of learner emotions.

[ERP 담론]은 감정의 범위를 개별 학습자를 넘어서는 것으로 확대한다. 이 담론은 우리가 피드백과 감정의 상대성을 인식하고 감정을 피드백의 기초로 보도록 촉구한다. 단지 피드백만이 감정적인 것이 아니다. [피드백 과정 기저의 관계] 또한 감정으로 가득 차 있다. 그러한 느낌은 피드백 관행 내에서 중요한 정보를 제공하지만, ERP는 [피드백 상호 작용에 존재하는 권력 관계]를 포함하지 않는다. 

The ERP discourse expands the scope of emotions beyond the individual learner. This discourse pushes us to appreciate the relationality of feedback and emotions and see emotions as foundational to feedback. It is not just that the feedback is emotional; the relationships underpinning feedback processes are also saturated with feelings. Such feelings provide important information within feedback practices, but ERP does not include the power relations that are ever present in feedback interactions.59

[ESCM 담론]은 [문화와 위계]가 피드백과 관련된 감정에 영향을 미친다는 것을 인정하면서, 전문직업적 환경 내에 감정과 피드백을 배치하는 방식으로 범위를 가장 확장한다. 이 담론에서는 [피드백 맥락(관계적, 문화적, 정서적)]이 피드백 프로세스의 중심이다. 학습자의 전문적 발전에 대한 신뢰, 보살핌 및 자신감은 교차하는 피드백-감정 콤플렉스에서 특히 중요하다.
The ESCM discourse broadens the scope furthest to place emotions and feedback within professional environments, acknowledging that cultures and hierarchies influence emotions related to feedback. In this discourse, feedback contexts—relational, cultural and affective—are central to feedback processes. Trust, care and confidence in a learner's professional development are particularly valued in the intersecting feedback–emotion complex.

이러한 발견을 바탕으로, 우리는 감정 담론의 작업을 인정하는 보건 전문 교육 내의 새로운 연구와 실천 의제를 요구한다. 그러한 의제는 [심신 이원론]과 [감정에 대한 형식적 인식]을 넘어 관계적인 것으로 나아간다. 감정을 (병리적인 것이 아니라) 불가피하게, 잠재적으로 마비되고 동기부여가 될 수 있으며, 그리고 무엇보다, 위계적 피드백과 건강 관리 환경 내에서 [관계적이고 위치적인 것relational and situated]으로 간주하는 것이 필요하다. ERP와 ESCM 모두에서 도출된 이러한 의제는 피드백, 환경 및 사회문화적 힘 역학에 내재된 관계적이고 감정적인 것으로의 인식을 향해 우리를 움직인다.

Building on these findings, we call for a new research and practice agenda within health professional education that acknowledges the work of emotion discourses. Such an agenda moves beyond mind–body dualism and tokenistic acknowledgement of emotion as relational. It takes up a call to consider emotions as inevitable (not pathological), as potentially paralysing and motivating and—importantly—as relational and situated within a hierarchical feedback and health care landscape. Drawing from both ERP and ESCM, such an agenda moves us towards an appreciation of emotions as relational and embedded within feedback, environments and socio-cultural power dynamics.

4.1 데이터 세트와 우리의 연구의 한계
4.1 Limitations of the data set and our study

감정과 피드백의 담화는 별개의 범주에 존재하지 않는다. 실제로, 대부분의 기사는 1차 및 2차, 때로는 복수의 2차 담화와 정렬될 수 있다(표 S1A 참조). 모든 지도 연습cartographic exercise은 불완전하지만 지형과 이론적 구분을 이해하는 데 유용한 발견적 방법을 제공한다. '요소를 함께 분석하고 데이터 형태의 차이를 평가함으로써 다양한 의미를 밝혀냄으로써 놀이에 관한 지식을 보다 풍부하게 이해할 수 있습니다.' 

Discourses of emotions and feedback do not exist in discrete categories. Indeed, most articles could be aligned with a primary and secondary, sometimes multiple secondary, discourses (see Table S1A). All cartographic exercises are imperfect—but they offer a useful heuristic for understanding topographical and theoretical distinctions; ‘Piecing elements together and assessing the divergences in forms of data, reveals various meanings during analysis offering a richer understanding of the knowledges at play’60 (p. 172).

우리의 분석에서, 우리는 담론이 얼마나 미끄러운지 주목했고, 저자들의 말을 해석하는 여러 가지 대화가 필요했다. 우리는 또한 감정(및 피드백)의 개념화를 [개인주의적 구조]에서 벗어나려는 저자들의 시도에 주목했다. 그러한 시도는 종종 진실하지만 충분하지 않아 모순되고, 상충적인 담론과 개념화의 뒤죽박죽으로 이어졌고, 동시에 감정을 문제적이고 불가피하며 유용한 것으로 이해하는 것을 포함했다. 대신에, 우리는 감정의 다른 개념화, 즉 담론 이론-실천 연계에 대한 명확하고 정렬적이며 비판적으로 인식할 것을 요구한다. 표 2에 제시된 담화는 이러한 목적을 위한 유용한 발견적 발견을 제공한다.

In our analyses, we noted how slippery the discourses were, requiring multiple conversations interpreting authors' words. We also noted authors' attempts to shift conceptualisations of emotion (and feedback) away from individualistic constructs. Such attempts were often sincere but not sufficient, leading to a hodgepodge of contradictory, competing discourses and conceptualisations, involving at once an understanding of emotions as problematic, inevitable and useful. Instead, we call for clear, aligned and critically aware understandings of the differing conceptualisations of emotion: the discourse-theory-practice nexus. The discourses presented in Table 2 offer a useful heuristic to this end.

4.2 피드백 및 피드백 리터러시에 대한 영향
4.2 Implications for feedback and feedback literacy

감정은 (대부분의 논문에서 개념화된 것처럼) 무시되어야 할 배경의 잡음이 아니다. 감정은 내부적일 뿐만 아니라 우리 사이의 그리고 우리 주변에 있다. 효과적인 피드백은 학습과 연습을 위해 감정을 활용하는 방법을 측정하면서 감정에 개방될 수 있습니다. 감정은 이성의 반대anathema가 아니라, (이성의) 근본이고, (이성과) 연결되어 있다. 

Emotions are not noise in the background to be ignored as conceptualised in the majority of papers; they are not merely internal but between and around us. Effective feedback can be open to emotions, gauging how to leverage them for learning and practice. Emotions are not anathema to reasoning but fundamental and connected.57, 58

우리는 보건 전문 교육학자들이 긍정적인 감정은 피드백에 좋고 부정적인 감정은 피드백에 나쁘다는 단순한 이해에서 벗어나 이 공간에서 대화를 전환해야 한다고 제안한다. 예를 들어, 불편함의 교육학은 배움에 대한 부정적인 감정의 힘을 강조한다. 수치심, 죄책감, 자존심은 주어진 환경에서 무엇을 해야 하는지 학습자에게 가르치는 강력한 친사회prosocial적 감정이다. 감정은 [무시하거나 관리해야 할 문제]라기보다는, [발굴해야 할 자원이며, 적시에 성찰적으로 사용해야 할 자원]이다.
We suggest that health professions education scholars shift the dialogue in this space away from simplistic understandings of positive emotions as good for feedback and negative emotions as bad for feedback. The pedagogy of discomfort,61 for example, highlights the power of negative emotions for learning. Shame, guilt and pride are powerful prosocial emotions that teach learners what (not) to do in given settings.62 Rather than problems to ignore or manage, emotions are resources to excavate and use reflexively in time.

이러한 변화에서, 보건 전문 교육학자는 신중하게 진행해야 한다. 왜냐하면 [피드백을 사회문화적 현상으로 개념화]할 때조차 [EP 담론]이 슬금슬금 들어오기 일쑤이기 때문이다. 그러한 좁은 의미의 감정 개념화는 피드백 관행의 범위를 좁히는 것으로 이어졌다. [비판적 교육학자]와 [감정학자]는 사회문화적 실천과 반사적 노동으로서 감정에 대한 이해에 기여했다. 그러나 보건 전문가들 사이에서 이러한 최근의 감정 개념화는 교육 피드백 문헌에서 거의 받아들여지지 않았다. 이 비판적 검토에서 보여지듯이, 대부분의 연구는 감정을 개념화함에 있어서 [감정의 이진법과 이로 인해 축소된 접근 방식]을 계속 유지하고 있지만, 이는 [이미 틀린 것이 확인]되었기 때문이다.
In making such a shift, health professions education scholars should proceed with caution, as even when feedback was conceptualised as a sociocultural phenomenon, EP discourses often crept in. Such narrow conceptualisations of emotion led to a narrowing of feedback practices. Critical education scholars63-65 and emotions scholars have contributed an understanding of emotion as socio-cultural practice and reflexive labour.60, 66 However, there has been little uptake of these more recent conceptualisations of emotion within health professions education feedback literature. As illustrated in this critical review, most studies continue to maintain debunked emotion binaries67 and concordantly reductive approaches to conceptualising emotion.

[피드백 리터러시]는, 가장 흔히 기술skill로 개념화되며, 현재 [ES 담론]과 가장 잘 일치한다. 우리는 피드백 리터러시의 개발이 피드백이 위치한 사회적 관계와 학습 환경에 의존할 것을 제안하며, 피드백 학자들이 ERP 및 ESCM 감정 담론을 채택하도록 권장한다. 이를 위해서는 [보편적 진리를 향한 실증주의적 탐색]에서 [전문화 과정으로서의 피드백과 전문적 지식 획득과 정체성 형성에 대한 감정의 중요성을 알리는 여러 교차하는 관계의 거미줄]에 대한 이해로 철학적, 방법론적 변화가 필요하다.
Feedback literacy, most often conceptualised as a skill, currently aligns best with the ES discourse. We suggest that the development of feedback literacy is dependent upon the social relations and learning environment within which feedback is situated and encourage feedback scholars to adopt ERP and ESCM discourses of emotions. This requires a philosophical and methodological shift away from positivist searches for universal truths towards an appreciation of the multiple, intersecting webs of relationships that inform feedback as a professionalising process and the importance of emotion to professional knowledge acquisition and identity formation.

5 결론
5 CONCLUSION

우리는 피드백 연구에서 감정이 불연속적으로 위치하는 다양한 방식과 피드백 관행과 보건 전문 교육에서의 경험과의 교차점을 분석했다. 우리는 감정과 피드백이 사회적으로, 그리고 담론적으로 역동적이라는 것을 발견했습니다. 보건 직업 교육에서 감정에 대한 연구는 [특정한 감정 담론은 피드백에 대한 영향을 억제한다는 것]을 인정하면서, 담론-이론-실천 연계성의 결과를 고려해야 한다. 감정 담론을 연구의 최전선에 두는 것은, 개별 학습자를 넘어 감정과 피드백 사이의 연관성에 대한 더 깊은 이해로 이어져야 한다. 우리 논문의 초대는 연구자들이 반사적 이해, 토론 및 신속한 실천 변화를 촉진하기 위해 감정과 피드백 관행이 때로는 겹치는 연설과 함께 다중 논리적으로 어떻게 이해될 수 있는지를 고려하기 위한 것이다.

We analysed the different ways emotion is discursively positioned in feedback studies and its intersections with feedback practices and experiences in health professions education. We found emotions and feedback to be socially and discursively dynamic. Research attending to emotion in health professions education should consider the consequences of the discourse-theory-practice nexus, acknowledging that chosen emotion discourses impact on feedback. Keeping emotion discourses at the forefront of research should lead to deeper appreciation of the connections between emotion and feedback, beyond individual learners. The invitation in our paper is for researchers to consider how emotion and feedback practices can be understood multi-logically with sometimes overlapping discourses in order to foster reflexive understanding, discussion and prompt practice change.

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

해부학에 대해서 왜 충분히 알지 못하는가? 내러티브 리뷰(Med Teach, 2011)
Why don’t they know enough about anatomy? A narrative review
E. M. BERGMAN1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER3

해부학 교육의 베스트 프랙티스: 비판적 문헌고찰(Ann Anat, 2016)
Best teaching practices in anatomy education: A critical review

Mohamed Estaia,b,∗, Stuart Buntb

1. 서론
1. Introduction

해부학은 의학 커리큘럼의 초석 중 하나로 여겨지며, 임상의들이 임상 기술을 개발하는 데 있다. 해부학에 대한 깊은 이해는 안전한 임상 실습, 특히 수술 분야에서 필수적이다(Turney, 2007). 인간 해부학의 교육은 여느 과정과 마찬가지로 학습 과정에 가장 적합한 교수 도구와 접근법을 결정하기 위해 끊임없는 수정과 분석이 필요하다(Moxham and Plaisant, 2007). 최근, 통합 및 시스템 기반 커리큘럼으로의 전환으로 인해 전통적인 시체 기반 해부학 교수법이 감소하였다. 종교적 신념, 비용 및 시간적 요인도 이러한 감소에 한몫했다. 이것은 해부학 교육에 할애된 시간의 양이 적절하지 않다는 보고에 의해 뒷받침된다(Lockwood and Roberts, 2007, Drake et al., 2009).

Anatomy is considered one of the cornerstones of medical curricula and it is on that clinicians develop their clinical skills. A deep understanding of anatomy is fundamental for safe clinical practice, particularly in the discipline of surgery (Turney, 2007). The teaching of human anatomy, like that of any course, requires constant revision and analysis to determine the teaching tools and approaches that best suit the learning process (Moxham and Plaisant, 2007). In recent times, there has been a reduction in traditional, cadaver-based, anatomy teaching, in some cases driven by a shift towards an integrated and/or system-based curriculum (Drake et al., 2009, Tibrewal, 2006). Religious belief, cost and time factors have also played a role in this reduction. This is supported by reports that the amount of time devoted to anatomy teaching is not adequate (Lockwood and Roberts, 2007, Drake et al., 2009).

외과적 과실에 대한 의료-법적 소송이 꾸준히 증가하고 있다(Goodwin, 2000). 1995년과 2000년 사이에 영국에서는 의학 방어 연합에 제출된 해부학적 무능력과 관련된 주장이 7배 증가했으며, 이 중 32%는 일반 및 혈관 외과 의사들에 대한 주장이었고, 많은 사람들은 "기초 구조물에 대한 손상"을 언급했다. 케이힐과 동료들은 미국에서 매년 피할 수 있는 80,000명의 죽음 중 상당한 수가 의사 무능뿐만 아니라 해부학적 오류 때문일 수 있다는 것을 보여주었다. 수술에 참여한 신규 거주자의 3분의 1 미만이 적절한 해부학적 지식을 가지고 있다는 보고에도 불구하고(Cottam, 1999), 수많은 의과대학들이 해부학을 가르치는 데 전념하는 수업 시간을 계속해서 줄이고 있으며, 학부생과 대학원생(의학과 치과) 학생들 사이에서 해부학에 대한 지식은 감소하고 있다.

There has been a steady increase in medico-legal litigation for surgical malpractice (Goodwin, 2000). In the UK, between 1995 and 2000, there was a 7-fold increase in claims associated with anatomical incompetence submitted to the Medical Defence Union; 32% of these claims against general and vascular surgeons, and many citing “damage to underlying structures” (Ellis, 2002). Cahill and colleagues showed that a significant number out of the 80,000 avoidable deaths per year in the US may be due to anatomical errors as well as doctor incompetence (Cahill et al., 2000). In spite of a report that less than one-third of new residents in surgery have adequate anatomical knowledge (Cottam, 1999), numerous medical schools continue to reduce the teaching time devoted for teaching anatomy and the knowledge of anatomy amongst undergraduate and graduate (medical and dental) students is in decline (Smith and Mathias, 2011, Moxham and Plaisant, 2007).

이전의 많은 출판물은 해부학 커리큘럼을 조사했으며, 약리학, 생물학, 생화학 또는 생리학 같은 의학 커리큘럼의 다른 측면보다 더 많을 수 있다(Pabst, 2009). Brenner 등은 6가지 교육 도구 범주를 설명합니다. 

• (i) 학생들에 의한 해부, 
  
• (ii) 시험된 시료의 검사, 
  
• (iii) 교육, 
  
• (iv) 모델의 사용, 
  
• (v) 컴퓨터 기반 학습(CBL)과 
  
• (vi) 생물 및 방사선 해부학 교수 

Many previous publications have examined anatomy curricula, may be more than any other aspect of the medical curricula e.g. pharmacology, biology, biochemistry or physiology (Pabst, 2009). Brenner et al. describe six categories of teaching tools:

• (i) dissection by students,
• (ii) inspection of prosected specimens,
• (iii) didactic teaching,
• (iv) use of models,
• (v) computer-based learning (CBL) and
• (vi) teaching of living and radiological anatomy (Brenner et al., 2003).

해부학 커리큘럼의 변화에 비추어 볼 때, 몇몇 연구는 해부학자와 학생들의 다양한 교육 양식에 대한 태도를 탐구했다. 해부학 교육에서 최고의 교수 실습에 대한 권고안을 마련하기 위해 해부학자, 임상의사 및 학생의 관점에서 해부학 교육의 현재 상태와 관련된 증거를 위해 문헌을 비판적으로 검토한다.

In light of the changes in anatomy curriculum, several studies have explored anatomists’ and students’ attitudes towards different teaching modalities (Kerby et al., 2011, Azer and Eizenberg, 2007, Patel and Moxham, 2006). We critically review the literature for evidence relating to the current status of anatomical education from the perspectives of anatomists, clinicians, and students, with the aim of coming up with recommendations for best teaching practice in anatomy education.

2. 토론
2. Discussion

2.1. 시체 해부
2.1. Cadaver dissection

해부Dissection는 400년 이상 동안 주요 해부학 교수법이었다. 인간 시체 해부를 이용한 학습은 능동적이고 심층적인 학습 강화, 임상 실습 준비, 죽음과의 조우 준비, 수동 기술 연습, 환자의 증상과 병리 사이의 관계 이해와 같은 수치화하기가 쉽지 않은 장점이 있다. 또한 팀워크 역량, 스트레스 대처 전략, 공감 등 의료 전문성 발달에도 기여한다. 플라스틱과는 달리, 시체들을 이용한 해부는 [해부학적 변형]의 식별에 놀라움을 제공하고, [더 많은 변형과 더 미세한 디테일]을 보여주며, 학생들이 수술실에 있는 것처럼 느낄 수 있는 살아있는 몸의 수준에 가까운 질감을 보존한다. 시체 해부가 미래의 의사를 배출하는 과정에서 필수적인 역할을 한다는 것에는 의심의 여지가 없다. 따라서, 어떤 사람들은 해부학 지식을 얻기 위해 해부 과정이 여전히 학습자들에게 필수적이라고 믿는다.

Dissection has been the primary anatomy teaching method for over 400 years (Azer and Eizenberg, 2007). Learning using dissection of human cadavers has advantages that are not easy to quantify such as; enhancing active and deep learning, preparing students for clinical practice, preparing students for encounters with death, practice of manual skills and for understanding the relationship between patients’ symptoms and pathology (Azer and Eizenberg, 2007, Fruhstorfer et al., 2011). It also contributes to the development of medical professionalism, including teamwork competency, stress coping strategies and empathy (Bockers et al., 2010). Unlike plastination, dissections using cadavers provide a feeling of surprise at the identification of anatomical variations (Korf et al., 2008), show more variations and finer details, and preserve texture to a level close to those of living body which allow students to feel as if they are in the operating theatre (Mcbride and Drake, 2015). There is no doubt that cadaver dissection plays an integral role in the process of producing future doctors (Netterstrom and Kayser, 2008). Therefore, some believe that dissection courses are still indispensable for learners to achieve anatomical knowledge (Korf et al., 2008).

많은 해부학자들은 여전히 다른 교육 도구보다 해부학의 사용을 선호한다. 파텔과 막스햄(2006)은 인터뷰한 해부학자의 대다수가 해부학을 선택했고(69%) 그 다음이 prosections를 가장 적절한 교수법으로 선택했다는 것을 발견했다. Kerby 외 연구진(2011)은 해부학자와 학생 모두 학습 결과를 충족시키는 데 있어 해부 과정이 가장 "목적에 적합한" 것으로 간주된다고 결론 내렸다. Davis 등은 해부학자와 성병학자 모두 해부학 교수 자원에 대한 해부학자와 의대생의 인식을 탐구했다. 학생들은 해부학 교육에서 시체 해부를 사용하는 것을 강력히 선호했다. 비슷하게, 울름대학교 의과대학의 의대 학생들은 시체 해부를 가르치는 도구로 사용하는 것을 높이 평가했다.

Many anatomists still favour the use of dissection over other teaching tools. Patel and Moxham (2006) found that majority of the anatomists interviewed (69%) selected dissection, followed by prosections as the most appropriate teaching method. Kerby et al. (2011) concluded that dissection courses were viewed by both anatomists and students as most “fit for purpose” in meeting learning outcomes, but no single teaching tool met all aspects of the curriculum. (Davis et al., 2014) explored anatomists’ and medical students’ perceptions towards anatomy teaching resources, both anatomists and students strongly favoured using cadaver dissection in anatomy teaching. Similarly, medical students at the Ulm University Faculty of Medicine highly rated using cadaver dissection as a teaching tool (Bockers et al., 2010).

반면에, 완전한 시체 해부가 여전히 현대 학부 교육에 적합한지에 대한 논쟁이 있었다. 해부를 위해 시체를 사용하는 것은 비용이 많이 들고 시간이 많이 걸리며 시대에 뒤떨어진 것으로 여겨져 왔다. 해부 과정은 영국, 미국, 호주 의과대학에서 더 이상 주요 교수법으로 사용되지 않는다. 전신 해부는 해부학을 가르치는 다른 양식과 함께 해부학 기반 과정으로 대체되었다. 해부학 커리큘럼의 해부 과정을 강조하지 않는 것은 다음에 의해 주도되고 있다.

• 지역 기반 접근 방식에서 시스템 기반 접근 방식으로의 이동,
• 이미 붐비는 커리큘럼의 해부 시간 단축 및 빈소 및 해부 실험실 유지와 관련된 높은 비용,
• 공식 매연 노출과 관련된 건강 문제,
• 카데바의 지속적인 사용을 둘러싼 윤리적 및 의학-법적 문제

졸업과 동시에 외과의사가 될 소수의 의대생들만이 해부가 필요할 수 있다(Lung et al., 2006).

On the other hand, there has been a debate about whether full cadaver dissection is still suitable for modern undergraduate education (Korf et al., 2008). Using cadavers for dissection has been considered costly, time-consuming and outdated (Aziz et al., 2002). Dissection courses are no longer used as the principle method of teaching in a significant number of UK, US, and Australian medical schools (Drake et al., 2009, Sugand et al., 2010, Craig et al., 2010). Full body dissection has been replaced with prosection-based courses in combination with other modalities to teach anatomy (Fruhstorfer et al., 2011, Rizzolo and Stewart, 2006, Sugand et al., 2010). De-emphasizing dissection courses in anatomy curricula has been driven by

• the move from a regional-based to system-based approach,
• reduction of time allocated for dissection in already crowded curricula and high costs associated with maintaining mortuary and dissection labs,
• health concerns related to the exposure to formalin fumes, and
• ethical and medico-legal issues surrounding their continued use (McLachlan, 2004, McMenamin et al., 2014, Sugand et al., 2010).

Only a small number of medical students may need dissection, those that will become surgeons upon graduation (Leung et al., 2006).

2.2. 프로섹션
2.2. Prosections

Prosections는 이미 해부된 표본이며, 때로는 플라스틱으로 된 표본이다. 중세와 르네상스 초기에 해부학을 가르치는데 있어서 시체 해부학은 필수적인 부분이었다. 통합 커리큘럼에서 전체 해부학에 할애되는 시간의 단축과 기증된 신체의 수가 감소함에 따라, 많은 프로그램들이 전신 해부에서 prosections으로 옮겨갔다. 이렇게 하면 접촉 시간이 단축되는 동시에 학습자가 찾기 위해 몇 시간을 소비할 수 있는 구조물에 노출될 수 있습니다. 심장이나 큰 혈관 같은 일부 구조물은 흉부와 복부 깊숙이 위치하기 때문에 부위별 또는 층별로 해부하는 것은 불가능하다. 따라서 해부는 시스템 기반 접근법에 적절하게 맞지 않으며, 이런 부위의 해부학은 [해부의 지역적 접근 방식]보다는 prosections를 사용하여 더 잘 교육된다. 호주와 뉴질랜드 의과대학 내에서, 기증된 시체의 수가 증가함에 따라 시체들을 이용할 수 있음에도 불구하고, 해부학 프로그램이 완전히 해부 기반인 것은 없다. 호주와 뉴질랜드 의과대학에 대한 최근 조사는 19개의 호주와 뉴질랜드 의과대학이 전체 해부학을 가르치는 데 가장 일관되게 사용되는 방법인 체계적이고 통합된 사례 기반 학습 커리큘럼을 사용한다는 것을 보여주었다.

A prosection is an already dissected, sometimes plastinated specimen. Cadaver prosections were an essential part of teaching anatomy in the Middle Ages and early Renaissance (Enke, 2005). With a contraction of the time devoted to gross anatomy in an integrated curriculum and decreasing numbers of donated bodies, many programs have moved from full body dissection to prosections; this reduces the number of contact hours while allowing learners the exposure to structures that they might otherwise spend hours trying to find (Dinsmore et al., 1999). Because some structures like the heart and large vessels are located deep in the thorax and abdomen, dissecting such structures region by region or layer by layer is impossible. Therefore, dissection does not fit appropriately into a system-based approach, here anatomy is better taught using prosections rather than the regional approach of dissection (Leung et al., 2006). Within Australian and New Zealand medical schools, despite the availability of cadavers due to an increasing number of donated bodies, no anatomy program is wholly dissection-based (Craig et al., 2010). A recent survey of Australian and New Zealand medical schools, showed that 19 Australian and New Zealand medical schools use a systemic, integrated, case-based learning curriculum for which prosection was the method most consistently used for teaching gross anatomy (Craig et al., 2010).

prosections은 여러 가지 이점을 제공합니다. prosections기반 과정은 구조와 그 관계가 쉽게 관찰되기 때문에 유연하고 맥락적이며 시간 효율적이며, 둘 이상의 학생 코호트가 프로토섹션을 사용할 수 있기 때문에 더 적은 수의 시체들이 필요하다. 사체를 해부하는 학생보다 투영된 자료에서 배우는 의대생들이 여러 표본에서 더 많은 해부학적 변화를 확인하거나 볼 수 있다. 이러한 장점에도 불구하고, 투영된 검체의 준비는 시간이 많이 걸리고 각 신체 부위의 여러 개의 프로토셀을 만들기 위해 충분한 숙련된 인력이 필요하다. 이전 보고서는 직접 해부하며 해부학을 배우는 학생들과 prosections으로 해부학을 배우는 학생들 사이에 결과에 큰 차이가 없음을 보여주었다(Yeager, 1996). 최근의 연구에 따르면 학생들은 dissection보다 prosections에서 배우는 것을 더 선호한다고 한다. 일부 해부학자들은 해부학을 가르치는데 있어서 prosections이 전신 해부를 대체할 수 있다고 믿는다.

Prosections offer a number of advantages; prosection-based courses are flexible, contextual and time-efficient as structures and their relations are easily observed, and fewer cadavers are needed as more than one student cohort can use the prosections (Nnodim, 1990, Dinsmore et al., 1999, Pather, 2015). Medical students learning from prosected materials may be able to identify or view more anatomical variations in several specimens, than students who dissect cadavers (Topp, 2004). Despite these advantages, preparation of prosected specimens is time-consuming and requires ample skilled personnel to create multiple prosections of each body region. A previous report showed no significant differences in outcomes between students learning anatomy from dissection and those learning it from examining prosected cadavers (Yeager, 1996). Recent studies show that students favour learning from prosections over dissection (Nnodim, 1990, Dinsmore et al., 1999). Some anatomists believe that prosection can replace full body dissection in teaching gross anatomy (Mclachlan and Regan De Bere, 2004).

2.3. 플라스티네이션
2.3. Plastination

플라스티네이션은 단순히 prosections를 보존하는 특별한 방법으로 간주될 수 있지만, 수축, 텍스처 손실, 자연 조직 색상과 미세한 디테일과 같은 몇 가지 한계를 가지고 있다. 또한 플라스틱 시료 준비에 사용되는 다량의 가연성 화학물질과 관련된 건강 및 안전 문제가 있습니다. 플라스티네이션은 1977년 하이델베르크 대학교 해부학 연구소의 군터 폰 하겐스에 의해 처음 개발되었으며, 그 이후 플라스티네이션은 인체의 보존을 위한 최고의 기술 중 하나가 되었다. 많은 해부학자들은 정형화된 고정된 물질보다 플라스틱으로 된 표본을 선호하는데, 그 이유는 그것들이 냄새가 없고 보관하기 편리하며 취급하기 쉽기 때문이다. 플라스틱은 플라스틱 시료의 "반영구성"으로 인해 상대적으로 비용 효율적인 것으로 간주됩니다. 플라스티네이션은 몇 년에 한 번 하는 것이 아니라 10년에 한 번 정도만 하면 됩니다. 냉장 및 흄 추출이 필요하지 않기 때문에 보관 비용이 낮습니다. 플라스티네이션은 대부분의 해부학 부서에서 쉽게 구할 수 있는 저비용 장비를 사용하여 수행할 수 있습니다. 이전 연구는 플라스틱 표본이 학생들에게 유용하고 다양한 수준에서 학생들의 요구를 수용하는 것으로 나타났다. 비록 플라스틱은 수많은 장점을 가지고 있지만, 플라스틱은 가장 일반적인 변형을 보여주지만, 시간이 지남에 따라, 플라스틱 부분은 그들의 참신한 성격을 잃고 결국 학생들은 노출된 변형을 암기한다.

Plastination can be considered simply a specialized way of preserving prosections but it does have some limitations such as shrinkage, loss of texture, natural tissue colour and fine details. In addition, there are health and safety concerns associated with the large amounts of flammable chemicals used in preparation of plastinated specimens. Plastination was first developed by Gunther von Hagens at the Anatomical Institute of Heidelberg University in 1977 and, since its development, plastination has become one of the best techniques for the preservation of the human body (Von Hagens et al., 1987). Many anatomists favour plastinated specimens over simply formalin fixed material, because they are odourless, allow convenient storage, and ease of handling (Latorre et al., 2007, Jones and Whitaker, 2009, Fruhstorfer et al., 2011). Plastination is considered relatively cost-effective due to the “semi-permanence” of the plastinated specimens – prosections only have to be made once every ten years or so instead of every few years; storage costs are lower as refrigeration and fume extraction are not required (Latorre et al., 2007); and plastination can be carried out using low cost equipment which is readily available in most Anatomy departments (O'sullivan and Mitchell, 1995). Previous studies showed that plastinated specimens were deemed useful by students and accommodated student needs at various levels (Latorre et al., 2007, Fruhstorfer et al., 2011). Even though plastination has numerous advantages, plastination shows the most common variations, in time, plastinated sections lose their novel character and eventually students master the exposed variations by heart (Korf et al., 2008).

2.4. 컴퓨터 기반 학습(CBL)
2.4. Computer based learning (CBL)

최근 기술의 발전, 수업 시간의 감소, 수업의 크기 증가, 그리고 시체 기반 수업의 비용 증가로, CBL 자원은 학생 학습을 촉진하기 위한 해부학 커리큘럼에 점점 더 많이 사용되고 있다. 이것의 사용은 해부학 교육을 강화하고, 독립적인 학습, 문제 해결을 강화하며, 유연성을 제공한다(Release, 2002). 비록 CBL이 전통적인 교수법보다 더 나은 접근 방식이라는 명확한 증거는 없지만, CBL을 사용하여 해부학을 배우는 것이 전통적인 교수법을 대체하기 보다는 보충함으로써 학습을 향상시킬 수 있다는 증거가 있다. 학생들은 여전히 해부, 해부, 강의, 교과서와 같은 전통적인 방법을 CBL 자료보다 선호한다. 마찬가지로 많은 해부학자들은 CBL 자원을 사용하더라도 최적의 훈련을 위해 시체 기반 instruction은 여전히 필수 조건이라고 믿는다.
With recent advances in technology, reductions in teaching time, increasing class size and increasing costs of cadaver-based instruction, CBL resources are increasingly used in anatomy curricula to foster student learning (Tam et al., 2010, Azer and Eizenberg, 2007). Its use augments anatomy teaching, enhances independent learning, problem solving, and provides flexibility (Trelease, 2002). Although, there is no clear proof that CBL alone is better approach than traditional teaching methods (Mcnulty et al., 2004, Khot et al., 2013), evidence shows that learning anatomy using CBL can enhance learning by supplementing rather than replacing the traditional teaching methods (Tam et al., 2010, Durosaro et al., 2008). Students still prefer traditional methods such as dissection, prosection, lectures and textbooks over CBL resources (Azer and Eizenberg, 2007, Kerby et al., 2011, Davis et al., 2014). Similarly many anatomists believe that cadaver-based instruction is still a prerequisite for optimal training even with the use of CBL resources (Aziz et al., 2002, Tam et al., 2010).

대부분의 CBL 자원은 해부학적 구조의 3D 표현 개발에 초점을 맞추고 있으며 의료 교육에서의 사용에 대한 연구가 있다. 가상현실(VR)을 통해 학생들은 인공 3D 공간에서 시뮬레이션된 물체를 시각화하고 해부하며 상호작용할 수 있다(Release, 2002). VR 프로그램의 유용성과 비용 효율성은 해부학 수업에서 잘 인정받았고, 학생들의 태도는 가상 해부학 사용에 대해서도 긍정적이었다. 지난 수십 년 동안 가시 인간 프로젝트와 중국 가시 인간 데이터 세트와 같은 인체 해부학 응용의 자원으로 전 세계에서 사용되고 있는 대규모 해부학 데이터 세트가 개발되었다.

Most CBL resources have focused on the development of 3D representations of anatomical structures and there has been research into its use in medical education (Drake et al., 2009, Tam et al., 2010). Virtual reality (VR) allows students to visualize, dissect and to interact with simulated objects in artificial 3D space (Trelease, 2002). The usefulness and cost-effectiveness of VR programs have been well acknowledged in anatomy teaching, students’ attitudes have also been positive towards the use of virtual anatomy (McNulty et al., 2009, Rizzolo and Stewart, 2006). Over the last few decades, large-scale anatomical data sets have been developed that are being used all over the world as a resource for human anatomy applications such as the Visible Human Project and the Chinese Visible Human dataset (Spitzer and Whitlock, 1998, Zhang et al., 2004).

최근, 해부학 테이블은 인간의 시체들을 대체하기 위해 커틴 대학의 건강 과학에서 사용되고 있다. 아나토마지 테이블은 가상 3D 해부 플랫폼으로 디지털 이미지를 대화식으로 활용해 전신의 해부학적 구조를 탐색하는 실물 크기의 '아이패드 같은' 경험을 제공하는 멀티 터치 스크린이 탑재됐다. 바이오디지털 휴먼과 접합체 본체는 3D 그래픽스를 위한 프로그래밍 인터페이스를 제공하는 임베디드 시스템용 오픈 그래픽 라이브러리 2.0을 기반으로 웹GL 기술을 사용하는 인터랙티브 웹 기반 프로그램인 3D 시각화의 예이다. 3D 시각화 기술을 통해 학생들은 다양한 시스템을 뒤틀고 임상 주제를 설명하면서 인체의 전신을 탐색할 수 있다. 세컨드라이프는 2003년 린든랩이 개발한 VR의 또 다른 예이다. 학생들이 콘텐츠를 탐색할 수 있을 뿐만 아니라 동일한 가상 방에서 동일한 콘텐츠를 볼 수 있어 사용자 간의 상호 작용이 가능하기 때문에 온라인 학습에 고유한 확장을 도입한다.

Recently, Anatomage tables have been used in health sciences at Curtin University to replace human cadavers (Fyfe et al., 2013). The Anatomage table is a virtual 3D dissection platform, with a multi-touch screen that provides a life-size “iPad-like” experience that uses digital images in an interactive way to explore the anatomy of the whole body (Fyfe et al., 2013). The BioDigital Human and Zygote Body are examples of 3D visualization, interactive web-based programs that use WebGL technology, based on the Open Graphics Library for Embedded Systems 2.0, which provides a programmatic interface for 3D graphics (Kelc, 2012, Qualter et al., 2011). The 3D visualization technology allows students to explore a whole human body, toggling various systems and explaining clinical topics. Second Life is another example of VR, developed by Linden Lab in 2003. It introduces a unique extension to online learning, as students are not only able to explore the content but also allow interactions between users as they view the same content in the same virtual room (Richardson et al., 2011).

오큘러스 리프트와 유사한 3D 시각화 "고글"은 의료 훈련 및 교육 목적에 엄청난 영향을 미친다. 사용자는 오큘러스 리프트 "헤드 마운트 디스플레이"를 착용하고 투어를 만들거나 인체를 통해 가상으로 비행할 수 있는 핸드 컨트롤러를 가지고 있다. Oculus left는 또한 학생들이 단순하고 복잡한 일련의 작업을 수행해야 하는 가상 환경에서 운동 기술과 손 움직임을 사용하여 배울 수 있도록 한다(Mathur, 2015). 증강현실(AR)은 또 다른 새로운 도구로서, AR의 새로운 측면은 실제 환경의 관점과 추가 가상 콘텐츠를 결합하는 것이다. AR은 컴퓨터 생성 물체를 실제 세계에 통합하여 사용자의 현실 인식을 향상시킨다는 점에서 가상 현실과 다르다. AR은 "현실에 대한 증대로 물리적 세계를 볼 수 있고 이 창에서 가상 구성 요소가 보일 수 있는 창을 제공합니다." 사용자의 몸에 해부학적 구조를 표시할 수 있는 착각을 일으킬 수 있기 때문에 보다 복잡한 해부학을 시각화하는 것도 유용할 수 있다. 햅틱(촉각) 기술은 인간과 수의 임상 교육에 점점 더 많이 사용되고 있는 또 다른 가상 시뮬레이션 기술로 촉각에 의존하는 검사를 시뮬레이션하는 데 특히 유용하다(Kinnison et al., 2009). 햅틱은 VR에 촉각과 힘 피드백을 모두 더하고, 실제와 같은 내부 해부학적 느낌을 제공한다.

Oculus rift and similar 3D visualization “goggles” have tremendous implications for medical training and instruction purposes. The user wears the Oculus Rift “head mounted display” and holds hand controllers which allow him/her to create a tour or virtually fly through the human body. Oculus rift also enables students to learn using their motor skills and hand movement in a virtual environment where they are required to perform a mixed set of simple and complex tasks (Mathur, 2015). Augmented reality (AR) is another emerging tool, the novel aspect of AR is to combine the view of the real environment with additional virtual content (Kamphuis et al., 2014). AR differs from virtual reality in that it integrates computer-generated objects into the real world to enhance the user's perception of reality (Hugues et al., 2011). AR “provides a window through which the physical world can be seen and for the virtual components to become visible in this window, as an augmentation to reality” (Kamphuis et al., 2014). It has uses in anatomy education in that as it can create an illusion allowing display of anatomical structures on the user's body, it could also be useful to visualize more complex anatomy (Thomas et al., 2010). Haptic (touch) technology is another virtual simulation technology that has been increasingly used in human and veterinary clinical training and is particularly useful for simulating examinations that rely on the sense of touch (Kinnison et al., 2009). Haptic adds both tactile and force feedback to VR and provides a life-like feel of internal anatomy (Kinnison et al., 2009).

3D 프린팅 또는 빠른 프로토타이핑은 해부학을 가르칠 가능성이 큰 급속하게 확장되고 있는 기술입니다. 수술 계획, 이식 가능한 보철물을 만드는 것, 생물학적인 조직 공학이 있습니다. 이 기술의 원리는 재료를 층층이 추가하는 과정을 통해 3D 물리적 모델을 재구성하는 데 3D CAD(Computer-Aided Design)를 사용하는 것이다. 적층 제작을 통해 기계는 CAD 도면으로부터 데이터를 읽고 액체, 분말 또는 시트 재료의 연속적인 층을 깔고, 이러한 방식으로 일련의 단면으로부터 모델을 구축합니다. 이 기술은 구조 및 관계에 대한 시각적 공간 및 3D 이해를 강화하기 위해 해부학 교육 목적에 유용한 매우 정확한 모델을 저렴한 비용으로 더 짧은 시간에 제작할 수 있다. 최근, 폴 맥메나민 교수가 이끄는 모나시 대학의 한 그룹은 3D 프린팅 해부학 시리즈를 만들기 위해 레이저 휴대용 스캐너, MRI 영상 및 CT 스캔을 만들었습니다. 이 키트에는 인체 조직이 포함되어 있지 않지만, 팔다리, 가슴, 복부, 머리, 목의 해부학을 가르치는 데 필요한 신체의 모든 주요 부위를 제공한다. McMenamin과 동료들이 수행한 최근 파일럿 연구는 이 혁신이 해부학 학습에 특정 이점을 제공하고 시체 기반 교육의 보충물로 사용 및 지속적인 평가를 지원한다는 것을 시사한다.

3D printing or rapid prototyping is a rapidly expanding technology with great promise for teaching anatomy; surgical planning; creating implantable prosthetics; and biological tissue engineering (Gibson et al., 2010). The principle of this technology is to use 3D computer-aided design (CAD) for the reconstruction of 3D physical models through a process of adding layer upon layer of materials (Gibson et al., 2010). With additive fabrication, the machine reads in data from a CAD drawing and lays down successive layers of liquid, powder, or the sheet material, and in this way builds up the model from a series of cross sections (Gibson et al., 2010). This technology is able to produce highly accurate models, at a low cost and in less time, useful for anatomy education purposes to enhance visuospatial and 3D understanding of structures and relationships (McMenamin et al., 2014). Recently, a group at the Monash University led by Professor Paul McMenamin put together laser hand-held scanners, MRI imaging and CT scans to create a 3D Printed Anatomy Series. The kit contains no human tissue, yet it provides all the major parts of the body required to teach anatomy of the limbs, chest, abdomen, head and neck. A recent pilot study done by McMenamin and colleagues suggest that this innovation offers certain benefits to anatomy learning and supports their use and ongoing evaluation as supplements to cadaver-based instruction (Lim et al., 2015).

시체 사용을 지지하는 사람들은 해부만이 조직의 촉각 조작, 3D 상호 작용 및 다중 감각의 관여를 제공할 수 있으며, VR 도구는 이러한 장점을 제공하지 않는다고 주장한다. 시체들의 사용은 또한 공간 정보와 관계에 대한 이해와 보존을 증진시키는 것으로 생각된다. 또한, 소프트웨어의 탐색과 VR 프로그램의 풍부한 옵션은 학생들의 인지 기능을 저해하고 결과적으로 학생들의 학습을 방해할 수 있다. AR과 3D 프린팅은 해부학의 시각적 및 촉각적 표현을 제공할 수 있지만, 시체 해부가 할 수 있는 모든 감각을 재현할 수는 없습니다. 시체 해부에 반대하는 사람들은 CBL과 VR 자원이 저장, 인공호흡 인프라 또는 방부 처리를 필요로 하지 않고 전체적인 해부학을 배울 수 있는 기회를 제공하기 때문에 시체 실체에 비해 상당한 이점을 제공한다고 주장한다. VR은 학생들에게 다양한 시각과 각도를 선택할 수 있는 더 많은 자율성을 제공하고, 시체로는 불가능한 휴대성, 수명, 표준화, 다양성을 제공한다.
Supporters for the use of cadavers argue that only dissection can provide tactile manipulation of tissue, 3D interaction and engagement of multiple senses, VR tools do not offer these advantages. Use of cadavers is also thought to enhance understanding and retention of spatial information and relationships (Rizzolo and Stewart, 2006, Dehoff et al., 2011). In addition, the software's navigation and the plentiful options of the VR programs may hinder student cognitive function and, as a result, impair student learning. Although AR and 3D printing can offer visual and tactile representations of anatomy, they cannot reproduce all of the sensations that cadaveric dissection can. Opponents of cadaveric dissection, argue that CBL and VR resources present significant advantages over the reality of a cadaver as they provide the opportunity to learn gross anatomy without requiring storage, ventilation infrastructure or embalming. VR provides students more autonomy in choosing different views and angles, offers portability, longevity, standardization, and diversity that is not possible with a cadaver (Spitzer and Whitlock, 1998).

2.5. 의료 영상촬영
2.5. Medical imaging

해부학 교육에 의료 영상을 사용하면 해부학적 구조와 생리의 생체 내 시각화는 물론 병리학적 프로세스에 대한 통찰력을 제공한다. 컴퓨터 단층촬영(CT), 자기공명영상(MRI), 초음파의 등장으로 2차원 및 3D 재구성으로 내부 해부학의 매우 상세한 영상을 표시할 수 있게 되었다. 정보기술의 폭발적 증가로 인해 의과대학들은 이미징 기술을 그들의 의학 커리큘럼에 통합하도록 요구되어 왔다. 의학 이미지를 해부학 커리큘럼에 통합하면 학생들에게 기본적인 해부학적 지식을 2차원 단면 CT 및 MRI 스캔의 해석에 적용하고 임상적 관련성을 해부학적 지식과 상관시킬 수 있는 능력을 제공한다. 의료 영상은 해부학적 공간 관계에 대한 더 나은 이해를 촉진하고, 학생들의 해부 시간의 효율성을 향상시키며, 전체 해부학에 대한 관심을 높일 수 있기 때문에 해부 기반 교육에 귀중한 추가 요소로 간주된다.
The use of medical imaging in anatomy education provides in vivo visualization of anatomical structure and physiology as well as insight into pathological processes (Gunderman and Wilson, 2005). With the advent of computed tomography (CT), magnetic resonance imaging (MRI) and ultrasound, it has become possible to display highly detailed images of internal anatomy in two-dimensions and 3D reconstructions (Gunderman and Wilson, 2005). As a result of the explosion in information technology, medical schools have been required to integrate imaging techniques into their medical curricula (Gregory et al., 2009). Integration of medical images into anatomy curricula offers students the ability to apply basic anatomical knowledge to the interpretation of two-dimensional sectional CT and MRI scans and to correlate clinical relevance with anatomical knowledge (Lufler et al., 2010, Miles, 2005). Medical imaging is considered a valuable addition to dissection-based instruction as it can promote better understanding of anatomical spatial relationships, enhance the efficiency of students’ dissection time and increas their interest in gross anatomy (Pabst et al., 2005, Reeves et al., 2004).

의료 영상은 기존의 해부의 이점을 대체할 수 없으며, 독립적 접근방식으로서 중요한 한계를 가지고 있다. 복잡한 과정을 가진 수많은 해부학적 구조들은 현재의 영상 양식으로는 적절하게 보기 어렵다. 또한 해부는 의료 영상으로는 달성할 수 없는 조직의 "느낌"에 대한 이해를 제공한다. 또한 의료 이미지를 검사하는 것은 인간 카데바를 직접 경험하는 것에 비해 어느 정도 추상화 된 것이다. 학생들에게 해부할 기회를 주지 않음으로써 "시신과 환자의 사망률의 즉시성은 해소될 것 같다."

Medical imaging cannot substitute for the benefits of conventional dissection (Gunderman and Wilson, 2005, Howe et al., 2004, Aziz et al., 2002), it has important limitations as a stand-alone approach (Howe et al., 2004, Aziz et al., 2002). Numerous anatomical structures with complex courses are difficult to view adequately with current imaging modalities; dissection also provides an appreciation of the “feel” of tissues which cannot be achieved by medical imaging (Miles, 2005). Inspecting medical images also introduces a level of abstraction compared to the face-to-face experience with the human cadaver (Gunderman and Wilson, 2005). By denying students the opportunity to dissect, “the immediacy of the mortality of cadavers and patients is likely to be dissolved” (Gunderman and Wilson, 2005).

2.6. 생체 해부학
2.6. Living anatomy

예술가들과 미술사학자들은 항상 살아있는 신체에 큰 관심을 보여 왔다. 살아있는 해부학은 시체들의 색깔, 질감, 냄새가 실제 생활과 같지 않고, 촉진을 하거나 청취를 하거나 위치를 바꾸도록 유용하게 요청할 수 없다는 점에서 시체들에 비해 장점이 있다. 생체 해부학은 동료 신체 검사(PPE), 초음파 및 보디 페인팅을 사용하여 학생들에게 가르칠 수 있다. PPE는 학생들이 서로를 신체적으로 검사하는 것을 포함한다. 신체 민감한 부위를 검사하는 데 불편함이나 반대가 있지만 학생들은 PPE에 기꺼이 참여한다(Rees et al., 2005). 그럼에도 불구하고 PPE는 생명모델의 사용보다 더 유익한 것으로 밝혀졌다. PPE는 학생들에게 환자 접견 전에 임상 기술을 안전하게 연습하고 습득할 수 있는 기회를 제공하며, 공감 능력의 개발과 의사소통 능력의 향상을 제공한다. 환자 이송에 따른 추가 비용 요건이나 표준형 환자 수수료가 없어 비용 대비 효과도 높은 것으로 평가된다. 또는 신체 검사 기술을 가르치기 위해 전문가 또는 시뮬레이션 환자(SP)를 사용하는 것이 의료 교육에 널리 사용되어 왔다. 골반 부위 및 유방과 같은 신체 특정 부위의 교육에 SP를 사용하는 것은 윤리적 문제를 해결하고, 불안감을 줄이고, 당황을 피하고, 학생의 성과를 향상시키고, 학생들에게 귀중한 피드백을 제공할 수 있는 잠재력을 가지고 있다.
Artists and art historians have always shown a great interest in the living body (Griksaitis et al., 2011). Living anatomy has advantages over cadavers in that cadavers’ colour, texture, and smell are not like real life, and they cannot be palpated, auscultated, or usefully asked to change position (McLachlan, 2004). Living anatomy can be taught to the students using peer physical examination (PPE), ultrasound and body painting. PPE involves students physically examining each other (Rees et al., 2004). Students are willing to participate in PPE, although there is discomfort or opposition to examining sensitive areas of the body (Rees et al., 2005). Nevertheless, PPE has been found to be more beneficial than the use of life models (Metcalf et al., 1982). PPE provides students an opportunity to safely practice and master clinical skills prior to the patient encounter as well as development of empathy and improving communication skills (Patten, 2007, Wearn and Bhoopatkar, 2006). It is also considered cost-effective as there are no additional cost requirements for transportation of patients or fees for standard model patients (Wearn and Bhoopatkar, 2006). Alternatively, the use of professionals or simulated patients (SP) for teaching physical examination skills has been widely used in medical education (Wanggren et al., 2005). The use of SP for teaching examinations of certain parts of body such as the pelvic region and breast has the potential to address ethical concerns, reduce anxiety, avoid embarrassment, improve student performance and provide valuable feedback to the student (Wanggren et al., 2005).

초음파는 현대 해부학 교육에서 더 자주 사용되며, 총 해부학을 가르치는 전통적인 방법에 추가될 때 유용한 부가물 역할을 할 수 있다. 초음파는 신체 구조의 생체 내 시각화를 2차원으로 허용하고 학습자가 임상적으로 관련된 맥락에서 해부학적 지식을 얻을 수 있도록 한다. 그러나 초음파 사용에 대한 공식적인 가르침이 부족하기 때문에 의대생과 새로운 의사들 사이에 초음파에 대한 실무 지식이 부족하다. 따라서, 초음파를 해부학 커리큘럼에 통합하기 위한 임상 지도자들의 요청이 있었다. 해부학 교육에서 보디페인팅은 마커펜이나 왁스 크레용을 이용해 신체 표면에 내부 구조를 그리는 것을 말한다(McMenamin, 2008).

Ultrasound is used more often in modern anatomical education, it can act as an useful adjunct when added to the traditional methods used teach gross anatomy (Brown et al., 2012). Ultrasound permits in vivo visualization of body structures in two-dimensions and enables learners to gain anatomical knowledge in a clinically relevant context (Ivanusic et al., 2010). However, there is lack of working knowledge of ultrasound amongst medical students and new doctors due to a lack of formal teaching in ultrasound use (Brown et al., 2012). Therefore, there has been a call from clinical tutors for integrating ultrasound into anatomy curricula (Bahner et al., 2012). Body painting in anatomy education refers to painting internal structures on the surface of the body using marker pens or wax crayons (McMenamin, 2008).

대규모 수업 환경에서 학습 표면 해부학과 기초 해부학을 용이하게 하는 능동적이고 촉감적인 학습 양식으로 설명되었다. 바디 페인팅은 즐겁고 상호작용적인 것 외에도 해부학적 지식의 보존과 기억을 강화한다. McMenamin은 표면 해부학과 임상 기술을 가르치기 위해 보디 페인팅을 보조 자료로 사용할 것을 강력히 권고했다. 보디페인팅은 비교적 저렴한 비용으로 쉽게 도장 재료를 구할 수 있고, 많은 수의 학생들이 직원 시간과 물리적 자원을 덜 요구하면서 동시에 도장에 종사할 수 있어 상대적으로 비용 효율이 높다는 평가를 받고 있다.
It has been described as an active and tactile learning modality facilitating learning surface anatomy and underlying anatomy in large class settings (Op Den Akker et al., 2002). Besides being enjoyable and interactive, body painting enhances retention and recall of anatomical knowledge (Finn and McLachlan, 2009). McMenamin highly recommended the use of body painting as an adjunct resource to teach surface anatomy and clinical skills (McMenamin, 2008). Body painting is considered relatively cost-effective as painting materials are readily available at relatively low cost, and large numbers of students can be simultaneously engaged in painting while requiring less staff time and physical resources (Finn, 2015).

해부학 교육에서 보디페인팅과 PPE의 명백한 이점에도 불구하고, 몇몇 연구들은 성별, 종교적 신념, 검사할 신체 부위의 위치와 같은 더 [민감한 문제]들이 그들의 동료를 검사하고 검사하려는 학생들의 의지에 영향을 미칠 수 있다는 것을 발견했다. 이슬람 국가에서, [문화적 민감성과 종교적 문제]는 심지어 같은 성별 사이에서도 PPE와 보디페인팅을 하는 것을 제한할 수 있다. 맨체스터 대학의 다민족 의대생들 사이에서 오닐과 동료들에 의해 수행된 조사는 그들의 종교가 특히 이슬람 여학생들 사이에서 PPE를 수행하는 것에 반대하는 이유로 주어졌다는 것을 보여주었다. 아랍에미리트 대학 보건과학부에서 실시한 임상 기술 실험실에 대한 인턴과 상급 의대생들의 태도에 관한 또 다른 조사는 대다수의 여학생들이 PPE에 익숙하지 않다는 결론을 내렸다(Das et al., 1998).
Despite the apparent benefits of body painting and PPE in anatomy education, several studies have identified that more sensitive issues such as gender, religious beliefs and location of body region to be examined, may influence students’ willingness to examine their peers and be examined (Reid et al., 2012, Rees et al., 2009). In Islamic states, cultural sensitivities and religious issues may constrain doing PPE and body painting even between the same genders. A survey conducted by O’Neill and colleagues among medical students from multi-ethnic groups in Manchester University showed that their religion was given as a reason against performing PPE particularly among Muslim female students (O’Neill et al., 1998). Another survey done at the Faculty of Health Sciences in United Arab Emirates University regarding the attitudes of interns and senior medical students towards clinical skills labs concluded that the majority of female students were not comfortable with PPE (Das et al., 1998).

2.7. 강의 기반 강의
2.7. Lecture-based teaching

16세기 이래로, 공식적인 강의와 해부는 시체 해부와 함께 해부학 과정의 중요한 부분으로 남아있었지만, 강의는 비효율적이고, 시대에 뒤떨어지고, 수동적인 학습 형태라고 많은 사람들에 의해 비판되어 왔다. 강의실 교육을 포함한 의료 커리큘럼의 모든 측면의 전환은 교육학(시스템 기반 및 수직적 접근 통합으로의 이동)과 자원(대규모 수업, 적은 교수진, 제한된 자금 지원 및 혼잡한 커리큘럼)에 의해 추진되었다. 유망한 대안적 교수 전략은 혼합 학습이다. 혼합 학습은 전통적인 대면 및 온라인 교육 방법의 통합이다. 플립 또는 거꾸로 교실은 혼합된 학습 모델이며, 전통적인 강의와 숙제 요소를 뒤집는 교육적 접근 방식이다. 이러한 교육 모델은 어떤 과목에 대한 오디오와 비디오를 포함한 인터넷 자원의 가용성 때문에 특히 매력적이 되었다. 소셜 미디어(유튜브, 블로그, 위키, 아이튠즈 U 또는 팟캐스트)와 다른 웹 2.0 도구를 사용하여 튜터를 학생들과 연결할 수 있다. 혼합 학습 모델은 비출석 기반 교육과 관련된 문제를 피하면서 능동적인 학습을 촉진하고 학업 성과를 향상시킬 수 있는 잠재력을 가지고 있다. 그러나 이 학습 모델은 학생들의 수업 밖 준비에크게 의존하므로, 학생들이 할당된 수업 전 또는 수업 내 활동에 참여하지 못할 수 있다는 우려가 있다. 또한 강의 자료를 준비하는 데 수반되는 업무량도 증가합니다.
Since the sixteenth century, formal lectures and dissection have remained a key part of any anatomy course along with cadaver dissection (Vázquez et al., 2007), however this approach has been criticized by many as an ineffective, outdated and passive form of learning (Nandi et al., 2000, Pawlina and Lachman, 2004). Transformation of all aspects of the medical curriculum, including classroom instruction has been driven by pedagogy (the move to a system-based and vertically approach integrated) and resources (large classes, less teaching staff, limited funding and a crowded curriculum). One promising alternative teaching strategy is blended learning. Blended learning is the integration of traditional face-to-face and online instructional methods (Graham, 2006). The flipped or inverted classroom is a blended learning model, an educational approach that reverses the traditional lecture and homework elements of a course (Lage et al., 2000). This model of teaching has become particularly attractive because of the availability of internet resources including audio and video on any subject. It can make use of social media (YouTube, blogs, wikis, iTunes U or podcasts) and other Web 2.0 tools, to connect tutors to the students. The blended learning model has the potential to facilitate active learning and improve academic performance while avoiding issues that are associated with non-attendance-based teaching (Pereira et al., 2007). However, this learning model is heavily dependent on students preparing outside of class, therefore there is a concern that students may fail to engage with the assigned pre-class or in-class activities. There is also an increased workload involved in preparing the course materials.

2.8. 통합 커리큘럼
2.8. Integrated curricula

전통적인 학부 의학 커리큘럼에서, 임상 전/초학년은 보통 기초과학에 집중하며, 이후 몇 년은 임상 과학과 임상 훈련에 집중하기 때문에, 학생들은 임상 훈련 동안 해부학에 대한 노출이 매우 제한적이었다. 이러한 교육 방식은 신규 의학 졸업생들 사이에서 관련 해부학적 지식이 부족하기 때문에 임상 지도 교수들로부터 빈번한 비판을 받아왔다. 이로 인해 새로 자격을 갖춘 의사들 사이의 해부학적 지식이 환자의 안전이 훼손될 수 있는 수준에 있을 수 있다는 우려가 제기되었다. 의학 교육 내부의 개혁은 수직 통합 커리큘럼을 개발하려는 노력으로 이어졌다. 이를 통해 임상과학은 초기에 도입되는 반면, 해부학과 기타 기초과학은 커리큘럼 말기에 지속적으로 관심을 기울인다. 이 과정에서 해부학 지식의 특정 영역을 우선할 수 있어 [일반 개업의와 관련된 해부학]만 전 학생에게 가르치고, [해부학에 대한 고급 지식]이 필요한 외과적 또는 기타 전문적 관심사를 가진 교육생은 임상연도와 레지던시 프로그램에서 이를 받게 된다.
Within traditional undergraduate medical curricula, the preclinical/first years usually concentrate on basic science and subsequent years on clinical sciences and clinical training, therefore, students had very limited exposure to anatomy during clinical training. This mode of teaching has led to a frequent criticism by clinical tutors due to a lack of relevant anatomical knowledge among the new medical graduates (Evans and Watt, 2005). This led to concerns that anatomical knowledge amongst newly qualified doctors may be at a level where patient safety could be compromised. Reforms within medical education have led to efforts to develop vertically integrated curricula (Lie, 1995). With this, clinical sciences are introduced in the early years while continued attention is paid to anatomy and other basic sciences in the later years of the curriculum (Bergman et al., 2011). In this process, specific areas of anatomical knowledge can be prioritized such that only anatomy relevant to the general practitioner will be taught to all students in the preclinical years, and trainees with surgical or other specialized interests who need advanced knowledge of anatomy will receive it later in the clinical years and residency programs (Brooks et al., 2015).

에반스와 와트(2005)는 영국 브라이튼 서섹스 의과대학의 학생들이 그들의 규율과 관련된 해부학을 연구하기 위해 전공 로테이션을 하는 동안 어떻게 해부실로 돌아가는지에 대해 설명했다. 이를 통해 핵심 해부학적 지식이 학생의 임상 경험에 비해 가장 적절한 수준에서 확보될 수 있습니다. [전체 커리큘럼에 걸친 수직적 통합]은 졸업생들이 환자를 치료하거나 의료 전략을 계획하는 동안 전체상을 파악하고 전체론적 접근 방식을 채택할 수 있도록 학습된 사실을 종합하는 데 도움이 됩니다. 이것은 기초과학지식의 중요성과 관련성을 더 명확히 할 것이고 학생들이 기초과학지식과 임상 의학 모두에 대한 더 깊은 학습과 이해를 성취하도록 동기를 부여할 것이다. 1학년 때부터의 초기 환자 접촉은 학생들이 의사소통 기술을 개발하고, 의사와 환자의 상호작용의 중요성과 질병이 개인에게 미치는 영향을 깨닫는 데 도움이 된다.

Evans and Watt (2005) described how students at the Brighton and Sussex Medical School in the UK return to the dissection room during specialist rotations to study the anatomy relevant to their discipline. This can ensure that core anatomical knowledge is gained at the most appropriate level relative to a student's clinical experience (Evans and Watt, 2005). The vertical integration throughout the entire curriculum helps graduates to put together the learned facts so as to get the whole picture and adopt a holistic approach while treating a patient or planning a health care strategy (Malik and Malik, 2011). This will make the importance and relevance of basic science knowledge more evident and will motivate the students to achieve deeper learning and understanding of both basic science knowledge and clinical medicine (Dahle et al., 2002). Early patient contact from the first year helps students to develop communication skills, to realize the importance of doctor-patient interaction and the effect of illness on the individual person (Dahle et al., 2002).

전체 커리큘럼에서 해부학을 가르쳐야 한다는 요구에도 불구하고, 커리큘럼 내의 수직적 통합은 종종 단방향이다. 임상 과학은 임상 전 해에 쉽게 통합되지만, 기초 과학은 커리큘럼 말년에 가르치는 것이 훨씬 덜 흔하다. 또한 임상 및 전 임상에 걸친 해부학의 수직적 통합은 계획, 구성 및 실행에 많은 시간과 작업이 필요하다. 교직원들과 행정관들은 적극적으로 참여하고 열정적이어야 하며 부서 경계를 넘어 협력해야 한다. 통합 커리큘럼에서 [해부학에 할당된 총 접촉 시간의 감소]는 학생과 하위 의사들 사이의 [해부학적 지식 부족]을 초래한 것으로 생각된다. 학생들이 임상적인 측면에 집중하고 기초과학을 통합 커리큘럼에서 포기할 것이라는 우려도 상당해, 학생들이 더 이상 전신의 해부학적 구조를 일관성 있고 전체적으로 파악하지 못하고 있다는 주장이다. 

Despite calls for teaching anatomy throughout the entire curriculum, vertical integration within curricula is often unidirectional. Clinical sciences are easily integrated in the preclinical years, however, it is far less common for basic sciences to be taught in the later years of the curriculum (Bergman et al., 2011). In addition, vertical integration of anatomy across clinical and preclinical years needs a lot of time and work in planning, organization and execution. The faculty members and administrators have to be actively involved and enthusiastic and have to cooperate beyond departmental borders (Dahle et al., 2002). The reduction in the number of contact hours allocated to gross anatomy in integrated curricula are thought to have led to insufficient anatomical knowledge amongst students and junior doctors (Fraher and Evans, 2009). There is also a considerable concern that students will concentrate on clinical aspects and abandon the basic sciences in an integrated curriculum, therefore, it is claimed that students no longer gain a coherent and overall picture of the anatomy of the whole body (Bergman et al., 2011).

2.9. 시스템 기반 커리큘럼
2.9. System-based curricula

20세기 초부터, 전체 해부학은 조직학, 생리학, 생화학과 같은 다른 과정과 함께 첫 번째 임상 전 해에 독립적인 과정으로 가르쳐졌다. 단일 해부학적 영역에는 서로 다른 시스템에 속하는 다양한 특성, 기능 및 관계를 가진 구조가 포함되며, 다른 과정에서 학습됩니다. 이것은 학생들이 지역 기반region-based  커리큘럼 내에서 가르치는 많은 양의 분리된 정보를 습득하는 데 어려움을 겪었기 때문에 문제가 있는 것으로 판명되었다. 임상 전 의학 교육의 커리큘럼 패러다임은 [지역 기반region-based , 학문 기반 커리큘럼]이 질병의 정상적인 구조, 정상적인 기능 및 병리생리학이 통합된 [시스템 기반, 학제간 커리큘럼]으로 전환되었다. 시스템 기반 커리큘럼 내에서 학습자는 지역 기반 접근 방식을 추구했을 때보다 후속 시스템의 기초로서 하나의 시스템으로 자료를 마스터할 수 있다. 학습자가 앞으로 나아가면서 서로 다른 시스템에 속하는 구조의 관계, 기능적 유의성 및 임상적 상관관계가 논의되고 여러 차례 연속적으로 재검토된다(Arslan, 2014). 시스템 기반 접근 방식은 습득된 지식의 장기 보존을 강화하여 massed and crammed repetition의 필요성을 감소시킨다. 이를 통해 학습자는 보다 쉽게 사실 정보를 유지하고 해부학적 지식을 의료 실무와 연관시킬 수 있습니다.

Since the early 20th century, gross anatomy has been taught as a stand-alone course during the first preclinical year along with other courses such as histology, physiology and biochemistry (Drake et al., 2009). A single anatomical region contains structures with varied characteristics, functions and relationships that belong to different systems, and are taught in different courses (Arslan, 2014). This proved to be problematic as students had difficulty mastering large amounts of disjointed information taught in within a region-based curriculum (Brooks et al., 2015). The curricular paradigm in preclinical medical education has seen a region-based, discipline-based curricula transformed to system-based, interdisciplinary curricula which integrates normal structure, normal function and pathophysiology of disease (Muller et al., 2008). Within a system-based curriculum, learners can master materials with one system as a foundation to the subsequent systems much easier than if they pursued a region-based approach. As the learner moves further forward, the relationships, functional significance and clinical correlations of structures that belong to different systems are discussed and consecutively revisited several times (Arslan, 2014). A system-based approach enhances long-term retention of acquired knowledge and thus reduces the need for massed and crammed repetition (Arslan, 2014). With this, learners can retain factual information more easily and relate anatomical knowledge to their medical practice.

3. 결론
3. Conclusion

해부학을 가장 효과적인 방법으로 가르치는 방법에 대한 논쟁이 계속되고 있다. 시체 해부는 수백 년 동안 해부학적 지식을 배우는 데 있어 금본위제로 남아 있지만, 그것은 시대에 뒤떨어지고, 비용이 많이 들고, 시간이 많이 걸리며 잠재적으로 위험한 접근법으로 간주된다. 독립형 해부학 강좌에서 통합 및 시스템 기반 커리큘럼으로의 전환과 교직원, 자원 및 연락 교수 시간의 감소로 많은 서구 기관들이 플라스티네이션, CBL, 의료 영상 및 혼합 학습과 같은 비용 효과적이고 시간이 덜 걸리며 최신 교육 대안을 채택하게 되었다. 효율적인 학습자 시간 관리를 최적화하고 미래의 수술 역량을 극대화하고 해부학적 지식을 유지하며 학문적 성공을 높이려면 다음과 같은 교육 관행이 교육 패러다임에 통합되어야 한다고 생각한다.
The debate continues on how to teach anatomy in the most effective way. Although dissection of cadavers has remained the gold standard for learning anatomical knowledge for hundreds of years, it is considered outdated, costly, time-consuming and a potentially hazardous approach. The transition from standalone anatomy courses into integrated and system-based curricula, and the reduction of teaching staff, resources and contact teaching hours have led many Western institutions to adopt cost effective, less time consuming and up-to-date teaching alternatives such as plastination, CBL, medical imaging and blended learning. To optimize efficient learner time management and maximize future surgical competencies, retention of anatomical knowledge and enhance academic success, we think that the following teaching practices should be incorporated into the educational paradigm:

• 어떤 교육적 방법은 특정 전문직에게 더 적합하다. 안전한 수술 절차를 수행하기 위해서는 해부학적 기술을 습득하는 것이 필수적이기 때문에, 전공 로테이션과 레지던트 프로그램 동안 전신 해부는 의료 훈련생들(특히 외과 직업의지를 가진 사람들)에게 가장 적합하다.
• Certain educational methods fit certain professions better than others, Because acquiring anatomical skills is essential to perform safe surgical procedures, full body dissection best fits medical trainees (particularly those with surgical career intentions) during specialist rotations and residency programs (Evans and Watt, 2005, Leung et al., 2006).

• 연합 보건 학교(및 일부 의과 대학)는 해부를 하거나 빈소가 있는 완전한 해부 실험실을 지원할 돈도 시간도 없다. 또한 Allied health 학생들은 또한 필요한 학습 결과를 얻기 위해 해부학에 대한 고급 지식이 필요하지 않다. 따라서 플라스틱은 해부를 대체할 수 있는 주요 교육 방법으로서 치과, 간호사, 그리고 관련 건강 과학 학생들에게 가장 적합한 것으로 보인다.
• Allied health schools (and some medical schools) have neither the money nor time in the curriculum to do dissection or support full dissection labs with a mortuary. Such students also do not need advanced knowledge of anatomy to achieve the required learning outcomes (Mclachlan and Regan De Bere, 2004). Therefore, plastination seems the best fit for dental, nurse and allied health science students as the principle teaching method to substitute for dissection.

• 가능하다면, 해부 기반 지침의 지역적 접근 방식에 대한 의존도를 줄입니다. 더 많은 프로섹션이나 플라스틱을 채택하면 시스템 기반 해부학 커리큘럼으로 전환하는데 도움이 될 것이다.
• Decrease reliance upon the regional approach of dissection-based instruction in favour of prosections whenever possible. Adoption of more prosections or plastination would help the transition to system-based anatomy curricula (Leung et al., 2006).

• 특히 외과적 진로 의도를 가진 교육생과 같이 가장 필요한 사람들을 위해, 임상 교육 및 레지던트 프로그램의 적절한 단계에서 의료 커리큘럼 전반에 걸쳐 해부학을 [수직적으로 통합]한다.
• Vertical integration of anatomy throughout medical curricula at appropriate stages in the clinical training and residency program particularly for those who need it most such as trainees with surgical career intentions (Evans and Watt, 2005).

• 현재까지 모든 커리큘럼 요건을 충족하는 단일 교육 도구는 발견되지 않았습니다. 현대 해부학을 가르치는 가장 좋은 방법은 여러 교육학적 자원(플라스틱, CBL, 생체 해부학, 의료 영상)을 결합하여 서로를 보완하는 것이다. 학생들은 다양하고 시스템 기반 양식이 통합될 때 가장 큰 이익을 얻는 것으로 보인다. 해부학을 가르치는 데 멀티모달 패러다임의 사용은 다른 해부학자들의 지지를 받았다.
• To date, no single teaching tool has been found to achieve all curriculum requirements (Kerby et al., 2011). The best way to teach modern anatomy is by combining multiple pedagogical resources (plastination, CBL, living anatomy, medical imaging) to complement one another, students appear to profit most when diverse and system- based modalities are integrated. The use of a multimodal paradigm in teaching anatomy has received support from other anatomists (Biasutto et al., 2006, Rizzolo et al., 2010).

새로운 커리큘럼 개혁이 해부학적 지식의 보유와 미래의 외과적 역량에 미치는 영향은 여전히 불분명하다. 통합, 시스템 기반 및 멀티모달 교육 패러다임으로의 전통적인 지역 접근 방식에서 벗어나기 위해서는 다양한 교육 양식의 적합성 및 학생 인식, 그리고 학습 결과를 충족하는 이들의 능력을 평가하기 위한 추가 연구가 필요하다.

The impact of new curricular reforms on the retention of anatomical knowledge and future surgical competencies is still unclear. A shift away from the traditional regional approach towards integrated, system-based and multimodal teaching paradigms requires further research to evaluate the suitability and student perceptions of, different teaching modalities, and the ability of these to meet learning outcomes.

학부 의학에서 해부학을 배울 때 카데바가 정말 필요한가? (Med Teach, 2018)
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?
P. G. McMenamina , J. McLachlanb, A. Wilsonc , J. M. McBrided, J. Pickeringe , D. J. R. Evansf and A. Winkelmanng

서론
Introduction

이 심포지엄은 거의 35년 동안 해부학을 가르쳐온 그의 분야에서 인정받는 지도자인 폴 맥메나미나 교수가 의장을 맡았다. 해부학 교수법의 다양하고, 효율적이고, 참신한 방법을 탐구하는 것이 그의 주된 열정 중 하나였다. 맥메나민 교수는 론 하든 교수에 의해 이 토론의 촉진자 역할을 하도록 초대되었다. "프레젠테이션만"하는 일반적인 방법보다는 청중 참여 토론이 더 유익할 것이라는 의견이 제시되었다. 따라서 대화를 자극하기 위해 제안된 제목은 다음과 같습니다.
The symposium was chaired by Prof Paul McMenamin a recognized leader in his field who has been teaching anatomy for nearly 35 years. Exploring different, efficient, and novel methods of anatomy teaching has been one of his main passions. Professor McMenamin was invited by Professor Ron Harden to act as facilitator for this debate. Rather than the usual method of “presentations only”, it was suggested that an audience participated debate would be more informative. Therefore to stimulate the conversation the suggested title of:

"대학 의학부에서 해부학을 배우기 위해 카데바가 더 이상 필요할까요?"
“Do we really need cadavers anymore to learn anatomy in undergraduate medicine?”

청중에게 제안되었습니다. 청중들은 이것을 주의 깊게 읽고 그들 자신의 반응을 되새겨보라는 요청을 받았다. 찬성파와 반대파의 제안을 지지하는 두 팀은 위의 구체적인 토론 논점에 근거해 자신들의 주장을 할 것을 요청받았다.
was proposed to the audience. The audience were asked to read this carefully and reflect on their own individual response. The two teams, those supporting the proposition in the affirmative and the opposing house, were requested to base their argument on the specific debating point above.

맥메나민 교수는 자신을 소개했고, 진행자로서 토론 주제에 대해 개인적인 견해를 밝히지 않았지만, 각각의 발표자들이 그들의 자격증과 함께 청중들에게 개별적으로 소개될 것이라고 설명했다. 그리고 나서 연설자들은 개인적으로 그들의 토론 주장을 발표할 약 15분의 시간을 가졌다. 맥메나민 교수는 토론 이면의 논거를 설명하면서 옥스퍼드 전통에 따라 반대론자들이 '아니오 우리는 하지 않습니다'와 '네 우리는 합니다'라는 두 개의 집단이 존재할 것이라고 말했다. 전통과 마찬가지로, 화자들은 반드시 그들이 토론하도록 요청받았던 견해를 가지고 있지는 않을지 모르지만, 토론 기술의 힘을 이용하여, 그들은 그들의 메시지를 전달하기 위해 약간의 지적인 충돌과 약간의 유머를 섞어서 희망적으로 몇몇 심각한 논쟁을 제공할 수 있었다. 어떤 토론에서도 그렇듯이, 양원이 청중 참여를 허용해야 할 것으로 기대되었다.
Professor McMenamin introduced himself and as facilitator gave no personal views on the topic to be debated, but explained that each speaker would be individually introduced to the audience along with their credentials. The speakers then had approximately 15 minutes to present their debating argument personally. Professor McMenamin explained the reasoning behind the debate and that it would be based on the Oxford tradition where there would be two groups of opposing speakers, the “No we do not” house and the “Yes we do” house. As with tradition, the speakers may not necessarily hold the views that they had been asked to debate on, but using the power of debating techniques they were free to provide some serious arguments hopefully with some intellectual jostling and a bit of humor interspersed, to convey their message. As in any debate, it was hoped that both houses should allow for the inclusion of audience participation.

맥메나민 교수는 청중들의 프로필을 기록하고 시작에 앞서 객관식 질문을 던지며 청중들에게 답변을 등록하기 전에 질문의 표현을 신중하게 생각하라고 지시했습니다.
Noting the audience profile and prior to commencement Professor McMenamin posed a series of multiple choice questions and instructed the audience to think carefully about the wording of the questions before registering their answer.

그 결과는 실제로 해부하는 과정과 해부하지는 않지만 해부하지 않는 과정으로 상당히 긍정적인 경향을 보여주었고 82%의 대다수는 우리가 학부 의학에서 시체들이 필요하다고 믿었다. 토론이 시작되었고 McMenamin 교수는 그들의 자격증과 함께 연사들을 소개했다.
The results indicated quite a strong positive leaning towards courses that actually do dissect cadavers and those that use cadavers but do not dissect and an 82% majority believing we do need cadavers in undergraduate medicine. The debate commenced and Professor McMenamin introduced the speakers along with their credentials.

존 맥래클런 교수는 "아니, 우리는 그렇지 않다"라는 집안의 토론을 시작했다.
Professor John McLachlan opened the debate for the “No, we do not,” house.

 

 

반대측
“No we do not” house

편집된 스크립트 Edited transcript
존 맥라클란 교수 Prof John McLachlan 

이 "카다베릭" 해부학 교사들과 외과의사들은 우리가 문제가 있다고 제안합니다!
This audience of “cadaveric” anatomy teachers and surgeons suggest we have a challenge!

먼저, 저는 사람들이 왜 시체들을 사용하는지 추측할 것입니다. 그리고 나서 왜 제가 시체 없이 해부학을 가르치는 것을 장려했는지에 대해 추측할 것입니다. 그리고 나서 어떻게 우리가 시체 없이 해부학을 가르치는지 그리고 의사로서 학생들에게 미치는 영향에 대해 설명하겠습니다. 왜냐하면 이것이 해부학자를 배출하는 것이 아니라 우리의 목표이기 때문입니다. 마지막으로 외과 교육에 대해 설명하겠습니다.
First, I will speculate on why people use cadavers; then why I have promoted teaching anatomy without cadavers. Then I will describe how we teach anatomy without cadavers, and describe the impact on students as doctors, because this is our aim, rather than producing anatomists. Finally, I will comment on surgical training.

왜 해부학은 전통적으로 시체에게 가르쳐지는가? 이 문화적 현상은 르네상스 시대부터 시작되었다. 유럽의 의학은 점성술, 교감마술, 민속학, 한방학을 포함했다. 이 세상에 비살리우스의 훌륭한 작품이 나왔는데, 그는 이곳 저곳으로 일관되는 무언가를 묘사했고, 이것은 분명 큰 영향을 미쳤을 것이다. 그러나 파라셀수스는 "해부학자를 가르치는 것은 살아있는 몸이다. 그러므로 당신은 살아있는 해부학을 필요로 한다."라고 말했다. 그 논평은 우리의 목표의 중심이다.
Why is anatomy traditionally taught with cadavers? This cultural phenomenon dates from the Renaissance (McLachlan and Patten 2006). European medicine then included astrology, sympathetic magic, folklore and herbal medicine. Into this world came the wonderful work of Vesalius, who described something that was consistent from place to place, and this must have had huge impact. But Paracelsus commented, “It is the living body that teaches the anatomist, you therefore require a living anatomy”. That comment is central to our goals.

페닌슐라에서 새로운 의대를 설립할 때, 우리는 백지 한 장을 가지고 있었다. 우리의 핵심 질문은 무엇을 가르칠 것인가 뿐만 아니라 왜 어떻게 가르칠 것인가 하는 것이었다. GMC에 의해 명시된 우리의 목표는 비전문의 후배 의사들을 양성하는 것이었다. 우리의 직업 분석 결과, 하위 의사들은 주로 살아있는 해부학과 의학 이미지를 통해 해부학을 보는 것으로 나타났다. 이것이 우리가 초점을 맞춘 것입니다. 우리는 또한 그들의 사회적 역할을 고려했는데, 우리는 그들의 경험에 중심적으로 만들고 싶었다.
In setting up a new medical school at Peninsula, we had a blank sheet of paper. Our key questions were not just what to teach, but also why and how. Our aim, specified by the GMC, was to train non-specialist junior doctors. Our job analysis showed that junior doctors see anatomy primarily through living anatomy and medical imaging. So this is what we focused on. We also considered their social role, which we wanted to make central to their experience.

그렇다면, 시체 없이 어떻게 해부학을 가르칠 수 있을까요? 중요한 측면은 임상 기술과의 통합이다. 우리는 또한 살아있는 해부학, 동료 검사, 살아있는 모델 또는 임상 기술 파트너의 사용, 그리고 바디 페인팅을 강조한다. 의료 영상 촬영에 중점을 두고 있다. 의학 방사선 전문의와 방사선사는 해부학 강의의 4분의 1을 담당했다. 우리는 안전하고 비침습적인 휴대용 초음파 기술에 열광했습니다. 적절한 안내가 있으면 학생들이 서로 사용할 수 있어 신체 내부의 실시간 생활 구조를 놀라울 정도로 자세하게 볼 수 있다. 휴대용 초음파는 중앙 정맥 라인의 배치와 같은 향후 일상적인 임상 용도로 사용될 것이기 때문에 이것은 중요하다.

How, then, do we teach anatomy without cadavers? A key aspect is integration with clinical skills. We also emphasize living anatomy, peer examination, use of living models or clinical skills partners, and body painting (McLachlan and Regan 2004; McLachlan 2004). Heavy emphasis is placed on medical imaging. Medical radiologists and radiographers delivered a quarter of the anatomy teaching at Peninsula. We were enthusiastic about portable ultrasound, a safe, noninvasive, technique. With appropriate guidance, students can use it on each other, allowing them to see real-time living structures inside the body, in remarkable detail. This is important, because portable ultrasound will be in routine clinical use in the future, such as during the placement of central venous lines.

살아있는 해부학과 관련하여, 우리는 학생들이 종종 인체에 대해 당황한다는 것을 발견했다. 우리는 그 당혹감을 없애고, 서로를 검사함으로써, 검사받는 것이 어떤 느낌인지 이해하고 싶었습니다. 많은 학교들이 살아있는 해부학을 사용하지만, 우리에게는, 이미징과 함께, 해부학 학습의 중심이었습니다. 학생들은 서로의 동의(핵심 학습 포인트)를 얻었고, 주저하거나 당황하지 않고 표면 랜드마크를 유창하게 식별하는 법을 배웠다. 이것은 이후의 임상 환경에 대한 그들의 자신감을 증가시켰다. 물론 우리가 연구로 개발한 학생들로부터의 참여에는 개인적, 문화적 차이가 있었다.

With regard to living anatomy, we discovered that students are often embarrassed about the human body. We wanted to remove that embarrassment, and through examining each other, understand what it felt like to be examined. Many schools use some living anatomy, but for us it was, with imaging, central to anatomy learning. Students obtained consent from each other (a key learning point), and learnt to identify surface landmarks fluently, without hesitation or embarrassment. This increased their confidence in later clinical settings. There were of course personal and cultural variations in engagement from the students, which we developed as research (Rees et al. 2005).

우리는 보디페인팅이 동료 시험에서 학생들이 느낄 수 있는 당혹감을 해소하는 데 실질적인 도움이 된다는 것을 발견했다(그림 1(A)). 또한 그것은 매우 기억에 남으며 매우 인기가 있다. 특히 시각 학습자에게 적합하며 임상 검사와 잘 통합됩니다. 우리는 학생들이 서로 연습할 수 없는 유방 검사 및 기타 임상 기술을 위해 임상 기술 파트너(CSP)를 사용한다. 학생들이 진짜 유방 검사를 본 적이 없고, 하물며, 심전도 검사를 받은 적이 없으며, 여성에게도 심전도 검사를 한 적이 없다는 것을 알게 된 것은 매우 실망스러운 일이었습니다. 이것은 해부학 교육의 문화적 구성과 함께 오는 사회적 당혹감의 일부이다. CSP는 상대적으로 젊고 마른 경향이 있는 우리 학생들보다 더 넓은 범위의 신체 형태를 가지고 있었다. CSP는 또한 학생 경험에 추가된 방식으로 자발적으로 그들의 인생 경험을 공유했다. 그들은 "손이 시리다" "화장실 다녀왔느냐고 묻지 않으면 누르지 말라"는 말을 서슴지 않았다. 그들은 환자가 아니기 때문에 권한을 박탈당하지 않는다.

We found body painting to be a real help in defuzing the embarrassment students may feel in peer examination (Figure 1(A)) (Finn and McLachlan 2010). It is also highly memorable and very popular. It particularly suits visual learners, and integrates well with clinical examination. We use clinical skills partners (CSPs) for breast examination and other clinical skills, which students cannot practice on each other (Collett et al. 2009). It had been deeply dismaying for me to discover that students were graduating without ever having seen a real breast examination, far less done one, and had never placed ECG leads on a female. This is part of the social embarrassment that comes with the cultural construction of anatomy teaching. The CSPs had a wider range of body morphologies than our students, who tend to be relatively young and lean. CSPs also shared their life experiences spontaneously in ways that added to the student experience. They did not hesitate to say, “Your hands are cold,” or, “Don’t press me there unless you’ve asked if I’ve been to the toilet”. They are not patients, and are therefore not disempowered.

또한 전자 본체(예: VH 디섹터)를 사용하고 학생들에게 이미지를 투사하여 가치를 더했습니다(그림 1(B)). 자원봉사자를 회전시키면서 내부 구조도 회전시킬 수 있다. DR의 시체조차도 이러한 유연성을 제공하지 않습니다. 이 접근법은 특히 임상적으로 관련 있는 횡단 뷰를 나타내는 데 뛰어나다.
We also used electronic bodies (e.g. VH Dissector), and add value by projecting images onto students (Figure 1(B)). One can rotate a volunteer while also rotating their internal structures. Even the cadaver in the DR does not offer this flexibility. This approach is particularly good at indicating clinically relevant transverse views.

특히 흥미로운 것은 3D 인쇄를 사용하는 것입니다. 예를 들어, 인쇄된 '팔로의 지형학'을 학급의 모든 학생들에게 배포하여 처리하고 회전시킬 수 있으며, 병리학적 표본으로도 허용되지 않는 이해를 얻을 수 있습니다.
Particularly exciting is the use of 3D printing, for instance, a printed ‘Tetralogy of Fallot’ can be circulated to all the students in the class, to handle and rotate it, gaining understanding that even a pathological specimen wouldn’t allow.

우리는 학생들이 신체의 모든 측면을 이해하기를 원했고, 그래서 우리는 학생들이 인간적인 맥락에서 신체에 대해 생각하도록 격려하기 위해 인생 그림, 조각, 그리고 시 수업을 통해 예술과 인문학을 포함했습니다. 이것은 웰컴 트러스트로부터 자금을 끌어모았다. 한 프로젝트("Flex + Ply")에는 직물 관련 작업이 포함되었으며, 그림 1(C) (Fleming et al. 2010)에 표시된 피부색 청바지를 특징으로 했습니다. "이거 입으면 내 S3가 커 보이나?"라는 제목이 학생들에게서 나왔다. '절개 가운'은 수술과 생검의 주요 장소를 표시했다. 
We wanted students to understand all aspects of the body, so we included arts and humanities via life drawing, sculpting, and poetry classes, to encourage students to think about the body in a human context (Collett and McLachlan 2005; Collett and McLachlan 2006). This attracted funding from the Wellcome Trust. One project (“Flex + Ply”) included work with textiles, and featured the dermatome jeans shown in Figure 1(C) (Fleming et al. 2010). The title, “Does my S3 look big in this?” came from the students. The ‘Incision Gown’ marked the major sites of operations and biopsies.

이러한 새로운 접근 방식에 맞게 평가를 조정하는 것이 중요합니다. 임상적 맥락이 있는 질문은 더 잘 수행되었고 더 인기가 있었다(Ikah et al. 2015).
It is important to adjust assessment to match these new approaches. Questions with clinical context performed better and were more popular (Ikah et al. 2015).

학생들이 시체들을 사용하지 않음으로써 중요한 것을 놓치나요? 아닐 거예요. 죽음은 호스피스 치료와 같은 현실 세계에서 가장 잘 보인다. 비슷하게, 손재주와 팀워크를 훈련시키는 많은 방법들이 있다. 시체가 "첫 번째 환자"라는 생각은 실망스럽다. 우리는 학생들이 그들의 첫 번째 환자를 분해하기를 원합니까? 오히려, 우리는 학생들이 그들을 살아있는 사람으로 보기를 원한다. 예를 들어, 우리는 1학년 학생들을 임신 중인 산모에게 소개하는데, 산모는 임신 기간 내내 따라다닌다. 우리는 이것이 훨씬 더 나은 "첫 번째 환자"라고 느낍니다. 그리고 그것은 일부 학생들이 시체들과 함께 일하는 것에 대해 느끼는 고통을 피한다.

Do students miss out on anything important by not using cadavers? We believe not. Death is best seen in a real world context, such as in hospice care. Similarly, there are many ways to train for dexterity and team work. The idea of the cadaver as “the first patient” is dismaying: do we want students to disassemble their first patient? Rather, we want students to see them as living people. For instance, we introduce first year students to a pregnant mother, who they follow through her pregnancy, including imaging sessions. We feel this is a much better “first patient”. And it avoids the distress that some students feel with regard to working with cadavers.

이러한 접근법의 학생들에게 미치는 영향은 무엇인가? 우리는 그들이 다른 과목들과 같은 속도로 해부학을 배운다는 것을 보여주었고, 반대편 "팀"의 일원인 아담 윌슨의 메타 분석은 해부학을 가르치기 위해 어떤 양식을 사용하는지를 나타내지 않는다는 것을 보여주었다. 의사로서 학생들에게 미치는 영향은 무엇인가? 우리는 그것이 그들을 더 편안하게 하고 연습에 대비하게 한다는 것을 발견했다(Chinna et al., 2011).
What is the impact on the students of these approaches? We have shown that they learn anatomy at the same rate as other subjects, and a meta-analysis by Adam Wilson, a member of the opposite “team”, has shown that it does not signify which modality you use to teach anatomy (Wilson et al. 2017). What is the impact on students as doctors? We have found that it makes them more relaxed and prepared for practise (Chinnah et al. 2011).

수술의 경우, 외과적 훈련은 보존된 시체들의 연구와 해부를 필요로 할 수 있지만, 그것은 대학원 이후의 활동이어야 한다.
As for surgery, surgical training may well require the study and dissection of preserved cadavers, but that should be a post-graduate activity.

그래서 제가 마지막으로 추천하는 것은, 죽은 자보다 산 자를 선택하는 것입니다.
So my final recommendation is, choose the living over the dead.

반대측
“No we do not” house

대럴 에반스 교수
Prof Darrell Evans

13년 전, 저는 에든버러에서 열린 AMEE 연차총회에서 존 맥라클란의 강연을 들었습니다. "해부학은 삶입니다. 해부학은 죽음이 아니다." 해부를 통한 가르침의 열렬한 지지자로서 나는 확실히 이야기의 추진에 동의하지 않았고 방 뒤에서 야유했다. 그렇다면 제가 왜 이제 대학 의학부에서 해부학을 가르치기 위해 시체들을 더 이상 필요로 하지 않는다고 말할까요? 뭐가 달라진거죠? 첫째, 우리가 이용할 수 있는 더 많은 대안이 있고 둘째, 해부학 교수법에 대한 다른 접근방식을 뒷받침하는 교육학의 효과에 대한 우리의 이해가 발전했다. 이것은 저널에 발표된 수많은 활발한 연구를 통해 촉진되었습니다. 그 중 일부는 에든버러에서 열린 AMEE 회의 당시에는 없었습니다. 이전에 견고하고 질 높은 연구가 부족했던 것은 우리가 학생 학습에 정말로 차이를 만드는 것이 무엇이고 해부학 교육에 대한 이러한 새로운 접근법이 시체 기반 가르침에 비해 어떤 영향을 미치는지를 정의하는 데 초점을 맞추지 않았다는 것을 의미했다. 동시에, 의학 커리큘럼은 [해부학을 단독으로 배우는 것]에서 벗어나, [좋은 의사가 되는 것을 배우기 위해 해부학에 대한 근본적인 이해를 사용하는 것]으로 옮겨가고 있다.
Thirteen years ago, I sat in a session at the AMEE annual meeting in Edinburgh listening to a talk by John McLachlan entitled “Anatomy is life. Anatomy is not death”. As an ardent supporter of teaching through dissection I was certainly not in agreement with the thrust of the talk and heckled from the back of the room. So why would I now be saying we don’t really need cadavers anymore to teach anatomy in undergraduate medicine. What’s changed? Firstly there are many more alternatives available to us and secondly our understanding of the effects of the pedagogy that underpins different approaches to anatomy teaching has developed. This has been promoted through a plethora of active research published in journals, some of which weren’t around at the time of the AMEE meeting in Edinburgh (Pawlina and Drake 2010). The previous lack of robust and high quality research meant that we didn’t focus on defining what was really making a difference in student learning and what effect these new approaches to anatomy teaching were having in comparison to cadaveric based-teaching. At the same time medical curricula have refocused, moving away from learning anatomy in isolation to using a foundational appreciation of anatomy for learning to be a good doctor.

시신들은 확실히 졸업후 의학훈련과 해부학 관련 분야와 전문 분야의 지속적인 전문적 발전을 특징으로 해야 한다. 시신들은 또한 증강현실 프로그램, 3D 모델 등을  포함한 많은 기술 기반 해부학적 도구들을 개발하기 위한 기초를 형성한다. 도전은 또한 어떤 해부학을 배워야 하는지, 어떤 깊이에서 배워야 하는지, 왜 여러분이 해부학의 특정한 요소나 개념을 배우는지에 대한 것이 아닙니다. 그건 다른 논쟁이고, 지금은 우리가 어떻게 우리의 [학부 의대생]을 가르치는지에 대한 논의가 필요하다. 그리고 우리가 여기에 시신이 [진정으로 필요한지]에 대한 것입니다. 그 점을 염두에 두고 나는 우리가 "진짜 필요really needed"와 "학부 의학undergraduate medicine"이라는 단어에 계속 집중하기를 바란다.

Cadavers should certainly feature within postgraduate medical training and ongoing professional development in anatomically related disciplines and specialties. Cadavers also form the basis for developing many of the technology-based anatomical tools including augmented reality programs, 3D models etc. The challenge is also not about what anatomy should be learned, in what depth that anatomy should be learned and why you're learning a particular fact or concept of anatomy. That’s a different debate and instead this is about how we teach our undergraduate medical students and whether we really need cadavers for this. With that in mind I want us to keep focused on the words “really needed” and “undergraduate medicine”.

이 문제는 커리큘럼 디자인으로 귀결됩니다. 그렇다면 어떻게 하면 학생들이 필요로 하는 기초 지식을 발견할 수 있도록 좋은 커리큘럼 설계를 통해 학생들을 도울 수 있을까요? 학습 과정에 포함시키고 기능적으로나 임상적으로나 관련이 있는지 어떻게 확인할 수 있을까요? 우리는 학생들이 해부학을 배우고 이해할 수 있는 다양한 기회를 가질 수 있도록 해부학을 배우는 다면적인 접근 방식을 가져야 한다. 그래서 학생들은 해부학을 다른 관점에서 그리고 다른 맥락에서 볼 수 있다(Evans and Watt 2005). [통합 커리큘럼 내에 해부학을 배치하는 것]은 학생들이 기초 및 임상 지식, 이해 및 추론을 연결할 수 있도록 하는 데 필요한 [표지게시signposting 및 관련성]을 제공한다. 학생들이 제대로 된 학습을 쌓을 수 있도록 표지판signposting이 핵심이다.

This issue for me comes down to curriculum design. So how do we enable students through good curriculum design to discover the foundational knowledge that they’re going to need? How do we make sure it’s embedded within their learning journey and is functionally and clinically relevant? We need to have a multifaceted approach to learning anatomy (that might include cadavers) so that students have different opportunities to learn and understand the anatomy, see it from different perspectives and in different contexts (Evans and Watt 2005). Placing anatomy within an integrated curriculum provides the signposting and relevance necessary to enable students to connect foundational and clinical knowledge, understanding and reasoning. The signposting is key so that the students can build their learning appropriately.

최근의 많은 발전을 통해, 우리는 해부학을 가르치기 위해 테크놀로지를 효과적으로 활용할 수 있다. 우리는 기술을 사용하여 인체 여러 층을 걸어다니면서 해부학의 다른 요소들을 알아낼 수 있습니다. 우리는 컴퓨터 시뮬레이션을 통해 해부할 수 있고, 그리고 나서 우리는 학생들이 어려운 부분에 다시 집중할 수 있도록 해 줄 수 있다. 해부학은 위치 결정과 연관성, 그리고 복잡한 관계를 이해하는 맥락에서 배울 필요가 있다. 3D 모델링의 창조를 통해 학생들은 시체 물질을 사용하지 않고도 이러한 관계를 인식할 수 있습니다. 우리는 다른 수지를 사용하여 생명체와 같은 또는 예시적인 색칠과 느낌을 제공할 수 있습니다. 3D 모델은 시체 내에서 쉽게 해부되거나 명백하지 않은 해부학을 시각화할 수 있습니다. 예를 들어, 시체에서 뇌의 혈관을 해부할 수 있습니까? (그림 2(A)). 
Through many recent advances, we can utilize technology effectively to teach anatomy. We can use technology to walk through the various layers of the human body to uncover different elements of that anatomy. We can dissect via computer simulation and then we can put the body back together again (you can’t do that with a cadaver) allowing students to refocus on difficult areas. Anatomy needs to be learned in the context of positioning and association, and understanding intricate relations. The creation of 3D modeling allows students to recognize these relationships without the need for them to use cadaveric material (McMenamin et al. 2014). We can use different resins to provide life-like or illustrative colorings, and feel. 3D models enable visualization of anatomy not easily dissected or apparent within the cadaver—could you dissect the blood vessels of the brain in a cadaver for instance? (Figure 2(A)).

3D 모델은 생산 비용이 저렴하고, 안전 요소가 제거되었으며, 재료에 대한 접근성이 높아 licensed premises를 사용할 필요가 없습니다. 각 학생은 자신의 시간과 심지어 미니어처 규모에서 검토할 수 있도록 특정 정상 또는 병리 해부학 사본(그림 2(B))을 제공할 수 있으며, 높은 수준의 자원을 보유하지 않은 국가는 이러한 자료를 사용할 수 있다. 해부학을 맥락 안에서 시각화하는 이 능력은 더 깊은 학습을 가능하게 한다. 학생들은 전체적인 그림을 그릴 수 있어야 하지만, 시신이나 접근할 수 없는 구조물의 단면을 볼 때 어려웠습니다. 호주 뉴캐슬대 등 전 세계 동료들이 이런 문제를 해결하기 위해 증강현실(Augmented Reality)을 개발하고 있다. 예를 들어, 뇌의 요소들을 시각화할 때, 여러분은 해부 슬라이드에서는 3D 형태의 모든 요소들을 볼 수 없었을 것이고, 다른 요소들을 제거하거나 추가하는 어떤 방향에서도 볼 수 없었을 것이다. 이러한 새로운 접근방식을 사용하면 해부학적 관계를 매우 다른 방식으로 볼 수 있습니다. 그러나 주의가 필요합니다. 이것은 테크놀로지 그 자체를 위한 테크놀로지에 대한 것이 아니며, 테크놀로지의 사용은 학습 성과를 가능하게 하기 위한 교육학적 기반이 필요하다(Release 2016). 이것은 우리가 이전에 결코 할 수 없었던 무언가를 하거나 우리가 할 수 있는 것보다 더 나은 것을 하는 것에 관한 것입니다.

3D models are cheap to produce, the safety elements are removed and the material is highly accessible—you do not need licensed premises to use them. Each student can be provided with copies of particular normal or pathological anatomy (Figure 2(B)) to review in their own time and even in miniature scale and countries who do not have high levels of resources can use such materials (Smith et al. 2018). This ability to visualize anatomy within its context allows for deeper learning. Students need to be able to build up the whole picture and this has been difficult when looking at sections of cadaveric material or inaccessible structures. Colleagues around the world including at University of Newcastle, Australia are developing Augmented Reality to solve such issues (Jain et al. 2017). For instance, when visualizing the elements of the brain, you wouldn’t have been able to see all the elements in the 3D form from dissection slices and the ability to view from any direction and removing or adding different elements. Using these new approaches, you get to see the anatomical relations in a very different way. However caution is required. This is not about technology for technology’s sake and instead the use of technology needs a pedagogical basis linked to enabling the learning outcomes (Trelease 2016). This is about doing something we could never do before or doing something better than we could do before.

 

시신은 우리가 기대하는 해부학적 변형을 제공하고, 병리학을 보여주는데 아주 좋습니다. 제가 해부학 연구실을 운영했을 때, 저는 어떤 큰 변화나 병리학적 변화가 있기를 바랬습니다. 그리고 몇 년 동안 당신은 성공했고 다른 사람들은 실패했죠. 테크놀로지는 모든 학생들이 볼 수 있는 [공통 및 희귀 변형과 병리학]을 시각화하고, 문제의 해부학적 맥락 안에서 다시 한 번 도움의 손길을 제공하고 있다. 다시 한 번 3D 인쇄를 사용하면 학생들이 검사하고 기능 및 임상 결과(Mahmoud 및 Bennett 2015)와 연계하여 감사할 수 있는 희귀 병리학의 복사본을 제공할 수 있습니다(그림 2(B)).

Cadavers are great for providing the anatomical variation we expect and for showing pathology. When I used to run dissection labs, I used to hope there was going to be some great variation or pathology and some years you were successful and others not. Technology is once again providing a helping hand by providing visualizations of both common and rare variations and pathologies for all students to see and within the context of the anatomy in question. Once again 3D printing can be used to provide copies of rare pathologies for students to examine and to get an appreciation for by linking to function and clinical outcomes (Mahmoud and Bennett 2015) (Figure 2(B)).

그렇다면 우리는 대학 의학에서 해부학을 배우기 위해 더 이상 카데바가 필요할까요? 해부학은 여전히 학부 의학의 기본이다. 그것은 우리가 학생들이 사용할 수 있기를 바라는 언어이며, 복잡한 임상 문제를 해결하는 데 도움이 되는 지식과 이해로 환자에게 최상의 해결책을 제시합니다(Turney 2007). 그렇다면 어떻게 하면 학생들에게 지식과 이해를 가장 잘 할 수 있을까요? 통합 커리큘럼 내에서 다면적인 접근을 통해 이루어질 필요가 있다고 생각합니다. 그리고 시체도 그 일부가 될 수 있을까요? 물론, 그들은 할 수 있지만, 그들이 정말로 학습 결과를 성취하기 위해 필요한가? 저는 가능한 대안들 때문에 그렇게 생각하지 않습니다(그림 2(A,B)). 그래서 오늘 투표하실 때, 토론 질문을 다시 한 번 살펴보도록 하겠습니다. 나는 해부의 팬이지만 우리는 "학부 의학"을 가르치기 위해 "정말로" 카데바가 필요한가? 난 그렇게 생각하지 않습니다.

So do we really need cadavers anymore to learn anatomy in undergraduate medicine? Anatomy is still fundamental to undergraduate medicine. It is the language we want our students to be able to use, the knowledge and understanding that helps solve complex clinical problems resulting in the best solutions for their patients (Turney 2007). So how do we best enable that knowledge and understanding in our students? I certainly think that it needs to happen through a multifaceted approach within an integrated curriculum. And can cadavers be part of that? Yes they can, but are they really needed to achieve the learning outcomes? I don’t think so because of the alternatives available (Figure 2(A,B)). So I’ll just ask you when you vote today, to look at the debate question again. I’m a fan of dissection but do we “really need” cadavers to teach “undergraduate medicine”. I don’t think so.

토론의 요약 및 결론
Summary and conclusion of debate

양원 모두 반대 의견을 제시한 후 퇴임했고 청중들은 현재 제기되는 질문에 대한 답을 등록하기 위해 대화형 시스템을 사용하여 다시 제시된 주장을 바탕으로 의견을 검토하도록 요청받았다.

Both houses, having presented their opposing cases, retired and the audience were asked to review their opinions based on the arguments presented by again using the interactive system to register their answers to the question now being posed.

McMenamin 교수는 우리 팀이 실제 시체 해부에 대한 주장을 많이 했다고 요약했는데, 그것은 실제로 논의되고 있는 질문이 아니었다. 하지만, 분명히 대다수의 청중들은 학부 의학 강좌에서 실제 해부가 필요하다는 것을 확신하지 못했다. 다음 질문은 학생들이 사체 물질에 대한 노출이 여전히 학부 의대생들의 경험으로 중요한지를 알아보기 위해 제시되었다.

Prof McMenamin summarized that the yes we do team had made much of their case about actual dissection of a cadaver, which was not in fact the question being debated. However, clearly the majority of the audience were not convinced that actual dissection was needed in an undergraduate medical course. The next question was posed to see if the audience thought whether exposure to cadaver material was still important as an experience for undergraduate medical students.

분명히 대다수의 청중들은 그것이 중요하다고 생각했다. 이어 맥메나민 교수는 토론 중인 실제 질문의 문구를 강조하며 투표할 때 이를 신중히 고려해 줄 것을 청중에게 당부했다. 이것은 토론이 시작될 때 다루어진 질문을 반복하는 마지막 투표였다.

Clearly a majority of the audience thought yes it was important. Professor McMenamin then emphasized the wording of the actual question being debated and called on the audience to consider this carefully when voting. This was the final vote repeating the question addressed at the commencement of the debate.

결과는 현재 논쟁 중인 문제에 대해 균일한 의견의 분열이 있다는 것을 분명히 보여주었고, 학부 의학에서 시체 사용에 대해 원래 80%의 찬성 의견이 있었기 때문에 McMenamin 교수는 토론에서 '아니오 불필요합니다' 측이 승리했다고 선언하고 그들의 발표에 대해 양원을 축하했다.

The results clearly showed that there was now an even split of views on the matter under debate and since there was originally majority of 80% in favor of the use of cadavers in undergraduate medicine Professor McMenamin declared the ‘No we do not’ house to have won the debate and congratulated both houses for their presentations.

해부학 지식의 영향: 주장의 종합(Clinical Anatomy, 2014)
Influences on Anatomical Knowledge: The Complete Arguments
ESTHER M. BERGMAN,1,2* INGE W.H. VERHEIJEN,3 ALBERT J.J.A. SCHERPBIER,4 CEES P.M. VAN DER VLEUTEN,1 AND ANIQUE B.H. DE BRUIN1