전문직업성: 옳은 문제를 풀기 위한 잘못된 도구? (Acad Med, 2020)
Professionalism: The Wrong Tool to Solve the Right Problem?
Victoria Frye, DrPH, MPH, Marlene Camacho-Rivera, ScD, MPH, MS, Kaliris Salas-Ramirez, PhD, Tashuna Albritton, PhD, MSW, Darwin Deen, MD, Nancy Sohler, PhD, MPH, Samantha Barrick, MS, and Joäo Nunes, MD

 

 

미국 전역의 의과대학과 다른 고등교육기관들은 캠퍼스 안팎에서 인종차별에 어떻게 대응할 것인가에 대해 고심하고 있다. 인종 차별과 인종 차별은 이러한 기관들로 하여금 그들의 정책과 관행, 임무, 커리큘럼, 그리고 교수진, 직원, 학생들 사이의 인종과 소수 민족 집단의 대표성을 조사하도록 강요했다. 의학에서는 [화이트 코츠 포 블랙 라이프]와 같은 학생들이 주도하는 단체들이 등장해 의대 커리큘럼을 비판적으로 평가하고 변화를 옹호하고 있다. '인종차별에 대항하는 국가 캠페인을 위한 도구'의 창시자인 카마라 존스 박사와 같은 의학과 인종 정의의 지도자들 또한 의료와 의료 교육에서 인종차별에 대한 공식적인 대응을 조직하기 위해 나섰다. 예를 들어, 일부 의과대학은 입학 과정을 평가하고, 그들이 어떻게 전임상 및 임상 연도에 인종 구성을 제시하는지 분석하고, 교실, 과외 및 병동에서의 암묵적이고 명시적인 편견의 역할을 탐구함으로써, 자습으로 대응했다.
Medical schools and other institutions of higher education across the United States are grappling with how to respond to racism on and off campus.1–5 Racist incidents and acts of race- or ethnicity-based discrimination have forced these institutions to examine their policies and practices, missions, curricula, and the representation of racial and ethnic minority groups among faculty, staff, and students. In medicine, student-led groups, such as White Coats for Black Lives,6,7 have emerged to critically evaluate medical school curricula and advocate for change. Leaders in medicine and racial justice, such as Dr. Camara Jones, the creator of Tools for a National Campaign Against Racism,8 have also stepped forward to organize formal responses to racism in health care and medical education. Some medical schools have responded with self-study, for example, by assessing their admissions process; analyzing how they present the construct of race in the preclinical and clinical years; and exploring the roles of implicit and explicit bias in the classroom,9 extracurriculars,2 and on the wards.10

의학교육에서 인종차별을 다루는 또 다른 보완적 접근은 가치, 특성, 행동, 도덕, 휴머니즘, 역할, 정체성, 심지어 사회적 계약으로 다양하게 정의되는 [전문직업성]의 역할에 초점을 맞추는 것이다. 이 글에서, 우리는 의료 교육에서 인종차별에 대응하는 전문직업성의 개념과 잠재적인 역할을 경쟁적 정의contested definition의 맥락에서 고려한다. 우리는 인종차별에 대한 해결책으로 전문성 연장의 핵심인 3가지 관심사를 식별하고 설명한다.

  • 첫 번째 우려는 전문직업성이 해결책으로 적용될 수 있는 문제에 대한 혼란이다.
  • 두 번째 우려는 전문직업성이, 인종 차별이나 심지어 인종 차별 사건에 대한 잠재적 해결책으로서, 진정한 해결책이 될 수 없다는 개념이다. 왜냐하면 현실에서 전문직업성은, 의학을 지배하는 사회 집단이 (자율 규제뿐만 아니라) 이 분야에서 수용되는 행동에 대한 권력과 사회적 경계를 유지하기 위해 사용하는 [사회적 통제의 도구]이기 때문이다.
  • 세 번째 우려는 만약 전문직업성이 인종차별의 해결책으로 잘못 적용된다면, 훈련생들이 연극적performative 전문직업성에 관여하기 시작할 수 있다는 것이다. 즉, 노골적으로 인종차별적인 행동은 피하고, 관용 지향적인 행동은 표면적으로 제정되며, 위험한 상황(전문적 행동을 제정하는 능력에 대한)은 피할 수 있다. 이러한 행동은 주로 백인적인 공간에서 학생과 유색인종 의사를 배제하는 효과를 가져올 수 있다.

Another sometimes complementary approach to addressing racism in medical education has been a focus on the role of professionalism, variously defined as values, traits, behaviors, morality, humanism, a role, an identity, or even a social contract.11–13 In this article, we consider the notion and potential role of professionalism, in the context of its contested definition,14,15 in responding to racism in medical education. We identify and describe 3 concerns central to the extension of professionalism as a solution to racism.

  • The first concern is confusion around the problem to which professionalism, as a solution, might be applied.
  • The second concern is the notion that professionalism, as a potential solution to racism or even to racist incidents, may not be a true solution because it is—in practice—a tool of social control that is used by the social groups that dominate medicine to self-regulate as well as to gatekeep and maintain power over the discipline’s accepted behaviors and social boundaries.16 
  • The third concern is that, if professionalism is misapplied as a solution to racism, trainees may begin to engage in performative professionalism, whereby overtly racist behaviors are studiously avoided, tolerance-oriented behaviors are superficially enacted, and risky (to one’s ability to enact professional behaviors) situations are avoided. These actions may have the effect of increasing the exclusion of students and physicians of color from predominantly white spaces.

인종차별적 행동이나 제도적 인종차별?
Racist Acts or Institutional Racism?

그렇게 많은 의과대학과 다른 고등교육기관들이 직면하고 있는 문제는 무엇인가? 그것은 일반적으로 평등주의적이고 비인종주의적인 학교에서 (상대적으로 고립된) 인종차별적인 사건들인가? 아니면 제도적 인종차별, 즉 백인들의 이익을 체계적이고 포괄적으로 아프리카계 미국인들과 다른 인종과 소수 민족 집단에 손해를 입히도록 발전시키는 억압의 사회역사적 시스템의 발현인가? 미국 전역의 뉴스 보도를 보면, 한 가지 일반적인 시나리오는 종종 학생들에 대한 학생들에 대한 분노와 보상을 요구하는, 촉매적이고, 명백한 인종차별적 사건에서 시작한다. 학생들은 그 기관이 그 사건의 원인을 분석하도록 요구하거나 그들이 직접 그 일을 할 수도 있다. 종종 이러한 검사inspection는 취약한 다양성 정책, 느린 판단 과정, 교수진과 리더십의 인종 및 민족 동질성, 다양성과 형평성과 반인종주의의 차이에 대한 개념적 혼란, 문화적 및 구조적 무능과 같은 시스템 전체의 결함을 드러낸다. 이러한 결함은 미국의 억압에 대한 사회역사적 제도, 반인종주의/성차별주의/계급주의에 대한 진정한 약속의 부족 또는 부재, 자원의 부족, 또는 비판적으로 검토되지 않았거나 불충분한 커리큘럼에 뿌리를 두고 있다. 그런 다음 학생들은 동료, 교수진, 교직원 및/또는 학교 지도자에 의해 저질러진 미시적이고 거시적인 공격들로 가득 찬 세상에 존재해왔다는 것을 조직하고 소통한다. 
What is the problem facing so many medical schools and other institutions of higher education? Is it (relatively isolated) racist incidents in a generally egalitarian, nonracist school? Or is it institutional racism, a manifestation of the sociohistorical system of oppression that systematically and comprehensively advances the interests of white people to the detriment of African American people and other racial and ethnic minority groups? Looking at news reports from across the country, one common scenario starts with a catalyzing and clearly racist incident, often student on student, that incites student outrage and demands for redress.17–20 Students may call for the institution to analyze the causes of the incident or they may do the work themselves. Often these inspections reveal system-wide deficiencies, such as weak diversity policies, slow adjudication processes, racial and ethnic homogeneity in faculty and leadership, conceptual confusion around the difference between diversity and equity and antiracism, and cultural and structural incompetence. These deficiencies may be rooted in the institution’s underdeveloped grounding in the sociohistorical systems of oppression in the United States, a lack or absence of an authentic commitment to antiracism/sexism/classism, a lack of resources, or critically un- or underexamined curricula. Students then organize and communicate that they have existed in a world filled with micro- and macroaggressions perpetrated by fellow classmates, faculty, staff, and/or school leaders; demands to address the problem become more heated and public.21


이에 대해, 행정부와 일부 교직원들은 학생들의 요구를 촉발시킨 급박한 사건에 초점을 맞추고, 학생들이 그 대응에 만족하고 나아가기를 바라는 것 같다. 그러나 [학생들과 그들의 동맹국들이 문제라고 인식하는 것](즉, 체계적이고 제도적인 인종차별)과 [행정부가 문제라고 인식하는 것](불운한 사건이나 심지어 단지 관리되어야 할 홍보 상황으로 인해 발생하는 난처한 상황) 사이에는 불일치가 있다. 많은 학생 지도자들과 교수진, 교직원, 그리고 행정 동맹들에게, 문제는 목록화된, 개인의 나쁜 행동들뿐만 아니라, 그 기관이 미국 사회에 스며든 패턴화되고 목적 있는 인종차별을 어떻게 반영하고, 표현하고, 재생산하는가, 그리고 그 인종차별을 정직하고, 성심성의껏, 그리고 포괄적으로 다루려는 정치적 의지의 결여이다. 간단히 말해서, 그들의 관점에서, 문제는 백인 우월주의이며, 법률학자 프랜시스 리 앤슬리는 이를 다음과 같이 정의했다.
In response, the administration and some faculty and staff focus on the acute incidents that precipitated the students’ demands, seemingly hoping that the students will be satisfied with that response and move on. Yet, there is a mismatch between what students and their allies perceive to be the problem—systemic and institutional racism—and what the administration perceives to be the problem—a rough patch generated by unfortunate incidents or even merely a public relations situation to be managed. For many student leaders and faculty, staff, and administrator allies, the problem is not only individual acts of bad behavior, which have been catalogued,22 but also how the institution reflects, manifests, and reproduces the patterned and purposive racism that permeates U.S. society and the lack of political will to address that racism honestly, earnestly, and comprehensively. In short, from their perspective, the problem is white supremacy, defined by legal scholar Frances Lee Ansley as:

백인들이 압도적으로 권력과 물질적 자원을 지배하고, 백인들의 우월성과 권리에 대한 의식적이고 무의식적인 생각이 널리 퍼지며, 백인들의 지배와 비백인들의 종속 관계가 광범위한 제도와 사회 환경에 걸쳐 매일 재연되는 정치, 경제, 문화 시스템이다. 
a political, economic and cultural system in which whites overwhelmingly control power and material resources, conscious and unconscious ideas of white superiority and entitlement are widespread, and relations of white dominance and non-white subordination are daily reenacted across a broad array of institutions and social settings.23

 

백인우월주의가 의료교육, 의료 등 사회 전반에 짜여진 인종차별적 억압체제를 견인하고 있다.
White supremacy is driving a racist system of oppression that is woven into every aspect of society, including medical education and health care.

사회통제의 도구로서의 전문직업성
Professionalism as a Tool of Social Control

문제의 해결 방법은 문제가 어떻게 정의되는지에 따라 달라집니다. 고립된 행동 또는 일련의 행동이 문제인 경우, 몇 가지 기본적인 행동 수정이나 점검표가 해결책이 될 수 있다. 이런 상황에서는 행동 지향적인 체크리스트 형식을 갖춘 전문직업성이 잠재적인 해결책이다. 학생들은 그저 편협한 태도로 행동하거나, 무분별한 행동을 하거나, 차이점을 존중하지 않을 수도 있다. 대신, 그들은 사회화에서 백인 우월주의로 기대되고, 강화되고, 견뎌내는 행동을 제정할 수도 있다. 전자의 상황에서는 관용, 존중, 예의, 그리고 전문적으로 행동하는 방법에 대한 지도가 문제가 있는 행동을 저지하는 역할을 할 수 있다. 그러나 학생들의 행동이 고립된 것이 아니며, 오히려 사회화에서 백인우월주의 이데올로기로 이어지고 그 이데올로기가 유지하기 위해 행동하는 권력체계를 강화한다면, [생각, 믿음, 행동, 존재에 대한 혁명]이 아니면 문제가 해결되지 않을 것이다.

The solution to any problem depends on how the problem is defined. If an isolated behavior—or even a set of behaviors—is the problem, then some basic behavioral modifications or a checklist could be the solution. In this situation, professionalism with its behavior-orientated, checklist format is a potential solution. Students may be merely acting in an intolerant manner, engaging in thoughtless behaviors or not respecting differences. Alternately, they may be enacting behaviors expected from, reinforcing, and borne of socialization to white supremacy. In the former situation, instruction in tolerance, respect, civility, and how to behave professionally might act to arrest the problematic behavior. However, if the students’ behaviors are not isolated and instead stem from their socialization to the ideology of white supremacy and reinforce the system of power that that ideology acts to maintain,24 then nothing short of a revolution in thinking, believing, acting, and being will solve the problem.

수십 년 동안 미국에서 의학을 지배해 온 단체들에 의해 통제 도구로 사용된다면, 후자의 상황에서는 전문직업성이 올바른 해결책이 될 수 없다. 여기에 작가이자 활동가인 오드레 로드의 말이 공명한다.
Professionalism cannot be the right solution in the latter situation, if it is used as a tool of control by the groups that have dominated medicine in the United States for decades. Here, writer and activist Audre Lorde’s words resonate:

주인의 도구로는 주인의 집을 절대 해체할 수 없기 때문이다. 
그들은 우리가 일시적으로 그의 게임에서 그를 이기는 것을 허락할지 모르지만, 
그들은 결코 우리가 진정한 변화를 가져올 수 있도록 하지 않을 것이다. 

For the master’s tools will never dismantle the master’s house. They may allow us temporarily to beat him at his own game, but they will never enable us to bring about genuine change.25

 

행동과 복장의 지배적인 기준을 유지하기 위해 전문직업성이 어떻게 사용되는지에 대한 문헌이 증가하고 있다. 저자들은 어떻게 백인의 규범이 전문직업적이라고 여겨지는 것에 대한 참조 기준이 되었는지를 특징짓는다. 그들은 또한 그러한 기준이 전문직업성의 기능에 대한 사회학적 해석에 기초하는 방법에 대해 설명했습니다. 수많은 관찰자들은 자연스러운 머리카락을 착용하는 것과 같은 비백인 사회 집단과 관련된 옷차림이나 외모가 (징계displinary action를 포함한) 미시적이고 거시적인 공격aggression의 초점이 되어왔다고 언급했다. 게다가, 흰색이 아닌 스타일의 옷이나 외모와 관련된 몇 가지 고용 차별 사례가 있었다. 이러한 행동들이 전문적이지 않은 행동, 특히 저항의 행위일 수도 있는 흑인의 문화적 표현으로 지목될 때, 백인 우월주의가 발전한다.

The literature around how professionalism is used to maintain dominant standards of behavior and dress is growing. Authors have characterized how white norms have become the standard of reference for what is considered professional.24,26 They also have described how those standards are based on a sociological interpretation of the function of professionalism.27,28 Numerous observers have noted that dress or appearance associated with nonwhite social groups, like wearing natural hair, has been the focus of micro- and macroaggressions,29 including disciplinary actions; further, several related employment discrimination cases related to nonwhite styles of dress or appearance have been waged.30 When these behaviors are singled out as unprofessional, especially cultural representations of blackness that may also be acts of resistance,31 white supremacy is advanced.

연극적 전문성
Performative Professionalism

[체크리스트를 통해 제정되고 평가될 수 있는 일련의 행동]으로서 전문직업성을 조작화하는 것에 대한 최종적인 잠재적인 문제는, 학생들이 그러한 행동이 [사소한 지각lateness 위반]에서 [인종에 기초한 차별 행위]에 이르기까지 심각도에 다양할 수 있다는 것을 배울 수 있다는 것이다. 게다가, 학생들은 전문적인 행동이 특정한 청중들을 염두에 두고 수행되어야 한다는 것을 배울 수 있고, 따라서 그러한 행동을 수행하는 동기는 외부적이다.

A final potential problem with operationalizing professionalism as a set of behaviors that can be enacted and assessed via a checklist is that students may learn that such behaviors can range in severity from minor lateness infractions to acts of race-based discrimination. In addition, they may learn that professional behaviors are to be performed with specific audiences in mind and thus the motivation to perform those behaviors is external. 

반대로, 의료 교육과 환자 치료에서 인종차별을 교정하기 위한 한 가지 방법으로서 전문직업성이 [사회 및 인종 정의에 대한 진정한 헌신]에 기초한다면, 전문직업적 행동은 사회적 지위나 사회적 지위에 관계 없이 모든 사람들에게 의료가 제공되어야 한다는 의무만을 반영하는 [내부 가치 집합]에서 비롯될 것이다. 또한 의사들은 미국 사회를 특징짓는 인종에 기초한 위계질서를 발생시킨 힘의 체계를 이해하고 해체한다. 그렇다면 사회적, 인종적 정의에 기초한 전문직업적 가치와 행동이 환자, 사무직 교사, 교수들 앞에서만 제정되어서는 안 된다. 의료교육과 환자진료 환경 안팎에서 실천해야 하며 "외부적으로 압박받거나 행동을 강요당하는 것"이 아닌, "의지, 지지, 선택을 충분히 갖고 행동한다'고 정의되는 학생들의 [자율적 동기부여]에서 흘러나와야 한다. 

In contrast, if professionalism—as one way to remedy racism in medical education and patient care—is grounded in an authentic commitment to social and racial justice, professional behaviors will flow from an internal set of values that reflect not only the imperative that medical care be offered to all people regardless of their social position or background32 but also that physicians understand and dismantle the systems of power that gave rise to the race-based hierarchy that characterizes U.S. society. Social and racial justice-based professionalism values and behaviors then should not be enacted only in front of patients, clerkship preceptors, and professors. They should be practiced within and outside medical education and patient care settings and flow from students’ autonomous motivation, which is defined as “acting with a full sense of volition, endorsement and choice” and not from feeling “externally pressured or compelled to behave.”33

"새 천년의 의학 전문성: "의사 헌장"의 핵심 원칙은 [환자 복지, 환자 자율성 및 사회 정의]를 우선하는 것을 전문직업성의 기초로 확인한다. 그리고 학문의학에서 일부 사람들이 [사회 정의]를 전문성의 핵심 원칙으로 옹호하지만, 우리는 오늘날 의학이 반인종주의적인 현대적 도덕적 서사를 가지고 있는지 확신할 수 없다. 게다가, 과거에, 의학은 권력의 체계에서 나타난 사회 문제를 해결하기 위해 전문직업성을 사용하려고 노력해왔다. 예를 들면, 미국 내과 이사회가 오늘날 우리가 [신자유주의에 기반한 의료의 변화](예를 들면 [관리 의료, 영리 의료, 그리고 환자 치료와 의료 교육에서 제약 산업의 영향력  증가])를 다루기 위해 만든 1990년대의 Professional Project입니다. 시장의 힘에 기반한 의료 서비스 제공 변화가 환자가 사람이 아닌 상품으로 취급되는 결과를 초래할 것이라는 우려는 전문직업성의 개념에 초점을 맞춘 대응에 동기를 부여했다. 그러나 2020년에, 우리는 이 노력이 건강, 의료, 그리고 관련된 사람들의 상품화를 막는 데 성공했는지를 판단할 수 없다.
In the article “Medical Professionalism in the New Millennium: A Physician Charter,” 3 core principles are identified as foundational to professionalism—the primacy of patient welfare, patient autonomy, and social justice.34 And whereas some in academic medicine advocate for social justice as a core principle of professionalism,35 we are not certain whether medicine today possesses a modern moral narrative36 that is antiracist. Further, in the past, medicine has tried to use professionalism to address social problems that emerged from systems of power. An example is the Professionalism Project from the 1990s that the American Board of Internal Medicine created to address what we today would identify as neoliberalism-based changes to health care, such as managed care, for-profit medicine, and the increased influence of the pharmaceutical industry in patient care and medical education.37 Fear that market force-based health care delivery changes would result in patients being treated as commodities rather than people motivated a response focused on the notion of professionalism. Yet, in 2020, we cannot determine if this effort was successful in staving off the commodification of health, health care, and the humans involved.

추가 고려 사항
Additional Considerations

우리는 여기서 전문직업성이 의학교육의 인종차별 문제를 해결하기 위한 불충분한 독립적인 도구라고 주장한다. 그러나, 우리는 전문성이 명시적으로 반인종주의적 접근 방식을 적용하고 교육, 훈련 및 환자 치료에서 구조적 역량의 우선순위를 정함으로써 인종차별을 되돌리기 위한 더 광범위한 [제도적인 노력의 한 부분]이 될 수 있다고 믿는다. 이러한 접근 방식은 관련 사람들과 기관의 반인종주의에 대한 이해와 헌신을 반영하는 내용 지식, 태도, 분석, 정책, 관행, 비폭력적 커뮤니케이션, 옹호 및 행동주의, 그리고 일상적인 행동을 산출한다. 이 작업은 사회적, 인종적 정의를 학교의 사회적 사명의 핵심에 두고, 의사 간 옹호 역할을 강조하며, 구조적 역량을 높이기 위해 커리큘럼 내용과 기술개발로 뒷받침되는 교육 프로그램 목표를 통합하는 [의학교육 모델]로 통합될 수 있다. 마지막으로, 인종차별에 대항하기 위한 포괄적인 접근은 인종차별 사건에 대한 기관들의 신속한 대응, 강력한 반인종 정책, 그리고 의료 교육에서의 기관 인종차별을 다루는 것을 요구한다.
We assert here that professionalism is an inadequate stand-alone tool to address the problem of racism in medical education.38 However, we believe that professionalism may be one part of a larger, institutional effort to undo racism39 by applying explicitly antiracist approaches8 and prioritizing structural competence40 in education, training, and patient care. Such approaches ideally will yield the content knowledge, attitudes, analyses, policies, practices, nonviolent communications, advocacy and activism, and day-to-day behaviors that reflect an understanding of and commitment to antiracism on the part of the people and institutions involved.24 This work may be integrated into a model of medical education that puts social and racial justice at the core of a school’s social mission,41 emphasizes the role of advocacy among physicians,42,43 and integrates educational program objectives that are supported by curricular content and skill development to enhance structural competence.10 Finally, a comprehensive approach to countering racism requires swift responses from institutions to racist incidents, strong antiracist policies, and addressing institutional racism in medical education.

여러 [의과대학]이 인종차별과 백인우월주의를 명시적으로 문제로 지목하고 해결책을 개발하고 테스트하는 데 앞장서고 있다. 예를 들어, 미네소타 의과대학의 연구원들은 교육과정 설계 중에 인종 기반 동력 역학이 어떻게 전개되었는지 관찰하고 기록하기 위해 공중 보건에 중요한 인종 연습 방법론을 사용했다. 그들의 연구는 의과대학 1학년 학생들의 개입을 초래했다. 이 밖에도, 인종이 [생물학적 구조]가 아닌 [사회적 구조]임을 가르치고, 교육 자료와 교육에 소수인종을 공평하게 표현하는 것을 포함하는 의학 교육을 요구한다. 이 접근 방식은 각 프레젠테이션 슬라이드, 강의, 텍스트, 학습 활동 및 평가에 대한 비판적 분석을 통해 서로 다른 그룹이 과하게 또는 과소하게 표현되고 인종 구성이 학생들에게 어떻게 제시되는지 판단해야 한다.

Several medical schools are leading the way in explicitly naming racism and white supremacy as problems and developing and testing solutions. For example, researchers at the University of Minnesota Medical School used a public health critical race praxis methodology to observe and document how race-based power dynamics unfolded during curriculum design.9 Their work resulted in an intervention for first-year medical students. Other approaches call for medical education that teaches that race is a social, rather than a biological, construct44,45 and that includes equitable representation5,46 of minority populations in instructional materials and teaching. This approach requires a critical analysis of each presentation slide, lecture, text, learning activity, and assessment to determine where different groups are over- or underrepresented and how the construct of race is presented to students.

반인종주의 의학교육 노력을 기술하고 의학에서 인종차별을 해결하기 위한 여러 유망한 접근방식을 식별하는 [문헌 검토literature reviews]도 늘어나고 있다. 여기에는 사회 집단을 초월한 대화, 권력과 특권의 해체, 비판적 의식과 실천의 고양, 학생들 간의 경험적 변신이 포함된다. 또한 Wear와 동료들은 구조적 역량을 달성하기 위한 반인종주의적 교육 전략과 방법들을 찾아냈고, 이러한 목표들을 진전시킬 수 있는 많은 교육적 접근들을 기술했다. 
There is also a growing number of literature reviews that describe antiracist medical education efforts and identify a number of promising approaches to addressing racism in medicine. They include dialogue across social groups, deconstructing power and privilege, raising critical consciousness and practice, and experiential transformation among students.47 In addition, Wear and colleagues identified antiracist pedagogical strategies and methods to achieve structural competence, describing a number of instructional approaches that would advance these goals.48

결론적으로, 우리는 인종차별 행위를 전문직업적이지 않은 것으로 식별하고, 이 관점을 사용하여 다루는 것만으로는 충분하지 않다고 주장한다. 우리는 학술 의학에서 제도적 인종차별을 되돌리려면 [비판적 분석, 대립, 옹호 및 집단적 사회적 행동]을 사용할 필요가 있다. 인종차별을 경험하고 반인종적 의료행위를 개발하고자 하는 학생 둘 다 지원이 필요한 학생들은 이러한 목표를 달성하기 위해 변화를 요구해 왔다. 오늘날 미국에서는, 캠퍼스와 의과대학에서 인종차별적인 사건들이 계속 전개되면서, 미국이 원주민들로부터 빼앗긴 땅에 노예 아프리카인들의 노동력으로 건설된 백인, 남성 우월주의라는 이념 위에 세워졌다는 대중적 인식의 맥락에서 그렇게 한다. 의과대학과 교육자들은 이러한 사회역사적 사실을 훈련의 모든 측면에 통합해야 하며, 의료교육에서 인종차별을 해소하기 위한 포괄적인 접근법의 필요성을 인정해야 한다. 사회정치 이념으로서 백인 우월주의가 존재한다는 것을 인식하고 그것이 어떻게 불평등한 사회를 지지하는지 이해함으로써, 의과대학은 미국의 건강 불평등과 인종과 사회 정의를 위한 현대 투쟁의 핵심 장소가 될 수 있다.

In conclusion, we argue that it is not enough to identify racist acts as unprofessional and address them using this lens; we in academic medicine need to use critical analysis, confrontation, advocacy, and collective social action to undo institutional racism. Students, who need support as they both experience racism and seek to develop antiracist medical practices, have been calling for changes to achieve these goals.49,50 Today, in the United States, as racist events on campuses and medical schools continue to unfold, they do so in the context of increasing popular recognition that the United States was founded on the ideology of white, male supremacy, built with the labor of enslaved Africans, on land taken from indigenous peoples. Medical schools and educators must incorporate these sociohistorical facts in all aspects of training and acknowledge the need for a comprehensive approach to undoing racism in medical education. By recognizing that white supremacy, as a sociopolitical ideology, exists and understanding how it supports an inequitable society, medical schools can become key sites of the modern struggle against health inequity and for racial and social justice in the United States.


Acad Med. 2020 Jun;95(6):860-863. doi: 10.1097/ACM.0000000000003266.

Professionalism: The Wrong Tool to Solve the Right Problem?

Affiliations collapse

Affiliation

1V. Frye is associate medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York; ORCID: http://orcid.org/0000-0003-3239-7201. M. Camacho-Rivera is assistant professor, Department of Community Health Sciences, SUNY Downstate School of Public Health, Brooklyn, New York. K. Salas-Ramirez is assistant medical professor, Department of Molecular, Cellular and Biomedical Sciences, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. T. Albritton is assistant medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York; ORCID: http://orcid.org/0000-0002-7592-4318. D. Deen is distinguished lecturer, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. N. Sohler is associate medical professor, Department of Community Health and Social Medicine, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. S. Barrick is lecturer and director, Humanities in Medicine Program, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York. J. Nunes is medical professor, Department of Molecular, Cellular and Biomedical Sciences, CUNY School of Medicine/Sophie Davis Program in Biomedical Education, New York, New York.

PMID: 32134778

DOI: 10.1097/ACM.0000000000003266

Abstract

Medical schools and other higher education institutions across the United States are grappling with how to respond to racism on and off campus. Institutions and their faculty, administrators, and staff have examined their policies and practices, missions, curricula, and the representation of racial and ethnic minority groups among faculty, staff, and students. In addition, student-led groups, such as White Coats for Black Lives, have emerged to critically evaluate medical school curricula and advocate for change. Another approach to addressing racism has been a focus on the role of professionalism, which has been variably defined as values, traits, behaviors, morality, humanism, a role, an identity, and even a social contract.In this article, the authors consider the potential role that professionalism might play in responding to racism in medical education and at medical schools. They identify 3 concerns central to this idea. The first concern is differing definitions of what the problem being addressed really is. Is it isolated racist acts or institutional racism that is a reflection of white supremacy? The second concern is the notion that professionalism may be used as a tool of social control to maintain the interests of the social groups that dominate medicine. The third concern is that an overly simplistic application of professionalism, regardless of how the problem of racism is defined, may result in trainees practicing professionalism that is performative rather than internally motivated. The authors conclude that professionalism may complement a more systematic and holistic approach to addressing racism and white supremacy in medical education, but it is an insufficient stand-alone tool to address this core problem.

 

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

  • (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
  • 이어서 실제 구현에 대한 정보를 수집합니다.
  • 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
  • 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
  • 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

  • the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
  • This is followed by collection of information about the actual implementation.
  • These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
  • Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
  • The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.



중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

  • outcome competencies,
  • sequenced progression,
  • tailored learning experiences,
  • competency-focused instruction, and
  • programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.


목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

  • CBME 리드 위임(2015년 5월)
  • 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
  • 학술자문위임 및 교육(2017년 1월 ~ 6월)
  • 역량위원회 발전(2017년 9월~2018년 6월 분기별)
  • 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
  • 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)

  • CBME lead delegation (May 2015)
  • Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
  • Academic advisors delegation and training (January to June 2017)
  • Competence committee development (quarterly September 2017 to June 2018)
  • Program administrator training (twice annually September 2015 to May 2017)
  • Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

  • EM 그랜드 라운드:
  • EM 부서 회의 프레젠테이션:
  • 실무 교수진 육성 워크숍(2017년 5월):
  • 구현 후 교수진 개발:

  • EM grand rounds:
  • EM department meeting presentations:
  • Practical faculty development workshops (May 2017):
  • Post-implementation faculty development:

전공의 전환 Resident transition

  • 전공의 CBME 리드 대표단(2017년 1월)
  • 전공의 실무 훈련교육(2017년 5월):
  • 구현 후 전공의 교육:
  • Resident CBME lead delegation (January 2017)
  • Practical resident training sessions (May 2017):
  • Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.







우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.


프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

  • 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
  • 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

  • Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change


CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.


Acad Med. 2020 May;95(5):786-793. doi: 10.1097/ACM.0000000000003040.

It's a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation

Affiliations collapse

Affiliation

1A.K. Hall is associate professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada, and clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0003-1227-5397. J. Rich is research associate, Faculty of Education, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0001-7409-559X. J.D. Dagnone is associate professor, Department of Emergency Medicine, and CBME faculty lead, Postgraduate Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/000-0001-6963-7948. K. Weersink is a resident, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada; ORCID: http://orcid.org/0000-0002-0325-3172. J. Caudle is assistant professor, Department of Emergency Medicine, Queen's University, Kingston, Ontario, Canada. J. Sherbino is professor, Division of Emergency Medicine, Department of Medicine, and assistant dean, Health Professions Education Research, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada. J.R. Frank is director, Specialty Education, Royal College of Physicians and Surgeons of Canada, and associate professor and director, Educational Research and Development, Department of Emergency Medicine, University of Ottawa, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0002-6076-0146. G. Bandiera is professor, Department of Medicine, and associate dean, Postgraduate Medical Education, University of Toronto, Toronto, Ontario, Canada. E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada, and adjunct faculty, Department of Family Medicine, Queen's University, Kingston, Ontario, Canada.

PMID: 31625995

DOI: 10.1097/ACM.0000000000003040

Abstract

Purpose: Despite the broad endorsement of competency-based medical education (CBME), myriad difficulties have arisen in program implementation. The authors sought to evaluate the fidelity of implementation and identify early outcomes of CBME implementation using Rapid Evaluation to facilitate transformative change.

Method: Case-study methodology was used to explore the lived experience of implementing CBME in the emergency medicine postgraduate program at Queen's University, Canada, using iterative cycles of Rapid Evaluation in 2017-2018. After the intended implementation was explicitly described, stakeholder focus groups and interviews were conducted at 3 and 9 months post-implementation to evaluate the fidelity of implementation and early outcomes. Analyses were abductive, using the CBME core components framework and data-driven approaches to understand stakeholders' experiences.

Results: In comparing planned with enacted implementation, important themes emerged with resultant opportunities for adaption. For example, lack of a shared mental model resulted in frontline difficulty with assessment and feedback and a concern that the granularity of competency-focused assessment may result in "missing the forest for the trees," prompting the return of global assessment. Resident engagement in personal learning plans was not uniformly adopted, and learning experiences tailored to residents' needs were slow to follow.

Conclusions: Rapid Evaluation provided critical insights into the successes and challenges of operationalizing CBME. Implementing the practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training was a marathon requiring sustained effort in the form of frequent evaluation and continuous faculty and resident development.

해부학에 대해서 왜 충분히 알지 못하는가? 내러티브 리뷰(Med Teach, 2011)
Why don’t they know enough about anatomy? A narrative review
E. M. BERGMAN1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER3

 

 

 

서론
Introduction

'의사들에게 인체는 일상적으로 조사와 개입의 초점이다.' 해부학자들과 임상의사들 모두 안전하고 효율적인 임상실천을 보장하려면 해부학과 개인의 변화에 대한 정확한 지식이 필수적이라는 데 동의한다. 또한 임상 지식과 기술의 개발과 유지를 뒷받침한다. 따라서 여러 학술지에 실린 출판물들이 오늘날 의대생들의 해부학적 지식 감소 문제를 부각시켰는데, 이는 최악의 경우 의료 오류를 초래할 수 있기 때문이다. 이 문제의 존재에 대한 경험적 증거가 없음에도 불구하고, 이 문제에 대한 책임을 다음 요소들 중 하나 이상에 돌리는 저자들에 의해 지속적으로 강조된다.

‘For doctors, the human body is the focus of investigation and intervention on a daily basis’ (Turney 2007, p. 104). Both anatomists and clinicians agree that accurate knowledge of anatomy and individual variations is vital to ensure safe and efficient clinical practice. It also underpins the development and retention of clinical knowledge and skills (Dangerfield et al. 2000; Fasel et al. 2005; Raftery 2006). It is therefore worrying that publications in diverse journals have highlighted the problem of decreased anatomical knowledge of today's medical students, which, in a worst case scenario, might lead to medical errors. Despite the absence of empirical evidence for the existence of this problem, it is persistently emphasised by authors who lay the blame for it on one or more of the following factors:

  • 해부학은 의학적으로 자격이 없는 선생님들에 의해 가르쳐진다. 해부학은 의학적인 배경이 없는 직원들에 의해 점점 더 많이 가르쳐지고 있는데, 그들은 왜 과목을 가르치는지 또는 왜 그것이 임상적인 관점에서 관련이 있는지에 대한 통찰력이 부족할 수 있다.
  • 핵심 해부학 커리큘럼의 부재. 해부학 커리큘럼을 사용 가능한 시간에 맞추기 위해, 어떤 경우에는 직업적 관련성에 관계없이 해부학의 모든 측면을 제거했다. 여기에는 교육 프로그램에서 특정 신체 부위, 배아 및/또는 조직학이 삭제되는 것이 포함되었다.
  • 해부학을 가르치는 도구로 사용이 감소. 시체 해부학의 오랜 방법에 의한 해부학 교수법은 주로 시간 및/또는 금전적 제약으로 인해 감소하고 있다.
  • 해부학을 맥락 속에서 가르치지 않음. 해부학은 임상 기술, 병리학 또는 방사선학과 같은 관련 문맥 안에서 가르쳐야 한다.
  • 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼). 통합 커리큘럼에서 기초 및 임상 과학을 동시에 가르친다(수평적 통합), 임상과학은 초기에 도입되는 반면, 기초과학은 커리큘럼의 말년에 지속적으로 관심을 기울이고 있다(임상과학의 통합). 또한 통합 커리큘럼을 갖춘 많은 의과대학들은 공식적인 기초과학 교육을 포기하고 대신 (의학 이외의) 촉진자가 감독하는 '자기주도 학습'을 통해 학생들이 이러한 영역을 탐색하도록 자극한다. 이러한 커리큘럼 내에서 해부학은 단편적으로 가르쳐질 가능성이 높으며, 학생들은 더 이상 전신의 해부학에 대한 일관되고 전체적인 그림을 얻지 못한다고 주장한다.
  • 해부학적 지식을 평가하는 방법. 실용적인 이유로, 해부학적 지식은 객관식 문제에 의해 점점 더 많이 평가되고 있는데, 여기서 좋은 '파워-응시생'은 종종 방해물을 제거하는 독창성을 통해 잘 한다. 또한 경각심을 주는 것으로 간주되는 것은 시험된 각 분야에서 최소 역량의 요건을 제거하는 것이다.
  • 해부학 교수 시간의 감소. 학부 의학 커리큘럼에서 가르칠 수 있는 많은 과목과 역량이 해부학 교육에 사용할 수 있는 시간을 줄였습니다.
  • 해부학의 수직적 통합에 대한 무시. 교육 과정 내의 수직적 통합은 종종 단방향이다. 임상 주제는 의학 커리큘럼의 초기 몇 년(전통적으로 해부학과 같은 기초과학 수업을 위한 시간표)에 통합되지만, 기초과학은 커리큘럼의 말년에 가르치는 것이 훨씬 덜 흔한 것으로 인식된다.
  1. Anatomy is taught by non-medically qualified teachers Anatomy is increasingly taught by staff with non-medical backgrounds, who may lack insight into the reasons why a subject is taught or why it is relevant from a clinical perspective.
  2. The absence of a core anatomy curriculum In order to fit the anatomy curriculum into the available time, in some cases, all aspects of anatomy were pruned, irrespective of vocational relevance. This included deleting specific body regions, embryology and/or histology from the educational programme.
  3. Decreased use of dissection as a teaching tool Anatomy teaching by the time-honoured method of cadaveric dissection is decreasing, mostly due to time and/or money constraints.
  4. Anatomy is not taught in context Anatomy should be taught within relevant contexts, such as clinical skills, pathology or radiology.
  5. Integrated curricula (problem-based learning or systems-based curricula) In integrated curricula, basic and clinical sciences are taught simultaneously (horizontal integration), with clinical sciences being introduced in the early years while continued attention is being paid to basic sciences in the later years of the curriculum (vertical integration). Additionally, many medical schools with integrated curricula have abandoned formal basic science teaching and instead stimulate students to explore these areas through ‘self-directed learning’, supervised by (non-medical) facilitators. Within these curricula, anatomy is likely to be taught piecemeal, and it is claimed that students no longer gain a coherent, overall picture of the anatomy of the whole body.
  6. The way anatomical knowledge is assessed For practical reasons, anatomical knowledge is increasingly assessed by multiple choice type questions, wherein good ‘power-test takers’ often do well through their ingenuity in eliminating distracter items (Cahill & Leonard 1999). What is also considered alarming is elimination of the requirement of minimal competence in each of the disciplines tested.
  7. Decrease in anatomy teaching time The multitude of subjects and competencies to be taught in the undergraduate medical curriculum has diminished the amount of time available for anatomy education.
  8. Neglect of vertical integration of anatomy teaching Vertical integration within curricula is often unidirectional. Whilst clinical topics are integrated in the early years of the medical curriculum (traditionally the time slot for basic science teaching like anatomy), it is perceived to be far less common for basic sciences to be taught in the later years of the curriculum.

위의 요소들은 1990년 이후에 출판된 32개의 논문(표 1)에서 발췌하였다. 이 논문들은 교육, 해부학, 외과 또는 방사선 저널에 실렸으며, 영국 의학 저널과 랜싯과 같은 일반 의학 저널에도 실렸다. 대부분의 기사는 제목에 있는 키워드를 검색하여 검색되었고, 다른 기사는 관련 기사의 참조를 면밀히 조사하여 검색되었다. 해부학적 지식이 침식되고 있다는 주장의 심각한 함축적 의미와 이를 뒷받침할 확실한 증거가 없는 현재 상황을 고려해 주장이 어느 정도 진실을 갖고 있는지, 그렇다면 어떤 요인이 영향을 미치는지를 조사했다. 위에 열거된 8가지 요소는 부정적인 영향을 지원하고 대처하는 데 도움이 되는 경험적 증거를 식별하기 위한 검토의 출발점이 되었다. 체계적인 문헌 검색 방법을 설명한 후, 우리는 검토가 각 요소와 관련하여 무엇을 드러냈는지 논의한다. 마지막으로, 우리는 결과에 대해 논의하고 추가 연구를 위한 권장 사항과 함께 결론을 제시한다.

The above factors were extracted from 32 articles (Table 1) published after 1990 (29 different first authors, nine of which held their primary posts in an anatomy department). The articles were published in educational, anatomical, surgical or radiological journals, but also in general medical journals such as the British Medical Journal and The Lancet. Most articles were retrieved by a search for keywords in the title, others by scrutinising references of relevant articles; they were mostly published as an editorial, letter/correspondence, commentary, essay or matter for debate and generally contained very little information to underpin the statements that were made. Considering the serious implications of the claim that anatomical knowledge is being eroded as well as the current lack of firm evidence to support it, we investigated whether the claim holds some truth and, if so, which factors influence it. The eight factors listed above served as the starting point for a review aimed at identifying empirical evidence to support, and help deal with, their negative effects. After describing the methods of our systematic literature search, we discuss what the review revealed in relation to each factor. Finally, we discuss the findings and present conclusions with recommendations for further research.

 

방법들
Methods

각 요인에 대해 키워드를 선택하고 게시 및 Medline을 검색하는 데 사용됩니다. 모든 검색은 언어(영어, 네덜란드어, 독일어)와 출판 날짜(1950-2007)에 의해 제한되었다. 검색된 기사의 제목과 요약본을 선별한 다음, 관련될 가능성이 있는 기사의 전문을 인쇄하고 읽었습니다. 다음으로, 이러한 관련 기사에 대한 참조 검색을 수행했습니다(그림 1은 검색 흐름 프로파일을 보여줍니다). 의학 이외의 분야(예: 물리치료, 방사선학, 치과, 수의학, 직업치료 또는 간호학)의 학생들 사이에서 수행된 연구는 제외되었다.
Keywords were selected for each factor and used to search Pubmed and Medline. All searches were limited by language (English, Dutch and German) and publication date (1950–2007). The titles and abstracts of the retrieved articles were screened, after which the full text of potentially relevant articles was printed and read. Next, a reference search of these relevant articles was performed (Figure 1 shows a search flow profile). Studies conducted among students of disciplines other than medicine (e.g. physiotherapy, radiology, dentistry, veterinary medicine, occupational therapy or nursing) were excluded.

비의료자격 교사의 해부학 교수 영향
The influence of teaching of anatomy by non-medically qualified teachers

해부학적 지식이 의사 면허가 없는 교수가 가르칠 때 부정적인 영향을 받는다는 주장은 두 가지 의문을 제기한다.

  • (1) 해부학은 점점 더 자격을 갖추지 못한 직원들에 의해 가르쳐지고 있다는 것이 사실인가요? 
  • (2) 만약 그렇다면, 이것이 학생들의 해부학적 지식에 영향을 미치는가? 전 세계적으로 비의료적격 교수진에 의해 해부학이 점점 더 많이 가르쳐지는 경향이 있는 것 같다(표 2). 

The argument that anatomical knowledge is negatively influenced when it is taught by non-medically qualified staff raises two questions:

  • (1) is it true that anatomy is increasingly taught by non-medically qualified staff and
  • (2) if so, does this affect students’ anatomical knowledge? There does seem to be a trend throughout the world for anatomy to be increasingly taught by non-medically qualified teaching staff (Table 2).

이를 뒷받침할 수 있는 가장 설득력 있는 자료는 프라이드 & 블랙(2005)에 의해 발표되었는데, 프라이드 & 블랙은 1983/1984와 2003/2004년 사이에 스코틀랜드의 5개 의학부에서 의학 자격을 갖춘 해부학 교사의 비율이 56%에서 41%로 감소했다고 밝혔다. 게다가, 몇몇 연구들은 의학적으로 자격을 갖춘 해부학 교사들이 일반적으로 의학적으로 자격이 없는 동료들보다 나이가 많다고 보고했다. 예를 들어 반 마메렌(2004)은 네덜란드의 8개 의학부의 해부학 교사 중 38%만이 의학적으로 자격을 갖추고 있으며 이 비율의 3/4 이상이 50세 이상임을 보여주었다. 이는 나이가 많고, 의학적으로 자격이 있는, 젊고, 의학적으로 자격이 없는 교사들을 그들의 의학적인 지식 이외의 다른 자질로 임명할 수 있는 것으로 대체하는 것을 제안한다. 불행하게도, 우리가 검토한 연구들 중 어느 것도 교직원의 자격과 학생들의 해부학에 대한 지식 사이에 연관성이 있는지를 조사하지 않았다. 그래서, 두 번째 질문은 아직 답이 없다.

The most convincing data to support this were published by Pryde & Black (2005), who revealed that between 1983/1984 and 2003/2004, the percentage of medically qualified anatomy teachers in the five medical faculties of Scotland decreased from 56% to 41%. Furthermore, some studies reported that medically qualified anatomy teachers were generally older than their non-medically qualified colleagues. Van Mameren (2004) showed for example that only 38% of anatomy teachers in the eight medical faculties of The Netherlands were medically qualified and that of this percentage more than three quarters were aged 50 years or older. This suggests replacement of older, medically qualified, by younger, non-medically qualified, teachers, who may be appointed for other qualities than their medical knowledge. Unfortunately, none of the studies we reviewed examined if there was a connection between the qualifications of teaching staff and students’ knowledge of anatomy; so, question two remains unanswered.

해부학 교수진의 자격에 대한 논의에서 자주 제기되는 주장은 [연구자들과 임상의들이 그들의 특정한 전문 분야의 교수에만 관심]이 있으며, 이것은 학생들이 견고한 지식 기반을 구축하는 데 도움이 되지 않는다는 것이다. Halasz (1999)는 다음과 같은 흥미로운 해결책을 제안했다. '대안이 무엇일까? 우선, 우리는 유능한 비전문가가 가르치도록 할 수 있다. 무엇이 널리 중요하고 적용 가능한지를 아는 사람은 전문성이 매우 부족하고 종종 통찰력이 부족한 초전문가보다 훨씬 더 잘 학생들을 지도할 수 있다.' 이 인용문에서는 Competent 는 조작적 단어이다. 왜냐하면, 학생들의 지식이 '누가 가르치는가'에 의해 강하게 영향을 받는다는 가정하에, 자격은 교육의 질에 관련될 수 있지만, 반드시 그것에 결정적일 필요는 없기 때문이다. 예를 들어, 교사 개개인의 교육열과 교육적 능력은 그들의 직업적 배경보다 훨씬 더 큰 비중을 차지한다.

An argument that is frequently put forward in discussions on the qualifications of anatomy teaching staff is that researchers and clinicians are only interested in teaching (at the frontier of knowledge) in their particular areas of expertise, which does not help students to build a solid knowledge base. Halasz (1999) proposed the following interesting solution: ‘What are the alternatives? For one, we can get the competent non-specialist to teach. A person who knows what is broadly important and applicable is much better able to instruct a student than the super-specialist who, in his or her very expertise, often lacks perspective’ (p. 6). Competent is the operative word in this citation. For, based on the assumption that students’ knowledge is strongly influenced by ‘who teaches’, qualifications may be relevant but not necessarily decisive for the quality of teaching. For example, individual teachers’ enthusiasm for teaching and didactic abilities may carry much more weight than their professional background.


또 다른 흥미롭지만 매우 다른 측면은 해부학 교수진에 대한 일부 기사에서 보고된 학생-직원 비율이다. 프라이드 & 블랙(2005)은 1983/1984년과 2003/2004년 사이에 스코틀랜드의 5개 의학부의 학생-직원 비율이 20:1에서 58:1로 증가했다는 것을 발견했다. 다시 말해서, 2004년까지 교사 한 명당 학생 수가 두 배 이상 증가했습니다! 직원 수를 줄이고(또는 기껏해야 안정적) 학생 수를 늘리는 것(예를 들어 어려운 과목을 가진 개별 학생들을 돕는 시간을 줄이는 결과)이 학생들의 해부학에 부정적인 영향을 미쳤는지 궁금해 할 수 있다. 이 문제의 심각성을 규명하기 위해 추가 연구를 진행하고 피어투피어 교수법의 활용 등 대처 방안을 모색할 가치가 있어 보인다.
Another interesting, but very different, aspect is student–staff ratios, which were reported in some articles on anatomy teaching staff. Pryde & Black (2005) found that between 1983/1984 and 2003/2004, student–staff ratios in the five medical faculties in Scotland increased from 20:1 to 58:1. In other words, by 2004, the number of students per teacher had more than doubled! One may wonder whether decreasing (or at best stable) staff numbers and increasing student numbers (resulting in for example less time to assist individual students with difficult subjects) may have had a negative impact on students’ knowledge of anatomy. It seems worthwhile to conduct further research to establish the severity of this problem and look for ways to deal with it, such as the use of peer-to-peer teaching methods.

핵심 해부학 커리큘럼 부재의 영향
The influence of the absence of a (national) core anatomy curriculum

일부 국가에서는 의과대학이 높은 교육의 질을 보장하기 위해 외부 규제 기관(예: 영국의 일반 의학 위원회)의 검사를 받는다. 이러한 규제기관의 지침은 안타깝게도 '졸업생이 기대하는 사실적 지식에 대해 상당히 구체적이지 않으면서, 임상적, 일반적 및 태도적 기술에 대한 요구사항과 관련하여 상당히 포괄적'이다. 이 문제를 극복하기 위해 일부 저자들은 핵심 해부학 커리큘럼을 정의하기 위해 학생들이 알아야 할 해부학적 구조의 목록을 만들었다. 그러나 그러한 목록의 내용에 대한 저자 간의 합의가 거의 없으며 저자는 필요한 지식의 깊이를 정의하지 않는다. (예: 근육의 경우: 인체의 근육을 인식할 수 있고, 부착 부위, 신경교란, 기능, 변형 등을 알 수 있다.) 일부 연구자들은 학부 커리큘럼의 다른 단계(Moxham & Plaisant 2007) 또는 학업을 마친 후 학생들에게 해부학 과정의 내용이 충분한 임상적 관련성이 있다고 생각하느냐고 물었다. 학생들은 어느 정도 동의하면서도 특정 과목에 대한 의견 차이도 상당했다.

In some countries, medical schools are subject to inspection by external regulators (for example the General Medical Council in the UK) to ensure a high quality of education. Guidelines from these regulators are unfortunately ‘fairly non-specific concerning the factual knowledge expected of graduates but are fairly comprehensive with regard to the requirements for clinical, generic and attitudinal skills’ (Bradley 2001, p. 231). In order to overcome this problem, some authors have created a list of anatomical structures that students should know, in an attempt to define a core anatomy curriculum (Leonard et al. 1996; Griffioen et al. 1999; McHanwell et al. 2007). However, there is little agreement among authors on the content of such lists and authors do not define the depth of the required knowledge (e.g. for a muscle: to be able to recognize the muscle in the human body, know attachment sites, innervations, function, variations, etc.). Some researchers have asked students in different stages of the undergraduate curriculum (Moxham & Plaisant 2007) or after finishing their studies (Richardson 1983; Cottam 1999) whether they thought the contents of their anatomy course were of sufficient clinical relevance. While concurring to a certain degree, students also showed considerable differences of opinion on and between specific subjects.

안타깝게도, 우리가 검토한 기사 중 핵심 커리큘럼의 부재와 그것이 해부학적 지식에 미치는 영향을 조사하는 연구는 보고되지 않았다. 핵심 해부학 커리큘럼을 참조한 대부분의 기사는 해부학 과정/교육 과정의 내용이 논의되었다고 보고했다. (Evans & Watt 2005: '[…] 해부학 직원들은 다양한 분야의 임상 동료들의 토론과 의견과 함께 그들의 집단 경험을 활용했습니다[p.23].) 그러나 이 토론의 결과를 설명하지는 않았다(예: 구조 목록). 학생들의 지식에 미치는 영향을 설명하지 않은 것은 말할 것도 없다. 해부학 과정 내용에 대한 광범위한 설명은 졸업후 전공의 교육을 다루는 기사로 제한된다.

Unfortunately, none of the articles we reviewed reported a study investigating (the absence of) a core curriculum and its effect on anatomical knowledge. Most articles in which reference was made to a core anatomy curriculum reported that the content of an anatomy course/curriculum was debated (Evans & Watt 2005: ‘[…] the anatomy staff have used their collective experience in conjunction with discussion and input from clinical colleagues across a range of disciplines’ [p. 23]) but did not describe the outcome of this debate (e.g. a list of structures), let alone any effect on students’ knowledge. Extensive descriptions of anatomy course content are limited to articles dealing with postgraduate specialist training (MacLean et al. 1996; Kilroy & Driscoll 2006).

국가 핵심 해부학 커리큘럼이 마련된다면, 교사들(기초과학과 임상)은 학생들이 무엇을 배우기를 기대하는지 알고 학생들이 그 지식을 얻는 데 도움이 될 것이다. 비록 해부학자들과 임상의들이 핵심 커리큘럼에 동의하도록 하는 것은 힘든 일처럼 보일 수 있지만, 그것은 아마도 달성할 수 없는 목표는 아닐 것이다. 이 논의에 대한 중요한 기여는 'AMEE 가이드 no 41'의 최근 출판이다. 의학 교육에서 해부학의 위치'는 '원칙에 입각하고 문제 지향적인' 이상적인 과정을 묘사한다. 저자들은 '일반'과 '특정' 해부학의 정의와 구별, 그리고 다른 교수 방법, 학습 자료 및 평가 프로그램을 사용하여 어떻게 가르칠 수 있는지에 초점을 맞추고 있다.

If a national core anatomy curriculum were in place, teachers (basic science and clinical) would know what students were expected to learn and it would help students to attain that knowledge. Although getting anatomists and clinicians to agree upon a core curriculum may seem a daunting task (see studies of Koens et al. 2005b, 2006), it is probably not an unattainable goal. An important contribution to this discussion is the recent publication of ‘AMEE Guide no 41. The place of anatomy in medical education’ (Louw et al. 2009), which describes an ideal course which is ‘principle based and problem oriented’. The authors focus on the definition of and distinction between ‘general’ and ‘specific’ anatomies, and how these can be taught by using different teaching methods, learning materials and assessment programmes.

해부학 교육에 해부를 교육 도구로 사용하지 않는 것의 영향
The influence of not using dissection as a teaching tool in anatomy education

해부학 교육에 사용되는 교육 도구는 크게 다섯 가지로 나눌 수 있다.

  • (1) 시체 관련,
  • (2) 임상 관련,
  • (3) 컴퓨터/인터넷 관련,
  • (4) 기타 관련 자료(예: 모델 또는 책)
  • (5) 기타(예: 강의, 실습 수업 또는 문제 기반 학습; PBL 튜토리얼) 

The teaching tools used in anatomy education can roughly be divided into five categories:

  • (1) cadaver related,
  • (2) clinically related,
  • (3) computer/internet related,
  • (4) other material related (e.g. models or books) and
  • (5) other (e.g. lectures, practical classes or problem-based learning; PBL tutorials).

윈켈만 (2007)은 광범위한 검토 연구를 실시하여, 학생들에 의한 시체 해부와 prosections (다른 사람들에 의해 이전에 해부된 시체)의 사용이 학생들의 해부학적 지식에 어떻게 영향을 미치는지 비교하였다. 검토에 포함된 연구들이 둘 이상의 변수에서 다르다는 사실 때문에 비교가 방해받았지만, 전통적인 해부는 prosections에 비해 약간의 추가 이익을 제공하는 것으로 보였다. 이번 리뷰에서는 학생에 의한 해부를 교구 이외의 교구와 비교한 기사만 수록했다. 비록 간단하지는 않지만, 결과는 다시 약간 해부에 찬성하는 것처럼 보인다. 그러나 더 중요한 것은 교육 도구의 조합이 최상의 성과를 내는 것으로 나타났다는 것입니다(표 3). 예를 들어, Biasutto 외 연구진(2006)은 컴퓨터 자원만 사용한 학생들에 비해 시체만을 해부한 학생들에게 더 나은 결과를 발견했지만, 해부 및 컴퓨터 자원 사용 모두를 통해 학습한 학생 그룹에서 최고의 점수가 발견되었다고 보고했다.

Winkelmann (2007) conducted an extensive review study, comparing how dissection of a cadaver by students and the use of prosections (cadavers previously dissected by others) affected students’ anatomical knowledge. Although comparison was hindered by the fact that the studies included in the review differed in more than one variable, traditional dissection appeared to offer a slight added benefit compared to prosections. In this review, we included only articles in which dissection by students was compared to teaching tool other than prosections. Although not straightforward, the results again seem to be slightly in favour of dissection. More importantly, however, a combination of teaching tools appeared to yield the best performances (Table 3). Biasutto et al. (2006), for example, found better results for students who only dissected cadavers compared to students who only used computer resources, but reported that the best scores were found in the group of students who learnt by both dissection and the use of computer resources.

학생 지식에 대한 다양한 해부학 교육 도구의 영향과 관련된 결론 없는 발견은 컴퓨터 모델과 같은 도구가 복잡한 해부학적 구조(예: 내이, 두개골 또는 뇌)를 학습하는 데 더 도움이 된다는 사실과 관련이 있을 수 있다. 학생들은 줌과 회전을 가능하게 하는 3D 컴퓨터 모델에서 복잡한 구조를 더 잘 이해할 수 있는 반면 덜 복잡한 구조(예: 복부 장기)는 교과서나 카데바에서 쉽게 학습할 수 있다. 이러한 측면에서 흥미로운 발견은 학생들이 해부학을 배우는 데 가장 유용한 도구로 항상 평가하지 않는 반면, 의료진(해부학자와 임상의사 모두)은 해부를 교육 도구로 유지하기를 원하는 것처럼 보인다는 것이다. 게다가, 최근의 연구는 Dissection 과정이 획일적인 학습 경험이 아니라는 것을 보여주었다. 다른 학생들은 해부 과정(또는 그 문제에 대한 다른 교육 방법)을 다루는 데 있어서 매우 다른 접근 방식을 가질 수 있으며, 따라서 다양한 학습 경험을 경험하게 되며, 이것은 개별 학생들 간의 지식의 양과 형태의 차이를 초래할 수 있다.

The inconclusive findings concerning the influence of different anatomy teaching tools on student knowledge may be related to the fact that tools like computer models are more helpful in learning complex anatomical structures (e.g. the inner ear, bones of the skull or the brain). Students may get a better understanding of complex structures from 3D computer models, which enable zooming and rotation, whereas less complex structures (e.g. abdominal organs) can easily be studied from a textbook or cadaveric material. An interesting finding in this respect is that medical staff (both anatomists and clinicians) seem to want to keep dissection as a teaching tool (Patel & Moxham 2006), whereas students do not always rate dissection as the most useful tool for learning anatomy (Nnodim 1988; Dinsmore et al. 1999; Azer & Eizenberg 2007). Furthermore, recent research has shown that a dissection course is not a uniform learning experience (Winkelmann et al. 2007). Different students may very well have different approaches in dealing with a dissection course (or other teaching methods for that matter), therefore undergoing divergent learning experiences, which may result in difference in amount and form of knowledge between individual students.

인간의 시체 해부는 학부 의학 교육(다른 교육 도구로 대체됨)에서 벗어나고 있는 것처럼 보일 수도 있지만, 그것은 확실히 졸업후 수련교육에서 인기를 얻고 있다. 학부 교육에 해부를 사용하는 것을 옹호하는 저자들은 해부학적 지식 외에 전문성, 수동적 손재주, 팀워크, 자기 평가, 윤리 등과 같은 다른 학습 목표에 대한 해부의 이점을 자주 언급한다.

While human cadaver dissection may seem to be on the way out in undergraduate medical education (substituted by other teaching tools), it is definitely gaining popularity in postgraduate training (Wong & Stewart 2004). Authors advocating the use of dissection in undergraduate education frequently mention its benefits for other learning objectives besides anatomical knowledge, such as professionalism, manual dexterity, teamwork, self- and peer-evaluation, ethics, etc. (Aziz et al. 2002; Rizzolo 2002; Gregory et al. 2009).

마지막으로, Erkonen 외 연구진(1992)과 Stanford 외 연구진(1994)의 결과는 컴퓨터 단층 촬영(CT) 이미지 또는 시체에서 해부학을 학습하는 것이 CT 이미지 또는 시체를 사용하여 시험 문제에 서로 다른 영향을 미치는지 여부를 연구한 결과, 서로 [다른 교육 도구]가 학생들에게 [다른 지식]을 학습하는 데 도움이 된다는 것을 나타낼 수 있다. 이는 위에서 언급한 Biasutto 외 연구진(2006)의 결과와 일치한다. 이러한 고려사항에 기초하여, 우리는 향후 연구가 학생들이 해부와 다른 교육 도구로부터 무엇을 어떻게 배우는지 집중한 후 두 방법 중 하나에 유리한 결론을 도출할 것을 권고할 것이다.

Last but not least, results from Erkonen et al. (1992) and Stanford et al. (1994) could indicate that different teaching tools aid students in learning different knowledge, as the studies showed that whether learning anatomy from computed tomography (CT) images or cadaver had different effects on test questions using CT images or cadavers (p < 0.0001). This is in agreement with results of Biasutto et al. (2006) mentioned above. Based on these considerations, we would recommend that future research should concentrate on what and how students learn from dissection and other teaching tools before drawing conclusions in favour of the either method.

맥락적으로 해부학을 가르치지 않는 것의 영향
The influence of not teaching anatomy in context

흥미롭게도, 맥락적인 교육은 새로운 주장이 아니다; 사실, 그것은 한 세기 이상 전에 주장되었다: '잘 발달된 살아 있는 주제에 대한 외과의사의 일이나 의사의 의무에 대해 무지하지도 부주의하지도 않은 훌륭한 해부학자의 한 강의는 6개월간의 미세한 해부학 강의[…]보다 더 많은 실질적인 도움이 될 것이다.' (프로세서 1868, 페이지 545) 해부학 교수법에서 일반적으로 사용되는 맥락은 크게 네 가지 범주로 나눌 수 있다.

  • (1) 임상 스킬 (신체검사),
  • (2) 병리학(예: 암, 신경 질환, 근골격계 문제),
  • (3) 영상의학 (예: X선, CT, 초음파 해석),
  • (4) 수술 프로시져 (예: 맹장수술 또는 내시경/후두경 시술) 

Interestingly, teaching in context is not a new argument; in fact, it was advocated more than a century ago: ‘One lecture […] by a good anatomist […] who is neither ignorant nor careless of the work of a surgeon, or the duties of a physician, on a good well-developed living subject, would do more real good than six months’ lectures on minute anatomy […]’ (Prosser 1868, p. 545). The contexts that are commonly used in anatomy teaching can be roughly divided into four categories:

  • (1) clinical skills (physical examination),
  • (2) pathology (e.g. cancer, neurological diseases, musculoskeletal problems),
  • (3) radiology (e.g. interpreting X-rays, CT, ultrasound) and
  • (4) surgical procedures (e.g. appendectomy or endoscopic/laparoscopic procedures).

많은 연구에서 학생들은 전통적인 과정 형식보다 [맥락적으로 해부학을 가르치는 과정]과 관련하여 더 긍정적인 태도/인식을 보고했다. 몇몇 연구는 맥락적으로 해부학을 가르친 과정 전후에 학생들의 해부학적 지식을 비교했다(표 4). 놀랄 것도 없이, 학생들은 수업이 끝난 후에 이전보다 더 많이 알고 있었지만, 사용된 공부 방법은 이것이 수업 방법에 관계 없이 문맥에서의 수업 때문인지 아니면 수업 출석 때문인지에 대한 확고한 결론을 배제한다. (더 많은 시간을 학습하면 더 많은 지식을 얻을 수 있다.) 우리의 문헌 검색은 맥락 안과 밖에서 해부학을 가르치는 결과를 비교하는 어떤 연구도 산출하지 못했다.

In many studies, students reported more positive attitudes/perceptions in relation to a course teaching anatomy in context than in relation to traditional course formats (Fitzpatrick et al. 2001). A few studies have compared students’ anatomical knowledge before and after a course in which anatomy was taught in context (Table 4). Unsurprisingly, students knew more after the course than they did before it, but the study methods used preclude any firm conclusions as to whether this was due to teaching in context or to course attendance irrespective of teaching method (more time spent learning leads to more knowledge). Our literature search yielded not one study comparing the results of teaching anatomy within and out of context.

Koens 등의 연구는 실제로 학습, 보존 및 지식의 전달을 용이하게 하는 컨텍스트를 만드는 것이 종종 생각하는 것만큼 간단하지 않다는 것을 보여주었다. 이러한 목표에 도달하기 위해서는, 예를 들어 복부의 해부학 학습을 용이하게 하기 위해 CT 스캔을 도입하는 것보다 훨씬 더 멀리 가야 할 수도 있다. 현재 우리는 맥락 속에서의 (해부학)교육의 모든 (불)가능성을 아직 완전히 이해하지 못하고 있다.
Studies by Koens et al. (2003, 2005a) showed that creating a context that actually facilitates learning, retention and transfer of knowledge is not as straightforward as is often thought. To reach those goals, creating a context may have to go much further than, for example, introducing a CT scan to facilitate the learning of the anatomy of the abdomen. Currently, we do not yet fully understand all the (im)possibilities of teaching (anatomy) in context.

통합 커리큘럼의 영향(문제 기반 학습 또는 시스템 기반 커리큘럼)
The influence of integrated curricula (problem-based learning or systems-based curriculum)

1993년 버논 & 블레이크(1993)가 실시한 문제 기반 학습(PBL)의 효과를 조사하는 메타 분석은 다음과 같이 보고했다. 
'PBL은 학생의 프로그램 평가(즉, 학생의 프로그램에 대한 태도 및 의견)와 학생의 임상 수행 측정치[…]와 관련하여 상당히 우수한 것으로 나타났다. PBL과 전통적인 방법은 사실 지식[…]과 임상 지식[…]의 여러 테스트에서 차이가 없었다.'
최근의 메타 분석 두 가지도 유사한 결과를 보여준다.

A meta-analysis examining the effectiveness of problem-based learning (PBL), conducted in 1993 by Vernon & Blake (1993), reported that: ‘PBL was found to be significantly superior with respect to students’ programme evaluations (i.e. students’ attitudes and opinions about their programmes) […] and measures of students’ clinical performance […]. PBL and traditional methods did not differ on miscellaneous tests of factual knowledge […] and tests of clinical knowledge […]’ (p. 550). Two more recent meta-analysis show similar results (Colliver 2000; Newman 2003).

해부학적 지식에 대한 PBL 및 시스템 기반 커리큘럼의 영향을 구체적으로 다루는 연구는 거의 없다(표 5). 그들의 결과는 전통적인 교육과정에 비해 통합 커리큘럼의 명확한 장점과 단점을 보여주지 않는다. 다른 커리큘럼에 있는 학생들 사이의 기초 과학 지식(해부학 포함)의 차이를 조사하는 연구들 또한 결론을 내리지 못했다.

Studies that specifically address the influence of PBL and systems-based curricula on anatomical knowledge are few (Table 5). Their results show no clear benefits or drawbacks of integrated curricula compared to traditional ones. Studies examining the difference in basic science knowledge (including anatomy) between students in different curricula (Alleyne et al. 2002; Woloschuk et al. 2004) were also inconclusive.

이용 가능한 증거 또는 그것의 부족은, 이것이 결정적으로 이루어질지는 의심스럽지만, 해부학적 지식에 대한 혁신적인 커리큘럼의 효과가 확인되어야 한다는 것을 보여준다. 약간 다른 의견으로, 커리큘럼 비교 연구의 저자들은 [커리큘럼의 기반을 이루는 교육적 접근법이 학생들의 해부학적 지식의 가장 강력한 결정 요소가 아닐 수 있다]고 제안했다. 이러한 관찰은 해부학 지식에서 더 나은 점수가 학부 커리큘럼 과정 중에 해부학적 측면을 다시 검토했는지 여부와 관련이 있는 것으로 보인다는 결과를 보여줌으로써 촉발되었다. 해부학 수업, 반복, 맥락적 교육에 할애되는 시간의 양은 학교가 통합적이거나 전통적인 커리큘럼을 가지고 있는지 아닌지에 비해 훨씬 더 강한 영향을 미칠 수 있다. 그러나, 추가 연구는 이 개념을 뒷받침할 증거를 제공해야 할 것이다.

The available evidence, or lack of it, shows that the effect of innovative curricula on anatomical knowledge remains to be ascertained, although it is doubtful whether this will ever be done conclusively. On a slightly differing note, the authors of a curriculum comparison study (Prince et al. 2003) suggested that the educational approach underpinning a curriculum may not be the strongest determinant of students’ anatomical knowledge. This observation was prompted by results showing that better scores in anatomical knowledge appeared to be related to whether anatomical aspects were revisited during the course of the undergraduate curriculum. The amount of time devoted to anatomy teaching, repetition and teaching in context may have a much stronger impact than whether or not a school has an integrated or a traditional curriculum. However, further research will have to provide evidence to underpin this notion.

해부학적 지식을 평가하는 방법의 영향
The influence of the way anatomical knowledge is assessed

많은 기사들은 학생들의 해부학적 지식을 평가하는 다양한 방법들을 묘사한다. 자주 사용되는 방법은 다음과 같습니다. 

  • (1) 객관식 문제(MCQ), (2) 단답형 문제, (3) 논술형 문제, (4) 그림이나 시체에서 구조를 식별하는 문제(MCQ 또는 단답형 문제), (5) 도면 구조. 

Many articles describe different ways to assess students’ anatomical knowledge. Frequently used methods are:

  • (1) multiple choice questions (MCQs), (2) short answer questions, (3) essay questions, (4) identifying structures in a picture or cadaver (either MCQ or short answer) and (5) drawing structures.

시험은 펜과 종이 유형, 컴퓨터 기반 또는 구두 형식일 수 있다. 연구에 따르면 MCQ와 개방형 문제는 시험 당시 학생들의 지식을 평가하는 데 동등하게 효과적이다. 다시 말해, 두 유형의 문제 모두 개별 학생에 관련된 일부 예외에도 불구하고 '좋은' 학생과 '나쁜' 학생을 구별한다.
Tests can be of the pen and paper type, computer based or oral. Research has shown that MCQs and open questions are equally effective in assessing students’ knowledge at the time of the test, in other words, both types of question discriminate between the ‘good’ and the ‘bad’ students, despite some exceptions relating to individual students (Barnett 1960).

이 검토를 위해 문헌을 검색했을 때, 우리는 해부학 교육의 평가 방법에 대한 대부분의 기사가 1960-1980년 기간이라는 것을 알고 놀랐다. 또한, 우리의 검색은 해부학적 지식을 평가하기 위한 서로 다른 방법을 비교하는 세 개의 기사만 보여주었다(표 6). 여기에 따르면, [MCQ만 단독으로 사용하는 것이나 시험된 각 분야에 대한 최소 요건이 부족한 것]이 실제로 학생들의 [학습 행동과 지식 유지에 부정적인 영향을 미친다는 것]을 나타낸다. 이것은 건강 관련 교육을 제외한 다른 연구들과 일치하는 것으로 보인다.

When we searched the literature for this review, we were surprised to note that most of the articles on assessment methods in anatomy education dated from the period 1960–1980. Furthermore, our search revealed only three articles comparing different methods for assessing anatomical knowledge (Table 6). The results seem to indicate that the sole use of MCQs and/or the lack of a minimal requirement for each tested discipline have indeed a negative effect on students’ study behaviour and retention of knowledge. This seems consistent with other research outside health-related education (Sax & Collett 1968; Gill et al. 1978; Gay 1980).

해부학 교육 시간 단축의 영향
The influence of decreased time for anatomy education

의학적으로 자격이 없는 교사의 영향과 마찬가지로, 수업 시간 단축의 부정적인 영향은 두 가지 의문을 제기한다.

  • (1) 해부학을 가르치는 시간이 줄어들었고 
  • (2) 만약 그렇다면, 이것이 학생들의 해부학적 지식에 영향을 미쳤는가? 

검토에서는 첫 번째 질문에 대한 답변만 제공합니다(표 7). 해부학을 가르치는 시간은 사실 지난 수십 년 동안 줄어들었습니다. 예를 들어, 스코틀랜드의 5개 의과대학에서 총 해부학에 대한 평균 총 교수 시간(강의, 실습 세션 및 튜토리얼 포함)은 1983/1984년 382시간에서 2003/2004년 151시간으로 50% 이상 감소했습니다! 이는 같은 기간 동안 같은 기관의 조사 결과에 비추어 볼 때 더욱 흥미로운 것으로, 학생-직원 비율이 50% 이상 증가했다.

As with the influence of non-medically qualified teachers, the supposed negative effects of reduced teaching time raise two questions:

  • (1) has teaching time for anatomy actually decreased and
  • (2) if so, has this affected students’ anatomical knowledge?

The review offers an answer to the first question only (Table 7). Designated teaching time for anatomy did, in fact, decrease during the past decades. For example, mean total teaching time (including lectures, practical sessions and tutorials) for gross anatomy at five medical schools in Scotland decreased from 382 h in 1983/1984 to 151 h in 2003/2004, a reduction by more than 50%! This is all the more interesting in light of findings in the same institutions during the same period, showing a more than 50% rise in student–staff ratios (Pryde & Black 2005).

수업 시간을 지식 결과와 연관짓는 연구가 없을 때, 두 번째 질문은 다시 답이 없는 상태로 남아 있어야 한다. 이 주제에 대한 추가 연구를 수행하는 사람들은 다음과 같은 가능성을 고려할 것을 권고한다. 수업 시간의 감소가 계산될 때, 시간은 보통 교사와 학생의 접촉 시간(강의 시간 또는 실험실 시간)으로 측정된다. 일반적으로 간과하는 사실은 [접촉 시간의 감소가, 자동적으로 학생들이 해부학을 배우는 데 더 적은 시간을 소비한다는 것을 의미하지는 않는다]는 점이다. 접촉 시간의 감소는 더 많은 자율 학습 시간에 의해 상쇄될 수 있다. 따라서 학생들이 해부학을 배우는 데 얼마나 많은 시간을 쏟는가에 대한 현실적인 통찰력을 얻기 위해서는, 특히 자기 주도 학습 접근법이 있는 커리큘럼에서, 자율 학습 시간을 살펴보는 것도 중요하다.

In the absence of studies linking teaching time to knowledge results, question two again has to remain unanswered. Those undertaking further research on this subject are advised to consider the following possibility. When decreases in teaching time are calculated, time is usually measured as the number of hours (either lecture or laboratory time) of teacher–student contact. What is generally ignored is the possibility that a decrease of contact hours does not automatically imply that students spend less time learning anatomy. The decrease in contact hours may be counterbalanced by more self-study time. So, in order to gain a realistic insight into how much time students devote to learning anatomy, it is important to also look at time for self-study, especially in curricula with a self-directed learning approach.

해부학 교육의 수직적 통합 소홀의 영향
The influence of neglect of vertical integration of anatomy education

우리는 학부 커리큘럼의 후기, 전통적으로 임상적, 그리고 그것이 학생들의 해부학적 지식에 미치는 영향을 조사하는 단 하나의 기사만을 발견했다(표 8). 다시, 사용된 방법은 수직적 통합 또는 과정이 제공되었다는 사실만으로 보고된 개선된 지식의 귀속과 관련된 결론을 배제한다.
We found only one article investigating anatomy education in the later, traditionally clinical, years of the undergraduate curriculum and its effects on students’ anatomical knowledge (Table 8). Again, the methods used preclude conclusions regarding the attribution of reported improved knowledge to vertical integration or to the mere fact that a course was offered.

해부학의 수직적 통합에 대한 기사가 부족하다(체계적인 문헌 검색에서는 42개 기사, 기타 요인에 대한 기사 수의 3분의 1 미만). 해부학이 커리큘럼(Evans & Watt 2005)에서 어떻게 수직적으로 통합되었는지, 어떻게 이것이 달성되었는지, 수직적 통합이 왜 중요한지, 해부학 교육에 대한 의대생들의 인식/태도에 어떻게 영향을 미치는지 조사한 연구자는 거의 없다. 해부학의 수직적 통합은 매우 바람직하고 몇 가지 문제를 해결하는 데 도움이 되는 것으로 간주되기 때문에 이러한 연구의 부족은 놀랍다.

  • (1) 수직 통합 교육은 가르치는 시간을 늘립니다. 
  • (2) 수직 통합 교육은 가르침은 기초 과학 전문가와 임상의의 협력적인 노력이 될 수 있다(가르친 것의 임상적 관련성을 증가시킨다). 
  • (3) 수직 통합 교육은 가르치는 것과 배우는 것의 반복을 촉진한다. 
  • (4) 수직 통합 교육은 상황에 맞게 가르칠 수 있는 기회(예: 특정 임상 순환과 관련된 해부학을 가르칠 수 있는 기회)를 증가시킨다. 

따라서 해부학 교육의 수직적 통합에 대한 추가 연구가 강력히 권장된다.

There is a scarcity of articles on vertical integration of anatomy (only 42 articles in the systematic literature search, less than one-third of the number of articles on the other factors). Few researchers have investigated how anatomy was vertically integrated in a curriculum (Evans & Watt 2005), how this was achieved, why vertical integration is important, or how it affects the perceptions/attitudes of medical students concerning anatomy education (Brynhildsen et al. 2002). This paucity of studies is surprising, since vertical integration of anatomy is greatly desired (Waterston & Stewart 2005) and considered helpful in solving several issues:

  • (1) it increases teaching time,
  • (2) teaching can be a collaborative effort of basic science experts and clinicians (increasing the clinical relevance of what is taught),
  • (3) it promotes repetition in teaching and learning and
  • (4) it offers increased opportunities for teaching in context (e.g. teaching the anatomy that is relevant to a specific clinical rotation).

Further research on vertical integration of anatomy education is therefore strongly recommended.

토론 및 결론
Discussion and conclusion

이 서술적 검토의 결과는 해부학적 지식에 잠재적으로 영향을 미치는 것으로 식별된 요소를 다루는 연구의 부족을 보여준다. 게다가, 우리가 발견한 연구들은 방법론적 질이 부족했다. 결과적으로, 검토는 확실한 결론에 대한 근거를 제공하지 않으며 기껏해야 상충되는 결론만 제공한다. 다시 말해서, 제안된 요인의 주장된 영향력을 뒷받침할 경험적 증거가 부족한 것으로 보인다. 왜 이런지 의문이 들 수 있다.
The results of this narrative review reveal a scarcity of studies dealing with the factors identified as potentially influencing anatomical knowledge. In addition, the studies we did find were lacking in methodological quality. Consequently, the review offers no basis for firm conclusions, and only conflicting conclusions at best. In other words, there appears to be a lack of empirical evidence to support the claimed influence of any of the proposed factors. One may wonder why this should be so.

첫 번째 설명은 해부학적 지식 수준의 악화가 [세대 갈등에서 발생하는 인식]이라는 것이다. 이러한 해석은 우리가 연구한 기간 이전 수십 년 동안 해부학적 지식의 감소에 대한 불만도 들었다는 사실에 의해 뒷받침된다. 젊은 세대가 자동차를 운전하든, 돈을 절약하든, 관계를 유지하든, 산수를 하든, 해부학적 지식을 재생산하든 많은 것을 할 능력이 떨어진다고 불평하는 것은 드문 일이 아니다. 비록 이것이 첫눈에 그럴듯한 설명처럼 보일지라도, 상황은 아마도 훨씬 더 복잡할 것이다. 우리가 발견한 모든 연구는 한 가지 요소만을 조사했지만, 실제로 학생들의 해부학적 지식의 실제 또는 인식 감소에 여러 가지 요소의 조합이 걸려 있을 것이다. 그리고, 중요한 요소들은 우리가 조사했던 요인들 말고 다른 요인들일 것이다. 예를 들어, 서로 다른 학생-직원 비율의 영향을 탐구하는 것이 유익할 수 있다.
A first explanation might be that the assumed deterioration of anatomical knowledge levels is a perception arising from generation conflict. This interpretation is supported by the fact that complaints of declining anatomical knowledge were also heard in decades preceding the period we studied (Taylor & Wilson 1975). It is not uncommon for a generation to complain that younger generations are less capable of many things, whether it be driving a car, saving money, maintaining relationships, doing arithmetic or reproducing anatomical knowledge. Although this may seem a plausible explanation at first sight, things are probably far more complex. All the studies we found examined only one factor, but it may well be the case that, in practice, a combination of factors is at stake in the actual or perceived decline of students’ anatomical knowledge. And, it is equally likely that the crucial factors are others than the ones we examined. It may, for instance, be fruitful to explore the influence of different student–staff ratios.

[학생들의 해부학적 지식이 감소하고 있는지 여부]와 [이것이 의사들의 전문적인 수행능력을 위험에 빠뜨릴지 여부]는 해부학적 지식의 습득에 중요한 역할을 하는 요소를 식별하는 데 매우 관련이 있다. 의대생들은 해부학적 지식 없이는 할 수 없으며, 따라서 해부학적 교육 없이는 할 수 없다는 것이 일반적인 의견이다. 그러나, 오늘날 의학 교육에서 해부학 교육에 관한 핵심 의문은 [교육이 가능한 한 효과적으로 이루어질 수 있는 방법]에 점점 더 초점을 맞추고 있다. 다음은 이 질문에 대한 답을 찾는 데 방향을 제시할 수 있는 몇 가지 고려 사항입니다.

Whether or not students’ anatomical knowledge is decreasing, and whether or not this will endanger doctors’ professional performance, it remains highly relevant to identify factors that play a role in the acquisition of anatomical knowledge. There is a general consensus that medical students definitely cannot do without anatomical knowledge, and consequently without anatomy education, although opinions may differ as to its scope. However, in medical education today, the key question regarding anatomy education increasingly focuses on how education can be made as effective as possible. Following are some considerations which may give direction in the search of an answer to this question.

맥락적 교육에 대한 교육 연구의 흥미로운 주제는 '전이'의 개념이다: 한 맥락에서 학습된 개념을 사용하여 다른 맥락에서 문제를 해결하는 것이다. 기초과학을 배우고 시험에 합격했지만, 이 지식을 [문제를 풀거나 설명하는 데 사용할 수 없었던 의대생들]의 이야기는 흔하다. 일반적으로, 이러한 분리dissociation은 맥락을 벗어난 학습의 문제로 간주되며, 제안된 해결책은 기초 과학을 임상 문제와 더 잘 통합하려는 시도가 있다. 그러나 Woods 등이 보고한 결과에 따르면 맥락에서의 가르침은 기초과학과 임상지식의 유지, 진단적 추론 및 올바른 임상진단('전이')을 돕는다고 한다. 따라서 맥락에 맞는 교육은 해부학적 지식을 증가시킬 뿐만 아니라 문제 해결에서의 응용도 향상시킬 수 있다.
An interesting theme within educational research on teaching in context is the notion of ‘transfer’: using a concept learnt in one context to solve a problem in a different context. ‘Stories of medical students who have learnt the basic science, passed the examinations, but were then unable to apply this knowledge to solve or explain problems, are commonplace. Typically, this dissociation is viewed as an issue of learning out of context, and proposed solutions attempt to integrate the basic science better with the clinical problems’ (Norman 2009, p. 808). Creating an adequate context to teach in (as described earlier), but also retrieving a learnt concept to solve a new problem are more difficult than one might think (Norman 2009). However, results reported by Woods et al. (2005, 2007a, 2007b) indicate that teaching in context aids retention of basic science and clinical knowledge, diagnostic reasoning and correct clinical diagnosis (‘transfer’). Thus, teaching in context may not only increase anatomical knowledge but also improve its application in problem solving.

모든 교사가 알아야 할 기초 과학 지식의 평가에 관한 문제는 스완슨 & 케이스(1997)가 다룬다. '일반적인 기초과학 과목에서 배워야 할 교재의 양은 압도적이며, 학생들은 무엇을 공부할 것인지를 선택해야 한다. 의대생들은 동기부여가 높고 학문적으로 강하기 때문에 시험을 잘 치르고 싶어하고, 어떤 자료가 공부할 가치가 있는지 지도하기 위해 시험을 본다. 테스트가 주요 코스 목표와 일치할 경우, 테스트는 학습해야 할 내용을 적절히 전달한다. 수업 목표와 시험 사이에 불일치가 발생하면, 평가는 학생이 unfortunate direction을 향한 준비와 학습에 초점을 맞추게 만든다.'(74쪽). 

An issue concerning assessment of basic science knowledge that every teacher should be aware of is dealt with by Swanson & Case (1997): ‘The amount of material to be learned in a typical basic science course is overwhelming, and students must make choices of what to study. Because medical students are highly motivated and academically strong, they want to perform well on tests, and they look to tests for guidance on what material is worth studying. To the extent that tests are congruent with major course goals, the tests will appropriately communicate what should be learnt. To the extent that there is a mismatch between course goals and tests, assessment may well focus student preparation and learning in unfortunate directions’ (p. 74).

학습과 평가의 관계에 대한 인지심리학 연구의 최근 발표된 개요에서 라르센 외 연구진(2008)은 평가 방법을 선택하는 것이 평가의 목표에 따라 달라져야 한다고 제안한다. 시험을 보는 순간의 사실적 지식을 측정하고, '좋은' 학생과 '나쁜' 학생을 구별하는 것이 목표라면 MCQ의 사용은 문제가 없다. 하지만 학습 행동을 자극하고, 지식의 보유를 개선하며, 문제 해결에 지식을 적용하는 능력을 측정하는 것과 같은 다른 목표가 있다면, 다른 평가 방법이 더 나을 것이다.

In a recently published overview of cognitive psychology research on the relationship between learning and assessment, Larsen et al. (2008) suggest that choosing a method of assessment should depend on the goal of the assessment, although further research is needed to confirm this. If the goal is to measure factual knowledge at the moment the test is taken and to distinguish the ‘good’ from the ‘bad’ students, there are no limitations to the use of MCQs. If there are other goals as well, such as to stimulate study behaviour, improve retention of knowledge and/or measure ability to apply knowledge in problem-solving, other assessment methods are probably preferable.

Swanson & Case (1997)는 다음과 같은 글을 쓸 때 이에 동의하는 것처럼 보인다. '분명히, 이해를 위한 학습을 장려하기 위해서는 평가는 고립된 사실을 상기하는 것 이상의 것을 시험할 필요가 있다. 대신 평가는 기본 과학 지식의 적용, 종종 임상 상황에 대한 적용, 그리고 그러한 상황에 대한 조정되고 학제 간 이해를 달성하기 위한 주제와 과정에 걸친 지식의 통합에 초점을 맞추어야 한다. […] 평가에 대한 연구는 대안적인 평가 계획(내용과 빈도, 방법 포함)이 학생 학습 활동과 결과에 미칠 수 있는 영향을 직접적으로 고려해야 한다.'(74쪽).

Swanson & Case (1997) seem to agree with this when they write: ‘Clearly, in order to encourage learning for understanding, assessments need to test more than recall of isolated facts. Instead, assessments should focus on application of basic science knowledge, often to clinical situations, and on integration of knowledge across topics and courses to achieve a coordinated, cross-disciplinary understanding of those situations. […] Research on assessment must directly consider the likely impact that alternate assessment plans (including content and frequency as well as method) will have on student learning activities and outcomes’ (p. 74).

마지막으로 중요한 것은, 학생들이 그들의 해부학적 지식에 대해 어떻게 생각하는지 알고 싶어할 수도 있다. 해부학자와 임상의의 지식에 대한 인식이 부정확할 수 있기 때문에, 학생들이 해부학적 지식에 대해 그렇게 높은 요구를 해야 하는 이유는 분명하지 않지만, 학생들의 해부학적 지식에 대한 판단이 훨씬 더 엄격하다는 징후가 있다. 하지만, 학생들이 해부학적 지식에 대해 확실히 강하게 느끼기 때문에, 그들은 또한 그 지식에 영향을 미치는 요소들에 대해 강한 의견을 가질 가능성이 있고, 그들이 해부학을 배우면서 어떻게 나아가고 싶은지 우리에게 말할 수 있을 것이다. 후자의 방향으로의 좋은 예는 의과 2학년 학생들의 해부학을 배우는 접근 방식을 개별적이고 반구조적인 인터뷰를 통해 탐구하는 Wilhelmson 외 연구(2009)이다. 앞서 언급한 분야에 대한 보다 광범위한 연구는 해부학 교육의 효과를 높이는 방법에 대한 다른 빛을 비추고 퍼즐에 조각을 추가할 수 있다.
Last but not least, one might want to know what students think of their anatomical knowledge. As the perceptions of anatomists and clinicians about their knowledge might be inaccurate, there are indications that students are even more severe in their judgement of their anatomical knowledge (Prince et al. 2005), although it is not clear why students should place such high demands on anatomical knowledge. However, since students clearly feel strongly about anatomical knowledge, they are also likely to have strong opinions concerning factors influencing that knowledge and may well be able to tell us how they would like to go about in learning their anatomy. A nice example in the direction of the latter is the study of Wilhelmsson et al. (2009), in which the approach to learning anatomy of second year medical students is explored by means of individual, semi-structured interviews. More extensive research in the aforementioned areas may shed a different light on, and add pieces to the puzzle of, how to increase the effectiveness of anatomy education.

지금까지의 유망한 연구 결과 또는 둘 이상의 관심 분야에 대한 기여 전망에 기초하여, 우리는 연구가 다음 요소에 초점을 맞추어야 한다고 제안한다. 

  • 맥락에서의 교수 가능성,
  • 수직적 통합의 구현
  • 평가 전략의 구현 

Based on promising research findings so far, or on prospects of a contribution to more than one area of concern, we propose that research should focus on the following factors:

  • the possibilities of teaching in context,
  • the implementation of vertical integration and
  • the implementation of assessment strategies.

흥미롭게도, 해부학 교육은 아마도 이러한 요소들이 보여주는 [일반적인 효과의 특별한 경우]일 것이다. 이러한 분야의 연구 결과는 해부학 교육보다 더 폭넓게 적용되며 모든 기초과학과 다른 과학으로도 확대될 수 있다.

Interestingly, anatomy education is probably only a special case of the general effects of these factors. Findings in these areas may well have wider application than anatomy education and extend to all basic and maybe other sciences as well.

 


Med Teach. 2011;33(5):403-9. doi: 10.3109/0142159X.2010.536276. Epub 2011 Feb 28.

Why don't they know enough about anatomy? A narrative review

Affiliations collapse

Affiliation

1Department of Anatomy/Embryology, Faculty of Health, Medicine and Life Sciences, Maastricht University, The Netherlands. e.bergman@ae.unimaas.nl

PMID: 21355704

DOI: 10.3109/0142159X.2010.536276

Abstract

Background: Publications in a variety of journals have described the problem of medical students' decreasing anatomical knowledge. Interestingly, the number of people making this assertion is growing, despite a lack of empirical evidence that today's medical graduates actually know less about anatomy than medical students in the past. Nevertheless, many people are claiming that students' anatomical knowledge is impaired due to negative effects from several factors, including teaching by non-medically qualified teachers, diminished use of cadaver dissection as a teaching tool and neglect of vertical integration of anatomy teaching.

Aim: To find empirical evidence for the factors claimed to have an influence on anatomical knowledge of students.

Method: A literature search.

Results: There is a lack of sufficient quantity and quality of information within the existing literature to support any of the claims, but the gathered literature did reveal some fascinating insights which are discussed.

Conclusion: Anatomy education should be made as effective as possible, as nobody will deny that medical students cannot do without anatomical knowledge. Because of promising findings in the areas of teaching in context, vertical integration and assessment strategies, it is recommended that future research into anatomy education should focus on these factors.

 

해부학 교육의 베스트 프랙티스: 비판적 문헌고찰(Ann Anat, 2016)
Best teaching practices in anatomy education: A critical review

Mohamed Estaia,b,∗, Stuart Buntb

 

 

1. 서론
1. Introduction

해부학은 의학 커리큘럼의 초석 중 하나로 여겨지며, 임상의들이 임상 기술을 개발하는 데 있다. 해부학에 대한 깊은 이해는 안전한 임상 실습, 특히 수술 분야에서 필수적이다(Turney, 2007). 인간 해부학의 교육은 여느 과정과 마찬가지로 학습 과정에 가장 적합한 교수 도구와 접근법을 결정하기 위해 끊임없는 수정과 분석이 필요하다(Moxham and Plaisant, 2007). 최근, 통합 및 시스템 기반 커리큘럼으로의 전환으로 인해 전통적인 시체 기반 해부학 교수법이 감소하였다. 종교적 신념, 비용 및 시간적 요인도 이러한 감소에 한몫했다. 이것은 해부학 교육에 할애된 시간의 양이 적절하지 않다는 보고에 의해 뒷받침된다(Lockwood and Roberts, 2007, Drake et al., 2009).

Anatomy is considered one of the cornerstones of medical curricula and it is on that clinicians develop their clinical skills. A deep understanding of anatomy is fundamental for safe clinical practice, particularly in the discipline of surgery (Turney, 2007). The teaching of human anatomy, like that of any course, requires constant revision and analysis to determine the teaching tools and approaches that best suit the learning process (Moxham and Plaisant, 2007). In recent times, there has been a reduction in traditional, cadaver-based, anatomy teaching, in some cases driven by a shift towards an integrated and/or system-based curriculum (Drake et al., 2009, Tibrewal, 2006). Religious belief, cost and time factors have also played a role in this reduction. This is supported by reports that the amount of time devoted to anatomy teaching is not adequate (Lockwood and Roberts, 2007, Drake et al., 2009).

외과적 과실에 대한 의료-법적 소송이 꾸준히 증가하고 있다(Goodwin, 2000). 1995년과 2000년 사이에 영국에서는 의학 방어 연합에 제출된 해부학적 무능력과 관련된 주장이 7배 증가했으며, 이 중 32%는 일반 및 혈관 외과 의사들에 대한 주장이었고, 많은 사람들은 "기초 구조물에 대한 손상"을 언급했다. 케이힐과 동료들은 미국에서 매년 피할 수 있는 80,000명의 죽음 중 상당한 수가 의사 무능뿐만 아니라 해부학적 오류 때문일 수 있다는 것을 보여주었다. 수술에 참여한 신규 거주자의 3분의 1 미만이 적절한 해부학적 지식을 가지고 있다는 보고에도 불구하고(Cottam, 1999), 수많은 의과대학들이 해부학을 가르치는 데 전념하는 수업 시간을 계속해서 줄이고 있으며, 학부생과 대학원생(의학과 치과) 학생들 사이에서 해부학에 대한 지식은 감소하고 있다.

There has been a steady increase in medico-legal litigation for surgical malpractice (Goodwin, 2000). In the UK, between 1995 and 2000, there was a 7-fold increase in claims associated with anatomical incompetence submitted to the Medical Defence Union; 32% of these claims against general and vascular surgeons, and many citing “damage to underlying structures” (Ellis, 2002). Cahill and colleagues showed that a significant number out of the 80,000 avoidable deaths per year in the US may be due to anatomical errors as well as doctor incompetence (Cahill et al., 2000). In spite of a report that less than one-third of new residents in surgery have adequate anatomical knowledge (Cottam, 1999), numerous medical schools continue to reduce the teaching time devoted for teaching anatomy and the knowledge of anatomy amongst undergraduate and graduate (medical and dental) students is in decline (Smith and Mathias, 2011, Moxham and Plaisant, 2007).

이전의 많은 출판물은 해부학 커리큘럼을 조사했으며, 약리학, 생물학, 생화학 또는 생리학 같은 의학 커리큘럼의 다른 측면보다 더 많을 수 있다(Pabst, 2009). Brenner 등은 6가지 교육 도구 범주를 설명합니다. 

  • (i) 학생들에 의한 해부, 
  • (ii) 시험된 시료의 검사, 
  • (iii) 교육, 
  • (iv) 모델의 사용, 
  • (v) 컴퓨터 기반 학습(CBL)과 
  • (vi) 생물 및 방사선 해부학 교수 

Many previous publications have examined anatomy curricula, may be more than any other aspect of the medical curricula e.g. pharmacology, biology, biochemistry or physiology (Pabst, 2009). Brenner et al. describe six categories of teaching tools:

  • (i) dissection by students,
  • (ii) inspection of prosected specimens,
  • (iii) didactic teaching,
  • (iv) use of models,
  • (v) computer-based learning (CBL) and
  • (vi) teaching of living and radiological anatomy (Brenner et al., 2003).

해부학 커리큘럼의 변화에 비추어 볼 때, 몇몇 연구는 해부학자와 학생들의 다양한 교육 양식에 대한 태도를 탐구했다. 해부학 교육에서 최고의 교수 실습에 대한 권고안을 마련하기 위해 해부학자, 임상의사 및 학생의 관점에서 해부학 교육의 현재 상태와 관련된 증거를 위해 문헌을 비판적으로 검토한다.

In light of the changes in anatomy curriculum, several studies have explored anatomists’ and students’ attitudes towards different teaching modalities (Kerby et al., 2011, Azer and Eizenberg, 2007, Patel and Moxham, 2006). We critically review the literature for evidence relating to the current status of anatomical education from the perspectives of anatomists, clinicians, and students, with the aim of coming up with recommendations for best teaching practice in anatomy education.

2. 토론
2. Discussion

2.1. 시체 해부
2.1. Cadaver dissection

해부Dissection는 400년 이상 동안 주요 해부학 교수법이었다. 인간 시체 해부를 이용한 학습은 능동적이고 심층적인 학습 강화, 임상 실습 준비, 죽음과의 조우 준비, 수동 기술 연습, 환자의 증상과 병리 사이의 관계 이해와 같은 수치화하기가 쉽지 않은 장점이 있다. 또한 팀워크 역량, 스트레스 대처 전략, 공감 등 의료 전문성 발달에도 기여한다. 플라스틱과는 달리, 시체들을 이용한 해부는 [해부학적 변형]의 식별에 놀라움을 제공하고, [더 많은 변형과 더 미세한 디테일]을 보여주며, 학생들이 수술실에 있는 것처럼 느낄 수 있는 살아있는 몸의 수준에 가까운 질감을 보존한다. 시체 해부가 미래의 의사를 배출하는 과정에서 필수적인 역할을 한다는 것에는 의심의 여지가 없다. 따라서, 어떤 사람들은 해부학 지식을 얻기 위해 해부 과정이 여전히 학습자들에게 필수적이라고 믿는다.

Dissection has been the primary anatomy teaching method for over 400 years (Azer and Eizenberg, 2007). Learning using dissection of human cadavers has advantages that are not easy to quantify such as; enhancing active and deep learning, preparing students for clinical practice, preparing students for encounters with death, practice of manual skills and for understanding the relationship between patients’ symptoms and pathology (Azer and Eizenberg, 2007, Fruhstorfer et al., 2011). It also contributes to the development of medical professionalism, including teamwork competency, stress coping strategies and empathy (Bockers et al., 2010). Unlike plastination, dissections using cadavers provide a feeling of surprise at the identification of anatomical variations (Korf et al., 2008), show more variations and finer details, and preserve texture to a level close to those of living body which allow students to feel as if they are in the operating theatre (Mcbride and Drake, 2015). There is no doubt that cadaver dissection plays an integral role in the process of producing future doctors (Netterstrom and Kayser, 2008). Therefore, some believe that dissection courses are still indispensable for learners to achieve anatomical knowledge (Korf et al., 2008).

많은 해부학자들은 여전히 다른 교육 도구보다 해부학의 사용을 선호한다. 파텔과 막스햄(2006)은 인터뷰한 해부학자의 대다수가 해부학을 선택했고(69%) 그 다음이 prosections를 가장 적절한 교수법으로 선택했다는 것을 발견했다. Kerby 외 연구진(2011)은 해부학자와 학생 모두 학습 결과를 충족시키는 데 있어 해부 과정이 가장 "목적에 적합한" 것으로 간주된다고 결론 내렸다. Davis 등은 해부학자와 성병학자 모두 해부학 교수 자원에 대한 해부학자와 의대생의 인식을 탐구했다. 학생들은 해부학 교육에서 시체 해부를 사용하는 것을 강력히 선호했다. 비슷하게, 울름대학교 의과대학의 의대 학생들은 시체 해부를 가르치는 도구로 사용하는 것을 높이 평가했다.

Many anatomists still favour the use of dissection over other teaching tools. Patel and Moxham (2006) found that majority of the anatomists interviewed (69%) selected dissection, followed by prosections as the most appropriate teaching method. Kerby et al. (2011) concluded that dissection courses were viewed by both anatomists and students as most “fit for purpose” in meeting learning outcomes, but no single teaching tool met all aspects of the curriculum. (Davis et al., 2014) explored anatomists’ and medical students’ perceptions towards anatomy teaching resources, both anatomists and students strongly favoured using cadaver dissection in anatomy teaching. Similarly, medical students at the Ulm University Faculty of Medicine highly rated using cadaver dissection as a teaching tool (Bockers et al., 2010).

반면에, 완전한 시체 해부가 여전히 현대 학부 교육에 적합한지에 대한 논쟁이 있었다. 해부를 위해 시체를 사용하는 것은 비용이 많이 들고 시간이 많이 걸리며 시대에 뒤떨어진 것으로 여겨져 왔다. 해부 과정은 영국, 미국, 호주 의과대학에서 더 이상 주요 교수법으로 사용되지 않는다. 전신 해부는 해부학을 가르치는 다른 양식과 함께 해부학 기반 과정으로 대체되었다. 해부학 커리큘럼의 해부 과정을 강조하지 않는 것은 다음에 의해 주도되고 있다.

  • 지역 기반 접근 방식에서 시스템 기반 접근 방식으로의 이동,
  • 이미 붐비는 커리큘럼의 해부 시간 단축 및 빈소 및 해부 실험실 유지와 관련된 높은 비용,
  • 공식 매연 노출과 관련된 건강 문제,
  • 카데바의 지속적인 사용을 둘러싼 윤리적 및 의학-법적 문제

졸업과 동시에 외과의사가 될 소수의 의대생들만이 해부가 필요할 수 있다(Lung et al., 2006).

On the other hand, there has been a debate about whether full cadaver dissection is still suitable for modern undergraduate education (Korf et al., 2008). Using cadavers for dissection has been considered costly, time-consuming and outdated (Aziz et al., 2002). Dissection courses are no longer used as the principle method of teaching in a significant number of UK, US, and Australian medical schools (Drake et al., 2009, Sugand et al., 2010, Craig et al., 2010). Full body dissection has been replaced with prosection-based courses in combination with other modalities to teach anatomy (Fruhstorfer et al., 2011, Rizzolo and Stewart, 2006, Sugand et al., 2010). De-emphasizing dissection courses in anatomy curricula has been driven by

  • the move from a regional-based to system-based approach,
  • reduction of time allocated for dissection in already crowded curricula and high costs associated with maintaining mortuary and dissection labs,
  • health concerns related to the exposure to formalin fumes, and
  • ethical and medico-legal issues surrounding their continued use (McLachlan, 2004McMenamin et al., 2014Sugand et al., 2010).

Only a small number of medical students may need dissection, those that will become surgeons upon graduation (Leung et al., 2006).

2.2. 프로섹션
2.2. Prosections

Prosections는 이미 해부된 표본이며, 때로는 플라스틱으로 된 표본이다. 중세와 르네상스 초기에 해부학을 가르치는데 있어서 시체 해부학은 필수적인 부분이었다. 통합 커리큘럼에서 전체 해부학에 할애되는 시간의 단축과 기증된 신체의 수가 감소함에 따라, 많은 프로그램들이 전신 해부에서 prosections으로 옮겨갔다. 이렇게 하면 접촉 시간이 단축되는 동시에 학습자가 찾기 위해 몇 시간을 소비할 수 있는 구조물에 노출될 수 있습니다. 심장이나 큰 혈관 같은 일부 구조물은 흉부와 복부 깊숙이 위치하기 때문에 부위별 또는 층별로 해부하는 것은 불가능하다. 따라서 해부는 시스템 기반 접근법에 적절하게 맞지 않으며, 이런 부위의 해부학은 [해부의 지역적 접근 방식]보다는 prosections를 사용하여 더 잘 교육된다. 호주와 뉴질랜드 의과대학 내에서, 기증된 시체의 수가 증가함에 따라 시체들을 이용할 수 있음에도 불구하고, 해부학 프로그램이 완전히 해부 기반인 것은 없다. 호주와 뉴질랜드 의과대학에 대한 최근 조사는 19개의 호주와 뉴질랜드 의과대학이 전체 해부학을 가르치는 데 가장 일관되게 사용되는 방법인 체계적이고 통합된 사례 기반 학습 커리큘럼을 사용한다는 것을 보여주었다.

A prosection is an already dissected, sometimes plastinated specimen. Cadaver prosections were an essential part of teaching anatomy in the Middle Ages and early Renaissance (Enke, 2005). With a contraction of the time devoted to gross anatomy in an integrated curriculum and decreasing numbers of donated bodies, many programs have moved from full body dissection to prosections; this reduces the number of contact hours while allowing learners the exposure to structures that they might otherwise spend hours trying to find (Dinsmore et al., 1999). Because some structures like the heart and large vessels are located deep in the thorax and abdomen, dissecting such structures region by region or layer by layer is impossible. Therefore, dissection does not fit appropriately into a system-based approach, here anatomy is better taught using prosections rather than the regional approach of dissection (Leung et al., 2006). Within Australian and New Zealand medical schools, despite the availability of cadavers due to an increasing number of donated bodies, no anatomy program is wholly dissection-based (Craig et al., 2010). A recent survey of Australian and New Zealand medical schools, showed that 19 Australian and New Zealand medical schools use a systemic, integrated, case-based learning curriculum for which prosection was the method most consistently used for teaching gross anatomy (Craig et al., 2010).


prosections은 여러 가지 이점을 제공합니다. prosections기반 과정은 구조와 그 관계가 쉽게 관찰되기 때문에 유연하고 맥락적이며 시간 효율적이며, 둘 이상의 학생 코호트가 프로토섹션을 사용할 수 있기 때문에 더 적은 수의 시체들이 필요하다. 사체를 해부하는 학생보다 투영된 자료에서 배우는 의대생들이 여러 표본에서 더 많은 해부학적 변화를 확인하거나 볼 수 있다. 이러한 장점에도 불구하고, 투영된 검체의 준비는 시간이 많이 걸리고 각 신체 부위의 여러 개의 프로토셀을 만들기 위해 충분한 숙련된 인력이 필요하다. 이전 보고서는 직접 해부하며 해부학을 배우는 학생들과 prosections으로 해부학을 배우는 학생들 사이에 결과에 큰 차이가 없음을 보여주었다(Yeager, 1996). 최근의 연구에 따르면 학생들은 dissection보다 prosections에서 배우는 것을 더 선호한다고 한다. 일부 해부학자들은 해부학을 가르치는데 있어서 prosections이 전신 해부를 대체할 수 있다고 믿는다.

Prosections offer a number of advantages; prosection-based courses are flexible, contextual and time-efficient as structures and their relations are easily observed, and fewer cadavers are needed as more than one student cohort can use the prosections (Nnodim, 1990, Dinsmore et al., 1999, Pather, 2015). Medical students learning from prosected materials may be able to identify or view more anatomical variations in several specimens, than students who dissect cadavers (Topp, 2004). Despite these advantages, preparation of prosected specimens is time-consuming and requires ample skilled personnel to create multiple prosections of each body region. A previous report showed no significant differences in outcomes between students learning anatomy from dissection and those learning it from examining prosected cadavers (Yeager, 1996). Recent studies show that students favour learning from prosections over dissection (Nnodim, 1990, Dinsmore et al., 1999). Some anatomists believe that prosection can replace full body dissection in teaching gross anatomy (Mclachlan and Regan De Bere, 2004).

2.3. 플라스티네이션
2.3. Plastination

플라스티네이션은 단순히 prosections를 보존하는 특별한 방법으로 간주될 수 있지만, 수축, 텍스처 손실, 자연 조직 색상과 미세한 디테일과 같은 몇 가지 한계를 가지고 있다. 또한 플라스틱 시료 준비에 사용되는 다량의 가연성 화학물질과 관련된 건강 및 안전 문제가 있습니다. 플라스티네이션은 1977년 하이델베르크 대학교 해부학 연구소의 군터 폰 하겐스에 의해 처음 개발되었으며, 그 이후 플라스티네이션은 인체의 보존을 위한 최고의 기술 중 하나가 되었다. 많은 해부학자들은 정형화된 고정된 물질보다 플라스틱으로 된 표본을 선호하는데, 그 이유는 그것들이 냄새가 없고 보관하기 편리하며 취급하기 쉽기 때문이다. 플라스틱은 플라스틱 시료의 "반영구성"으로 인해 상대적으로 비용 효율적인 것으로 간주됩니다. 플라스티네이션은 몇 년에 한 번 하는 것이 아니라 10년에 한 번 정도만 하면 됩니다. 냉장 및 흄 추출이 필요하지 않기 때문에 보관 비용이 낮습니다. 플라스티네이션은 대부분의 해부학 부서에서 쉽게 구할 수 있는 저비용 장비를 사용하여 수행할 수 있습니다. 이전 연구는 플라스틱 표본이 학생들에게 유용하고 다양한 수준에서 학생들의 요구를 수용하는 것으로 나타났다. 비록 플라스틱은 수많은 장점을 가지고 있지만, 플라스틱은 가장 일반적인 변형을 보여주지만, 시간이 지남에 따라, 플라스틱 부분은 그들의 참신한 성격을 잃고 결국 학생들은 노출된 변형을 암기한다.

Plastination can be considered simply a specialized way of preserving prosections but it does have some limitations such as shrinkage, loss of texture, natural tissue colour and fine details. In addition, there are health and safety concerns associated with the large amounts of flammable chemicals used in preparation of plastinated specimens. Plastination was first developed by Gunther von Hagens at the Anatomical Institute of Heidelberg University in 1977 and, since its development, plastination has become one of the best techniques for the preservation of the human body (Von Hagens et al., 1987). Many anatomists favour plastinated specimens over simply formalin fixed material, because they are odourless, allow convenient storage, and ease of handling (Latorre et al., 2007, Jones and Whitaker, 2009, Fruhstorfer et al., 2011). Plastination is considered relatively cost-effective due to the “semi-permanence” of the plastinated specimens – prosections only have to be made once every ten years or so instead of every few years; storage costs are lower as refrigeration and fume extraction are not required (Latorre et al., 2007); and plastination can be carried out using low cost equipment which is readily available in most Anatomy departments (O'sullivan and Mitchell, 1995). Previous studies showed that plastinated specimens were deemed useful by students and accommodated student needs at various levels (Latorre et al., 2007, Fruhstorfer et al., 2011). Even though plastination has numerous advantages, plastination shows the most common variations, in time, plastinated sections lose their novel character and eventually students master the exposed variations by heart (Korf et al., 2008).

2.4. 컴퓨터 기반 학습(CBL)
2.4. Computer based learning (CBL)

최근 기술의 발전, 수업 시간의 감소, 수업의 크기 증가, 그리고 시체 기반 수업의 비용 증가로, CBL 자원은 학생 학습을 촉진하기 위한 해부학 커리큘럼에 점점 더 많이 사용되고 있다. 이것의 사용은 해부학 교육을 강화하고, 독립적인 학습, 문제 해결을 강화하며, 유연성을 제공한다(Release, 2002). 비록 CBL이 전통적인 교수법보다 더 나은 접근 방식이라는 명확한 증거는 없지만, CBL을 사용하여 해부학을 배우는 것이 전통적인 교수법을 대체하기 보다는 보충함으로써 학습을 향상시킬 수 있다는 증거가 있다. 학생들은 여전히 해부, 해부, 강의, 교과서와 같은 전통적인 방법을 CBL 자료보다 선호한다. 마찬가지로 많은 해부학자들은 CBL 자원을 사용하더라도 최적의 훈련을 위해 시체 기반 instruction은 여전히 필수 조건이라고 믿는다.
With recent advances in technology, reductions in teaching time, increasing class size and increasing costs of cadaver-based instruction, CBL resources are increasingly used in anatomy curricula to foster student learning (Tam et al., 2010, Azer and Eizenberg, 2007). Its use augments anatomy teaching, enhances independent learning, problem solving, and provides flexibility (Trelease, 2002). Although, there is no clear proof that CBL alone is better approach than traditional teaching methods (Mcnulty et al., 2004, Khot et al., 2013), evidence shows that learning anatomy using CBL can enhance learning by supplementing rather than replacing the traditional teaching methods (Tam et al., 2010, Durosaro et al., 2008). Students still prefer traditional methods such as dissection, prosection, lectures and textbooks over CBL resources (Azer and Eizenberg, 2007, Kerby et al., 2011, Davis et al., 2014). Similarly many anatomists believe that cadaver-based instruction is still a prerequisite for optimal training even with the use of CBL resources (Aziz et al., 2002, Tam et al., 2010).

대부분의 CBL 자원은 해부학적 구조의 3D 표현 개발에 초점을 맞추고 있으며 의료 교육에서의 사용에 대한 연구가 있다. 가상현실(VR)을 통해 학생들은 인공 3D 공간에서 시뮬레이션된 물체를 시각화하고 해부하며 상호작용할 수 있다(Release, 2002). VR 프로그램의 유용성과 비용 효율성은 해부학 수업에서 잘 인정받았고, 학생들의 태도는 가상 해부학 사용에 대해서도 긍정적이었다. 지난 수십 년 동안 가시 인간 프로젝트와 중국 가시 인간 데이터 세트와 같은 인체 해부학 응용의 자원으로 전 세계에서 사용되고 있는 대규모 해부학 데이터 세트가 개발되었다.

Most CBL resources have focused on the development of 3D representations of anatomical structures and there has been research into its use in medical education (Drake et al., 2009, Tam et al., 2010). Virtual reality (VR) allows students to visualize, dissect and to interact with simulated objects in artificial 3D space (Trelease, 2002). The usefulness and cost-effectiveness of VR programs have been well acknowledged in anatomy teaching, students’ attitudes have also been positive towards the use of virtual anatomy (McNulty et al., 2009, Rizzolo and Stewart, 2006). Over the last few decades, large-scale anatomical data sets have been developed that are being used all over the world as a resource for human anatomy applications such as the Visible Human Project and the Chinese Visible Human dataset (Spitzer and Whitlock, 1998, Zhang et al., 2004).

최근, 해부학 테이블은 인간의 시체들을 대체하기 위해 커틴 대학의 건강 과학에서 사용되고 있다. 아나토마지 테이블은 가상 3D 해부 플랫폼으로 디지털 이미지를 대화식으로 활용해 전신의 해부학적 구조를 탐색하는 실물 크기의 '아이패드 같은' 경험을 제공하는 멀티 터치 스크린이 탑재됐다. 바이오디지털 휴먼과 접합체 본체는 3D 그래픽스를 위한 프로그래밍 인터페이스를 제공하는 임베디드 시스템용 오픈 그래픽 라이브러리 2.0을 기반으로 웹GL 기술을 사용하는 인터랙티브 웹 기반 프로그램인 3D 시각화의 예이다. 3D 시각화 기술을 통해 학생들은 다양한 시스템을 뒤틀고 임상 주제를 설명하면서 인체의 전신을 탐색할 수 있다. 세컨드라이프는 2003년 린든랩이 개발한 VR의 또 다른 예이다. 학생들이 콘텐츠를 탐색할 수 있을 뿐만 아니라 동일한 가상 방에서 동일한 콘텐츠를 볼 수 있어 사용자 간의 상호 작용이 가능하기 때문에 온라인 학습에 고유한 확장을 도입한다.

Recently, Anatomage tables have been used in health sciences at Curtin University to replace human cadavers (Fyfe et al., 2013). The Anatomage table is a virtual 3D dissection platform, with a multi-touch screen that provides a life-size “iPad-like” experience that uses digital images in an interactive way to explore the anatomy of the whole body (Fyfe et al., 2013). The BioDigital Human and Zygote Body are examples of 3D visualization, interactive web-based programs that use WebGL technology, based on the Open Graphics Library for Embedded Systems 2.0, which provides a programmatic interface for 3D graphics (Kelc, 2012, Qualter et al., 2011). The 3D visualization technology allows students to explore a whole human body, toggling various systems and explaining clinical topics. Second Life is another example of VR, developed by Linden Lab in 2003. It introduces a unique extension to online learning, as students are not only able to explore the content but also allow interactions between users as they view the same content in the same virtual room (Richardson et al., 2011).

오큘러스 리프트와 유사한 3D 시각화 "고글"은 의료 훈련 및 교육 목적에 엄청난 영향을 미친다. 사용자는 오큘러스 리프트 "헤드 마운트 디스플레이"를 착용하고 투어를 만들거나 인체를 통해 가상으로 비행할 수 있는 핸드 컨트롤러를 가지고 있다. Oculus left는 또한 학생들이 단순하고 복잡한 일련의 작업을 수행해야 하는 가상 환경에서 운동 기술과 손 움직임을 사용하여 배울 수 있도록 한다(Mathur, 2015). 증강현실(AR)은 또 다른 새로운 도구로서, AR의 새로운 측면은 실제 환경의 관점과 추가 가상 콘텐츠를 결합하는 것이다. AR은 컴퓨터 생성 물체를 실제 세계에 통합하여 사용자의 현실 인식을 향상시킨다는 점에서 가상 현실과 다르다. AR은 "현실에 대한 증대로 물리적 세계를 볼 수 있고 이 창에서 가상 구성 요소가 보일 수 있는 창을 제공합니다." 사용자의 몸에 해부학적 구조를 표시할 수 있는 착각을 일으킬 수 있기 때문에 보다 복잡한 해부학을 시각화하는 것도 유용할 수 있다. 햅틱(촉각) 기술은 인간과 수의 임상 교육에 점점 더 많이 사용되고 있는 또 다른 가상 시뮬레이션 기술로 촉각에 의존하는 검사를 시뮬레이션하는 데 특히 유용하다(Kinnison et al., 2009). 햅틱은 VR에 촉각과 힘 피드백을 모두 더하고, 실제와 같은 내부 해부학적 느낌을 제공한다.

Oculus rift and similar 3D visualization “goggles” have tremendous implications for medical training and instruction purposes. The user wears the Oculus Rift “head mounted display” and holds hand controllers which allow him/her to create a tour or virtually fly through the human body. Oculus rift also enables students to learn using their motor skills and hand movement in a virtual environment where they are required to perform a mixed set of simple and complex tasks (Mathur, 2015). Augmented reality (AR) is another emerging tool, the novel aspect of AR is to combine the view of the real environment with additional virtual content (Kamphuis et al., 2014). AR differs from virtual reality in that it integrates computer-generated objects into the real world to enhance the user's perception of reality (Hugues et al., 2011). AR “provides a window through which the physical world can be seen and for the virtual components to become visible in this window, as an augmentation to reality” (Kamphuis et al., 2014). It has uses in anatomy education in that as it can create an illusion allowing display of anatomical structures on the user's body, it could also be useful to visualize more complex anatomy (Thomas et al., 2010). Haptic (touch) technology is another virtual simulation technology that has been increasingly used in human and veterinary clinical training and is particularly useful for simulating examinations that rely on the sense of touch (Kinnison et al., 2009). Haptic adds both tactile and force feedback to VR and provides a life-like feel of internal anatomy (Kinnison et al., 2009).

3D 프린팅 또는 빠른 프로토타이핑은 해부학을 가르칠 가능성이 큰 급속하게 확장되고 있는 기술입니다. 수술 계획, 이식 가능한 보철물을 만드는 것, 생물학적인 조직 공학이 있습니다. 이 기술의 원리는 재료를 층층이 추가하는 과정을 통해 3D 물리적 모델을 재구성하는 데 3D CAD(Computer-Aided Design)를 사용하는 것이다. 적층 제작을 통해 기계는 CAD 도면으로부터 데이터를 읽고 액체, 분말 또는 시트 재료의 연속적인 층을 깔고, 이러한 방식으로 일련의 단면으로부터 모델을 구축합니다. 이 기술은 구조 및 관계에 대한 시각적 공간 및 3D 이해를 강화하기 위해 해부학 교육 목적에 유용한 매우 정확한 모델을 저렴한 비용으로 더 짧은 시간에 제작할 수 있다. 최근, 폴 맥메나민 교수가 이끄는 모나시 대학의 한 그룹은 3D 프린팅 해부학 시리즈를 만들기 위해 레이저 휴대용 스캐너, MRI 영상 및 CT 스캔을 만들었습니다. 이 키트에는 인체 조직이 포함되어 있지 않지만, 팔다리, 가슴, 복부, 머리, 목의 해부학을 가르치는 데 필요한 신체의 모든 주요 부위를 제공한다. McMenamin과 동료들이 수행한 최근 파일럿 연구는 이 혁신이 해부학 학습에 특정 이점을 제공하고 시체 기반 교육의 보충물로 사용 및 지속적인 평가를 지원한다는 것을 시사한다.

3D printing or rapid prototyping is a rapidly expanding technology with great promise for teaching anatomy; surgical planning; creating implantable prosthetics; and biological tissue engineering (Gibson et al., 2010). The principle of this technology is to use 3D computer-aided design (CAD) for the reconstruction of 3D physical models through a process of adding layer upon layer of materials (Gibson et al., 2010). With additive fabrication, the machine reads in data from a CAD drawing and lays down successive layers of liquid, powder, or the sheet material, and in this way builds up the model from a series of cross sections (Gibson et al., 2010). This technology is able to produce highly accurate models, at a low cost and in less time, useful for anatomy education purposes to enhance visuospatial and 3D understanding of structures and relationships (McMenamin et al., 2014). Recently, a group at the Monash University led by Professor Paul McMenamin put together laser hand-held scanners, MRI imaging and CT scans to create a 3D Printed Anatomy Series. The kit contains no human tissue, yet it provides all the major parts of the body required to teach anatomy of the limbs, chest, abdomen, head and neck. A recent pilot study done by McMenamin and colleagues suggest that this innovation offers certain benefits to anatomy learning and supports their use and ongoing evaluation as supplements to cadaver-based instruction (Lim et al., 2015).

시체 사용을 지지하는 사람들은 해부만이 조직의 촉각 조작, 3D 상호 작용 및 다중 감각의 관여를 제공할 수 있으며, VR 도구는 이러한 장점을 제공하지 않는다고 주장한다. 시체들의 사용은 또한 공간 정보와 관계에 대한 이해와 보존을 증진시키는 것으로 생각된다. 또한, 소프트웨어의 탐색과 VR 프로그램의 풍부한 옵션은 학생들의 인지 기능을 저해하고 결과적으로 학생들의 학습을 방해할 수 있다. AR과 3D 프린팅은 해부학의 시각적 및 촉각적 표현을 제공할 수 있지만, 시체 해부가 할 수 있는 모든 감각을 재현할 수는 없습니다. 시체 해부에 반대하는 사람들은 CBL과 VR 자원이 저장, 인공호흡 인프라 또는 방부 처리를 필요로 하지 않고 전체적인 해부학을 배울 수 있는 기회를 제공하기 때문에 시체 실체에 비해 상당한 이점을 제공한다고 주장한다. VR은 학생들에게 다양한 시각과 각도를 선택할 수 있는 더 많은 자율성을 제공하고, 시체로는 불가능한 휴대성, 수명, 표준화, 다양성을 제공한다.
Supporters for the use of cadavers argue that only dissection can provide tactile manipulation of tissue, 3D interaction and engagement of multiple senses, VR tools do not offer these advantages. Use of cadavers is also thought to enhance understanding and retention of spatial information and relationships (Rizzolo and Stewart, 2006, Dehoff et al., 2011). In addition, the software's navigation and the plentiful options of the VR programs may hinder student cognitive function and, as a result, impair student learning. Although AR and 3D printing can offer visual and tactile representations of anatomy, they cannot reproduce all of the sensations that cadaveric dissection can. Opponents of cadaveric dissection, argue that CBL and VR resources present significant advantages over the reality of a cadaver as they provide the opportunity to learn gross anatomy without requiring storage, ventilation infrastructure or embalming. VR provides students more autonomy in choosing different views and angles, offers portability, longevity, standardization, and diversity that is not possible with a cadaver (Spitzer and Whitlock, 1998).

2.5. 의료 영상촬영
2.5. Medical imaging

해부학 교육에 의료 영상을 사용하면 해부학적 구조와 생리의 생체 내 시각화는 물론 병리학적 프로세스에 대한 통찰력을 제공한다. 컴퓨터 단층촬영(CT), 자기공명영상(MRI), 초음파의 등장으로 2차원 및 3D 재구성으로 내부 해부학의 매우 상세한 영상을 표시할 수 있게 되었다. 정보기술의 폭발적 증가로 인해 의과대학들은 이미징 기술을 그들의 의학 커리큘럼에 통합하도록 요구되어 왔다. 의학 이미지를 해부학 커리큘럼에 통합하면 학생들에게 기본적인 해부학적 지식을 2차원 단면 CT 및 MRI 스캔의 해석에 적용하고 임상적 관련성을 해부학적 지식과 상관시킬 수 있는 능력을 제공한다. 의료 영상은 해부학적 공간 관계에 대한 더 나은 이해를 촉진하고, 학생들의 해부 시간의 효율성을 향상시키며, 전체 해부학에 대한 관심을 높일 수 있기 때문에 해부 기반 교육에 귀중한 추가 요소로 간주된다.
The use of medical imaging in anatomy education provides in vivo visualization of anatomical structure and physiology as well as insight into pathological processes (Gunderman and Wilson, 2005). With the advent of computed tomography (CT), magnetic resonance imaging (MRI) and ultrasound, it has become possible to display highly detailed images of internal anatomy in two-dimensions and 3D reconstructions (Gunderman and Wilson, 2005). As a result of the explosion in information technology, medical schools have been required to integrate imaging techniques into their medical curricula (Gregory et al., 2009). Integration of medical images into anatomy curricula offers students the ability to apply basic anatomical knowledge to the interpretation of two-dimensional sectional CT and MRI scans and to correlate clinical relevance with anatomical knowledge (Lufler et al., 2010, Miles, 2005). Medical imaging is considered a valuable addition to dissection-based instruction as it can promote better understanding of anatomical spatial relationships, enhance the efficiency of students’ dissection time and increas their interest in gross anatomy (Pabst et al., 2005, Reeves et al., 2004).


의료 영상은 기존의 해부의 이점을 대체할 수 없으며, 독립적 접근방식으로서 중요한 한계를 가지고 있다. 복잡한 과정을 가진 수많은 해부학적 구조들은 현재의 영상 양식으로는 적절하게 보기 어렵다. 또한 해부는 의료 영상으로는 달성할 수 없는 조직의 "느낌"에 대한 이해를 제공한다. 또한 의료 이미지를 검사하는 것은 인간 카데바를 직접 경험하는 것에 비해 어느 정도 추상화 된 것이다. 학생들에게 해부할 기회를 주지 않음으로써 "시신과 환자의 사망률의 즉시성은 해소될 것 같다."

Medical imaging cannot substitute for the benefits of conventional dissection (Gunderman and Wilson, 2005, Howe et al., 2004, Aziz et al., 2002), it has important limitations as a stand-alone approach (Howe et al., 2004, Aziz et al., 2002). Numerous anatomical structures with complex courses are difficult to view adequately with current imaging modalities; dissection also provides an appreciation of the “feel” of tissues which cannot be achieved by medical imaging (Miles, 2005). Inspecting medical images also introduces a level of abstraction compared to the face-to-face experience with the human cadaver (Gunderman and Wilson, 2005). By denying students the opportunity to dissect, “the immediacy of the mortality of cadavers and patients is likely to be dissolved” (Gunderman and Wilson, 2005).

2.6. 생체 해부학
2.6. Living anatomy

예술가들과 미술사학자들은 항상 살아있는 신체에 큰 관심을 보여 왔다. 살아있는 해부학은 시체들의 색깔, 질감, 냄새가 실제 생활과 같지 않고, 촉진을 하거나 청취를 하거나 위치를 바꾸도록 유용하게 요청할 수 없다는 점에서 시체들에 비해 장점이 있다. 생체 해부학은 동료 신체 검사(PPE), 초음파 및 보디 페인팅을 사용하여 학생들에게 가르칠 수 있다. PPE는 학생들이 서로를 신체적으로 검사하는 것을 포함한다. 신체 민감한 부위를 검사하는 데 불편함이나 반대가 있지만 학생들은 PPE에 기꺼이 참여한다(Rees et al., 2005). 그럼에도 불구하고 PPE는 생명모델의 사용보다 더 유익한 것으로 밝혀졌다. PPE는 학생들에게 환자 접견 전에 임상 기술을 안전하게 연습하고 습득할 수 있는 기회를 제공하며, 공감 능력의 개발과 의사소통 능력의 향상을 제공한다. 환자 이송에 따른 추가 비용 요건이나 표준형 환자 수수료가 없어 비용 대비 효과도 높은 것으로 평가된다. 또는 신체 검사 기술을 가르치기 위해 전문가 또는 시뮬레이션 환자(SP)를 사용하는 것이 의료 교육에 널리 사용되어 왔다. 골반 부위 및 유방과 같은 신체 특정 부위의 교육에 SP를 사용하는 것은 윤리적 문제를 해결하고, 불안감을 줄이고, 당황을 피하고, 학생의 성과를 향상시키고, 학생들에게 귀중한 피드백을 제공할 수 있는 잠재력을 가지고 있다.
Artists and art historians have always shown a great interest in the living body (Griksaitis et al., 2011). Living anatomy has advantages over cadavers in that cadavers’ colour, texture, and smell are not like real life, and they cannot be palpated, auscultated, or usefully asked to change position (McLachlan, 2004). Living anatomy can be taught to the students using peer physical examination (PPE), ultrasound and body painting. PPE involves students physically examining each other (Rees et al., 2004). Students are willing to participate in PPE, although there is discomfort or opposition to examining sensitive areas of the body (Rees et al., 2005). Nevertheless, PPE has been found to be more beneficial than the use of life models (Metcalf et al., 1982). PPE provides students an opportunity to safely practice and master clinical skills prior to the patient encounter as well as development of empathy and improving communication skills (Patten, 2007, Wearn and Bhoopatkar, 2006). It is also considered cost-effective as there are no additional cost requirements for transportation of patients or fees for standard model patients (Wearn and Bhoopatkar, 2006). Alternatively, the use of professionals or simulated patients (SP) for teaching physical examination skills has been widely used in medical education (Wanggren et al., 2005). The use of SP for teaching examinations of certain parts of body such as the pelvic region and breast has the potential to address ethical concerns, reduce anxiety, avoid embarrassment, improve student performance and provide valuable feedback to the student (Wanggren et al., 2005).

초음파는 현대 해부학 교육에서 더 자주 사용되며, 총 해부학을 가르치는 전통적인 방법에 추가될 때 유용한 부가물 역할을 할 수 있다. 초음파는 신체 구조의 생체 내 시각화를 2차원으로 허용하고 학습자가 임상적으로 관련된 맥락에서 해부학적 지식을 얻을 수 있도록 한다. 그러나 초음파 사용에 대한 공식적인 가르침이 부족하기 때문에 의대생과 새로운 의사들 사이에 초음파에 대한 실무 지식이 부족하다. 따라서, 초음파를 해부학 커리큘럼에 통합하기 위한 임상 지도자들의 요청이 있었다. 해부학 교육에서 보디페인팅은 마커펜이나 왁스 크레용을 이용해 신체 표면에 내부 구조를 그리는 것을 말한다(McMenamin, 2008).

Ultrasound is used more often in modern anatomical education, it can act as an useful adjunct when added to the traditional methods used teach gross anatomy (Brown et al., 2012). Ultrasound permits in vivo visualization of body structures in two-dimensions and enables learners to gain anatomical knowledge in a clinically relevant context (Ivanusic et al., 2010). However, there is lack of working knowledge of ultrasound amongst medical students and new doctors due to a lack of formal teaching in ultrasound use (Brown et al., 2012). Therefore, there has been a call from clinical tutors for integrating ultrasound into anatomy curricula (Bahner et al., 2012). Body painting in anatomy education refers to painting internal structures on the surface of the body using marker pens or wax crayons (McMenamin, 2008).

대규모 수업 환경에서 학습 표면 해부학과 기초 해부학을 용이하게 하는 능동적이고 촉감적인 학습 양식으로 설명되었다. 바디 페인팅은 즐겁고 상호작용적인 것 외에도 해부학적 지식의 보존과 기억을 강화한다. McMenamin은 표면 해부학과 임상 기술을 가르치기 위해 보디 페인팅을 보조 자료로 사용할 것을 강력히 권고했다. 보디페인팅은 비교적 저렴한 비용으로 쉽게 도장 재료를 구할 수 있고, 많은 수의 학생들이 직원 시간과 물리적 자원을 덜 요구하면서 동시에 도장에 종사할 수 있어 상대적으로 비용 효율이 높다는 평가를 받고 있다.
It has been described as an active and tactile learning modality facilitating learning surface anatomy and underlying anatomy in large class settings (
Op Den Akker et al., 2002). Besides being enjoyable and interactive, body painting enhances retention and recall of anatomical knowledge (Finn and McLachlan, 2009). McMenamin highly recommended the use of body painting as an adjunct resource to teach surface anatomy and clinical skills (McMenamin, 2008). Body painting is considered relatively cost-effective as painting materials are readily available at relatively low cost, and large numbers of students can be simultaneously engaged in painting while requiring less staff time and physical resources (Finn, 2015).

해부학 교육에서 보디페인팅과 PPE의 명백한 이점에도 불구하고, 몇몇 연구들은 성별, 종교적 신념, 검사할 신체 부위의 위치와 같은 더 [민감한 문제]들이 그들의 동료를 검사하고 검사하려는 학생들의 의지에 영향을 미칠 수 있다는 것을 발견했다. 이슬람 국가에서, [문화적 민감성과 종교적 문제]는 심지어 같은 성별 사이에서도 PPE와 보디페인팅을 하는 것을 제한할 수 있다. 맨체스터 대학의 다민족 의대생들 사이에서 오닐과 동료들에 의해 수행된 조사는 그들의 종교가 특히 이슬람 여학생들 사이에서 PPE를 수행하는 것에 반대하는 이유로 주어졌다는 것을 보여주었다. 아랍에미리트 대학 보건과학부에서 실시한 임상 기술 실험실에 대한 인턴과 상급 의대생들의 태도에 관한 또 다른 조사는 대다수의 여학생들이 PPE에 익숙하지 않다는 결론을 내렸다(Das et al., 1998).
Despite the apparent benefits of body painting and PPE in anatomy education, several studies have identified that more sensitive issues such as gender, religious beliefs and location of body region to be examined, may influence students’ willingness to examine their peers and be examined (Reid et al., 2012, Rees et al., 2009). In Islamic states, cultural sensitivities and religious issues may constrain doing PPE and body painting even between the same genders. A survey conducted by O’Neill and colleagues among medical students from multi-ethnic groups in Manchester University showed that their religion was given as a reason against performing PPE particularly among Muslim female students (O’Neill et al., 1998). Another survey done at the Faculty of Health Sciences in United Arab Emirates University regarding the attitudes of interns and senior medical students towards clinical skills labs concluded that the majority of female students were not comfortable with PPE (Das et al., 1998).

2.7. 강의 기반 강의
2.7. Lecture-based teaching

16세기 이래로, 공식적인 강의와 해부는 시체 해부와 함께 해부학 과정의 중요한 부분으로 남아있었지만, 강의는 비효율적이고, 시대에 뒤떨어지고, 수동적인 학습 형태라고 많은 사람들에 의해 비판되어 왔다. 강의실 교육을 포함한 의료 커리큘럼의 모든 측면의 전환은 교육학(시스템 기반 및 수직적 접근 통합으로의 이동)과 자원(대규모 수업, 적은 교수진, 제한된 자금 지원 및 혼잡한 커리큘럼)에 의해 추진되었다. 유망한 대안적 교수 전략은 혼합 학습이다. 혼합 학습은 전통적인 대면 및 온라인 교육 방법의 통합이다. 플립 또는 거꾸로 교실은 혼합된 학습 모델이며, 전통적인 강의와 숙제 요소를 뒤집는 교육적 접근 방식이다. 이러한 교육 모델은 어떤 과목에 대한 오디오와 비디오를 포함한 인터넷 자원의 가용성 때문에 특히 매력적이 되었다. 소셜 미디어(유튜브, 블로그, 위키, 아이튠즈 U 또는 팟캐스트)와 다른 웹 2.0 도구를 사용하여 튜터를 학생들과 연결할 수 있다. 혼합 학습 모델은 비출석 기반 교육과 관련된 문제를 피하면서 능동적인 학습을 촉진하고 학업 성과를 향상시킬 수 있는 잠재력을 가지고 있다. 그러나 이 학습 모델은 학생들의 수업 밖 준비에크게 의존하므로, 학생들이 할당된 수업 전 또는 수업 내 활동에 참여하지 못할 수 있다는 우려가 있다. 또한 강의 자료를 준비하는 데 수반되는 업무량도 증가합니다.
Since the sixteenth century, formal lectures and dissection have remained a key part of any anatomy course along with cadaver dissection (Vázquez et al., 2007), however this approach has been criticized by many as an ineffective, outdated and passive form of learning (Nandi et al., 2000, Pawlina and Lachman, 2004). Transformation of all aspects of the medical curriculum, including classroom instruction has been driven by pedagogy (the move to a system-based and vertically approach integrated) and resources (large classes, less teaching staff, limited funding and a crowded curriculum). One promising alternative teaching strategy is blended learning. Blended learning is the integration of traditional face-to-face and online instructional methods (Graham, 2006). The flipped or inverted classroom is a blended learning model, an educational approach that reverses the traditional lecture and homework elements of a course (Lage et al., 2000). This model of teaching has become particularly attractive because of the availability of internet resources including audio and video on any subject. It can make use of social media (YouTube, blogs, wikis, iTunes U or podcasts) and other Web 2.0 tools, to connect tutors to the students. The blended learning model has the potential to facilitate active learning and improve academic performance while avoiding issues that are associated with non-attendance-based teaching (Pereira et al., 2007). However, this learning model is heavily dependent on students preparing outside of class, therefore there is a concern that students may fail to engage with the assigned pre-class or in-class activities. There is also an increased workload involved in preparing the course materials.

2.8. 통합 커리큘럼
2.8. Integrated curricula

전통적인 학부 의학 커리큘럼에서, 임상 전/초학년은 보통 기초과학에 집중하며, 이후 몇 년은 임상 과학과 임상 훈련에 집중하기 때문에, 학생들은 임상 훈련 동안 해부학에 대한 노출이 매우 제한적이었다. 이러한 교육 방식은 신규 의학 졸업생들 사이에서 관련 해부학적 지식이 부족하기 때문에 임상 지도 교수들로부터 빈번한 비판을 받아왔다. 이로 인해 새로 자격을 갖춘 의사들 사이의 해부학적 지식이 환자의 안전이 훼손될 수 있는 수준에 있을 수 있다는 우려가 제기되었다. 의학 교육 내부의 개혁은 수직 통합 커리큘럼을 개발하려는 노력으로 이어졌다. 이를 통해 임상과학은 초기에 도입되는 반면, 해부학과 기타 기초과학은 커리큘럼 말기에 지속적으로 관심을 기울인다. 이 과정에서 해부학 지식의 특정 영역을 우선할 수 있어 [일반 개업의와 관련된 해부학]만 전 학생에게 가르치고, [해부학에 대한 고급 지식]이 필요한 외과적 또는 기타 전문적 관심사를 가진 교육생은 임상연도와 레지던시 프로그램에서 이를 받게 된다.
Within traditional undergraduate medical curricula, the preclinical/first years usually concentrate on basic science and subsequent years on clinical sciences and clinical training, therefore, students had very limited exposure to anatomy during clinical training. This mode of teaching has led to a frequent criticism by clinical tutors due to a lack of relevant anatomical knowledge among the new medical graduates (Evans and Watt, 2005). This led to concerns that anatomical knowledge amongst newly qualified doctors may be at a level where patient safety could be compromised. Reforms within medical education have led to efforts to develop vertically integrated curricula (Lie, 1995). With this, clinical sciences are introduced in the early years while continued attention is paid to anatomy and other basic sciences in the later years of the curriculum (Bergman et al., 2011). In this process, specific areas of anatomical knowledge can be prioritized such that only anatomy relevant to the general practitioner will be taught to all students in the preclinical years, and trainees with surgical or other specialized interests who need advanced knowledge of anatomy will receive it later in the clinical years and residency programs (Brooks et al., 2015).

에반스와 와트(2005)는 영국 브라이튼 서섹스 의과대학의 학생들이 그들의 규율과 관련된 해부학을 연구하기 위해 전공 로테이션을 하는 동안 어떻게 해부실로 돌아가는지에 대해 설명했다. 이를 통해 핵심 해부학적 지식이 학생의 임상 경험에 비해 가장 적절한 수준에서 확보될 수 있습니다. [전체 커리큘럼에 걸친 수직적 통합]은 졸업생들이 환자를 치료하거나 의료 전략을 계획하는 동안 전체상을 파악하고 전체론적 접근 방식을 채택할 수 있도록 학습된 사실을 종합하는 데 도움이 됩니다. 이것은 기초과학지식의 중요성과 관련성을 더 명확히 할 것이고 학생들이 기초과학지식과 임상 의학 모두에 대한 더 깊은 학습과 이해를 성취하도록 동기를 부여할 것이다. 1학년 때부터의 초기 환자 접촉은 학생들이 의사소통 기술을 개발하고, 의사와 환자의 상호작용의 중요성과 질병이 개인에게 미치는 영향을 깨닫는 데 도움이 된다.

Evans and Watt (2005) described how students at the Brighton and Sussex Medical School in the UK return to the dissection room during specialist rotations to study the anatomy relevant to their discipline. This can ensure that core anatomical knowledge is gained at the most appropriate level relative to a student's clinical experience (Evans and Watt, 2005). The vertical integration throughout the entire curriculum helps graduates to put together the learned facts so as to get the whole picture and adopt a holistic approach while treating a patient or planning a health care strategy (Malik and Malik, 2011). This will make the importance and relevance of basic science knowledge more evident and will motivate the students to achieve deeper learning and understanding of both basic science knowledge and clinical medicine (Dahle et al., 2002). Early patient contact from the first year helps students to develop communication skills, to realize the importance of doctor-patient interaction and the effect of illness on the individual person (Dahle et al., 2002).

전체 커리큘럼에서 해부학을 가르쳐야 한다는 요구에도 불구하고, 커리큘럼 내의 수직적 통합은 종종 단방향이다. 임상 과학은 임상 전 해에 쉽게 통합되지만, 기초 과학은 커리큘럼 말년에 가르치는 것이 훨씬 덜 흔하다. 또한 임상 및 전 임상에 걸친 해부학의 수직적 통합은 계획, 구성 및 실행에 많은 시간과 작업이 필요하다. 교직원들과 행정관들은 적극적으로 참여하고 열정적이어야 하며 부서 경계를 넘어 협력해야 한다. 통합 커리큘럼에서 [해부학에 할당된 총 접촉 시간의 감소]는 학생과 하위 의사들 사이의 [해부학적 지식 부족]을 초래한 것으로 생각된다. 학생들이 임상적인 측면에 집중하고 기초과학을 통합 커리큘럼에서 포기할 것이라는 우려도 상당해, 학생들이 더 이상 전신의 해부학적 구조를 일관성 있고 전체적으로 파악하지 못하고 있다는 주장이다. 

Despite calls for teaching anatomy throughout the entire curriculum, vertical integration within curricula is often unidirectional. Clinical sciences are easily integrated in the preclinical years, however, it is far less common for basic sciences to be taught in the later years of the curriculum (Bergman et al., 2011). In addition, vertical integration of anatomy across clinical and preclinical years needs a lot of time and work in planning, organization and execution. The faculty members and administrators have to be actively involved and enthusiastic and have to cooperate beyond departmental borders (Dahle et al., 2002). The reduction in the number of contact hours allocated to gross anatomy in integrated curricula are thought to have led to insufficient anatomical knowledge amongst students and junior doctors (Fraher and Evans, 2009). There is also a considerable concern that students will concentrate on clinical aspects and abandon the basic sciences in an integrated curriculum, therefore, it is claimed that students no longer gain a coherent and overall picture of the anatomy of the whole body (Bergman et al., 2011).

2.9. 시스템 기반 커리큘럼
2.9. System-based curricula

20세기 초부터, 전체 해부학은 조직학, 생리학, 생화학과 같은 다른 과정과 함께 첫 번째 임상 전 해에 독립적인 과정으로 가르쳐졌다. 단일 해부학적 영역에는 서로 다른 시스템에 속하는 다양한 특성, 기능 및 관계를 가진 구조가 포함되며, 다른 과정에서 학습됩니다. 이것은 학생들이 지역 기반region-based  커리큘럼 내에서 가르치는 많은 양의 분리된 정보를 습득하는 데 어려움을 겪었기 때문에 문제가 있는 것으로 판명되었다. 임상 전 의학 교육의 커리큘럼 패러다임은 [지역 기반region-based , 학문 기반 커리큘럼]이 질병의 정상적인 구조, 정상적인 기능 및 병리생리학이 통합된 [시스템 기반, 학제간 커리큘럼]으로 전환되었다. 시스템 기반 커리큘럼 내에서 학습자는 지역 기반 접근 방식을 추구했을 때보다 후속 시스템의 기초로서 하나의 시스템으로 자료를 마스터할 수 있다. 학습자가 앞으로 나아가면서 서로 다른 시스템에 속하는 구조의 관계, 기능적 유의성 및 임상적 상관관계가 논의되고 여러 차례 연속적으로 재검토된다(Arslan, 2014). 시스템 기반 접근 방식은 습득된 지식의 장기 보존을 강화하여 massed and crammed repetition의 필요성을 감소시킨다. 이를 통해 학습자는 보다 쉽게 사실 정보를 유지하고 해부학적 지식을 의료 실무와 연관시킬 수 있습니다.

Since the early 20th century, gross anatomy has been taught as a stand-alone course during the first preclinical year along with other courses such as histology, physiology and biochemistry (Drake et al., 2009). A single anatomical region contains structures with varied characteristics, functions and relationships that belong to different systems, and are taught in different courses (Arslan, 2014). This proved to be problematic as students had difficulty mastering large amounts of disjointed information taught in within a region-based curriculum (Brooks et al., 2015). The curricular paradigm in preclinical medical education has seen a region-based, discipline-based curricula transformed to system-based, interdisciplinary curricula which integrates normal structure, normal function and pathophysiology of disease (Muller et al., 2008). Within a system-based curriculum, learners can master materials with one system as a foundation to the subsequent systems much easier than if they pursued a region-based approach. As the learner moves further forward, the relationships, functional significance and clinical correlations of structures that belong to different systems are discussed and consecutively revisited several times (Arslan, 2014). A system-based approach enhances long-term retention of acquired knowledge and thus reduces the need for massed and crammed repetition (Arslan, 2014). With this, learners can retain factual information more easily and relate anatomical knowledge to their medical practice.

3. 결론
3. Conclusion

해부학을 가장 효과적인 방법으로 가르치는 방법에 대한 논쟁이 계속되고 있다. 시체 해부는 수백 년 동안 해부학적 지식을 배우는 데 있어 금본위제로 남아 있지만, 그것은 시대에 뒤떨어지고, 비용이 많이 들고, 시간이 많이 걸리며 잠재적으로 위험한 접근법으로 간주된다. 독립형 해부학 강좌에서 통합 및 시스템 기반 커리큘럼으로의 전환과 교직원, 자원 및 연락 교수 시간의 감소로 많은 서구 기관들이 플라스티네이션, CBL, 의료 영상 및 혼합 학습과 같은 비용 효과적이고 시간이 덜 걸리며 최신 교육 대안을 채택하게 되었다. 효율적인 학습자 시간 관리를 최적화하고 미래의 수술 역량을 극대화하고 해부학적 지식을 유지하며 학문적 성공을 높이려면 다음과 같은 교육 관행이 교육 패러다임에 통합되어야 한다고 생각한다.
The debate continues on how to teach anatomy in the most effective way. Although dissection of cadavers has remained the gold standard for learning anatomical knowledge for hundreds of years, it is considered outdated, costly, time-consuming and a potentially hazardous approach. The transition from standalone anatomy courses into integrated and system-based curricula, and the reduction of teaching staff, resources and contact teaching hours have led many Western institutions to adopt cost effective, less time consuming and up-to-date teaching alternatives such as plastination, CBL, medical imaging and blended learning. To optimize efficient learner time management and maximize future surgical competencies, retention of anatomical knowledge and enhance academic success, we think that the following teaching practices should be incorporated into the educational paradigm:


• 어떤 교육적 방법은 특정 전문직에게 더 적합하다. 안전한 수술 절차를 수행하기 위해서는 해부학적 기술을 습득하는 것이 필수적이기 때문에, 전공 로테이션과 레지던트 프로그램 동안 전신 해부는 의료 훈련생들(특히 외과 직업의지를 가진 사람들)에게 가장 적합하다.
• Certain educational methods fit certain professions better than others, Because acquiring anatomical skills is essential to perform safe surgical procedures, full body dissection best fits medical trainees (particularly those with surgical career intentions) during specialist rotations and residency programs (Evans and Watt, 2005Leung et al., 2006).


• 연합 보건 학교(및 일부 의과 대학)는 해부를 하거나 빈소가 있는 완전한 해부 실험실을 지원할 돈도 시간도 없다. 또한 Allied health 학생들은 또한 필요한 학습 결과를 얻기 위해 해부학에 대한 고급 지식이 필요하지 않다. 따라서 플라스틱은 해부를 대체할 수 있는 주요 교육 방법으로서 치과, 간호사, 그리고 관련 건강 과학 학생들에게 가장 적합한 것으로 보인다.
• Allied health schools (and some medical schools) have neither the money nor time in the curriculum to do dissection or support full dissection labs with a mortuary. Such students also do not need advanced knowledge of anatomy to achieve the required learning outcomes (Mclachlan and Regan De Bere, 2004). Therefore, plastination seems the best fit for dental, nurse and allied health science students as the principle teaching method to substitute for dissection.

• 가능하다면, 해부 기반 지침의 지역적 접근 방식에 대한 의존도를 줄입니다. 더 많은 프로섹션이나 플라스틱을 채택하면 시스템 기반 해부학 커리큘럼으로 전환하는데 도움이 될 것이다.
• Decrease reliance upon the regional approach of dissection-based instruction in favour of prosections whenever possible. Adoption of more prosections or plastination would help the transition to system-based anatomy curricula (Leung et al., 2006).

• 특히 외과적 진로 의도를 가진 교육생과 같이 가장 필요한 사람들을 위해, 임상 교육 및 레지던트 프로그램의 적절한 단계에서 의료 커리큘럼 전반에 걸쳐 해부학을 [수직적으로 통합]한다.
• Vertical integration of anatomy throughout medical curricula at appropriate stages in the clinical training and residency program particularly for those who need it most such as trainees with surgical career intentions (Evans and Watt, 2005).

• 현재까지 모든 커리큘럼 요건을 충족하는 단일 교육 도구는 발견되지 않았습니다. 현대 해부학을 가르치는 가장 좋은 방법은 여러 교육학적 자원(플라스틱, CBL, 생체 해부학, 의료 영상)을 결합하여 서로를 보완하는 것이다. 학생들은 다양하고 시스템 기반 양식이 통합될 때 가장 큰 이익을 얻는 것으로 보인다. 해부학을 가르치는 데 멀티모달 패러다임의 사용은 다른 해부학자들의 지지를 받았다.
• To date, no single teaching tool has been found to achieve all curriculum requirements (Kerby et al., 2011). The best way to teach modern anatomy is by combining multiple pedagogical resources (plastination, CBL, living anatomy, medical imaging) to complement one another, students appear to profit most when diverse and system- based modalities are integrated. The use of a multimodal paradigm in teaching anatomy has received support from other anatomists (Biasutto et al., 2006, Rizzolo et al., 2010).

새로운 커리큘럼 개혁이 해부학적 지식의 보유와 미래의 외과적 역량에 미치는 영향은 여전히 불분명하다. 통합, 시스템 기반 및 멀티모달 교육 패러다임으로의 전통적인 지역 접근 방식에서 벗어나기 위해서는 다양한 교육 양식의 적합성 및 학생 인식, 그리고 학습 결과를 충족하는 이들의 능력을 평가하기 위한 추가 연구가 필요하다.

The impact of new curricular reforms on the retention of anatomical knowledge and future surgical competencies is still unclear. A shift away from the traditional regional approach towards integrated, system-based and multimodal teaching paradigms requires further research to evaluate the suitability and student perceptions of, different teaching modalities, and the ability of these to meet learning outcomes.

 

 

 


 

Ann Anat. 2016 Nov;208:151-157. doi: 10.1016/j.aanat.2016.02.010. Epub 2016 Mar 17.

 

Best teaching practices in anatomy education: A critical review

Affiliations collapse

Affiliations

1International Research Collaborative, Oral Health and Equity, The University of Western Australia, Australia; School of Anatomy, Physiology and Human Biology, The University of Western Australia, Australia. Electronic address: abdalla177@gmail.com.

2School of Anatomy, Physiology and Human Biology, The University of Western Australia, Australia.

PMID: 26996541

DOI: 10.1016/j.aanat.2016.02.010

Abstract

In this report we review the range of teaching resources and strategies used in anatomy education with the aim of coming up with suggestions about the best teaching practices in this area. There is much debate about suitable methods of delivering anatomical knowledge. Competent clinicians, particularly surgeons, need a deep understanding of anatomy for safe clinical procedures. However, because students have had very limited exposure to anatomy during clinical training, there is a concern that medical students are ill-prepared in anatomy when entering clerkships and residency programs. Therefore, developing effective modalities for teaching anatomy is essential to safe medical practice. Cadaver-based instruction has survived as the main instructional tool for hundreds of years, however, there are differing views on whether full cadaver dissection is still appropriate for a modern undergraduate training. The limitations on curricular time, trained anatomy faculty and resources for gross anatomy courses in integrated or/and system-based curricula, have led many medical schools to abandon costly and time-consuming dissection-based instruction in favour of alternative methods of instruction including prosection, medical imaging, living anatomy and multimedia resources. To date, no single teaching tool has been found to meet curriculum requirements. The best way to teach modern anatomy is by combining multiple pedagogical resources to complement one another, students appear to learn more effectively when multimodal and system-based approaches are integrated. Our review suggests that certain professions would have more benefit from certain educational methods or strategies than others. Full body dissection would be best reserved for medical students, especially those with surgical career intentions, while teaching based on prosections and plastination is more suitable for dental, pharmacy and allied health science students. There is a need to direct future research towards evaluation of the suitability of the new teaching methodologies in new curricula and student perceptions of integrated and multimodal teaching paradigms, and the ability of these to satisfy learning outcomes.

Keywords: Anatomy; Curriculum; Education; Learning; Modality; Teaching.

 

학부 의학에서 해부학을 배울 때 카데바가 정말 필요한가? (Med Teach, 2018)
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?
P. G. McMenamina , J. McLachlanb, A. Wilsonc , J. M. McBrided, J. Pickeringe , D. J. R. Evansf and A. Winkelmanng

 

 

서론
Introduction

이 심포지엄은 거의 35년 동안 해부학을 가르쳐온 그의 분야에서 인정받는 지도자인 폴 맥메나미나 교수가 의장을 맡았다. 해부학 교수법의 다양하고, 효율적이고, 참신한 방법을 탐구하는 것이 그의 주된 열정 중 하나였다. 맥메나민 교수는 론 하든 교수에 의해 이 토론의 촉진자 역할을 하도록 초대되었다. "프레젠테이션만"하는 일반적인 방법보다는 청중 참여 토론이 더 유익할 것이라는 의견이 제시되었다. 따라서 대화를 자극하기 위해 제안된 제목은 다음과 같습니다.
The symposium was chaired by Prof Paul McMenamin a recognized leader in his field who has been teaching anatomy for nearly 35 years. Exploring different, efficient, and novel methods of anatomy teaching has been one of his main passions. Professor McMenamin was invited by Professor Ron Harden to act as facilitator for this debate. Rather than the usual method of “presentations only”, it was suggested that an audience participated debate would be more informative. Therefore to stimulate the conversation the suggested title of:

"대학 의학부에서 해부학을 배우기 위해 카데바가 더 이상 필요할까요?"
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?”

청중에게 제안되었습니다. 청중들은 이것을 주의 깊게 읽고 그들 자신의 반응을 되새겨보라는 요청을 받았다. 찬성파와 반대파의 제안을 지지하는 두 팀은 위의 구체적인 토론 논점에 근거해 자신들의 주장을 할 것을 요청받았다.
was proposed to the audience. The audience were asked to read this carefully and reflect on their own individual response. The two teams, those supporting the proposition in the affirmative and the opposing house, were requested to base their argument on the specific debating point above.

맥메나민 교수는 자신을 소개했고, 진행자로서 토론 주제에 대해 개인적인 견해를 밝히지 않았지만, 각각의 발표자들이 그들의 자격증과 함께 청중들에게 개별적으로 소개될 것이라고 설명했다. 그리고 나서 연설자들은 개인적으로 그들의 토론 주장을 발표할 약 15분의 시간을 가졌다. 맥메나민 교수는 토론 이면의 논거를 설명하면서 옥스퍼드 전통에 따라 반대론자들이 '아니오 우리는 하지 않습니다'와 '네 우리는 합니다'라는 두 개의 집단이 존재할 것이라고 말했다. 전통과 마찬가지로, 화자들은 반드시 그들이 토론하도록 요청받았던 견해를 가지고 있지는 않을지 모르지만, 토론 기술의 힘을 이용하여, 그들은 그들의 메시지를 전달하기 위해 약간의 지적인 충돌과 약간의 유머를 섞어서 희망적으로 몇몇 심각한 논쟁을 제공할 수 있었다. 어떤 토론에서도 그렇듯이, 양원이 청중 참여를 허용해야 할 것으로 기대되었다.
Professor McMenamin introduced himself and as facilitator gave no personal views on the topic to be debated, but explained that each speaker would be individually introduced to the audience along with their credentials. The speakers then had approximately 15 minutes to present their debating argument personally. Professor McMenamin explained the reasoning behind the debate and that it would be based on the Oxford tradition where there would be two groups of opposing speakers, the “
No we do not” house and the “Yes we do” house. As with tradition, the speakers may not necessarily hold the views that they had been asked to debate on, but using the power of debating techniques they were free to provide some serious arguments hopefully with some intellectual jostling and a bit of humor interspersed, to convey their message. As in any debate, it was hoped that both houses should allow for the inclusion of audience participation.

맥메나민 교수는 청중들의 프로필을 기록하고 시작에 앞서 객관식 질문을 던지며 청중들에게 답변을 등록하기 전에 질문의 표현을 신중하게 생각하라고 지시했습니다.
Noting the audience profile and prior to commencement Professor McMenamin posed a series of multiple choice questions and instructed the audience to think carefully about the wording of the questions before registering their answer.

그 결과는 실제로 해부하는 과정과 해부하지는 않지만 해부하지 않는 과정으로 상당히 긍정적인 경향을 보여주었고 82%의 대다수는 우리가 학부 의학에서 시체들이 필요하다고 믿었다. 토론이 시작되었고 McMenamin 교수는 그들의 자격증과 함께 연사들을 소개했다.
The results indicated quite a strong positive leaning towards courses that actually do dissect cadavers and those that use cadavers but do not dissect and an 82% majority believing we do need cadavers in undergraduate medicine. The debate commenced and Professor McMenamin introduced the speakers along with their credentials.

존 맥래클런 교수는 "아니, 우리는 그렇지 않다"라는 집안의 토론을 시작했다.
Professor John McLachlan opened the debate for the “No, we do not,” house.

 

 

반대측
No we do not” house

편집된 스크립트 Edited transcript
존 맥라클란 교수 Prof John McLachlan 

이 "카다베릭" 해부학 교사들과 외과의사들은 우리가 문제가 있다고 제안합니다!
This audience of “cadaveric” anatomy teachers and surgeons suggest we have a challenge!

먼저, 저는 사람들이 왜 시체들을 사용하는지 추측할 것입니다. 그리고 나서 왜 제가 시체 없이 해부학을 가르치는 것을 장려했는지에 대해 추측할 것입니다. 그리고 나서 어떻게 우리가 시체 없이 해부학을 가르치는지 그리고 의사로서 학생들에게 미치는 영향에 대해 설명하겠습니다. 왜냐하면 이것이 해부학자를 배출하는 것이 아니라 우리의 목표이기 때문입니다. 마지막으로 외과 교육에 대해 설명하겠습니다.
First, I will speculate on why people use cadavers; then why I have promoted teaching anatomy without cadavers. Then I will describe how we teach anatomy without cadavers, and describe the impact on students as doctors, because this is our aim, rather than producing anatomists. Finally, I will comment on surgical training.

왜 해부학은 전통적으로 시체에게 가르쳐지는가? 이 문화적 현상은 르네상스 시대부터 시작되었다. 유럽의 의학은 점성술, 교감마술, 민속학, 한방학을 포함했다. 이 세상에 비살리우스의 훌륭한 작품이 나왔는데, 그는 이곳 저곳으로 일관되는 무언가를 묘사했고, 이것은 분명 큰 영향을 미쳤을 것이다. 그러나 파라셀수스는 "해부학자를 가르치는 것은 살아있는 몸이다. 그러므로 당신은 살아있는 해부학을 필요로 한다."라고 말했다. 그 논평은 우리의 목표의 중심이다.
Why is anatomy traditionally taught with cadavers? This cultural phenomenon dates from the Renaissance (McLachlan and Patten 2006). European medicine then included astrology, sympathetic magic, folklore and herbal medicine. Into this world came the wonderful work of Vesalius, who described something that was consistent from place to place, and this must have had huge impact. But Paracelsus commented, “It is the living body that teaches the anatomist, you therefore require a living anatomy”. That comment is central to our goals.

페닌슐라에서 새로운 의대를 설립할 때, 우리는 백지 한 장을 가지고 있었다. 우리의 핵심 질문은 무엇을 가르칠 것인가 뿐만 아니라 왜 어떻게 가르칠 것인가 하는 것이었다. GMC에 의해 명시된 우리의 목표는 비전문의 후배 의사들을 양성하는 것이었다. 우리의 직업 분석 결과, 하위 의사들은 주로 살아있는 해부학과 의학 이미지를 통해 해부학을 보는 것으로 나타났다. 이것이 우리가 초점을 맞춘 것입니다. 우리는 또한 그들의 사회적 역할을 고려했는데, 우리는 그들의 경험에 중심적으로 만들고 싶었다.
In setting up a new medical school at Peninsula, we had a blank sheet of paper. Our key questions were not just what to teach, but also why and how. Our aim, specified by the GMC, was to train non-specialist junior doctors. Our job analysis showed that junior doctors see anatomy primarily through living anatomy and medical imaging. So this is what we focused on. We also considered their social role, which we wanted to make central to their experience.

그렇다면, 시체 없이 어떻게 해부학을 가르칠 수 있을까요? 중요한 측면은 임상 기술과의 통합이다. 우리는 또한 살아있는 해부학, 동료 검사, 살아있는 모델 또는 임상 기술 파트너의 사용, 그리고 바디 페인팅을 강조한다. 의료 영상 촬영에 중점을 두고 있다. 의학 방사선 전문의와 방사선사는 해부학 강의의 4분의 1을 담당했다. 우리는 안전하고 비침습적인 휴대용 초음파 기술에 열광했습니다. 적절한 안내가 있으면 학생들이 서로 사용할 수 있어 신체 내부의 실시간 생활 구조를 놀라울 정도로 자세하게 볼 수 있다. 휴대용 초음파는 중앙 정맥 라인의 배치와 같은 향후 일상적인 임상 용도로 사용될 것이기 때문에 이것은 중요하다.

How, then, do we teach anatomy without cadavers? A key aspect is integration with clinical skills. We also emphasize living anatomy, peer examination, use of living models or clinical skills partners, and body painting (McLachlan and Regan 2004; McLachlan 2004). Heavy emphasis is placed on medical imaging. Medical radiologists and radiographers delivered a quarter of the anatomy teaching at Peninsula. We were enthusiastic about portable ultrasound, a safe, noninvasive, technique. With appropriate guidance, students can use it on each other, allowing them to see real-time living structures inside the body, in remarkable detail. This is important, because portable ultrasound will be in routine clinical use in the future, such as during the placement of central venous lines.

살아있는 해부학과 관련하여, 우리는 학생들이 종종 인체에 대해 당황한다는 것을 발견했다. 우리는 그 당혹감을 없애고, 서로를 검사함으로써, 검사받는 것이 어떤 느낌인지 이해하고 싶었습니다. 많은 학교들이 살아있는 해부학을 사용하지만, 우리에게는, 이미징과 함께, 해부학 학습의 중심이었습니다. 학생들은 서로의 동의(핵심 학습 포인트)를 얻었고, 주저하거나 당황하지 않고 표면 랜드마크를 유창하게 식별하는 법을 배웠다. 이것은 이후의 임상 환경에 대한 그들의 자신감을 증가시켰다. 물론 우리가 연구로 개발한 학생들로부터의 참여에는 개인적, 문화적 차이가 있었다.

With regard to living anatomy, we discovered that students are often embarrassed about the human body. We wanted to remove that embarrassment, and through examining each other, understand what it felt like to be examined. Many schools use some living anatomy, but for us it was, with imaging, central to anatomy learning. Students obtained consent from each other (a key learning point), and learnt to identify surface landmarks fluently, without hesitation or embarrassment. This increased their confidence in later clinical settings. There were of course personal and cultural variations in engagement from the students, which we developed as research (Rees et al. 2005).

우리는 보디페인팅이 동료 시험에서 학생들이 느낄 수 있는 당혹감을 해소하는 데 실질적인 도움이 된다는 것을 발견했다(그림 1(A)). 또한 그것은 매우 기억에 남으며 매우 인기가 있다. 특히 시각 학습자에게 적합하며 임상 검사와 잘 통합됩니다. 우리는 학생들이 서로 연습할 수 없는 유방 검사 및 기타 임상 기술을 위해 임상 기술 파트너(CSP)를 사용한다. 학생들이 진짜 유방 검사를 본 적이 없고, 하물며, 심전도 검사를 받은 적이 없으며, 여성에게도 심전도 검사를 한 적이 없다는 것을 알게 된 것은 매우 실망스러운 일이었습니다. 이것은 해부학 교육의 문화적 구성과 함께 오는 사회적 당혹감의 일부이다. CSP는 상대적으로 젊고 마른 경향이 있는 우리 학생들보다 더 넓은 범위의 신체 형태를 가지고 있었다. CSP는 또한 학생 경험에 추가된 방식으로 자발적으로 그들의 인생 경험을 공유했다. 그들은 "손이 시리다" "화장실 다녀왔느냐고 묻지 않으면 누르지 말라"는 말을 서슴지 않았다. 그들은 환자가 아니기 때문에 권한을 박탈당하지 않는다.

We found body painting to be a real help in defuzing the embarrassment students may feel in peer examination (Figure 1(A)) (Finn and McLachlan 2010). It is also highly memorable and very popular. It particularly suits visual learners, and integrates well with clinical examination. We use clinical skills partners (CSPs) for breast examination and other clinical skills, which students cannot practice on each other (Collett et al. 2009). It had been deeply dismaying for me to discover that students were graduating without ever having seen a real breast examination, far less done one, and had never placed ECG leads on a female. This is part of the social embarrassment that comes with the cultural construction of anatomy teaching. The CSPs had a wider range of body morphologies than our students, who tend to be relatively young and lean. CSPs also shared their life experiences spontaneously in ways that added to the student experience. They did not hesitate to say, “Your hands are cold,” or, “Don’t press me there unless you’ve asked if I’ve been to the toilet”. They are not patients, and are therefore not disempowered.

또한 전자 본체(예: VH 디섹터)를 사용하고 학생들에게 이미지를 투사하여 가치를 더했습니다(그림 1(B)). 자원봉사자를 회전시키면서 내부 구조도 회전시킬 수 있다. DR의 시체조차도 이러한 유연성을 제공하지 않습니다. 이 접근법은 특히 임상적으로 관련 있는 횡단 뷰를 나타내는 데 뛰어나다.
We also used electronic bodies (e.g. VH Dissector), and add value by projecting images onto students (Figure 1(B)). One can rotate a volunteer while also rotating their internal structures. Even the cadaver in the DR does not offer this flexibility. This approach is particularly good at indicating clinically relevant transverse views.

특히 흥미로운 것은 3D 인쇄를 사용하는 것입니다. 예를 들어, 인쇄된 '팔로의 지형학'을 학급의 모든 학생들에게 배포하여 처리하고 회전시킬 수 있으며, 병리학적 표본으로도 허용되지 않는 이해를 얻을 수 있습니다.
Particularly exciting is the use of 3D printing, for instance, a printed ‘Tetralogy of Fallot’ can be circulated to all the students in the class, to handle and rotate it, gaining understanding that even a pathological specimen wouldn’t allow.

우리는 학생들이 신체의 모든 측면을 이해하기를 원했고, 그래서 우리는 학생들이 인간적인 맥락에서 신체에 대해 생각하도록 격려하기 위해 인생 그림, 조각, 그리고 시 수업을 통해 예술과 인문학을 포함했습니다. 이것은 웰컴 트러스트로부터 자금을 끌어모았다. 한 프로젝트("Flex + Ply")에는 직물 관련 작업이 포함되었으며, 그림 1(C) (Fleming et al. 2010)에 표시된 피부색 청바지를 특징으로 했습니다. "이거 입으면 내 S3가 커 보이나?"라는 제목이 학생들에게서 나왔다. '절개 가운'은 수술과 생검의 주요 장소를 표시했다. 
We wanted students to understand all aspects of the body, so we included arts and humanities via life drawing, sculpting, and poetry classes, to encourage students to think about the body in a human context (Collett and McLachlan 2005; Collett and McLachlan 2006). This attracted funding from the Wellcome Trust. One project (“Flex + Ply”) included work with textiles, and featured the dermatome jeans shown in Figure 1(C) (Fleming et al. 2010). The title, “Does my S3 look big in this?” came from the students. The ‘Incision Gown’ marked the major sites of operations and biopsies.

이러한 새로운 접근 방식에 맞게 평가를 조정하는 것이 중요합니다. 임상적 맥락이 있는 질문은 더 잘 수행되었고 더 인기가 있었다(Ikah et al. 2015).
It is important to adjust assessment to match these new approaches. Questions with clinical context performed better and were more popular (Ikah et al. 2015).

학생들이 시체들을 사용하지 않음으로써 중요한 것을 놓치나요? 아닐 거예요. 죽음은 호스피스 치료와 같은 현실 세계에서 가장 잘 보인다. 비슷하게, 손재주와 팀워크를 훈련시키는 많은 방법들이 있다. 시체가 "첫 번째 환자"라는 생각은 실망스럽다. 우리는 학생들이 그들의 첫 번째 환자를 분해하기를 원합니까? 오히려, 우리는 학생들이 그들을 살아있는 사람으로 보기를 원한다. 예를 들어, 우리는 1학년 학생들을 임신 중인 산모에게 소개하는데, 산모는 임신 기간 내내 따라다닌다. 우리는 이것이 훨씬 더 나은 "첫 번째 환자"라고 느낍니다. 그리고 그것은 일부 학생들이 시체들과 함께 일하는 것에 대해 느끼는 고통을 피한다.

Do students miss out on anything important by not using cadavers? We believe not. Death is best seen in a real world context, such as in hospice care. Similarly, there are many ways to train for dexterity and team work. The idea of the cadaver as “the first patient” is dismaying: do we want students to disassemble their first patient? Rather, we want students to see them as living people. For instance, we introduce first year students to a pregnant mother, who they follow through her pregnancy, including imaging sessions. We feel this is a much better “first patient”. And it avoids the distress that some students feel with regard to working with cadavers.

이러한 접근법의 학생들에게 미치는 영향은 무엇인가? 우리는 그들이 다른 과목들과 같은 속도로 해부학을 배운다는 것을 보여주었고, 반대편 "팀"의 일원인 아담 윌슨의 메타 분석은 해부학을 가르치기 위해 어떤 양식을 사용하는지를 나타내지 않는다는 것을 보여주었다. 의사로서 학생들에게 미치는 영향은 무엇인가? 우리는 그것이 그들을 더 편안하게 하고 연습에 대비하게 한다는 것을 발견했다(Chinna et al., 2011).
What is the impact on the students of these approaches? We have shown that they learn anatomy at the same rate as other subjects, and a meta-analysis by Adam Wilson, a member of the opposite “team”, has shown that it does not signify which modality you use to teach anatomy (Wilson et al. 2017). What is the impact on students as doctors? We have found that it makes them more relaxed and prepared for practise (Chinnah et al. 2011).

수술의 경우, 외과적 훈련은 보존된 시체들의 연구와 해부를 필요로 할 수 있지만, 그것은 대학원 이후의 활동이어야 한다.
As for surgery, surgical training may well require the study and dissection of preserved cadavers, but that should be a post-graduate activity.

그래서 제가 마지막으로 추천하는 것은, 죽은 자보다 산 자를 선택하는 것입니다.
So my final recommendation is, choose the living over the dead.

찬성 측
“Yes we do” house

애덤 윌슨 박사
Dr Adam Wilson


최근 발표된 해부학 실험실 교육학에 대한 메타 분석은 핵심 증거 기반 연구로, 많은 주장이 따를 수 있는 토대를 마련한다. 요약하면, 메타 분석은 해부 대 해부, 해부 대 모델/모델링, 해부 대 디지털 미디어, 해부 대 하이브리드 접근법을 조사하는 4가지 하위 분석을 수행했다. 이 연구의 전반적인 목표는 이러한 다른 접근법에 비해 해부의 효과를 이해하는 것이었다. 3000개가 넘는 기록을 검토한 결과, 총 27개의 연구가 최종 분석에 포함되었다. 7,000명 이상의 참가자를 포함한 27개 연구에서 메타 분석은 학습자의 성과에 영향을 미치지 않았다. 다시 말해서, 해부학에서 학생들의 단기적인 지식 증가는 [해부용 시체들에 노출되거나 그렇지 않은 것과 상관없이 동등]했다.
Our recently published meta-analysis on anatomy laboratory pedagogies (Wilson et al. 2018) is a key evidence-based study, which lays the groundwork for many of the arguments to follow. In summary, the meta-analysis conducted 4 sub-analyses that investigated dissection vs prosection, dissection vs. models/modeling, dissection vs digital media, and dissection vs hybrid approaches. The overall goal of this study was to understand the effectiveness of dissection compared to these other approaches. Upon reviewing over 3000 records, a total of 27 studies were included in the final analysis. Across those 27 studies (which included over 7000 participants), the meta-analysis detected no effect on learner performance. In other words, students’ short-term knowledge gains in anatomy were equivalent regardless of being exposed to dissecting cadavers or not.

액면 그대로 말하자면, 대학 의학 교육에서 시체들은 더 이상 필요하지 않은 것처럼 보인다. 그러나 나는 개인들에게 이 연구를 지나치게 해석하지 말라고 경고한다. 이러한 결과는 학생들의 [단기적인 지식 향상]에만 초점을 맞춘다. 많은 사람들은 시체들과 해부가 해부학적 지식의 보존에 더 큰 영향을 미친다고 주장할 것 같다. 구조물은 학습자들이 진짜 해부학을 경험할 때 장기적으로 학습자들의 마음에 더 잘 각인됩니다. 우리가 교육 문헌을 볼 때, 커스터(2010)는 [장기적인 지식 보존]의 가장 중요한 결정 요인은 학습 중인 콘텐츠와의 장기적인 접촉이라고 알려준다. 이 논리에 따르면, 시체 해부의 시간 강도 과정은 해부학적 지식을 더 잘 장기적으로 보존하는 것으로 해석될 가능성이 높다. 하지만, 완전한 투명성에서는, 이 주제에 대한 문헌이 거의 없기 때문에, 시체들이 지식 보존에 미치는 진정한 영향을 확실히 아는 것은 어렵습니다. 이 점은 좀 더 엄밀한 조사가 필요하다 
At face value, it appears that cadavers are no longer needed in undergraduate medical education. However, I caution individuals not to over-interpret this study. These results focus only on students’ short-term knowledge gains. Many are likely to argue that cadavers and dissection have a greater impact on the retention of anatomical knowledge. Structures are better imprinted in the minds of learners, for the long-term, when they experience authentic anatomy. When we look at the educational literature, Custer (2010) informs us that the most important determinant of long-term knowledge retention is prolonged contact with the content under study. Following this logic, the time intensiveness process of cadaveric dissection likely translates to better long-term retention of anatomical knowledge. However, in full transparency, the literature on this topic is scant, so it’s hard to know for certain the true impact of cadavers on knowledge retention. This point deserves more rigorous investigation.

흥미롭게도, 지난 10여 년 동안 적어도 5개의 미국 의과대학과 일부 호주와 뉴질랜드 의과대학이 시신 유기 및 해부 실험을 했다. 이 학교들은 몇 년 후에 시신 해부를 다시 시작한다는 것을 알게 되었다. 다음은 면과 관련하여 이러한 현상이 발생한 이유에 대한 두 가지 설명입니다.
Interestingly, over the past decade or so, at least 5 US medical schools and some Australian and New Zealand medical schools have experimented with abandoning cadavers and dissection. These same schools found themselves reinstating cadaveric dissection a few years later (Rizzolo and Stewart 2006; Craig et al. 2010). Here are two explanations for why this about face may have occurred:

  • 한 연구는 임상실습 책임자들이 일화적으로 학생들의 임상실습 수행 능력이 부족하다고 느낀다고 언급했다(리졸로와 스튜어트 2006). 그들은 해부를 포기하는 것과 같은 커리큘럼의 변화에 성과적 부족을 돌렸다. 이것은 해부학적 지식의 보존에 기여하는 시체들의 잠재적인 역할로 돌아간다.
  • One study cited that clerkship directors anecdotally felt the performance of their students on clerkship was lacking (Rizzolo and Stewart 2006). They attributed performance deficits to curricular changes, such as abandoning dissection. This circles back to the potential role of cadavers in contributing to the retention of anatomical knowledge.
  • 학교들이 시체 기반 해부로 복귀한 이유에 대한 두 번째 설명은 대다수의 학생들이 교과 과정에 시체 해부를 하는 것을 선호하는 경향이 있다는 것이다. 해부학 실험실 교육학의 동일한 메타 분석에서, 17개의 연구에서 시체들에 대한 선호도와 시체들에 대한 선호도가 집계되었다. 평균적으로 응답자의 57%가 시체 기반 학습을 선호하거나 가치를 발견했다. 이 발견은 고등학생, 대학생, 보건 직업 학생, 의대생을 포함한 매우 다양한 학습자 집단에서 파생되었다. 57%의 이 추정치는 (아마도 다른 어떤 그룹보다) 자신의 해부학적 지식을 임상 환경에서 적용하도록 강요받는 의대생들 사이에서 더 높을 것이다.
  • A second explanation for why schools returned to cadaver-based dissection is that the majority of students tend to favor having cadavers and dissection in their curricula (Wilson 2017). In the same meta-analysis of anatomy laboratory pedagogies, preferences for and against cadavers were tallied across 17 studies. On average, 57% of respondents favored or found value in cadaver-based learning. This finding was derived from a very diverse population of learners, which included, high school students, college students, health professions students, and medical students. This estimate of 57% is likely to be higher among medical students who (more so than perhaps any other group) are forced to apply their anatomical knowledge in clinical settings.
  • 그렇긴 하지만, 왜 학생들은 시체들을 선호할까? 한 가지 잠재적인 대답은 시신 기반 해부학이 인간의 변이, 죽음에 대한 노출 및 수술 기술을 수반하고 조직 질감과 공간 관계의 고유성을 통해 구조의 차등 식별을 포함하는 [진정한 해부학authentic anatomy]을 가르친다는 것이다. 어떤 사람들은 또한 시체 기반 학습이 학생들이 나중에 임상 환경에서 해부학적 지식을 증명하도록 요구될 때 학생들의 자신감 수준을 높이는 데 도움이 된다고 주장할 수 있다.
  • That being said, why do students prefer cadavers? One potential answer is that cadaver-based anatomy teaches authentic anatomy which entails human variation, exposure to death and surgical skills, and involves the differential identification of structures through the uniqueness of tissue textures and spatial relationships. Some may also contend that cadaver-based learning helps to boost students’ confidence levels when they are later called upon to demonstrate their anatomical knowledge in clinical settings.

 

시체들의 사용에 반대하는 또 다른 일반적인 주장은, 예를 들어, 유전학과 같은 다른 성장하는 분야들에 대해 배우는 데 더 나은 시간을 보낼 수 있다는 것이다. 반박하자면, 의학 연구는 항상 진화할 것이다. 그것은 당연해요! 그러나, 의학의 기초는 인체와 그 기계적인 과정에 대한 복잡한 이해이며, 그것은 결코 변하지 않을 것이다. 해부학은 역사적으로 의학의 초석으로 불리며, 임상 지식과 통찰력이 구축되는 중요한 기본 구성 요소로서 지속되어 왔다. 찰스 프로버(스탠포드 의학교육 학장)는 해부학을 '상록수' 학문이라고 불렀는데, 이는 해부학이 항상 관련성이 있다는 것을 의미한다. 어떤 이들은, 심지어 시체 기반 교육이 가장 엄격한 교육학적 적합성 시험인 [시간의 검증test of time]에서도 살아남았다고 말할 것이다. 마치 모래 대신 바위 위에 집을 지은 현명한 사람처럼, 의학 커리큘럼도 진짜 시체 기반 해부학의 견고한 토대 위에 세워져야 한다고 생각합니다.

Another common argument against the use of cadavers is that the time spent learning detailed anatomy could be better spent learning about other growing disciplines like genetics, for example. In rebuttal, the study of medicine will always be evolving. That’s a given. However, the foundational basis upon which medicine is build is an intricate understanding of the human body and its mechanistic processes—and that will never change. Anatomy has historically been called the cornerstone of medicine, and it continues to persist as an important basic building block upon which clinical knowledge and acumen are built. Charles Prober (a medical education dean at Stanford) along with the founder of the Kahn academy have called anatomy an ‘evergreen’ discipline, meaning it will always be relevant (Prober and Khan 2013). Some would even say that cadaver-based instruction has survived the most rigorous test of pedagogical fitness—the test of time. Like the wise man who built his house upon the rock, instead of the sand, so too should medical curricula be built on the solid foundations of authentic cadaver-based anatomy, in my opinion.

여기 고려해야 할 마지막 요점이 있다. 쿠퍼와 데온(2011)은 논문에서 역사적으로 의료 커리큘럼은 사회적, 정치적, 경제적 힘에 의해 외부적으로 영향을 받았다고 밝혔다. 그들은 커리큘럼이 종종 "문화적으로 기반하고 사회적으로 조정된다"고 주장한다. 의과대학이 학생들이 환자를 보기 전에 해부학에서 의사들을 훈련시키기 위해서만 가상현실을 사용한다고 홍보하는 것을 상상해보라. 사회는 이것에 어떻게 반응할까? 훈련 기관의 명성을 더럽힐 수 있는 대중의 불만이나 불만이 있을 수 있는가? 아마도요. 본질적으로, 우리는 여론의 법정을 과소평가할 필요가 없다. 이 같은 이념은 예비 학생들의 인식, 기대, 요구에도 적용된다.

Here is one final point to consider. In their paper, Kuper and D’Eon (2011) articulated that, historically, medical curricula have been externally influenced by social, political, and economic forces. They argue that curricula are often “culturally based and socially mediated”. Imagine a medical school publicizing that its students only use virtual reality to train their doctors in anatomy before they begin to see patients. How might society respond to this? Might there be some level of public dissatisfaction or discontent that could potentially tarnish the reputation of the training institution? Perhaps. In essence, we need not underestimate the court of public opinion. This same ideology also applies to the perceptions, expectations, and demands of prospective students.

전반적으로, 시체 기반 학습에 유리한 이 논평은 네 가지 핵심 포인트를 통해 요약될 수 있다.
Overall, this commentary in favor of cadaver-based learning can be summarized through four key points:

  • 구조물은 학생들이 진짜 해부학을 볼 때 더 잘 각인된다. 이것은 장기적인 지식 보존을 향상시킬 가능성이 있다.
  • 학생들은 시체로부터 배우는 것을 선호하고 그것은 아마도 교과목에 대한 그들의 신뢰 수준을 증가시킨다.
  • 시체들과 함께 가르치는 것은 시간의 시련을 견뎌냈고 시체 해부를 포기한 학교들은 다시 그 시대로 돌아왔다.
  • 커리큘럼 결정을 내리는 데 있어서 대중의 인식의 역할을 과소평가해서는 안 된다.
  1. Structures are better imprinted in students’ minds when they see authentic anatomy—which is likely to enhance long-term knowledge retention.
  2. Students prefer learning from cadavers and it likely increases their confidence levels in the subject matter.
  3. Teaching with cadavers has withstood the test of time and schools that have abandoned cadaveric dissection have returned to it.
  4. The role of public perception in making curricular decisions must not be underestimated.

반대측
“No we do not “house

제임스 피커링 부교수
Assoc Prof James Pickering

해부학을 가르치는데 시체들이 필요할까요? 그것이 우리가 토론하고 있는 질문이고 나는 커리큘럼 디자인의 프리즘을 통해 그 질문에 대답하기를 희망한다. 맥라클란 박사에 의해 탐구된 주제를 계속하기 위해, 우리는 누구를 원합니까? 현재 대학생들이 의과대학에 합격하면 우리는 누가 의학을 전공하고 싶은가? 우리는 효율적이고 효과적인 의사나 효율적이고 효과적인 해부학자를 원하는가? 나는 우리 모두가 전자에 동의할 것이라고 생각한다. 그렇다면, 우리의 직업은 무엇일까요? 의학 교육자로서, 해부학자로서 우리의 일은 효과적이고 효율적인 의사의 개발을 지원하는 것이다. 우리는 해부학자를 훈련시키기 위해 여기에 있는 것이 아니다. 저희는 대학원 연수 과정에 들어갈 의사들을 양성하기 위해 이곳에 왔습니다. 정신과, 수술, 일반 진료와 같은 다양한 전공분야를 전문으로 하고 있습니다. 

Do we need cadavers to teach anatomy? That is the question we are debating and through the prism of curriculum design I hope to answer that question. To continue the theme that has been explored by Dr McLachlan, who do we want? Who do we want to be practicing medicine once our current undergraduate students have passed through medical school? Do we want efficient and effective doctors or efficient and effective anatomists? I think we’d all probably agree with the former. Therefore, what is our job? Our job as medical educators, as anatomists, is to support the development of effective and efficient doctors—we are not here to train anatomists. We are here to train doctors that are going to enter postgraduate training and specialize in a whole range of different specialties such as psychiatry, surgery and general practice.

그렇다면, 우리는 어떻게 이러한 효율적이고 효과적인 의사로서의 발달을 지원할 수 있을까요? 우리는 어떻게 그들의 졸업과 동시에 효율적이고 효과적인 의사들을 낳는 커리큘럼을 설계할까요? 그 질문에 답하기 위해 우리는 오늘날의 의사들의 역할을 이해할 필요가 있다. 무슨 일을 하시는데요? 오늘날 또는 미래의 의사들은 점점 더 다양해지는 문화, 다른 약, 그리고 현재 이용 가능한 획기적인 치료 방안과 함께 환자의 신체적, 심리적, 사회적 측면을 이해할 필요가 있다. 게다가, 현재의 의사들은 어떻게 이러한 다양한 측면을 환자 치료에 통합하는가? 더 이상 외과의사만 어떤 문제를 해결하는 것이 아니다; 복잡한 현대 문제를 해결하기 위해 함께 모이는 것은 다학제 전문가들로 구성된 팀이다. 임상의는 더 이상 고립된 상태로 일하지 않는다. 그들은 한 팀으로 함께 일한다. 이런 맥락에서 저는 우리가 이러한 [현대의 복잡한 문제]들을 해결할 수 있도록 우리의 학생들과 미래의 의사들을 지원하는 커리큘럼을 개발하고, 구성하고, 설계해야 한다고 믿습니다.

So, how do we support the development of these efficient and effective doctors? How do we design curricula that results in efficient and effective doctors upon their graduation? To answer that question we need to understand the role of today’s doctors. What do they do? Today’s or indeed tomorrow’s doctors need to understand the physical, psychological and social aspect of the patient, alongside the increasingly varied cultures, differing medicines and breakthrough treatment options that are now available. Moreover, how do current doctors then integrate all of these varying aspects to patient care? It is no longer the surgeon that seeks to solve a certain problem; it is a multidisciplinary team of specialists who come together to solve complex modern-day problems. Clinicians no longer work in isolation. They work together as a team. It is in this context I believe we need to develop, construct and design curricula that support our students, our future doctors, in being able to solve these modern day complex problems.

이 목표를 달성하기 위해서는 전이transfer가 필요하다고 생각합니다. 현대 의학의 기초인 종합 해부학, 조직학, 병리학, 살아있는 해부학 및 방사선학에 대한 기본 지식을 현대 의학에서 복잡한 문제를 해결하는 데 도움이 될 수 있는 솔루션을 찾는 데 전이할 수 있도록 지원합니다. 해부학자나 해부학 교육자로서, 우리는 인체의 신체적 기초를 이해하기 위해 미래의 의사들을 지원하고 발전시키는 데 있어, 전면적이고 중심적인 역할을 할 수 있는 운이 좋은 위치에 있다. 그러나, 이것은 [육안gross 해부학을 이해하는 것] 이상이다; 예를 들어, 다양한 근육의 부착 부위나 맹장의 위치를 이해하기 위해 시신으로 학습하는 것이 아니다. 이러한 영역들이 핵심 지식의 중요한 영역이지만, 우리는 학생들에게 단지 "육안gross" 또는 지형적 해부학 이상을 가르쳐야 할 책임이 있다. 우리는 그들에게 이런 것들을 가르친다.

  • 발달 해부학, 배아학; 임상 기술을 뒷받침할 수 있는 표면 및 살아있는 해부학; 현미경 또는 조직학; 기능적 해부학 및 생리학; 비정상적인 해부학 또는 병리학; 그리고 마지막으로 영상 해부학 방사선학을 우리의 코스에 통합합니다. 

후자는 해부학 커리큘럼의 필수적인 요소인데, 대부분의 의사들이 인체를 이미지 형태로 조사examine할 것이기 때문이다.

To achieve this goal, I believe the requirement is transfer. Supporting our students to transfer the basic knowledge of gross anatomy, histology, pathology, living anatomy, and radiology—the bedrock of modern medicine—into finding solutions that can help solve modern day complex problems. As anatomists, or as anatomy educators, we are in the fortunate position to have a front and central role in supporting and developing the future doctors to understand the physical basis of the human body. However, this is more than understanding gross anatomy; it is not just about working with cadavers, for example, to understand the attachment sites of various muscles or the location of an appendix. Whilst these are important areas of core knowledge, we are charged with teaching our students more than just “gross” or topographical anatomy. We teach them

  • developmental anatomy, embryology; surface and living anatomy to support their clinical skills; micro-anatomy or histology; functional anatomy and physiology; abnormal anatomy or pathology; and finally we integrate imaging anatomy radiology into our courses.

The latter is an essential element of any anatomy curriculum, as the vast majority of doctors will examine the human body in image form.

그래서 영국 리즈에서 우리의 커리큘럼의 초점은 무엇인가? 시체들을 해부하고 이것을 신경표와 추천된 교과서에 있는 부착물과 연결시키는데 시간을 보내기 위해서? 앞에서 언급한 다른 영역보다 본 코스의 이러한 측면이 더 중요합니까, 아니면 덜 중요합니까? 거시 해부학macro-anatomy이 중요하지 않다고 주장하는 것은 어리석은 일일 것이다. 하지만 그것은 학생들이 알아야 할 다른 것이다. 저는 우리가 이 [모든 개별적인 요소들을 통합]하는데 우리의 커리큘럼을 집중할 필요가 있다고 생각합니다. 그렇지 않으면, 우리는 커리큘럼을 "원자화"하고, 개별 요소를 우리가 왜 이 내용을 가르치는지에 대한 중요한 근거는 없는, 상당히 상세한 체크리스트로 환원시킬 위험이 있다. 교과 과정의 해부학적 내용을 자세히 이해하는 것은 문제될 것이 없다. 사실 세부적으로 이해하는 것만이 복잡한 문제를 해결할 수 있다. 다양한 "핵심" 해부학 강의 요강은 커리큘럼을 개발하는 데 유용하다고 알려져 왔다. 하지만 원래의 질문으로 돌아가자면, 여러분은 이 논문에서 제시된 해부학을 이해하기 위해 시체 한 구가 필요할까요? 물론, 여러분은 그것을 하기 위해 시체를 사용할 수 있지만, 아마도 다른 방법들도 있을 것이고, 그것은 똑같이 효과적일 것입니다. 해부학자로서, 해부학 커리큘럼을 설계하는 학자로서, 우리는 이것보다 더 잘할 수 있습니다.
So what is the focus of our curriculum at Leeds in the UK? To spend time dissecting cadavers and linking this to tables of nerves and attachments from the recommended textbook? Is this aspect of our course more or less important than the other areas mentioned previously? It would be folly to argue that macro-anatomy is not important, but it is just something else the students need to know. I believe we need to focus our curricula on integrating all of these individual elements together. If not, we risk “atomising” our curricula and reducing the individual elements into quite detailed checklists absent of an overarching rationale for why we are teaching this content. There is nothing wrong with a detailed understanding of the anatomy content of the curriculum, in fact, only by having a detailed understanding can complex problems be solved. Various “core” anatomy syllabi have been said to be useful in developing curricula (Tubbs et al. 2014; Moxham et al. 2015; Smith et al. 2016). But to return to the original question: do you need a cadaver to understand the anatomy presented in these papers? You could use a cadaver to do it, of course, but there are probably other ways to do it, which are just as effective. I think as anatomists, as academics who are designing anatomy curricular, we can do better than this.

학생들은 교과 과정의 해부학 내용을 알아야 하지만, 복잡한 문제를 풀기 위해 이 내용을 어떻게 사용하는지도 알아야 합니다. 예를 들어, 폐암은 복잡한 문제이다. 영국에서 가장 흔하고 심각한 유형의 암 중 하나로, 연간 45,000건의 진단이 있다. 만약 누군가가 폐암에 걸렸다고 의심한다면, 그들은 어떻게 해야 할까요? 그들은 의사에게 간다. 그들의 의사는 무엇을 하는가? 그들을 검사하고, 그들의 가슴을 듣고, 청진하고, 촉진하고, 타진한다. 이는 [생체 해부학]이다. 그들은 잠재적으로 그들을 CT 스캔과 흉부 엑스레이 촬영을 위해 보내고, 그리고 나서 이 발견들을 해석할 것이다. 이것은 [방사선 해부학]이다. 그들은 용량을 계산하기 위해 폐 부피 테스트를 할 수 있다. 이것은 [기능적 해부학]이다. 그들은 조직검사를 받고 조직학(미소해부학)을 검사한 다음 병리를 평가할 수 있다. 이는 [이상 해부학]이다. 일단 환자가 이 순서를 거치면 그들은 거시 해부학을 검사하기 위해 수술을 받을 수 있다. 이는 [육안 해부학]이다.

The students need to know the anatomy content of their course, but they also need to know how to use this content to solve complex problems. For example, lung cancer is a complex problem. It is one of the most common and serious types of cancer in the United Kingdom, with 45,000 diagnoses per year. If someone suspects they have lung cancer, what do they do? They go to the doctor. What does their doctor do? Examine them, listen to their chest, auscultate, palpate, percuss - living anatomy. They will potentially send them for a CT scan, a chest x-ray and then interpret these findings—radiological anatomy. They may do a lung volume test to calculate capacity—functional anatomy. They may go for a biopsy and examine the histology—microanatomy—and then assess for pathology—abnormal anatomy. Only once the patient has gone through this sequence may they go and have surgery to examine the macro-anatomy—gross anatomy.

교육 과정을 [전달 방법]보다는 [내용에 집중]하기 위해서는, 보다 [전체적인 설계]가 필요하다. 원자화된 접근 방식에서 보다 전체적인 접근 방식으로 전환함으로써, 영역의 통합이 발생할 수 있습니다. 그러나 학생들이 이러한 복잡한 생각을 배우기 위해서는 복잡한 가르침이 필요하며 해부학의 각 영역에 대해 어떤 면이 정말로 시체 한 구를 필요로 하는가? 생체, 방사선, 미시, 거시, 비정상적인 해부학은 현재 이용 가능한 광범위한 대체 자원을 사용하여 모두 가르칠 수 있다. 보디페인팅에서 가상현실 소프트웨어 및 시뮬레이션, 3D 프린팅에서 플라스틱에 이르기까지 단순하고 복잡한 형태를 만들 수 있습니다. 만약 이 자원들이 대안들만큼 효과적이라는 것을 보여줄 수 있다면, 왜 시체들은 해부학 커리큘럼을 전달하기 위해 어디에나 있는 접근법이 필요할까요? 난 그렇게 생각하지 않습니다.

A more holistic design is necessary to focus our curricula on the content rather than the delivery method. By moving away from the atomized approach to a more holistic approach, integration of areas can occur. However, for the students to learn these complex ideas you need complex teaching and for each area of anatomy which aspect really needs a cadaver? Living, radiological, micro, macro, abnormal anatomy can all be taught by using the wide range of alternative resources currently available. Form the simple to the complex, from body painting to virtual reality software and simulation, from 3D printing to plastination. If these resources can be shown to be as efficacious as the alternatives (Pickering 2017; Clunie et al. 2018; Wilson et al. 2018), then why do cadavers need to be the ubiquitous approach to delivering our anatomy curricula? I don’t think they do.

찬성측
“Yes we do” house

제니퍼 맥브라이드 부교수
Assoc Prof Jennifer McBride

해부학 교육자들은 계속해서 변화에 관여해 왔다. 우리가 가르치는 환경에 변화가 일어났습니다. 크고 희미한 해부를 하는 극장에서부터, 스테인리스 스틸, 조명이 좋은 해부를 하는 실험실에 이르기까지요. 우리는 또한 학생들에게 해부학적 구조와 서로간의 관계에 대해 가르치는 것을 돕기 위해 수년간 [도구 모음]을 수집해 왔다. 우리의 도구상자에 있는 더 성숙한 도구들 중 일부는 다른 영상 양식을 가진 관절 골격, 해부학적 구조의 도면 및 신체의 지역적 뷰를 포함한다. 수년간 우리는 플라스틱 모형과 플라스틱 견본과 같은 도구를 추가해 왔다. 우리는 심지어 해부학 기반의 컬러링 북, 바디 페인팅, 점토 모델링과 같은 더 창의적인 도구들을 우리 컬렉션에 추가했습니다. 최신 도구 중 일부는 컴퓨터 보조 학습 시스템, e-러닝, 그리고 가장 최근에는 3D 증강 및 가상 현실 장치이다.
Educators of the anatomical sciences have continually been involved in change. Changes have occurred in the environment in which we teach; from large, dimly lit dissection theaters, to stainless steel, well-lit dissection laboratories. We have also amassed a collection of tools over the years to assist in teaching students about anatomical structures and their relationships to one another. Some of the more mature tools in our toolbox include disarticulated skeletons, drawings of anatomical structures and regional views of the body with different imaging modalities. Over the years we’ve added additional tools such as plastic models and plastinated specimens. We’ve even added more creative tools to our collection, such as anatomy based coloring books, body painting and clay modeling. Some of the newest tools are computer assisted learning systems, e-learning, and most recently, 3D augmented and virtual reality devices.

우리가 학생들을 가르치기 위해 선택하는 도구의 정도에 대해 교사로서 우리에게 알려주는 많은 것들은 학습자와 우리가 가르치려고 하는 특정한 개념에 바탕을 두고 있다. 많은 학생들이 [육안 해부학]에 대한 통달성을 위해 엄청난 노력을 기울이는 것처럼 느끼지만, 지식 보유라는 장기적 목표를 가지고 그들의 지식을 적용하고 스스로 평가할 수 있는 기회를 제공함으로써 이러한 노력을 완화하는 것이 우리의 과제이다. 해부학자인 우리가 학생들과 함께 이것을 접근한 몇 가지 다른 방법이 있습니다.

Much of what informs us as teachers about the extent to which tools we choose to teach our students is based on the learner and the particular concept we are trying to teach. While many students feel as though they put forth an enormous effort to achieve mastery in gross anatomy, it is our task to ease this effort by providing the basic units of knowledge followed by opportunities to apply and self-assess their knowledge, with the long term goal of knowledge retention. There are several different ways in which we as anatomists have approached this with our students.

물론, 대부분의 사람들에게 떠오르는 첫 번째 방법은 시신을 사용하는 것이다. 의학교육에서 시체사용의 다양한 측면에 대한 많은 출판물들이 있는데, 나는 몇 가지를 간단히 언급할 것이다. 1990년 연구에서, Nnodim은 하지의 전체 해부학을 연구하는 첫 번째 임상 전 의대생들의 두 그룹을 다른 방법으로 매치시켰다(한 그룹은 직접 해부했고, 다른 그룹은 프로섹션을 리뷰했다). Nnodim은 학생들이 해부한 시체보다 절제된 시체로부터 하지 해부학을 더 잘 배운다는 것을 발견했다. 이 연구에서, Nnodim은 Prosection이 인간의 총체적 해부학을 배우는 효과적인 방법이라고 제안했다. 실제로, 그것은 단축된 수업 시간에 대해 싸워야 하는 부서들에게 고려할 가치가 있는 방법일 수 있다. 몇 년 후인 1996년, 예거는 몇몇 학생들이 해부를 완료하고 다른 학생들이 미리 해부된 표본들을 연구함으로써 배우도록 함으로써 전체 해부학에서 동료 교수법을 탐구했다. 두 그룹 간의 객관식 테스트의 성능은 통계적으로 유의하지 않았다. 그러므로 [Prosected 시신]에서 해부학적 구조를 학습함으로써 시간적 이점이 있을 수 있지만, 두 방법 모두 대등한 것으로 보인다.
Of course, the first way that comes to most people’s minds is with the use of cadaveric material. There are a number of publications on various aspects of cadaveric use in medical education, I will briefly mention a few. In a 1990 study, Nnodim matched two groups of first-year preclinical medical students studying the gross anatomy of the lower limb by different methods (one group dissected one group reviewed prosections). Nnodim discovered that students learned lower limb anatomy better from prosected cadavers than dissected cadavers (Nnodim 1990). From this work, Nnodim suggested that prosections are an effective way of learning human gross anatomy. Indeed it may be a worthy method to consider for departments who have to contend with curtailed teaching time. A few years later, in 1996, Yeager explored peer teaching in gross anatomy by having some students learn by completing dissections while other students learned from studying the predissected (prosected) specimens (Yeager 1996). The performances on multiple-choice tests between the two groups were not statistically significant. So while there may be a time advantage from learning anatomical structures on a prosected cadaver, both methods seem comparable.

시신 기반 과정의 사용에 대한 또 다른 견해는 이전 작업을 기반으로 하며, 해부 기반dissection-based  과정이 학생들이 전문적인 역량을 개발하는 데 도움이 된다는 것을 암시한다. 2010년, Böckers 등은 학생들이 "중요한" 과정으로서 총 해부학에 두는 가치를 이해하기 위해 정량적인 세로 질문지를 개발하여 총 해부학 과정의 124명의 의학 학생들에게 제시했다. 이 과정에 대해 긍정적이거나 부정적인 의견을 가진 학생들의 하위 그룹은 이 과정의 전문적인 역량을 전달하는 능력에 대한 학생들의 의견과 상관관계가 있었다. 학생들은 해부과정에 참여함으로써 해부학 지식뿐만 아니라 팀워크, 스트레스 대처, 시간 관리 등과 관련된 기술을 습득할 수 있다고 느꼈다(Böckers et al., 2010).
Another take on the use of cadaver-based courses builds on previous work, which suggests that dissection-based courses help students develop professional competencies. In 2010, Böckers et al. developed a quantitative longitudinal questionnaire and presented it to 124 medical students in a gross anatomy course, to understand the value students place on gross anatomy as an “important” course. Subgroups of students with positive or negative opinions of the course were correlated with student opinions about the course’s ability to convey professional competencies. Students felt that participation in the course facilitated their acquisition of anatomy knowledge as well as skills related to teamwork, coping with stress, and, to a lesser extent, time management (Böckers et al. 2010).

마지막으로, [cadaver-based dissection 과정]에서의 학생 성과와 통합과목에서 [prosection-based 과정]의 학생 성과를 비교한 한 연구를 언급하고자 합니다. 한 학기 내내 다양한 평가에서 해부를 기반으로 한 강좌의 학생들이 약간 더 좋은 성적을 거둔 반면, 통합 강좌 세션에 참여한 학생들은 이러한 활동을 좋아할 뿐만 아니라 이러한 경험들이 학습에 도움이 된다고 느꼈다고 보고했다. 많은 의과대학 커리큘럼이 보다 통합된 구조로 향하고 있기 때문에 이것은 흥미로운 발견이다.
Finally, I would like to mention one study, which compared student performance in a cadaver-based dissection course versus student performance in a prosection-based course where students also attended integrated course sessions. While students in the dissection based course performed slightly better during the various assessments throughout the semester, students who participated in the integrated course sessions reported that they not only liked these activities but felt that these experiences enhanced their learning (Eppler et al. 2018). This is an interesting finding as many medical school curriculum are heading towards a more integrated structure.

우리 공구함에 있는 다른 도구에 대한 증거는 어떻게 되나요? 컴퓨터 보조 교육(CAI)은 지난 수십 년 동안 많은 관심을 받아왔다. McNulty 등은 CAI의 효과와 개별 사용 수준에 영향을 미치는 요인을 조사하는 총 해부학 강좌에서 다년간의 연구를 완료했습니다. 그들은 성별, 성격 선호도 및 학습 스타일에 따라 활용 수준이 상당히 다양하지만 컴퓨터 사용능력은 그렇지 않다는 것을 발견했다. 흥미롭게도, 자원에 가장 자주 접속한 학생들은 자원에 접속한 적이 없는 학생들보다 시험에서 상당히 높은 점수를 받았습니다. Khot 등은 지식 습득에서 CAI 효과에 대한 이 문제를 더 자세히 조사했습니다. 본 연구에서는 학습 해부학 (1) VR 컴퓨터 기반 모델 (2) 주요 뷰를 가진 정적 컴퓨터 기반 모듈 및 (3) 플라스틱 모델의 세 가지 형식의 효과를 조사했다. 그들은 [컴퓨터 기반 학습 자원]이 명목 해부학을 학습하는 데 있어 [전통적인 표본]에 비해 상당한 단점을 가지고 있는 것으로 보인다는 것을 발견했다. 이전 연구와 일관되게, 이러한 발견은 가상 현실이 주요 관점key view의 정적 표현static presentation에 비해 이점이 없다는 것을 보여주었다. 살타렐리 외 연구진은 멀티미디어 학습 시스템을 전통적인 학부 인간 시체 실험실과 비교한 결과 비슷한 결론을 얻었다. 그들은 인간 시체 실험실이 신원 확인 및 설명 지식의 시체 기반 측정에 대한 멀티미디어 시뮬레이션 프로그램보다 상당한 이점을 제공한다는 것을 발견했다.
What about evidence for the other tools in our toolbox? Computer-aided instruction (CAI) has received a lot of attention in the past few decades. McNulty et al. completed a multi-year study in a gross anatomy course investigating the effectiveness of CAI and the factors affecting level of individual use. They found considerable variability in level of utilization based on gender, personality preferences and learning style, but not with computer literacy. Interestingly, students who accessed the resources most frequently scored significantly higher on exams than those who had never accessed the resources (McNulty et al. 2009). Khot et al. explored this question of CAI effectiveness in knowledge acquisition further. In this study, they examined effectiveness of three formats of learning anatomy (1) VR computer based model (2) static computer-based module with key views and (3) plastic model. They found that computer based learning resources appeared to have significant disadvantages compared to traditional specimens in learning nominal anatomy (Khot et al. 2013). Consistent with previous research, these findings indicated that virtual reality has no advantage over static presentation of key views. Saltarelli et al. had a similar conclusion after comparing a multimedia learning system with a traditional undergraduate human cadaver laboratory. They found, that the human cadaver lab offered a significant advantage over the multimedia simulation program on cadaver-based measures of identification and explanatory knowledge (Saltarelli et al. 2014).

우리가 최근에 소개한 도구 중 일부는 플라스틱 샘플, 3D 인쇄를 통해 만들어진 모델, 가상 또는 증강 현실 리소스이다. 플라스티드 표본은 매우 상세한 해부를 시간 내에 포착할 수 있는 기회를 제공하지만, 촉각적 특성과 표본 다양성의 부족은 학생들의 경험을 제한하는 것으로 보고되었다. 3D 프린팅 모델의 사용과 관련하여, 한 보고서는 3D 프린팅 모델이 교훈적인 2D 이미지 기반 교육 방법에 비해 지식을 크게 증가시켰다는 것을 발견했습니다. 이러한 결과는 앞서 언급한 결과와 유사합니다.
Some of the more recent tools we have been introduced to are plastinated specimens, models created via 3D printing, and virtual or augmented reality resources. While plastinated specimens offer an opportunity to capture a very detailed dissection in time, the lack of haptic qualities and specimen diversity have been reported to limit the student experience (Fruhstorfer et al. 2011). Regarding the use of 3D printed models, one report found that 3D printed models significantly increased knowledge compared to didactic 2D image based teaching methods (Smith et al. 2018). These findings are similar to findings mentioned previously (Khot et al. 2013).

요약하자면, [툴 박스에 있는 툴을 제거할지 여부]에 대한 질문을 하기보다는, [이러한 툴의 사용방식을 어떻게 수정할 수 있는지] 대한 질문으로 바뀌어야 합니다. 교육자로서, 우리는 

  • (1) 학생 중심의 학습 환경을 조성하고,
  • (2) 가능한 경우 콘텐츠를 통합하고,
  • (3) 임상적으로 적용할 수 있는 상관관계를 포함하고,
  • (4) 학생의 진행 상황을 관찰하고 분석하며,
  • (5) 새로운 교육 개입의 결과를 반영하고, 그 결과를 문헌에 보고해야 한다.

In summary, the question of whether or not to remove any tool in our tool box should be changed to a question of how we can revise the way we have been using these tools. As educators, we need to:

  • (1) create a student-centered learning environment,
  • (2) integrate content where possible,
  • (3) include clinically applicable correlates,
  • (4) observe and analyze student progress, and
  • (5) reflect on the outcomes of new educational interventions and report the findings in the literature.

토론은 마지막 두 명의 연사가 자신들의 주장을 발표하고 주장을 요약하기 위해 초대되는 것으로 끝났다.

The debate concluded with the last two speakers being invited to present their case and summarize the arguments.

 

반대측
“No we do not” house

대럴 에반스 교수
Prof Darrell Evans

13년 전, 저는 에든버러에서 열린 AMEE 연차총회에서 존 맥라클란의 강연을 들었습니다. "해부학은 삶입니다. 해부학은 죽음이 아니다." 해부를 통한 가르침의 열렬한 지지자로서 나는 확실히 이야기의 추진에 동의하지 않았고 방 뒤에서 야유했다. 그렇다면 제가 왜 이제 대학 의학부에서 해부학을 가르치기 위해 시체들을 더 이상 필요로 하지 않는다고 말할까요? 뭐가 달라진거죠? 첫째, 우리가 이용할 수 있는 더 많은 대안이 있고 둘째, 해부학 교수법에 대한 다른 접근방식을 뒷받침하는 교육학의 효과에 대한 우리의 이해가 발전했다. 이것은 저널에 발표된 수많은 활발한 연구를 통해 촉진되었습니다. 그 중 일부는 에든버러에서 열린 AMEE 회의 당시에는 없었습니다. 이전에 견고하고 질 높은 연구가 부족했던 것은 우리가 학생 학습에 정말로 차이를 만드는 것이 무엇이고 해부학 교육에 대한 이러한 새로운 접근법이 시체 기반 가르침에 비해 어떤 영향을 미치는지를 정의하는 데 초점을 맞추지 않았다는 것을 의미했다. 동시에, 의학 커리큘럼은 [해부학을 단독으로 배우는 것]에서 벗어나, [좋은 의사가 되는 것을 배우기 위해 해부학에 대한 근본적인 이해를 사용하는 것]으로 옮겨가고 있다.
Thirteen years ago, I sat in a session at the AMEE annual meeting in Edinburgh listening to a talk by John McLachlan entitled “Anatomy is life. Anatomy is not death”. As an ardent supporter of teaching through dissection I was certainly not in agreement with the thrust of the talk and heckled from the back of the room. So why would I now be saying we don’t really need cadavers anymore to teach anatomy in undergraduate medicine. What’s changed? Firstly there are many more alternatives available to us and secondly our understanding of the effects of the pedagogy that underpins different approaches to anatomy teaching has developed. This has been promoted through a plethora of active research published in journals, some of which weren’t around at the time of the AMEE meeting in Edinburgh (Pawlina and Drake 2010). The previous lack of robust and high quality research meant that we didn’t focus on defining what was really making a difference in student learning and what effect these new approaches to anatomy teaching were having in comparison to cadaveric based-teaching. At the same time medical curricula have refocused, moving away from learning anatomy in isolation to using a foundational appreciation of anatomy for learning to be a good doctor.

시신들은 확실히 졸업후 의학훈련과 해부학 관련 분야와 전문 분야의 지속적인 전문적 발전을 특징으로 해야 한다. 시신들은 또한 증강현실 프로그램, 3D 모델 등을  포함한 많은 기술 기반 해부학적 도구들을 개발하기 위한 기초를 형성한다. 도전은 또한 어떤 해부학을 배워야 하는지, 어떤 깊이에서 배워야 하는지, 왜 여러분이 해부학의 특정한 요소나 개념을 배우는지에 대한 것이 아닙니다. 그건 다른 논쟁이고, 지금은 우리가 어떻게 우리의 [학부 의대생]을 가르치는지에 대한 논의가 필요하다. 그리고 우리가 여기에 시신이 [진정으로 필요한지]에 대한 것입니다. 그 점을 염두에 두고 나는 우리가 "진짜 필요really needed"와 "학부 의학undergraduate medicine"이라는 단어에 계속 집중하기를 바란다.

Cadavers should certainly feature within postgraduate medical training and ongoing professional development in anatomically related disciplines and specialties. Cadavers also form the basis for developing many of the technology-based anatomical tools including augmented reality programs, 3D models etc. The challenge is also not about what anatomy should be learned, in what depth that anatomy should be learned and why you're learning a particular fact or concept of anatomy. That’s a different debate and instead this is about how we teach our undergraduate medical students and whether we really need cadavers for this. With that in mind I want us to keep focused on the words “really needed” and “undergraduate medicine”.

이 문제는 커리큘럼 디자인으로 귀결됩니다. 그렇다면 어떻게 하면 학생들이 필요로 하는 기초 지식을 발견할 수 있도록 좋은 커리큘럼 설계를 통해 학생들을 도울 수 있을까요? 학습 과정에 포함시키고 기능적으로나 임상적으로나 관련이 있는지 어떻게 확인할 수 있을까요? 우리는 학생들이 해부학을 배우고 이해할 수 있는 다양한 기회를 가질 수 있도록 해부학을 배우는 다면적인 접근 방식을 가져야 한다. 그래서 학생들은 해부학을 다른 관점에서 그리고 다른 맥락에서 볼 수 있다(Evans and Watt 2005). [통합 커리큘럼 내에 해부학을 배치하는 것]은 학생들이 기초 및 임상 지식, 이해 및 추론을 연결할 수 있도록 하는 데 필요한 [표지게시signposting 및 관련성]을 제공한다. 학생들이 제대로 된 학습을 쌓을 수 있도록 표지판signposting이 핵심이다.

This issue for me comes down to curriculum design. So how do we enable students through good curriculum design to discover the foundational knowledge that they’re going to need? How do we make sure it’s embedded within their learning journey and is functionally and clinically relevant? We need to have a multifaceted approach to learning anatomy (that might include cadavers) so that students have different opportunities to learn and understand the anatomy, see it from different perspectives and in different contexts (Evans and Watt 2005). Placing anatomy within an integrated curriculum provides the signposting and relevance necessary to enable students to connect foundational and clinical knowledge, understanding and reasoning. The signposting is key so that the students can build their learning appropriately.

최근의 많은 발전을 통해, 우리는 해부학을 가르치기 위해 테크놀로지를 효과적으로 활용할 수 있다. 우리는 기술을 사용하여 인체 여러 층을 걸어다니면서 해부학의 다른 요소들을 알아낼 수 있습니다. 우리는 컴퓨터 시뮬레이션을 통해 해부할 수 있고, 그리고 나서 우리는 학생들이 어려운 부분에 다시 집중할 수 있도록 해 줄 수 있다. 해부학은 위치 결정과 연관성, 그리고 복잡한 관계를 이해하는 맥락에서 배울 필요가 있다. 3D 모델링의 창조를 통해 학생들은 시체 물질을 사용하지 않고도 이러한 관계를 인식할 수 있습니다. 우리는 다른 수지를 사용하여 생명체와 같은 또는 예시적인 색칠과 느낌을 제공할 수 있습니다. 3D 모델은 시체 내에서 쉽게 해부되거나 명백하지 않은 해부학을 시각화할 수 있습니다. 예를 들어, 시체에서 뇌의 혈관을 해부할 수 있습니까? (그림 2(A)). 
Through many recent advances, we can utilize technology effectively to teach anatomy. We can use technology to walk through the various layers of the human body to uncover different elements of that anatomy. We can dissect via computer simulation and then we can put the body back together again (you can’t do that with a cadaver) allowing students to refocus on difficult areas. Anatomy needs to be learned in the context of positioning and association, and understanding intricate relations. The creation of 3D modeling allows students to recognize these relationships without the need for them to use cadaveric material (McMenamin et al. 2014). We can use different resins to provide life-like or illustrative colorings, and feel. 3D models enable visualization of anatomy not easily dissected or apparent within the cadaver—could you dissect the blood vessels of the brain in a cadaver for instance? (Figure 2(A)).

3D 모델은 생산 비용이 저렴하고, 안전 요소가 제거되었으며, 재료에 대한 접근성이 높아 licensed premises를 사용할 필요가 없습니다. 각 학생은 자신의 시간과 심지어 미니어처 규모에서 검토할 수 있도록 특정 정상 또는 병리 해부학 사본(그림 2(B))을 제공할 수 있으며, 높은 수준의 자원을 보유하지 않은 국가는 이러한 자료를 사용할 수 있다. 해부학을 맥락 안에서 시각화하는 이 능력은 더 깊은 학습을 가능하게 한다. 학생들은 전체적인 그림을 그릴 수 있어야 하지만, 시신이나 접근할 수 없는 구조물의 단면을 볼 때 어려웠습니다. 호주 뉴캐슬대 등 전 세계 동료들이 이런 문제를 해결하기 위해 증강현실(Augmented Reality)을 개발하고 있다. 예를 들어, 뇌의 요소들을 시각화할 때, 여러분은 해부 슬라이드에서는 3D 형태의 모든 요소들을 볼 수 없었을 것이고, 다른 요소들을 제거하거나 추가하는 어떤 방향에서도 볼 수 없었을 것이다. 이러한 새로운 접근방식을 사용하면 해부학적 관계를 매우 다른 방식으로 볼 수 있습니다. 그러나 주의가 필요합니다. 이것은 테크놀로지 그 자체를 위한 테크놀로지에 대한 것이 아니며, 테크놀로지의 사용은 학습 성과를 가능하게 하기 위한 교육학적 기반이 필요하다(Release 2016). 이것은 우리가 이전에 결코 할 수 없었던 무언가를 하거나 우리가 할 수 있는 것보다 더 나은 것을 하는 것에 관한 것입니다.

3D models are cheap to produce, the safety elements are removed and the material is highly accessible—you do not need licensed premises to use them. Each student can be provided with copies of particular normal or pathological anatomy (Figure 2(B)) to review in their own time and even in miniature scale and countries who do not have high levels of resources can use such materials (Smith et al. 2018). This ability to visualize anatomy within its context allows for deeper learning. Students need to be able to build up the whole picture and this has been difficult when looking at sections of cadaveric material or inaccessible structures. Colleagues around the world including at University of Newcastle, Australia are developing Augmented Reality to solve such issues (Jain et al. 2017). For instance, when visualizing the elements of the brain, you wouldn’t have been able to see all the elements in the 3D form from dissection slices and the ability to view from any direction and removing or adding different elements. Using these new approaches, you get to see the anatomical relations in a very different way. However caution is required. This is not about technology for technology’s sake and instead the use of technology needs a pedagogical basis linked to enabling the learning outcomes (Trelease 2016). This is about doing something we could never do before or doing something better than we could do before.

 

시신은 우리가 기대하는 해부학적 변형을 제공하고, 병리학을 보여주는데 아주 좋습니다. 제가 해부학 연구실을 운영했을 때, 저는 어떤 큰 변화나 병리학적 변화가 있기를 바랬습니다. 그리고 몇 년 동안 당신은 성공했고 다른 사람들은 실패했죠. 테크놀로지는 모든 학생들이 볼 수 있는 [공통 및 희귀 변형과 병리학]을 시각화하고, 문제의 해부학적 맥락 안에서 다시 한 번 도움의 손길을 제공하고 있다. 다시 한 번 3D 인쇄를 사용하면 학생들이 검사하고 기능 및 임상 결과(Mahmoud 및 Bennett 2015)와 연계하여 감사할 수 있는 희귀 병리학의 복사본을 제공할 수 있습니다(그림 2(B)).

Cadavers are great for providing the anatomical variation we expect and for showing pathology. When I used to run dissection labs, I used to hope there was going to be some great variation or pathology and some years you were successful and others not. Technology is once again providing a helping hand by providing visualizations of both common and rare variations and pathologies for all students to see and within the context of the anatomy in question. Once again 3D printing can be used to provide copies of rare pathologies for students to examine and to get an appreciation for by linking to function and clinical outcomes (Mahmoud and Bennett 2015) (Figure 2(B)).

그렇다면 우리는 대학 의학에서 해부학을 배우기 위해 더 이상 카데바가 필요할까요? 해부학은 여전히 학부 의학의 기본이다. 그것은 우리가 학생들이 사용할 수 있기를 바라는 언어이며, 복잡한 임상 문제를 해결하는 데 도움이 되는 지식과 이해로 환자에게 최상의 해결책을 제시합니다(Turney 2007). 그렇다면 어떻게 하면 학생들에게 지식과 이해를 가장 잘 할 수 있을까요? 통합 커리큘럼 내에서 다면적인 접근을 통해 이루어질 필요가 있다고 생각합니다. 그리고 시체도 그 일부가 될 수 있을까요? 물론, 그들은 할 수 있지만, 그들이 정말로 학습 결과를 성취하기 위해 필요한가? 저는 가능한 대안들 때문에 그렇게 생각하지 않습니다(그림 2(A,B)). 그래서 오늘 투표하실 때, 토론 질문을 다시 한 번 살펴보도록 하겠습니다. 나는 해부의 팬이지만 우리는 "학부 의학"을 가르치기 위해 "정말로" 카데바가 필요한가? 난 그렇게 생각하지 않습니다.

So do we really need cadavers anymore to learn anatomy in undergraduate medicine? Anatomy is still fundamental to undergraduate medicine. It is the language we want our students to be able to use, the knowledge and understanding that helps solve complex clinical problems resulting in the best solutions for their patients (Turney 2007). So how do we best enable that knowledge and understanding in our students? I certainly think that it needs to happen through a multifaceted approach within an integrated curriculum. And can cadavers be part of that? Yes they can, but are they really needed to achieve the learning outcomes? I don’t think so because of the alternatives available (Figure 2(A,B)). So I’ll just ask you when you vote today, to look at the debate question again. I’m a fan of dissection but do we “really need” cadavers to teach “undergraduate medicine”. I don’t think so.

찬성측
“Yes we do” house

안드레아스 윙켈만 교수
Prof Dr med Andreas Winkelmann

지금까지 이루어진 많은 논점에 [철학적, 혹은 인류학적 논점]을 추가하고 싶다. 나는 순수한purely 카데바 중심의 교육을 주장하는 것이 아니라, 해부학을 가르치는 많은 대등한parallel 방법들 중 하나로 인체를 사용하는 것에 대해 주장할 것이다.
To the many points that have been made so far, I would like to add a philosophical and/or anthropological one. I will not argue for a purely cadaver-centred teaching, but for using human bodies as one of many parallel approaches to teaching anatomy.

데카르트적 이원론은 오늘날 우리가 실천하고 있는 "서양" 생물의학의 기초이며, "서양"은 이것이 문화적으로 특정한 기반을 둔 의학이라는 사실을 가리킨다. 17세기에 데카르트는 세계를 "res extensa"(확장 물질)와 "res cognitans"(사고 물질)로 나누었다. 매우 넓게 말하면, 이것은 의학이 역사상 처음으로 신체에 대한 진정한 신체적 접근을 개발할 수 있는 기회를 주었습니다. 이 접근법은 생물의학의 많은 성공의 기초가 되어왔지만, 물론 질병의 심리적 사회적 요인을 이해하는 것과 같은 생물의학의 일부 문제에 대해서도 책임이 있다.
Cartesian dualism is at the basis of “Western” biomedicine as we practise it today, with the attribute “Western” pointing to the fact that this is a culturally specific foundation of medicine. In the 17th century, Descartes divided the world as we understand it in “res extensa” (extended matter) and “res cogitans” (thinking matter). Very broadly speaking, this gave medicine, for the first time in history, the opportunity to develop a truly physical approach to the body (Leder 1992). This approach has been the basis of many of the successes of biomedicine—most obviously in surgery or radiology—but is of course also responsible for some of biomedicine’s problems, like the difficulty to understand psychosocial factors of illness.

역사적으로 [해부학적 해부]는 이러한 발전을 뒷받침하는 역할을 해왔고(데카르트 자신은 해부를 관찰함으로써 영향을 받았다), 오늘날의 의학 커리큘럼에서 해부는 이러한 [데카르트적 접근법의 강력한 상징]으로 인식되는 것으로 보인다. 나는 이러한 [상징적인 의미]가 이 교육 도구가 반복적으로 논의되고, 예를 들어 생화학 수업보다 훨씬 더, 학문적인 관심을 끄는 이유 중 하나라고 주장할 것이다. 일부 저자들은 해부 과정이 해부학뿐만 아니라 사람과 그들의 신체에 대한 이원론적 접근을 가르치는 암묵적 또는 암묵적 커리큘럼의 일부라고 주장해왔다. 이것은 적어도 상상할 수 있는 것이다. 학생들은 신체에 대한 데카르트적 관점을 가지고 태어나지 않으며, 만약 신체 생물의학의 핵심이라면, 그들은 교과 과정의 어느 시점에서 신체에 대해 배워야 한다. 이러한 견해는 많은 저자들이 해부 과정을 "의학으로의 시작" 또는 "통과의례"로 보아왔다는 사실에 기여했을 수 있다. [시작 의식initiation ritual]의 오래된 인류학적 개념이 현대 사회에 적용되는지는 논란의 여지가 있을 수 있지만, 해부실은 더 넓은 사회의 금기가 깨지는 폐쇄적인 공간이며, 의료인과 비전문가를 구분하는 이러한 방식은 일부 사람들에게 이것이 '시작initiation'에 해당한다고 제안했다. 한편, 이러한 관점은 해부 과정에 대한 비판을 촉발시켰으며, 이는 학생들이 나중에 환자를 "시신처럼" 다루는 그러한 과정의 암묵적인 결과일 수 있음을 시사한다. (Winkelmann and Guldner 2004).

Historically, anatomical dissection has played a role in supporting this development (Descartes himself was influenced by observing dissections), and it seems that in today's medical curriculum, dissection is perceived as a strong symbol of this Cartesian approach. I would argue that this symbolical meaning is one reason why this educational tool is repeatedly debated and attracts much more scholarly attention than, say, biochemistry classes. Some authors have argued that the dissection course is part of an implicit or tacit curriculum, that does not only teach anatomy but also this dualistic approach to people and their bodies (Reifler 1996). This is at least conceivable—students are not born with a Cartesian view of the body, and if it is at the heart of biomedicine, they have to learn it at some point in the curriculum. This view may have contributed to the fact that so many authors have seen dissection courses as an “initiation into medicine” or “rite of passage". It may be debatable whether older anthropological concepts of initiation rituals (van Gennep, 1909). apply to modern societies, but the dissecting room is a closed space in which taboos of the wider society are broken, and this way of setting apart medical people from nonspecialists has suggested to some that this constitutes an “initiation” (Harper 1993; Shaffer 2004). On the other hand, this perspective has also triggered critique of the dissection course, suggesting that it may be an implicit outcome of such courses that students later treat patients “like cadavers” (cf. Winkelmann and Güldner 2004).

이 비평은, 제 생각에, 교과 과정의 작은 부분의 힘을 과대평가하는 듯 하다. 만약 의사들이 정말로 환자를 사람처럼 대하기 보다는 물질처럼 대한다면, 물론 해부 과정을 비난할 수 있습니다. 왜냐하면 그것의 상징적인 맥락이 이러한 비판에 어울리기 때문입니다. 그러나, 의사들이 해부를 통해서만 그러한 태도를 배웠다고 상상하기는 어렵다. 예를 들어, [번아웃된, 공감없는 임상의사들]과 같은 다른 맥락이나 교사들로부터 (또한) 배우지 않았다고 보기는 어렵다.
This critique, I think, overrates the power of one small part of the curriculum. If doctors in the end really treat a patient like material rather than like a person, you can of course blame the dissection course because its symbolic context lends itself to this criticism. However, it is difficult to imagine that doctors have learnt such an attitude just from dissection and not (also) from other contexts or teachers, like for example from burnt-out non-empathetic clinicians.

비록 역사적으로 해부학이 인체의 객관화에 큰 역할을 했을지라도, 학문으로서의 해부학은 또한 단지 육체적인 접근에 도전하기 위해, 특히 지난 수십 년 동안, 그 자체로도 멀리 왔다. 과거에는 해부학자들이 주로 처형된 범죄자들의 시체, 그 다음에는 가난한 사람들의 시체를 사용했지만, 지금은 적어도 서구 세계와 아시아의 많은 나라들에서 기증자들의 시신을 주로 사용한다. 시체 뒤에 있는 사람을 인정하는 것은 많은 의과대학의 강한 면이다. 예를 들어, 전세계의 해부학자들과 학생들은 또한 이러한 기증자들과 그들의 가족들을 위한 추모식을 조직한다. 또한 시체를 "몸"이나 "시체"라고 부르지 않고 "기부자" 또는 "선생님"이라고 부르는 경향이 증가하고 있다(Bohl et al., 2011). 이러한 모든 변화는 해부실에서 사체의 모호성이 점점 더 인정된다는 것을 의미한다. 사체는 물건인 동시에 죽은 사람이기 때문에 애매하다. 객체object과 주체subject의 모호성은 생물의학의 중심이며, 생물의학에서는 환자를 대상(예: 방사선학 또는 수술)처럼 취급해야 하지만, 그럼에도 불구하고 환자를 사람처럼 취급해야 한다.
Even if historically, anatomy may have played a big role in the objectification of the human body, anatomy as a discipline has also come a long way itself, particularly over the last decades, to challenge a merely physical approach (Dyer and Thorndike 2000). In the past, anatomists mainly used the bodies of executed criminals, then the bodies of the poor, but now they mostly use bodies of donors, at least in the western world and in many countries in Asia (Habicht et al. 2018). Acknowledging the person behind the cadaver is a strong aspect of many medical schools. For example, anatomists and students around the world also organize memorial services for these donors and their families. There is also an increasing tendency not to call the cadaver “body” or “cadaver” but rather “donor” or “teacher” (Bohl et al. 2011). All of these changes have meant that the ambiguity of the dead body in the dissecting room is increasingly acknowledged (Hafferty 1988). The dead body is ambiguous because it is an object and at the same time a deceased person. This ambiguity of object and subject is central to biomedicine, which often has to treat patients like objects (e.g. in radiology or surgery), but should nevertheless also treat them like persons.

그러므로 해부학에서 암묵적인 커리큘럼이 있다면, 사람과 사물의 이런 모호함에 대한 전문적인 관점, 시체나 환자에 대한 전문적인 관점, 이런 모호함에 대한 전문적인 관점을 기를 것이어야 한다고 생각합니다. 해부실 경험은 이러한 모호성을 억누르고 사람을 사물로 생각하는 위험을 수반할 수 있지만, 이 위험은 해부를 완전히 폐지해야 하는 이유가 아니라 이러한 맥락에서 전문적인 관점을 개발하기 위한 선택사항인 도전으로 받아들여져야 한다(Robbins et al., 2008).
Therefore, if there is an implicit curriculum in dissection, I think it should be about this ambiguity of person and object, about developing a professional perspective on this ambiguity, a professional perspective on cadavers and also on patients. The dissecting room experience may carry a risk to repress this ambiguity and to think of people as objects, but this risk should not be the reason to do away with dissection altogether but should be taken as a challenge, an option for developing a professional perspective in this context (Robbins et al. 2008).


저는 다음과 같이 질문하면서 결론짓고 싶습니다: 왜 우리는 카데바처럼 강력한 교육 도구를 없애야 할까요? 그것은 독특한 교육 도구입니다. 그 이유는 첫째, 그것은 (아틀라스, VR 데이터 세트, 3D 프린트처럼) 육체의 표상representation이 아니라, 살아 있는 생명의 "산출product"인, 개인의 운명의 진정한 육체authentic body의 표상representation이기 때문이다. 둘째로, 시체들은 독특하다. 해부는 매우 특별한 학습 경험을 만들어내기 때문이다. 그것은 진정한 멀티모달이고 활동적이다. 그것은 또한 감정적이고 실존적인 학습 경험이며 따라서 지속적인 기억을 만들어낸다. 어떤 사람들은 해부 과정이 그들에게 나쁜 기억을 주었다고 말하지만, 나는 그들이 잘못된 교사나 잘못된 교육 시설을 가지고 있었을지 몰라도, 잘못된 교육 도구를 가지고 있지는 않았다고 제안한다. 마지막으로, 위에서 설명한 바와 같이, 기증자가 해부되는 상황은 기회입니다. 왜냐하면 그것은 학생으로 하여금 인체가 [물체가 아니면서 동시에 물체가 되는 것being an object and not an object]에 도전하기 때문입니다. 그리고 이것이 바로 옛 인류학적 관점에서 통과의례가 실제로 의미하는 것입니다. "초보자나 초심자를 자극하여… 그들의 세계의 요소와 기본 구성 요소에 대해 곰곰이 생각하도록 유도한다." (Turner 1977). 물론, 음악 없이도 노래 텍스트를 배울 수 있는 것처럼, 시체 없이도 해부학을 배울 수 있지만 커리큘럼은 독특한 자원을 잃게 될 것이다.
I would like to conclude by asking: why should we do away with such a powerful teaching tool as a cadaver? It is a unique teaching tool, firstly, because it is not a representation of a body—like figures of an atlas, virtual reality datasets or 3D prints are—but an authentic body, the “product” of a lived life, of an individual fate. Secondly, cadavers are unique because dissection creates a very special learning experience, which is truly multimodal and activating. It is also an emotional and existential learning experience and therefore creates lasting memories. Some people tell me that their dissection course has given them bad memories, but I suggest that they had either the wrong teachers or the wrong teaching facilities but not inevitably the wrong teaching tool. And finally, as outlined above, the situation of a donor being dissected is an opportunity because it challenges the students with the human body being an object and not an object at the same time. And this is what rites of passage are actually about in the good old anthropological sense: “provoking the novices or initiands … into thinking hard about the elements and basic building blocks” of their world (Turner 1977). Of course, you can learn anatomy without cadavers—as you can learn song texts without the music—but the curriculum would lose a unique resource.

토론의 요약 및 결론
Summary and conclusion of debate

양원 모두 반대 의견을 제시한 후 퇴임했고 청중들은 현재 제기되는 질문에 대한 답을 등록하기 위해 대화형 시스템을 사용하여 다시 제시된 주장을 바탕으로 의견을 검토하도록 요청받았다.

Both houses, having presented their opposing cases, retired and the audience were asked to review their opinions based on the arguments presented by again using the interactive system to register their answers to the question now being posed.

McMenamin 교수는 우리 팀이 실제 시체 해부에 대한 주장을 많이 했다고 요약했는데, 그것은 실제로 논의되고 있는 질문이 아니었다. 하지만, 분명히 대다수의 청중들은 학부 의학 강좌에서 실제 해부가 필요하다는 것을 확신하지 못했다. 다음 질문은 학생들이 사체 물질에 대한 노출이 여전히 학부 의대생들의 경험으로 중요한지를 알아보기 위해 제시되었다.

Prof McMenamin summarized that the yes we do team had made much of their case about actual dissection of a cadaver, which was not in fact the question being debated. However, clearly the majority of the audience were not convinced that actual dissection was needed in an undergraduate medical course. The next question was posed to see if the audience thought whether exposure to cadaver material was still important as an experience for undergraduate medical students.

분명히 대다수의 청중들은 그것이 중요하다고 생각했다. 이어 맥메나민 교수는 토론 중인 실제 질문의 문구를 강조하며 투표할 때 이를 신중히 고려해 줄 것을 청중에게 당부했다. 이것은 토론이 시작될 때 다루어진 질문을 반복하는 마지막 투표였다.

Clearly a majority of the audience thought yes it was important. Professor McMenamin then emphasized the wording of the actual question being debated and called on the audience to consider this carefully when voting. This was the final vote repeating the question addressed at the commencement of the debate.

결과는 현재 논쟁 중인 문제에 대해 균일한 의견의 분열이 있다는 것을 분명히 보여주었고, 학부 의학에서 시체 사용에 대해 원래 80%의 찬성 의견이 있었기 때문에 McMenamin 교수는 토론에서 '아니오 불필요합니다' 측이 승리했다고 선언하고 그들의 발표에 대해 양원을 축하했다.

The results clearly showed that there was now an even split of views on the matter under debate and since there was originally majority of 80% in favor of the use of cadavers in undergraduate medicine Professor McMenamin declared the ‘No we do not’ house to have won the debate and congratulated both houses for their presentations.

 

 


Med Teach. 2018 Oct;40(10):1020-1029. doi: 10.1080/0142159X.2018.1485884. Epub 2018 Sep 28.

Do we really need cadavers anymore to learn anatomy in undergraduate medicine?

Affiliations collapse

Affiliations

1a Department of Anatomy & Developmental Biology, Faculty of Medicine, Nursing and Health Sciences , Monash University , Melbourne , Australia.

2b School of Medicine , Lancashire , UK.

3c Department of Cell and Molecular Medicine , Rush University , Chicago , IL , USA.

4d Cleveland Clinic Lerner College of Medicine , Cleveland Clinic , Cleveland , OH , USA.

5e Division of Anatomy, Leeds Institute of Medical Education, School of Medicine , University of Leeds , Leeds , UK.

6f Developmental Tissue Biology, Academic Division, The University of Newcastle (UON) , Callaghan , Australia.

7g Institut für Anatomie, Medizinische Hochschule Brandenburg - Theodor Fontane , Neuruppin , Germany.

PMID: 30265177

DOI: 10.1080/0142159X.2018.1485884

Abstract

With the availability of numerous adjuncts or alternatives to learning anatomy other than cadavers (medical imaging, models, body painting, interactive media, virtual reality) and the costs of maintaining cadaver laboratories, it was considered timely to have a mature debate about the need for cadavers in the teaching of undergraduate medicine. This may be particularly pertinent given the exponential growth in medical knowledge in other disciplines, which gives them valid justification for time in already busy medical curricula. In this symposium, the pros and cons of cadaver use in modern medical curricula were debated and audience participation encouraged.

21세기의 미국 의사과학자 인력: 파이프라인 권고 (Acad Med, 2019)
U.S. Physician–Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline
Robert A. Salata, MD, Mark W. Geraci, MD, Don C. Rockey, MD, Melvin Blanchard, MD, Nancy J. Brown, MD, Lucien J. Cardinal, MD, Maria Garcia, MD, MPH, Michael P. Madaio, MD, James D. Marsh, MD, and Robert F. Todd III, MD, PhD

 

 

미국은 현재 미국의 의사-과학자(PS) 노동력의 기여로 인해 생물의학 연구에서 세계 선두를 달리고 있다. PS는 미국 전체 의사 노동력의 1.5%에 불과한 것으로 추정된다. 그러나 PS는 국가의 생의학 연구 노력에 매우 중요하다. 그들의 훈련 때문에, PS는 "임상 관찰을 실험 가능한 연구 가설로 전환하고 연구 결과를 의학 발전으로 변환하는 데 필수적인 힘"이다. 생의학 연구를 통해 특정 질병이 없어지고, 다른 질병에 대한 치료법이 발견되고, 생명을 구하는 의료 절차와 치료법이 개발되었다. 그러한 발견들은 수명 연장, 삶의 질 향상, 그리고 전 세계적으로 공중 보건의 향상으로 이어졌다.

The United States is currently the world’s leader in biomedical research,1 in large measure because of the contributions of the nation’s physician–scientist (PS) workforce.2–5 PSs are estimated to account for only 1.5% of the nation’s total physician workforce5; however, they are invaluable to the nation’s biomedical research effort.5–13 Because of their training, PSs are a “vital force in transforming clinical observations into testable research hypotheses and translating research findings into medical advances.”10 It is through biomedical research that certain diseases have been eliminated, cures for others have been discovered, and medical procedures and therapies that save lives have been developed.1–3,14,15 Such discoveries have led to the lengthening of life spans, quality of life improvements, and the betterment of public health throughout the world.1–7,13–15

중요한 것은, 생의학 연구를 통해 지금까지 이루어진 발전은 PS 인력들이 점점 더 빠른 속도로 인간 건강 증진에 더 큰 기여를 할 수 있도록 자리를 잡았다는 것이다. 1989년에 시작된 인간 게놈 프로젝트는 연구를 수행하기 위한 환경을 변화시켰고 건강 문제를 해결하기 위해 데이터를 공유하고 다학제적 접근법을 사용하는 시대를 열었다. 또한 팀 사이언스, 빅데이터, 정밀 의학에 기반을 둔 프로젝트에 문을 열었다. 이 세 가지 이니셔티브의 결과로 PS 인력들은 뇌를 더 잘 이해하고 그 장애를 치료하기 위해 설계된 혁신적 신경기술을 통한 뇌 연구와 같은 대규모의 조정된 생의학 연구 프로그램을 구현할 수 있다. 이것의 또 다른 예는 백만 명의 지원자들을 대상으로 한 종적 연구인 정밀의학 이니셔티브 코호트 프로그램으로, 질병의 약리유전학을 더 잘 이해하기 위해 이동 건강 기술을 사용하고 참가자들에게 그들 자신의 건강을 증진시킬 것이다. 마지막 예로, 모든 종류의 암을 예방하고, 발견하고, 치료하는 능력을 가속화하기 위해 빅데이터를 사용하는 국립 암 문샷이 있다. 

Importantly, the advances made thus far through biomedical research have positioned the PS workforce to make greater contributions to the enhancement of human health at an increasingly faster pace. The Human Genome Project, which began in 1989, changed the landscape for conducting research and ushered in an era of sharing data and using multidisciplinary approaches to address health issues.16 It also opened the doors to projects based on team science, big data, and precision medicine. As a result of these three initiatives, the PS workforce is able to implement large-scale, coordinated biomedical research programs, such as the Brain Research through Advancing Innovative Neurotechnologies Initiative, which is designed to better understand the brain and treat its disorders.4,17 Another example of this is the Precision Medicine Initiative Cohort Program, a longitudinal study of one million volunteers, which will enhance understanding of microbiome science, using mobile health technologies to better understand the pharmacogenetics of disease and empowering participants to improve their own health.4,18 As a final example, there is the National Cancer Moonshot, which uses big data to accelerate the ability to prevent, detect, and treat all types of cancer.4,19

한국의 PS 노동력 유지에 대한 우려는 지난 40년 동안 정책 입안자들과 다른 사람들에 의해 공개적으로 제기되어 왔으며, 그러한 우려는 범위와 강도에 있어서 증가하고 있다. 젊은 의사들이 PS보다는 임상의나 임상의사-교육자로 경력을 쌓는 것을 선택함에 따라, 지난 몇 년 동안 PS 인력 규모감소해왔다. 아마도 더 큰 관심사는 현재 PS 노동력의 고령화이다. 2003~2012년 10년 동안 60세 이하 PS는 감소했고 61세 이상은 증가했습니다(그림 1 참조). 이 데이터는 놀랍습니다. 

  • (1) 새로운 PS의 인력진 진입과 지속적인 참여가 전례 없이 감소하고 있음을 시사한다. 
  • (2) 고위직원들은 은퇴를 연기했다. 

PS 파이프라인 모델의 관점에서, 유입과 유출이 모두 감소하기 때문에, 시니어 인력들이 은퇴할 때 시스템이 갑자기 붕괴되기 쉽다.

Concerns about sustaining the nation’s PS workforce have been publicly voiced by policy makers and others for the past four decades,5–13 and those concerns are growing in scope and intensity.5–13,20 The size of the PS workforce has declined over the past several years,5 as young physicians choose to focus their careers on being clinicians or clinician–educators rather than PSs. Perhaps of even greater concern is the aging of the current PS workforce. During the 10-year period between 2003 and 2012, the number of PSs aged 60 or younger declined, while the number of those aged 61 or older rose (see Figure 1).5 These data are striking;

  • they suggest that (1) the entry and sustained engagement of new PSs into the workforce are in unprecedented decline, and
  • (2) senior members of the workforce have postponed retirement. In terms of a PS pipeline model, the decreased inflow and outflow renders the system vulnerable to collapsing suddenly as the senior workforce retires.

2007년과 2008년 동안 의대 교수 협회(APM)와 미국 의대 협회(AAMC)는 일련의 회의를 개최하여 기금 풀을 다음과 같이 확장하기 위한 권고안을 발표 및 배포하였다.

  • 젊은 PS의 경력을 유지하고 육성합니다. 
  • 젊은 PS의 멘토링을 위한 접근 방식을 개선합니다. 
  • 여성 PS의 발전을 촉진한다. 
  • 미래 PS의 경력 개발을 식별하고 육성합니다. 

During 2007 and 2008, the Association of Professors of Medicine (APM) and the Association of American Medical Colleges (AAMC) held a series of conferences resulting in published and disseminated recommendations to expand the pool of funds to

  • retain and foster the careers of young PSs,
  • improve the approach for mentorship of young PSs,
  • promote the advancement of women PSs, and
  • identify and foster the career development of future PSs.12,13

PS에 대한 기존 국립 보건원(NIH) 지원에 대한 우려가 커짐에 따라, 2014년, 프랜시스 콜린스 소장은 의사-과학자 인력 워킹 그룹에 현재 커리어 서포트 메커니즘을 평가하고 개선을 위한 권고안을 제출하도록 요청했습니다. 2014년 6월, 작업 그룹은 여러 권고사항과 함께 보고서를 발표했는데, 무엇보다도 NIH에 다음과 같이 촉구했습니다.

  • PS의 강력한 훈련을 지속합니다.
  • [연방정부가 자금을 지원하는 의사 후 교육]에서 [더 많은 개인 대상 펠로우쉽을 포함]하는 쪽으로 균형을 옮깁니다.
  • 신규 및 기성 조사원 간의 수상률award rates 격차를 지속적으로 완화한다.
  • PS 인력의 강점을 평가하기 위해 엄격한 도구를 채택한다.5

In response to growing concerns about existing National Institutes of Health (NIH) support for PSs, in 2014, Director Francis Collins charged a Physician–Scientist Workforce Working Group to assess the current mechanisms of career support and make recommendations for improvement. In June 2014, the working group issued its report with a series of recommendations that, among other things, urged the NIH to

  • sustain strong training of PSs,
  • shift the balance in federally funded postdoctoral training for physicians to include more individual fellowships,
  • continue to mitigate the gap in award rates between new and established investigators, and
  • adopt rigorous tools to assess the strength of the PS workforce.5

이 워킹 그룹은 또한 약 14,000명의 PS의 현재 국내 인력을 유지하기 위해 "매년 약 1,000명의 개인이 파이프라인에 진입해야 할 것"이라고 추정했다. (이 계산은 "파이프라인에 진입"하는 사람들 중 절반이 성공하지 못할 것으로 가정한다.) 이는 [생의학 연구에서 세계적인 리더]로서 미국의 역할을 위협할 수 있기 때문에, 이 예측은 상당한 무게를 지니고 있다. 모세 외 연구진은 현재의 추세가 계속된다면 앞으로 10년 안에 중국이 이 역할을 맡을 것이라고 언급했다.

The working group also estimated that, to maintain the nation’s current workforce of approximately 14,000 PSs, “about 1,000 individuals will need to enter the pipeline each year.”5 (This calculation assumes that half of those who “enter the pipeline will not succeed.”)5 This projection carries with it significant weight because this could threaten the nation’s role as the global leader in biomedical research, as in 2015, Moses et al21 noted that, if current trends continue, China will assume this role within the next 10 years.

2015년 11월, 학술 내과 연합(AAIM)은 의사 조사관 인력 재검토라는 컨센서스 컨퍼런스를 개최했다. 새롭고 진화하는 연구 영역과 학술 기관의 성공 경로. AAIM은 5개의 단체로 구성된 컨소시엄이다. 
In November 2015, the Alliance for Academic Internal Medicine (AAIM) hosted a consensus conference, Re-examining the Physician Investigator Workforce: New and Evolving Areas of Research and Pathways to Success in Academic Institutions. The AAIM is a consortium of five organizations:

  • the APM,
  • Association of Subspecialty Professors,
  • Association of Program Directors in Internal Medicine,
  • Clerkship Directors in Internal Medicine, and
  • Administrators of Internal Medicine.

이 컨퍼런스의 초점은 NIH 의사-과학자 인력 워킹 그룹에 주어진 것과는 달랐다. 즉, NIH 워킹 그룹의 주요 관심사는 NIH 프로그램과 정책에 영향을 미치는 문제를 다루는 것이었지만, AAIM 컨센서스 컨퍼런스의 주요 관심사는, 개개인의 경험과 관심에 기초한 커리어 초기 PS로부터의 투입으로, academic medical school에 영향을 미치는 문제를 다루는 것이었다.

The focus of this conference was different than the charge given to the NIH Physician–Scientist Workforce Working Group—that is, while the major concern of the working group was to address issues impacting NIH programs and policies, the major concern of the AAIM consensus conference was to address issues impacting academic medical schools, with input from early-career PSs based on their individual experiences and concerns.

이 컨퍼런스는 사상적 리더와 초기 경력 PS가 [생물의학 연구에 진지하게 참여할 가능성이 있는 개인을 조기에 식별하는 것과 관련이 있는 중요한 주제들]과 [이러한 개인의 커리어를 개발하기 위한 최적의 메커니즘]을 논의할 수 있는 기회를 제공했다. 또한, 이 회의의 목표 중 하나는 [PS를 유치하고 지원하는 데 있어 현재 걸림돌]을 확인하고 2016년 이후 [PS 인력을 유지하기 위한 새로운 권고안]을 개발하는 것이었다.
The conference provided an opportunity for thought leaders and early-career PSs to discuss a series of critical topics relating to the early identification of individuals with a potential for serious engagement in biomedical research, as well as optimal mechanisms for developing the careers of these individuals. Additionally, one of the goals of the conference was to identify current impediments to attracting and supporting PSs and to develop a new set of recommendations for sustaining the PS workforce in 2016 and beyond.

이 회의에는 100명 이상의 개인이 참석했으며, 학술 관리자, 학과 의장, 프로그램 책임자, 초기 경력 PS(아래 참조)와 국가 재단, NIH, 미국 국립 의학 아카데미, 제약 업계의 대표자들이 참석했다. 이 회의에는 10개의 의학 센터를 대표하는 14명의 초기 경력 PS가 참석했다. 그들 모두는 NIH 멘토링 경력 개발상 또는 보훈처 경력 개발상의 수상자였다. 모두 박사학위였고, 3명은 석사학위를 추가로 받았으며, 박사학위를 받은 사람은 없었다.
More than 100 individuals attended the conference, representing a cross-section of academic administrators, department chairs, program directors, and early-career PSs (see below), as well as representatives from national foundations, the NIH, the National Academy of Medicine, and the pharmaceutical industry. Fourteen early-career PSs attended the conference, representing 10 academic medical centers. All of them were recipients of either an NIH mentored career development award or a Department of Veterans Affairs (VA) career development award. All of them were MDs, 3 had additional master’s-level degrees, and none had a PhD.

이 회의에는 10차례의 브레이크아웃 세션 동안 집중 토의할 핵심 주제에 대한 5차례의 전체 발표가 포함되었다. 각 브레이크아웃 세션은 국가의 PS 인력을 유지하고 잠재적으로 확장하는 것을 목표로 학술적 보건 지도자와 NIH 및 기타 기금 기관을 대상으로 한 일련의 권고안을 개발했다. 그런 다음 각 브레이크아웃 세션의 권장 사항이 모든 컨퍼런스 참석자에게 제시되었습니다. 특정 권고안에 대해 회의 참석자들 사이에 약간의 의견 차이가 있었지만, 이 관점에 포함된 권고안은 회의가 만장일치에 도달한 후 AAIM 이사회에 의해 승인되었다. 이러한 권장사항은 두 가지 주요 전략으로 분류됩니다.

  • (1) PS 파이프라인으로의 진입 증가 및 
  • (2) PS 인력으로부터의 소모 감소(목록 1 참조)

The conference included five plenary presentations on key topics to focus discussion during its 10 breakout sessions. Each breakout session developed a series of recommendations targeted to academic health leaders and to the NIH and other funding agencies, with the goal of sustaining and potentially expanding the nation’s PS workforce. The recommendations from each breakout session were then presented to all of the conference attendees. Although there were slight differences of opinion among the conference participants on certain recommendations, the recommendations included in this Perspective are those on which the conference reached unanimous consensus and which were subsequently approved by the AAIM Board of Directors. These recommendations are categorized within two major strategies:

  • (1) increasing entry into the PS pipeline and
  • (2) reducing attrition from the PS workforce (see List 1).

목록 1 PS Workforce에 대한 학술적 내과의사 컨센서스 컨퍼런스의 권고 사항, 2015년 11월
List 1 Recommendations of the Alliance for Academic Internal Medicine Consensus Conference on the PS Workforce, November 2015

PS 파이프라인 진입 증가
Increasing entry into the PS pipeline

  • 젊은이들에게 생의학 연구의 가치와 생의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
  • 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다.
  • 국제 PS가 미국에 들어와 미국 노동력의 일원으로 남을 수 있는 기회를 강화한다.
  • PS 교육에서 효율성과 커리큘럼 모범 사례를 홍보합니다.
  • MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화합니다.

  1. Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances.
  2. Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors.
  3. Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce.
  4. Promote efficiency and curricular best practices in the training of PSs.
  5. Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs.

PS 인력 소모 감소
Reducing attrition from the PS workforce

  • "멘토 멘토링" 교육을 포함한 정형화된 멘토링 프로그램을 구현하고, 멘토링 결과에 대한 주기적인 검토를 수행합니다.
  • [Training]에서 [독립적인 연구 커리어]로의 PS 전환을 지원하는 것을 특별히 목표로 하는 연구비 프로그램을 수립합니다.
  • NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대합니다.
  • 경력 개발 어워드로 지정된 멘토에게 급여 지원을 제공합니다.
  • PS 간에 부서 전체의 급여 형평성을 보장합니다.
  • 보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공합니다.
  • 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고, P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  • 산업계와의 파트너십 확대를 포함하여 연구 및 연구 자금 지원을 위한 새로운 방법을 모색합니다.
  • PS 경력 개발 데이터 저장소를 구축합니다.
  1. Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results.
  2. Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career.
  3. Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant.
  4. Provide salary support for mentors named on career development awards.
  5. Assure department-wide salary equity among PSs.
  6. Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding.
  7. Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes.
  8. Pursue new avenues for research and research funding, including expanding partnerships with industry.
  9. Establish a repository for PS career development data.

약자: PS는 의사-과학자, NIH, 국립보건원, VA, 보훈처, P&T, 승진 및 재임 기간을 나타냅니다.

Abbreviations: PS indicates physician–scientist; NIH, National Institutes of Health; VA, Department of Veterans Affairs; P&T, promotion and tenure.


이 합의문의 목적상, PS는 [전문적 노력의 대부분을, (학술기관, 정부기관, 산업 및 독립연구센터와 연구소에서 수행되는), 광범위한 생물 의학 연구의 연속체 내에서 정의된 영역에 바치는 의사]로 정의되었다. (기본, 번역, 임상, 역학, 결과 및 의료 교육 연구 포함) 이 사람들 중 많은 사람들은 MD에 더하여 과학 분야에서 전문 학위를 가지고 있으며, 임상의사로서의 자격으로 환자 치료를 계속 제공하고 있다.
For the purposes of this consensus statement, PSs were defined as physicians who devote the majority of their professional effort to a defined area within the broad continuum of biomedical research (inclusive of basic, translational, clinical, epidemiological, outcomes, and medical educational research) conducted in academic institutions, government agencies, industry, and independent research centers and institutes. Many of these individuals have a professional degree in the sciences, in addition to an MD, and continue to provide patient care in their capacity as clinicians.

PS 파이프라인 진입을 늘릴 기회
Opportunities for Increasing Entry Into the PS Pipeline

미국 내 PS를 늘리기 위한 전략 개발과 실행이 필수다. 이 목표를 달성할 수 있는 기회에는 생물의학 연구의 가치를 더 잘 촉진하고 조기에 홍보하는 것, PS 인력의 다양성을 증가시키는 것, 다양성을 증가시키기 위한 역할 모델과 멘토를 사용하는 것, PS 교육 프로세스의 합리화와 연구 교육 기회의 확대가 포함된다.
Developing and implementing strategies to increase the number of PSs in the U.S. workforce is essential. Opportunities to achieve this goal include

  • facilitating better and early promotion of the value of biomedical research,
  • increasing the diversity of the PS workforce,
  • using role models and mentors to increase diversity, and
  • streamlining the PS training process and expanding research training opportunities.

생물의학 연구의 가치를 더 낫고 조기에 홍보할 수 있도록 촉진
Facilitating better and early promotion of the value of biomedical research

아이들의 두뇌가 아직 개발되고 있는 중인 초등학교 때부터 생의학 연구의 가치를 홍보하는 것이 중요하다. 과학, 기술, 공학, 그리고 수학 (STEM)에서 학생들의 기술을 향상시키기 위한 프로그램을 시행하는데 초점을 맞추고 있음에도 불구하고, 미국은 선진국들 사이에서 표준화된 시험의 과학 점수에서 상위 20위 안에 들지 못하고 있다. 앨런과 케이먼은 이 낮은 순위가 부분적으로 연구와 혁신보다 운동선수와 연예인에 더 큰 가치를 두는 국가 전체에 기인할 수 있다고 주장한다. 생물의학 연구의 가치와 기존 STEM 프로그램의 목표를 효과적으로 홍보하기 위해서는 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력이 필요하다.

It is important to promote the value of biomedical research as early as elementary school—while children’s brains are still being developed. Despite a focus on implementing programs to increase students’ skills in science, technology, engineering, and mathematics (STEM), the United States is not ranked in the top 20 on science scores from standardized tests among industrialized nations.22 Allen and Kamen23 argue that this low ranking can, in part, be attributed to the nation as a whole placing greater value on its athletes and entertainers than it does on research and innovation. Collaborations between government agencies, community-based organizations, private-sector research organizations, and schools are necessary to effectively promote both the value of biomedical research and the goals of existing STEM programs.

PS 인력의 다양성 증대
Increasing the diversity of the PS workforce

AAMC가 수집한 데이터는 PS 파이프라인의 다양성 부족을 보여준다. 2015년 의과대학 입학자 중 여성은 47.8%를 차지했다. 그러나, 지난 5년 동안, 그들은 국가의 MD/PhD 프로그램에 등록한 사람들 중 37%에서 38%를 지속적으로 차지해왔다.25 MD/PhD 파이프라인에서 여성의 낮은 대표성은 [시작부터 여성 지원자의 감소]와 [여성들 사이의 더 큰 이탈attrition 수준]을 반영한다. 여성이 MD/PhD 진로를 추구할 가능성이 낮은 이유에 대해 보고한 몇 가지 요인이 있는데, 여기에는 다음이 포함된다.

  • 자녀 양육 또는 다른 가족 책임에 대한 우려,
  • 남성 상대자에 비해 "경쟁에서 이길 필요"가 있다는 인식을 초래하는 직장의 편견,
  • 여러 면에서 PS가 되기 위한 격려의 부족
  • 역할 모델의 부족

Data compiled by the AAMC demonstrate a lack of diversity in the PS pipeline. In 2015, women accounted for 47.8% of those matriculating into medical school24; however, for each of the past five years, they have consistently accounted for between 37% and 38% of those enrolled in the nation’s MD/PhD programs.25 The lower representation of women in the MD/PhD pipeline reflects both fewer female applicants to start with and greater levels of attrition among women.26–28 There are several factors reported by women as to why they are less likely to pursue the MD/PhD career path, which include

  • concerns about child rearing or other family responsibilities;
  • a sense of bias in the workplace resulting in the perception that there is a need to “outcompete” relative to male counterparts;
  • encountering, on multiple fronts, a lack of encouragement to become a PS; and
  • a lack of role models.27–31

인종/민족의 대표성이 부족한 집단을 위한 파이프라인도 확대될 필요가 있다. 2014-2015년 미국 내 MD/PhD 프로그램 졸업생 616명 중 79명(12.8%)만이 인종/민족적으로 대표성이 낮은 집단 출신이라고 보고했다.

  • 26명(4.2%)이 흑인 또는 아프리카계 미국인이라고 스스로 밝혔다. 
  • 히스패닉, 라틴계 또는 스페인계 혈통으로 12명(1.9%) 
  • 41명(6.7%)이 다인종/다인종이었다. 

The pipeline for racial/ethnic underrepresented groups also needs to be expanded.8,32 Of the 616 graduates of MD/PhD programs in the United States during the 2014–2015 academic year, only 79 (12.8%) reported themselves as being from a racially/ethnically underrepresented group:

  • 26 (4.2%) self-identified as black or African American;
  • 12 (1.9%) as being of Hispanic, Latino, or Spanish origin; and
  • 41 (6.7%) as multiple race/ethnicity.33

게다가, [다른 나라의 재능 있고 지망 있는 많은 수의 PS]들이 미국에서 연구 훈련에 들어가려고 시도하는 반면, 그들 중 소수만이 미국의 PS 노동력에 들어가는 데 성공하고 있다. 2015년 미국의 MD/PhD 프로그램에 입학한 626명 중 16명(2.6%)만이 미국 이외의 국가에서 왔다. 이 적은 수의 국제 대학 입학은 국가의 MD/PhD 프로그램의 절반 이하에 부과되는 자금 제한으로 부분적으로 설명될 수 있다. 즉, 연방정부에서 자금을 지원하는 의학 과학자 훈련 프로그램은 미국 시민들과 미국 영주권자들에게만 개방된다. 유학생이 미국에 입국하여 체류할 수 있는 기회를 강화하려는 노력을 포함하여 다양한 인구로부터 회원을 모집하고 유지하는 것을 촉진하는 것은 PS 인력을 늘리는 효과적인 전략이 될 수 있다.

Additionally, while large numbers of talented and aspiring PSs from other countries attempt to enter research training in the United States, only a small percentage of them are successful in entering the nation’s PS workforce.5 Of the 626 matriculates to the nation’s MD/PhD programs in 2015, only 16 (2.6%) came from countries outside the United States.34 This small number of international matriculates can be partially explained by funding restrictions imposed on slightly less than one-half of the nation’s MD/PhD programs—that is, the federally funded Medical Scientist Training Programs (MSTPs) are open only to U.S. citizens and permanent residents of the United States. Facilitating the recruitment and retention of members from diverse populations, including efforts to enhance opportunities for international students to enter and remain in the United States, could be an effective strategy for increasing the PS workforce.

역할 모델 및 멘토를 활용하여 다양성 증대
Using role models and mentors to increase diversity

롤모델과 멘토는 서로 다른 기능을 하며, 둘 다 PS 파이프라인 진입을 늘리는 데 중요합니다. Cruess 등에 따르면, [롤모델]은 "영감을 주고 모범을 보임으로써 가르칠 수 있다"고 한다. 롤모델은 예를 들어 스포츠 영웅, 연예인, PS가 될 수 있고, 다른 사람들에게 미치는 영향은 텔레비전 쇼나 그랜드 라운드 강의 동안처럼 쉽게 초등학교 교실에서 일어날 수 있다.
Role models and mentors function differently, and both are important to increasing entry into the PS pipeline. Role models, according to Cruess et al,35 can “inspire and teach by example.” Role models can be, for example, sports heroes, celebrities, or PSs, and their impact on others can occur in an elementary school classroom as easily as on a television show or during a Grand Rounds lecture.

롤모델에 대한 노출이 핵심입니다. 인종적/인종적으로 대표성이 낮은 고등학생을 대상으로 한 정성적 연구는 많은 학생들이 PS와 상호작용을 해본 적이 없다는 것을 보여주었다. 그들은 연구 경력을 고려하지 않은 근본적인 이유라고 목소리를 높였다. 더욱이, MD/PhD 의대생들을 대상으로 실시한 유사한 연구는 [일찍이 중학교 또는 고등학교의 역할 모델에 대한 노출]이 연구 커리어를 시작하려는 그들의 결정에 영향을 미친 것으로 나타났다. 학생들은 과학 과정 동안 마주친 역할 모델, 가족 내 PS에 대한 노출, 가족 건강 위기 동안 전문가에 대한 노출에 대해 말했다. 이러한 연구는 MD/PhD 파이프라인에서 인종/민족 차이를 해결하는 데 있어 롤 모델의 중요한 중요성을 강조한다.
Exposure to role models is key. Qualitative research of racially/ethnically underrepresented high school students revealed that many had never had interactions with a PS.30,36 They voiced this as an underlying reason for why they did not consider a research career. Furthermore, similar research conducted on MD/PhD medical students indicated that exposure to role models as early as middle and/or high school influenced their decisions to enter a research career.5,36 Students spoke of the role models they encountered during their science courses, exposure to PSs in their families, and exposure to professionals during a family health crisis. These studies emphasize the critical importance of role models in addressing racial/ethnic disparities in the MD/PhD pipeline.

파이체(Paice) 등에 따르면 [멘토]는 연습생이나 경험이 적은 동료와 '멘토가 명시적인explicit 쌍방향 관계를 활발히 하고 있다'는 점에서 롤모델과 다르다. 그것은 "시간이 지남에 따라 진화하고 발전하며 어느 한쪽이 종료할 수 있는 관계"이다. 국가연구멘토링네트워크(NRMN)와 같은 프로그램이 존재하여 특정 조사 영역뿐만 아니라 전문적 개발 영역에서도 멘토링을 제공한다. NRMN의 일부 프로그램은 "다양성, 멘토 관계 내에서의 포괄성 및 문화, 그리고 보다 광범위한 연구 인력 등의 혜택과 도전을 강조한다." 
Mentors differ from role models, according to Paice et al,37 in that a “mentor is actively engaged in an explicit two way relationship” with a trainee or a less-experienced colleague. It is “a relationship that evolves and develops over time and can be terminated by either party.”37 Programs such as the National Research Mentoring Network (NRMN) exist to offer mentoring not only in specific areas of inquiry but also in areas of professional development. Some of the NRMN’s programs “emphasize the benefits and challenges of diversity, inclusivity and culture within mentoring relationships, and more broadly the research workforce.”38

PS 교육 프로세스 합리화 및 연구 교육 기회 확대
Streamlining the PS training process and expanding research training opportunities

생의학 연구를 위한 준비는 10년 이상의 학부, 의과대학, 대학원 교육을 필요로 하는 긴 과정이다. 이 과정을 가속화하기 위해, 연합 MD/PhD 커리큘럼(연방정부가 지원하는 MSTP 포함)은 의과대학 동안 의학 및 연구 훈련을 더 잘 통합하고 가속화하는 아이디어로 개발되었다. 2014년 전국 설문 조사 결과에 따르면 MD/PhD 프로그램 졸업생 중 80% 이상이 연구 지향적인 직업을 추구하는 것으로 나타났다. MSTP 등록(7년 이상의 의무)에 대한 대안으로, 의대생들 중 일부는 등록자들에게 (기관 또는 외부 자금 지원으로) 1년 동안의 멘토링 연구 경험을 제공하는 공식적인 연구 계약을 이용한다. 제한된 일화 데이터는 이러한 공식 연구 계획 중 일부의 효과를 뒷받침한다. 

Preparation for a career in biomedical research is a lengthy process requiring well over a decade of undergraduate, medical school, and postgraduate training, which may include formal graduate education in a scientific discipline. To expedite this process, combined MD/PhD curricula (including federally funded MSTPs) were developed with the idea of better integrating and expediting medical and research training during medical school. The results of a national survey from 2014 show that these programs have had success with > 80% of MD/PhD program graduates pursuing research-oriented careers.39 As an alternative to MSTP enrollment (a commitment of over seven years),39 a subset of medical students take advantage of formal research tracts, which offer enrollees a one-year mentored research experience during medical school (with institutional or external funding support). Limited anecdotal data support the effectiveness of some of these formal research tracts.40,41

의과대학에서 연구 경험을 쌓은 후, 많은 졸업생들은 오랜 기간의 대학원 임상 및 연구 훈련으로 전문 교육을 이수하는 것을 선택한다. 이 과정을 가속화하기 위해, 이러한 [박사 후 경험을 간소화]하기 위한 보조 메커니즘이 개발되었습니다. 미국 내과의사회(Board of Internal Medicine)가 승인한 이러한 접근 방법 중 하나는 신속한 임상 훈련(그리고 종종 하위 전문 펠로우쉽)과 3년간의 멘토링된 박사 후 연구를 결합하는 레지던트 연구 경로이다. 짧은 임상 교육 기간(3년 대신 2년)에도 불구하고, 이러한 졸업생들의 임상 역량(보드시험 합격률로 측정)은 희생되지 않았으며, 80% 이상이 자금 지원을 받은 생물의학 연구를 계속했다. 다른 전공과목 학회(예: 소아과 및 병리학)도 유사한 간소화된 의사 후 교육 경로를 승인했다.

After gaining research experience in medical school, many graduates opt to complete their professional education with a lengthy period of postgraduate clinical and research training. To expedite this process, supplemental mechanisms have been developed to streamline this postdoctoral experience. One such approach, sanctioned by the American Board of Internal Medicine, is a residency research pathway which combines expedited clinical training (and often subspecialty fellowship) with three years of mentored postdoctoral research. Despite a shortened duration of clinical training (two years instead of three), the clinical competency (as measured by board exam pass rate) of these graduates was not sacrificed,42 and more than 80% went on to pursue funded biomedical research.43 Other medical specialty boards (e.g., pediatrics and pathology) have sanctioned similar streamlined postdoctoral training pathways.

마지막으로, 연구에 대한 새로운 관심을 가진 모든 의사들이 의과대학 이전 또는 그 동안 대학원 수준의 과학 훈련을 이수하지 않았기 때문에, 몇몇 연구집약적 의과대학은 [임상훈련의 후기 단계에 있는 의사나 주니어 교수진 중에서 엄선된 그룹에 이러한 엄격한 훈련을 제공하기 위한 공식적인 박사후 연구 훈련 프로그램](종종 MS 또는 PhD 학위까지 이어진다)을 개발했다. 

Finally, because not all physicians with a budding interest in research have completed graduate-level scientific training prior to or during medical school, several research-intensive medical schools have developed formal postdoctoral research training programs (often leading to an MS or PhD degree) to provide this rigorous training to a select group of committed physicians who are in the later stages of clinical training or who are junior faculty.44–46

PS 파이프라인 진입을 늘리기 위한 권장 사항
Recommendations Aimed at Increasing Entry Into the PS Pipeline

PS 파이프라인 진입을 늘리기 위한 AAIM 컨센서스 회의 권고안은 다음과 같았다.

  • (1) 젊은이들에게 생물의학 연구의 가치와 생물의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보한다. 
  • (2) 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다. 
  • (3) 국제 PS가 미국 노동력의 일원으로 미국에 입국하여 체류할 수 있는 기회를 강화한다. 
  • (4) PS 교육에서 효율성과 커리큘럼 모범 사례를 촉진한다. 
  • (5) MD/PhD 프로그램에 입학하지 않는 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화한다(목록 1).

The AAIM consensus conference recommendations for increasing entry into the PS pipeline were to

  • (1) promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances;
  • (2) facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors;
  • (3) enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce;
  • (4) promote efficiency and curricular best practices in the training of PSs; and
  • (5) enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs (List 1).

젊은이들에게 생물의학 연구의 가치와 생물의학 발전에 있어 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances

과학과 수학의 풍요를 제공할 뿐만 아니라, 어린 학습자들, 특히 소외된 배경을 가진 사람들에게 지원을 제공할 수 있는 혁신적인 교육 개입이 확립되어야 한다. 이를 위해 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력을 장려해야 한다.

Innovative educational interventions should be established to provide enrichment in science and math as well as to provide support for young learners, especially those from disadvantaged backgrounds. To this end, collaborations between government agencies, community-based organizations, private-sector research organizations, and schools should be encouraged.

롤모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 유지
Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors

PS와 다른 전문가들로 구성된 롤모델 네트워크를 만들어 정기적으로 K-12 및 학부 수업을 방문하면 학생들이 생물의학 연구의 가치와 직업으로서의 생존 능력에 노출되는 데 도움이 될 것이다. 마찬가지로, NRMN과 같은 프로그램은 다양한 모집단의 구성원을 모집하고 유지하기 위해 널리 사용되어야 한다.
Creating a network of role models, comprising PSs and other professionals, to routinely visit K–12 and undergraduate classes would help expose students to the value of biomedical research and its viability as a career. Similarly, programs such as the NRMN should be widely used to recruit and retain members from diverse populations as they pursue training as PSs.

국제 PS가 미국에 입국하여 미국 노동력의 일원으로 체류할 수 있는 기회를 강화합니다.
Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce

연구 상금과 보조금은 거주 상태에 따라 달라지는 경우가 많다. 외국 의대 졸업생들의 박사 후학을 후원하는 대학들은 미국 영주권 신청에 도움을 주어야 한다. 또한, NIH는 다른 정부 기관과 협력하여 국가 연구 서비스상 펠로우십, 교육 보조금 및 경력 개발상의 자격 요건에 대한 정책을 수정해야 한다. 여기에는 미국 대학원 유학을 위해 입학했지만, 아직 영주권을 부여받지 못한 외국 의과대학 졸업생도 포함해야 한다.
Research awards and grants are frequently dependent on residency status. Universities sponsoring foreign medical school graduates’ postdoctoral studies should provide assistance with applications for permanent residence in the United States. Additionally, the NIH should work with other government agencies to amend policies on eligibility requirements for its National Research Service Award fellowships, training grants, and career development awards to include graduates of foreign medical schools who have been admitted to the United States for postgraduate study but who have not yet been granted permanent resident status.

PS 교육의 효율성 및 커리큘럼 모범 사례 촉진
Promote efficiency and curricular best practices in the training of PSs

연구 분야에서 진로에 대한 의지를 입증한 교육생은, 의과대학 재학 중 정식 MD/PhD 프로그램 및 전공의 수련 중 전공/세부전공 연구 경로 조정과 같이 교육 과정을 단축하고 능률화하는 교육 이니셔티브를 최대한 활용할 것을 강력히 권장해야 한다. MSTP에 대한 지속적인 NIH 자금후원이 제공되어야 한다.
Trainees who have demonstrated a commitment to careers in research should be strongly encouraged to take full advantage of educational initiatives that shorten and streamline the training process, such as formal MD/PhD programs during medical school and coordinated residency/subspecialty research pathways during postgraduate training. Continued NIH funding for MSTPs should be provided.

MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회 강화
Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs

연구에 관심이 있지만 공식적인 MD/PhD 프로그램에 등록되지 않은 의대생은 1년 동안 멘토링된 연구 경험에 참여하는 것을 고려해야 한다. 전문 교육(예: 하위 전문 펠로십) 또는 하위 교수로서 연구를 추구하는 데 관심을 보이는 임상 교육을 받은 의사는 석사 및/또는 박사 학위를 받을 수 있는 공식적인 연구 훈련 기회에 참여하는 것을 고려해야 한다. 현재 이러한 학부 및 대학원 교육 프로그램의 효과에 대한 발표된 데이터가 제한적이므로, 이러한 대안 연구 커리큘럼에 대한 포괄적인 조사(졸업자의 내용, 지원 메커니즘 및 경력 결과 포함)는 관련 전문 기관이 수행해야 한다. 예를 들어 AAIM이나 AAMC, 프로그램 리더가 소집하고 모범 사례를 교환할 수 있는 메커니즘이 제공되어야 한다.

Medical students who have an interest in research but who are not enrolled in a formal MD/PhD program should consider participating in a one-year mentored research experience. Clinically trained physicians who develop an interest in pursuing research later in their professional education (e.g., subspecialty fellowship) or as junior faculty should consider participating in formal research training opportunities that may lead to a master’s and/or doctoral degree. Currently, there are limited published data on the effectiveness of these undergraduate and postgraduate training programs,40,41,44–46 so comprehensive surveys of these alternative research curricula (including content, mechanisms of support, and career outcomes of graduates) should be conducted by relevant professional organizations, such as the AAIM or AAMC, and a mechanism for program leaders to convene and exchange best practices should be provided.

PS 인력의 소모 감소를 위해 해결해야 할 요인
Factors to Address to Reduce Attrition From the PS Workforce

많은 PS들, 특히 그들의 경력 초기와 중간 단계에 있는 사람들은 전임 임상 실습에 들어가기 위해 생물의학 연구 기회를 추구하려는 그들의 원래 계획을 두고 떠난다. Attrition 사유는 다양하고 복잡하지만, 학계로부터 PS의 Attrition와 인과적으로 연결될 수 있는 식별 가능한 요인은 다음과 같다.

  • 부적절한 멘토링, 
  • PS로서의 성공에 대한 편협한 인식, 
  • 외부 지원을 위한 경쟁이 치열해지고 있습니다. 
  • 재정적 압박, 
  • 불충분한 제도적 지원, 그리고 
  • 일과 삶의 균형에 대한 어려움

Many PSs, especially those in the early and middle stages of their careers, leave behind their original plans to pursue biomedical research opportunities to enter full-time clinical practice. Reasons for attrition are numerous and complex; however, there are identifiable factors that can be causally linked to the attrition of PSs from academia, including

  • inadequate mentoring,
  • a narrow perception of success as a PS,
  • increasing competition for external support,
  • financial pressures,
  • inadequate institutional support, and
  • difficulties with work–life balance.

부적절한 멘토링
Inadequate mentoring

독립적으로 자금을 지원하는 PS로서 성공을 달성하는 것은 어려울 수 있습니다. 강력하고 적극적인 멘토링은 그 성공의 중요한 요소이다. 멘토-연수생 다이애드가 멘토십의 전통적인 모델이었지만, 몇몇 기관들은 중앙 집중식 감독, 멘토 지원 및 경력 개발을 제공하기 위해 고안된 이니셔티브를 개발했다. 확립된 연구자는 연구를 수행하는 전문 지식을 가지고 있지만, 견습생을 적극적으로 지도하는 데 필요한 기술을 개발하기 위해 추가적인 교육 지원을 요구할 수 있다. 연구 멘토 양성 프로그램이 효과가 있는 것으로 나타났다. 그러한 프로그램은 모든 의과대학에서 시행되어야 하며 진로 협상, 보조금 작성, 원고 출판, 일과 삶의 균형과 같은 분야의 공식화된 훈련을 포함해야 한다. 가정 기관, NIH 및 기타 기금 기관은 시간과 보상 측면에서 멘토에게 적절한 자원을 할당해야 한다.
Achieving success as an independently funded PS can be challenging. Strong, active mentoring is a crucial element of that success.43 While the mentor–apprentice dyad has been the traditional model of mentorship, several institutions have developed initiatives designed to provide centralized oversight, mentorship support, and career development. Established researchers, while having the expertise to perform research, may require additional educational support to develop the skill set needed to actively mentor an apprentice. Training programs for research mentors have been shown to be effective.47–49 Such programs should be implemented in all medical schools and should include formalized training in areas such as career negotiation, grant writing, publication of manuscripts, and work–life balance.47 Home institutions, the NIH, and other funding agencies should allocate adequate resources to mentors in terms of both time and compensation.

PS로서의 성공에 대한 좁은 인식
A narrow perception of success as a PS

[성공적인 PS는 NIH가 벤치 또는 초기 중개연구를 위한 PI로 자금을 지원받는다]는 인식이 많다. 하지만, 이 개념은 NIH와 다른 사람들이 가정한 [광범위한 PS의 정의]를 고려하지 않으며, 또한 다학제 연구팀이 빅데이터를 사용하고 정밀의학 이니셔티브를 발전시켜야 하는 [연구 분야 내에서의 진화]도 고려하지 않는다. 그럼에도 불구하고, 성공적인 PS를 구성하는 이러한 오래된 개념은 연구 자금과 승진 및 테뉴어(P&T)에 대한 결정에 있어서 부정적인 경력 결과를 초래할 가능성을 계속 제기한다. 따라서, 연구비 지원 기관과 AMC 모두 [PS로서 성공을 구성하는 것]에 대한 더 광범위한 기준을 개발할 필요가 있을 것이다. 
A widely held view is that a successful PS is funded by the NIH as a principal investigator for bench or early translational research.50 This notion does not take into account the broader definition of a PS as posited by the NIH and others,5 nor does it take into account the evolution occurring within the research arena that requires multidisciplinary research teams to use big data and advance precision medicine initiatives. Nonetheless, these antiquated notions of what constitutes a successful PS continue to pose the possibility of negative career consequences when it comes to decisions about research funding and promotion and tenure (P&T). Accordingly, both funding agencies and academic medical centers will need to develop broader criteria for what constitutes success as a PS.50

외부 지원 경쟁 심화
Increasing competition for external support

NIH가 지원하는 R01 보조금에 대한 PS의 최초 수상률은 2012년에 14%로 사상 최저였다. NIH로부터 보조금을 받기 위한 과정은 경쟁이 치열해졌고, 모든 연구 프로젝트 보조금에 대한 전반적인 성공률은 1997년 31%에서 2014년 18%로 떨어졌다. 자금을 성공적으로 확보하거나 지속하지 못하는 것은 흔하지만 예측할 수 없는 일이다. 그로 인해 발생하는 [다른 진로 경로와 비교했을 때에 연구자가 가지는 취약성]의 감각이 소모attrition에 기여할 수 있다. NIH가 훈련에서 독립 연구 경력으로 전환하는 동안 PS를 용이하게 하기 위해 K99/R00 Pathways to Independence Award 이니셔티브와 유사한 프로그램을 수립해야 한다는 강력한 논거를 제시한다.
The first-time award rate among PSs for an NIH-funded R01 grant was 14% in 2012, an all-time low.5 The process to receive a grant from the NIH has become more competitive, with overall success rates for all research project grants dropping from 31% in 1997 to 18% in 2014.5 The failure to successfully obtain or continue funding is a common yet unpredictable occurrence. The resulting sense of researcher vulnerability, as compared with other career pathways, can contribute to attrition. It makes a strong case for the NIH to establish a program similar to its K99/R00 Pathway to Independence Award initiative to facilitate PSs during their transition from training to an independent research career.

학술 기관들은 연방 및 주 기관, 전문 협회 및 사회, 제약 산업을 포함한 민간 부문과 같은 다른 자금 공급원과의 제휴를 고려할 필요가 있다. 빅데이터가 성장하면서 구글, 아마존과 같은 기업과 제휴할 기회도 존재한다. PS에게 이러한 다양한 자금 출처에 접근할 수 있는 지식과 도구를 제공하기 위해서는 효과적인 멘토링과 경력 개발이 필요할 것이다.

Academic institutions need to consider partnering with other sources of funding, such as federal and state agencies, professional associations and societies, and the private sector, including the pharmaceutical industry. With the growth of big data, opportunities also exist to partner with companies such as Google and Amazon. Effective mentorship and career development will be needed to provide PSs with the knowledge and tools to be able to access these diverse funding sources.

재정적 압박
Financial pressures

의대와 대학원 교육 동안, 임상 실습에서의 경력에 비해, PS 커리어를 선택할 때 따르는 재정적 디스인센티브가 있다. 즉, 교육 부채에 대한 부담이 훨씬 더 커지고 안정적인 유급 고용에 대한 자격이 상당히 지연될 가능성이 있다. 비록 MD/PhD 학생이 펠로우십을 통해 지원을 받는다고 해도, 의사 후 연구 훈련과 함께 의과대학 훈련의 상당한 기간(7년 이상)은 생물의학 연구 분야에서 가장 헌신적인 젊은 과학자를 제외한 모든 과학자들을 멀어지게 하기에 충분하다. 아무리 좋은 시나리오라도 PS는 36세에 테뉴어 트랙의 후보자가 된다. 그러나 많은 PS는 테뉴어 트랙 포지션에 대한 수요가 공급을 초과하기 때문에 몇 년 더 포스닥의 지위를 유지한다. 종종, 그들의 조교수로의 고용과 임명은 공식적으로 또는 비공식적으로 NIH의 성공적인 자금 지원(예: K 또는 R 상)에 좌우되지만, MD가 첫 R01을 받은 PS의 평균 연령은 43.8세이다. MD/PhD를 가진 사람들의 평균 연령은 44.3세이다. 많은 PS는 첫 번째 교직원 임명을 시작할 때 큰 부채 부담을 가지고 있는데, 이 상황은 상당한 재정적 압박을 유발하고 가족의 안정적인 지원을 위한 수단을 제공하지 못한다.

During both medical school and postgraduate training, there is a financial disincentive to pursue a PS career relative to a career in clinical practice—that is, there is the potential for a much greater burden of educational debt and a significant delay in eligibility for stable, paid employment.7,51,52 Even if an MD/PhD student is supported through a fellowship, the significant duration of medical school training (seven years or longer), coupled with incremental postdoctoral research training, is sufficient to sway all but the most committed young scientists away from a career in biomedical research. In a best-case scenario, a PS becomes a candidate for a tenure-track position at the age of 36.5 However, many PSs retain their postdoctoral status for several additional years because the demand for tenure-track positions exceeds the supply.52 Often, their employment and appointment as assistant professor are formally or informally contingent on successful funding from the NIH (such as a K or R award), yet the average age of PSs with an MD receiving their first R01 is 43.8 years; for those with an MD/PhD, the average age is 44.3 years.5 Many PSs have large debt burdens when beginning their first faculty appointment, a situation that creates substantial financial duress and does not provide the means for the stable support of a family.

제도적 지원 부족
Inadequate institutional support

제도적 지원은 여러 가지 형태를 취할 수 있으며 임상의사나 박사 연구자와 같은 다른 사람과 비교할 때 PS의 고유한 요구의 결과인 경우가 많다. PS는 연구에 소비하거나 연구 자금 확보에 적용할 수 있는 시간에 영향을 미치는 증가하는 양의 임상 수익을 창출해야 한다. 비슷하게, PS는 종종 임상의 동료들보다 적은 임금을 받으며 종종 외부 자금을 통해 그들의 급여와 연구팀의 다른 사람들의 급여의 많은 부분을 충당할 것으로 기대됩니다. 불행하게도, 그들이 소속된 기관은 외부 자금 부족이 발생할 때, [브리지 연구비 지원]을 제대로 제공하지 않는 경우가 많다. 마지막으로, PS에 대한 P&T 지표는 종종 시대에 뒤떨어지고 팀 과학에 대한 기여, 독립 PS로서의 경력을 확립하는 데 계속 증가하는 시간 또는 빅 데이터, 정밀 의료 및 팀 과학 분야에서 충족되어야 하는 요구를 고려하지 않는다.

Institutional support can take several forms and is often the result of the unique needs of PSs when compared with others, such as clinicians or PhD researchers. PSs are asked to generate increasing amounts of clinical revenue, which affects the time they can spend on their research or apply to securing research funding.52 Similarly, PSs are often paid less than their clinician counterparts and are often expected to obtain a large portion of their salary, and the salaries of others on their research team, through external funding. Unfortunately, their home institutions are often not optimally forthcoming with bridge funding when lapses of external funding occur.7 Finally, the metrics for P&T for PSs are often outdated and fail to take into account contributions to team science, the ever-increasing length of time needed to establish a career as an independent PS, or the demands that will need to be met within the arenas of big data, precision medicine, and team science.

일과 삶의 균형에 대한 어려움
Difficulties with work–life balance

PS는 일반적으로 그들 중 많은 수가 가정을 꾸리고 있는 시점에서 노동력으로 들어가고 있다. 일과성 비경력적 책임(예: 가족 및 건강 문제)은 종종 PS가 일시적으로 인력에서 이탈할 것을 요구할 수 있다. PS들이 소속된 기관은 직장과 가정의 경쟁적인 요구를 수용하고, 가능한 한 유연한 옵션을 제공하며, 결과적으로 PS 직원의 경력 궤적이 악영향을 받지 않도록 해야 한다. [세대 차이]는 후배들에게 매력적이지 않은 작업 환경으로 이어질 수 있다. 예를 들어, 현재 의대에 입학하는 개인과 하위 교수로 학계에 입학하는 사람들은 일과 삶의 균형을 점점 더 중요하게 생각한다. 이러한 가치 체계를 뒷받침하는 연구들은 일과 삶의 균형을 이루는 것이 스트레스, 감정적 피로, 그리고 소진을 줄일 수 있다는 것을 증명했다. 
PSs are generally entering the workforce at a time when many of them are also starting families. Episodic noncareer responsibilities (e.g., family and health issues) can often demand that PSs temporarily remove themselves from the workforce. PSs’ home institutions need to accommodate the competing demands that work and family often present, provide flexible options whenever possible, and ensure that the career trajectories of their PS faculty are not adversely affected as a result. Generational differences may lead to work environments that are unappealing to junior faculty. For example, individuals now entering medical school and those entering academia as junior faculty increasingly value a balance between work and life. Supporting this value system, studies have demonstrated that achieving a work–life balance can reduce stress, emotional exhaustion, and burnout.47,53,54

PS 인력 소모 감소를 위한 권장 사항
Recommendations Aimed at Reducing Attrition From the PS Workforce

PS 파이프라인의 소모 감소를 위한 AAIM 컨센서스 컨퍼런스 권고안은 다음과 같았다.
The AAIM consensus conference recommendations for reducing attrition from the PS pipeline were to

  • (1) "멘토 양성" 교육을 포함한 정형화된 멘토링 프로그램 구현 및 멘토링 결과의 주기적인 검토
  • (2) 교육에서 독립적 연구 경력으로의 PS 전환을 지원하는 것을 특별히 목표로 하는 보조금 프로그램을 수립한다.
  • (3) NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대한다.
  • (4) 경력개발상(Career Development Awards)에 등재된 멘토에게 급여 지원을 제공한다.
  • (5) PS 간 부서 전체의 급여 형평성을 보장한다.
  • (6) 보호 시간 제공 및 필요한 경우 교량 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공한다.
  • (7) 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  • (8) 산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법을 추구한다.
  • (9) PS 경력 개발 데이터 저장소(목록 1)를 구축한다.

 

  • (1) implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results;
  • (2) establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career;
  • (3) expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant;
  • (4) provide salary support for mentors named on career development awards;
  • (5) ensure department-wide salary equity among PSs;
  • (6) provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding;
  • (7) reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes;
  • (8) pursue new avenues for research and research funding, including expanding partnerships with industry; and
  • (9) establish a repository for PS career development data (List 1).

 

"멘토 멘토링" 교육을 비롯한 정형화된 멘토링 프로그램 구현 및 멘토링 결과 주기적 검토
Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results

정형화된 멘토링 프로그램은 멘티 뿐만 아니라 궁극적으로 교수진의 성공을 통해 기관의 명성을 높일 수 있다. 따라서 팀 기반, 다세대, 다기관 및 다문화 멘토링 그룹은 기관의 하위 교수진에게 광범위하고 긍정적인 영향을 미칠 수 있다. 멘토링 주제는 여러 분야를 다루어야 한다. 구체적인 연구 주제 외에도, 멘토링은 연구의 책임있는 수행, 연구비 지원서 작성, 원고 출판, 리더십, 경력 협상 및 일과 삶의 균형 등에 대해 제공되어야 한다. 멘토 양성 및 멘토링 결과의 주기적인 평가는 기관의 멘토링 프로그램의 필수 구성 요소가 되어야 한다.

Formalized mentoring programs may help not only the protégé but may also ultimately enhance the reputation of the institution through the successes of its faculty. Team-based, multigenerational, multi-institutional, and multicultural mentoring groups, therefore, could have a wide-reaching and positive impact on an institution’s junior faculty members. Mentoring topics should cover several areas; in addition to specific research topics, mentoring should be provided on the responsible conduct of research, grant writing, publication of manuscripts, leadership, career negotiation, and work–life balance. Training of mentors and periodic evaluations of mentoring results should be required components of an institution’s mentoring program.

교육에서 독립적 연구 경력으로의 PS 전환을 지원하기 위한 특별 보조금 프로그램 수립
Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career

전환 기간은 젊은 PS에게 특히 취약한 시기이며, PS가 [Training에서 독립적인 연구 커리어로 전환되는 시기]는 이탈Attrition 현상이 발생할 가능성이 더 높은 시기이다. NIH는 현재의 K99/R00 프로그램과 유사한 이 전환 단계에서 PS를 보호하기 위해 특별히 지정된 기금을 적립해야 한다. NIH 연구 섹션은 많은 예비 데이터를 수집하지 않았을 수 있는 매우 유망한 개인을 수용하기 위해 그들의 기대를 재보정할 필요가 있다.
Periods of transition are a particularly vulnerable time for young PSs, and the period when a PS is transitioning from training to an independent research career is one in which attrition may be more likely occur. The NIH must set aside funds specifically designated for PSs with the purpose of protecting them in this transition phase, similar in nature to the current K99/R00 program. NIH study sections need to recalibrate their expectations to accommodate highly promising individuals who may not have amassed a large body of preliminary data.

NIH 또는 VA 경력 개발 보조금을 받은 개인에 대한 학자금 대출 상환 기회 확대
Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant

많은 PS는 많은 양의 학자금 대출 채무를 축적했는데, 이것은 학계를 떠나 더 수익성이 높은 직업을 가지기로 한 결정에 영향을 미칠 수 있다. NIH 대출 상환 프로그램은 생물의학 연구 경력을 쌓기 위해 자격을 갖춘 의료 전문가를 모집하고 유지하는 것을 돕기 위해 고안되었습니다. 이러한 대출 상환 프로그램 참여자들은 연구 경력을 더 오래 유지하고, 더 많은 연구 보조금을 신청하고 수령하며, 독립적인 조사원이 될 가능성이 더 높은 것으로 나타났다. PS에 대한 대출 상환 기회가 강화되어야 한다.

Many PSs have amassed large amounts of student loan debt, which can factor into their decision to leave academia for a more lucrative profession. NIH loan repayment programs are designed to help recruit and retain highly qualified health professionals into biomedical research careers. Participants in these loan repayment programs have been shown to remain in research careers longer, apply for and receive more research grants, and be more likely to become independent investigators.55 Loan repayment opportunities for PSs should be enhanced.

경력개발상에 선정된 멘토에 대한 급여 지원 제공
Provide salary support for mentors named on career development awards

멘토 경력 개발 상을 받은 젊은 조사원들은 주로 다른 일정이 멘토링 일정보다 우선하기 때문에, 그들은 종종 그들의 멘토들과 함께 보낸 시간을 그들의 기금 기관에 과도하게 보고한다고 지적한다. NIH와 다른 기금 기관은 멘토가 독립적인 연구 경력을 확립하려는 젊은 연구원들의 개발에 수행하는 중요하고 시간이 많이 걸리는 역할을 인식할 필요가 있다. 멘토는 자신의 시간에 대한 보상을 받아야 하며, 자신의 노력과 생산성에 대해 보고할 때 멘토링에 소요된 시간의 비율을 공식적으로 기록할 수 있어야 합니다.
Young investigators with mentored career development awards note that they often overreport the time spent with their mentors to their funding agency,5 mainly because their mentors’ other commitments sometimes take precedence over their mentoring needs. The NIH and other funding agencies need to recognize the important and time-consuming role that mentors play in the development of young investigators looking to establish independent research careers. Mentors should be compensated for their time and allowed to formally record the percentage of time spent mentoring when reporting on their levels of effort and productivity.

PS 간 부서 전체의 급여 형평성 보장
Assure department-wide salary equity among PSs

몇몇 의과대학에서 급여 형평성이 해결되지 않은 채로 남아 있다는 것은 널리 인식되고 있으며, 특히 젠더 간 불평등의 가장 높은 원인이 된다. 부서 의장은 급여 정책을 투명하게 하고, 급여 지급자에게 급여 지급을 제안할 때 급여 분배와 스타트업 패키지에 대해 논의해야 하며, 이후 정기적으로 부서 직원들에게 급여 분배를 보고해야 한다.
It is widely recognized that salary equity remains unresolved in several of the nation’s medical schools, with gender as the highest source of disparity.56,57 Department chairs should be transparent in their salary policies, discuss salary distribution and startup packages when offering a salaried position to a PS, and report salary distributions to department faculty on a periodic basis thereafter.

보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경 제공
Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding

PS의 경력 개발은 장기적인 투자입니다. 소득 발생은 수년 단위의 latency period 이후에야 증가한다. 부서 의장과 그 기관은 젊은 PS의 기능과 궤적에 대한 광범위한 비전을 수용하고 이러한 지연을 반영하는 장기 예산을 구성해야 한다. 여기에는 멘토링 감독, 경력 개발 프로그래밍, 보조금 검토, 동료에서 교직원으로의 전환을 위한 자금 지원 등이 포함될 수 있다. 새로운 PS 교수진들이 [연구 경력을 발전]시키면서, 동시에 [자신의 급여를 지원할 수 있을 만큼 충분한 임상 수익을 창출]할 수 있다는 기대는 비현실적이다. 또한 부서 의장은 PS 교수진의 장기적인 일과 삶의 균형을 수용할 수 있는 유연한 옵션을 제공하는 것을 적극적으로 고려해야 한다.
The career development of a PS is a long-term investment; income generation usually increases only after a latency period that is measured in years. Department chairs and their institutions must embrace a broad vision of the function and trajectory of the young PS and construct a long-term budget that reflects this delay. This may include providing mentorship oversight, career development programming, grant reviews, and funding support for the transition from fellow to faculty.58 The expectation that new PS faculty members can generate clinical revenue sufficient to support their salaries while simultaneously developing their research careers is unrealistic. Additionally, department chairs should actively consider providing flexible options to accommodate their PS faculty members’ long-term work–life balance.

생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes

팀 기반 연구는 P&T 심의에서 적절하게 평가되어야 한다. 전통적으로 개별 연구는 금본위제였지만, 지식의 진보가 여러 분야의 기여를 필요로 하는 시대에 팀 기반 연구는 점점 더 일반화되고 중요해지고 있다. P&T 위원회는 현재의 연구 방향을 뒷받침하기 위해 연구자의 필수 기여자로서의 지위를 인정하고 누가 주 연구원으로 지명되든 간에 성공적으로 자금을 지원받은 보조금 제안을 장학금의 증거로 간주하는 정책을 개발해야 한다. 팀 과학 연구의 모델 내에서, 논문의 1저자 자리를 위한 경쟁에 대한 강조는 없어야 한다deemphasized. 마지막으로, 승진 및 종신 재직권 수여에 추가 시간이 필요한 PS에 대한 P&T 고려사항은 패널티 없이 제공되어야 한다.
Team-based research must be valued appropriately in P&T deliberations. Traditionally, individual research has been the gold standard; however, team-based research is becoming increasingly common and more important in an era where advancement of knowledge requires the contributions of multiple disciplines. In support of the current direction of research, P&T committees must develop policies that recognize a researcher’s status as an indispensable contributor and consider a successfully funded grant proposal as evidence of scholarship regardless of who is named as the principal investigator. Within the model of team science research, competition for first-author position on a publication should be deemphasized. Finally, P&T considerations for PSs needing additional time for promotion and the award of tenure should be provided without penalty.

산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법 모색
Pursue new avenues for research and research funding, including expanding partnerships with industry

비록 NIH가 PS에 대한 대부분의 연구 지원을 제공하지만, 그것이 유일한 지원원으로 여겨져서는 안 된다. 다른 연방 및 주 정부 기관 외에도 민간 및 공공 재단, 전문 사회 및 협회, 산업 및 외국 소스도 연구에 기꺼이 자금을 대려고 한다. 빅 데이터 이니셔티브가 보편화됨에 따라 기관들은 상호 이익이 될 수 있는 파트너십을 수용할 수 있게 될 것입니다.

Although the NIH provides the majority of research support for PSs, it should not be considered the only source of support. In addition to other federal and state agencies, private and public foundations, professional societies and associations, industry, and foreign sources are often willing to fund research. As big data initiatives become more commonplace, institutions would be well served to accommodate partnerships that can be mutually beneficial.

PS 커리어 개발 데이터 저장소 구축
Establish a repository for PS career development data

PS에 대한 [연구 커리어 개발 과정의 개선을 위한 합리적인 계획을 세울 수 있는 자료]가 부족하다. 데이터 저장소는 향후 의사 결정을 위한 강력한 기반을 제공합니다. 최소한 리포지토리는 다음을 포함해야 합니다.

  • (1) 사용된 훈련 경로에 대한 설명
  • (2) 외부 연구비 지원,
  • (3) 성공적으로 지원된 외부 연구비,
  • (4) 모든 교육을 완료한 후 최소 5년 동안 수집된 PS에 대한 임명 및 고용 데이터.

There is a paucity of data with which to make rational plans for improvement in the research career development process for PSs. A data repository would provide a strong foundation for future decisions. At a minimum, the repository should include

  • (1) a description of training pathways used,
  • (2) external grant applications,
  • (3) external grants successfully funded, and
  • (4) appointment and employment data for PSs collected for a period of at least five years after completion of all training.

요약
Summary

PS 노동력의 적절한 평가는 생물의학 연구의 세계 리더로서의 미국의 지위를 유지하는 데 매우 중요하다. 앞으로, 학술 기관, 정부, 그리고 민간 부문은 직업 선택으로서 생물의학 연구의 일반적인 분야를 홍보하기 위해 협력해야 한다. K-12 교육 시스템의 과학 및 수학 커리큘럼의 향상과 현재 노동력에서 대표성이 부족한 다양한 그룹에 대한 직업 선택으로서의 PS의 홍보도 있어야 한다. 
The proper valuing of the PS workforce is critical to maintaining the status of the United States as the world leader in biomedical research. Moving forward, academic institutions, the government, and the private sector must work together to promote the general field of biomedical research as a career option through the enhancement of science and math curricula in the K–12 education system and the promotion of the PS as a career choice to diverse groups that are currently underrepresented in the workforce.

학문의학은 또한 팀 과학, 빅데이터, 정밀의학을 육성함으로써 생물의학 발전이 달성되는 새로운 방식을 수용해야 하며, 이러한 시책에 관여하는 연구자들이 인정받을 수 있는 메커니즘을 확립해야 한다. 강력하고 실행 가능한 멘토 프로그램을 통해 젊은 PS 교수진을 지원하고 바람직한 독립 연구 경력을 확립하는 데 필요한 지원을 제공하는 조치가 시행되어야 한다. 학계는 관심 있는 젊은 의사들이 연구 경로를 추구하도록 장려하고 모든 진로가 번창하도록 강력한 수준의 지원을 제공하는 효율적인 진로를 만들고 감독해야 한다. 마지막으로, 산업 및 기타 원천과의 새롭고 창의적인 파트너십은 생물의학 발전에 자금을 지원하는 데 도움이 될 수 있다.

Academic medicine must also embrace the new ways in which biomedical advances are achieved by fostering team science, big data, and precision medicine, and must establish mechanisms for researchers involved in these initiatives to be recognized. Measures must be implemented to support young PS faculty through strong, viable mentorship programs and the provision of the support necessary to establish desirable independent research careers. Academia must create and oversee efficient career tracks that encourage interested young physicians to pursue a research pathway and provide robust levels of support so that all career pathways will flourish. Finally, new and creative partnerships with industry and other sources could help fund biomedical advances.

 

 


 

Acad Med. 2018 Apr;93(4):565-573. doi: 10.1097/ACM.0000000000001950.

U.S. Physician-Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline

Affiliations collapse

Affiliation

1R.A. Salata is STERIS Endowed Chair of Excellence in Medicine, professor, and chair, Department of Medicine, Case Western Reserve University, University Hospitals Cleveland Medical Center, Cleveland, Ohio. M.W. Geraci is John B. Hickam Professor of Medicine and chair, Department of Medicine, Indiana University School of Medicine, Indianapolis, Indiana. D.C. Rockey is professor and chair, Department of Internal Medicine, Medical University of South Carolina, Charleston, South Carolina. M. Blanchard is professor and chief of medical education, Department of Internal Medicine, Washington University School of Medicine, St. Louis, Missouri. N.J. Brown is professor and chair, Department of Medicine, Vanderbilt University School of Medicine, Nashville, Tennessee. L.J. Cardinal is assistant professor and program director, Internal Medicine Residency Program, Stony Brook University School of Medicine, Stony Brook, New York, and John T. Mather Memorial Hospital, Port Jefferson, New York. M. Garcia is associate professor and associate director, Internal Medicine Residency Program, University of Massachusetts Medical School, Worcester, Massachusetts. M.P. Madaio is professor and chair, Department of Medicine, Medical College of Georgia, Augusta, Georgia. J.D. Marsh is professor and chair, Department of Medicine, University of Arkansas for Medical Science, Little Rock, Arkansas. R.F. Todd III is professor emeritus, Department of Medicine, Baylor College of Medicine, Houston, Texas.

PMID: 28991849

PMCID: PMC5882605

DOI: 10.1097/ACM.0000000000001950

Abstract

The U.S. physician-scientist (PS) workforce is invaluable to the nation's biomedical research effort. It is through biomedical research that certain diseases have been eliminated, cures for others have been discovered, and medical procedures and therapies that save lives have been developed. Yet, the U.S. PS workforce has both declined and aged over the last several years. The resulting decreased inflow and outflow to the PS pipeline renders the system vulnerable to collapsing suddenly as the senior workforce retires. In November 2015, the Alliance for Academic Internal Medicine hosted a consensus conference on the PS workforce to address issues impacting academic medical schools, with input from early-career PSs based on their individual experiences and concerns. One of the goals of the conference was to identify current impediments in attracting and supporting PSs and to develop a new set of recommendations for sustaining the PS workforce in 2016 and beyond. This Perspective reports on the opportunities and factors identified at the conference and presents five recommendations designed to increase entry into the PS pipeline and nine recommendations designed to decrease attrition from the PS workflow.

 

편향되지 않고, 신뢰할 수 있고, 타당한 학생강의평가도 여전히 불공정할 수 있다 (Assessment & Evaluation in Higher Education, 2020)
Unbiased, reliable, and valid student evaluations can still be unfair
Justin Esarey and Natalie Valdes

 

 

서론
Introduction

학생 강의 평가는 고등교육의 교수들이 얼마나 잘 가르치고 있는지를 평가하기 위해 사용되어야 하는가? 학자들이 학생 평가의 유용성에 대해 토론할 때, 일반적으로 SET가 유효하고 신뢰할 수 있고 편향되지 않은 방식으로 강사의 자질을 측정하는지 여부에 대한 논의의 초점이 맞춰진다. 예를 들어, 많은 연구가 SET가 여성 강사에 대해 편중되어 있는지 여부를 조사했습니다. 편파적이거나 잘못된 SET를 사용하여 인사 결정을 내리는 데 명백한 문제가 있기 때문에 문헌은 양적이면서도 불일치하다. 하지만 SET가 이러한 문제로부터 자유로워지면 어떻게 될까요? 이 경우, SET 점수는 채용할 직업 후보자를 선택하는 데 있어서, 또는 교직원에게 종신 재직권을 부여해야 하는지 여부를 결정하는 데 있어서 타당한 근거가 되는가?

Should student evaluations be used to assess how well faculty in higher education are teaching? When scholars debate the utility of student evaluations of teaching (SETs), the discussion typically centres on whether SETs measure an instructor’s quality in a valid, reliable and unbiased way. For example, many studies have examined whether SETs are biased against female instructors (Langbein 1994; Andersen and Miller 1997; Martin 2016; Mitchell and Martin 2018; Mengel, Sauermann, and Zölitz 2019). The literature is both voluminous and discordant, perhaps because there are obvious problems with using biased or invalid SETs to make personnel decisions. But what if SETs are free from these problems? In that case, are SET scores a sound basis for choosing which job candidate to hire or whether a faculty member should be granted tenure?

이 기사에서, 우리의 컴퓨터 시뮬레이션은 SET를 사용하여 가난한 교사를 식별하면 [경험적 연구에 의해 지원되는 가장 낙관적인 시나리오]에서조차 [허용할 수 없을 정도로 높은 오류율]을 야기할 수 있음을 보여준다. 즉, SET가 (a) 학생의 학습 및 지도의 베스트 프랙티스와 어느정도 상관이 있고, (b) 신뢰성이 있고, (c) 편향되지 않았더라도, SET가 교직원의 교육 성과를 평가하기 위해 사용되는 일반적인 방법은 SET와 강사 간의 분포에 관한 합리적인 가정 하에서 불공평하다. 이는 [SET 점수]와 [강사 자질] 간의 관계가 상당히 부정확하기 때문에 발생합니다. 둘 사이에 상당한 상관관계가 있는 경우에도 마찬가지입니다. 이러한 부정확성은 SET 점수에 대한 본질적으로 무작위적이고 특이한 영향(예: 성격이나 외모)에서 비롯될 수 있으며, 지도와 관련이 없는 점수에 대한 체계적인 영향(예: 특정 성별이나 인종의 교원에 대한 편견)에서 비롯될 수 있다. 그러나 체계적인 편견이 없는 경우에도 SET 점수의 특이적 변화로 인해 발생하는 소음은 SET를 사용하여 교직원의 교육에 대한 올바른 판단을 하는 우리의 능력을 방해합니다.
In this article, our computational simulation shows that using SETs to identify poor teachers can result in an unacceptably high error rate even under the most optimistic scenarios supported by empirical research. That is, even if it is correct that SETs are (a) moderately correlated with student learning and/or instructional best practices, (b) reliable and (c) unbiased, common ways that SETs are used to evaluate faculty teaching performance are unfair under reasonable assumptions about the distribution between SETs and instructor quality. This occurs because there is considerable imprecision in the relationship between SET scores and instructor quality even when there is substantial correlation between the two. This imprecision can come from essentially random and idiosyncratic influences on SET score (such as personality or appearance), or it can come from systematic influences on those scores that are not related to instruction (e.g. bias against faculty members of a certain gender or race). But even when there are no systematic biases, the noise created by idiosyncratic variation in SET score interferes with our ability to use SETs to make correct judgements about a faculty member’s teaching.


컴퓨터 시뮬레이션을 사용하는 이유는 SET 점수가 이상적인 조건에서 교직원의 교육에 대한 행정적 판단에 매핑될 때 어떤 일이 일어나는지 조사할 수 있기 때문입니다. 우리의 접근법은 산업심리학에서 나온 선별과 평가의 오래된 이론 모델과 유사하다. 결과가 분포 가정에 지나치게 의존하지 않도록 원시 점수 대신 상관 백분위수 순위를 시뮬레이션하는 정규 연결사를 사용합니다. copula는 개별 한계 분포 함수를 공동 분포 함수에 연결하는 함수이며, 보다 구체적으로 '표준 균일 일변량 여유를 갖는 다변량 df [분포 함수]'이다(Hofert 2018, 페이지 5–6). 백분위수 순위는 원시 SET 점수 분포에 관계없이 항상 균일하게 분포되므로 다양한 학생 평가 도구와 점수 척도로 많은 대학을 모델링하는 데 더 나은 선택이다. 그러나 특정 한계 분포와 상관 계수는 SET 점수 및 교육 품질의 공동 분포를 고유하게 결정하지 않는다. 따라서 우리의 결론은 합리적으로(보편적이지는 않지만) 일반화할 수 있다고 믿는 일부 분포 가정에 여전히 구속된다. 이 점은 '방법론' 섹션과 '결론'에서 더 자세히 설명되며, 여기서 교직원과 관리자가 SET 점수를 실제로 사용하는 경우의 결과에 대해 논의한다. 

We use computational simulation because it allows us to examine what happens when SET scores are mapped into administrative judgements about faculty teaching under ideal conditions. Our approach is similar to venerable theoretical models of screening and assessment from industrial psychology (Taylor and Russell 1939; Naylor and Shine 1965; Cascio 1980; Owen and Li 1980). To avoid our results being overly dependent on distributional assumptions, we use normal copulas that simulate correlated percentile rankings instead of raw scores. A copula is a function that connects individual marginal distribution functions to a joint distribution function, and more specifically is ‘a multivariate df [distribution function] with standard uniform univariate margins’ (Hofert 2018, pp. 5–6). Percentile rankings are always uniformly distributed regardless of the distribution of raw SET scores and are therefore a better choice for modelling many universities with different student evaluation instruments and scoring scales. However, specific marginal distributions and a correlation coefficient do not uniquely determine a joint distribution of SET scores and instructional quality; our conclusions are therefore still bound to some distributional assumptions that we believe are reasonably (though not universally) generalizable. This point is discussed further in the ‘Methodology’ section and in our ‘Conclusion’, where we discuss the consequences for practical employment of SET scores by faculty and administrators.

다양한 상관관계를 가진 SET 점수 및 교직원 품질 백분위수를 시뮬레이션한 후 여러 평가 절차에서 시뮬레이션된 점수를 사용합니다. 구체적으로는 다음 사항을 조사합니다.
We simulate SET scores and faculty quality percentiles with varying correlation, then use the simulated scores in several assessment procedures. Specifically, we examine:

  • SET 점수를 통한 교직원의 쌍별 비교. 이는 교육 실적에 따른 취업 지원자의 비교 또는 종신 재직권 교수와 최근의 성공 사례의 교육 기록을 비교한 것이다.
  • 개별 교수의 SET 점수와 모든 교직원의 SET 점수의 전체 모집단의 비교. 이는 동료에 비해 성적이 낮은 교수진(예를 들어 점수가 특정 백분위수 순위 이하)이 테뉴어 케이스 또는 기타 체계적인 검토의 일부로 행정처분을 위해 식별되는 절차를 반영한다.
  1. pairwise comparisons of faculty via SET scores. This mirrors the comparison of job candidates on the basis of their teaching performance or the comparison of a faculty member up for tenure to the teaching record of a recent (un)successful case.
  2. comparison of an individual professor’s SET scores to the overall population of SET scores from all faculty members. This mirrors a procedure where faculty members who are under-performing relative to their peers (e.g. whose scores are below a certain percentile ranking) are identified for administrative action as part of a tenure case or other systematic review.

SET 점수와 교직원 교육 품질 사이의 상관관계가 ρ가 약 0.4인 경우(즉, 대체로 경험적 문헌에 의해 지지받는 가장 높은 값)인 상황에서조차, SET 점수의 큰 차이(30% 포인트까지)로 인하여 최고의 교수자를 신뢰성 있게 식별하지 못한다. 게다가 SET 점수가 20백분위 이하인 교직원의 4분의 1 이상이, 실제로 시뮬레이션의 중간값 교직원의 교직원에 비해 더 잘 가르치고 있습니다. SET 점수가 매우 높은 사람도 형편없는 교사가 될 수 있습니다. 95번째 백분위수를 초과하는 SET 점수를 받은 교수는 거의 19%가 중간 교수보다 더 잘 가르치지 못합니다. 이러한 결과는 이변량 정규 분포를 사용하여 SET 점수 및 교직원 품질을 시뮬레이션하여 분석을 반복할 때 확인됩니다. 이 분석의 의미는 교수의 수업instruction에 기반하여 공정하고 정확한 인사 결정을 내리려면 SET 점수보다 학생의 학습이나 지도의 베스트 프랙티스에 실질적으로 더 관련된 교육 성과 측정이 필요하다는 것입니다. 

Even when the correlation between SET scores and faculty instructional quality is ρ ≈ 0.4, roughly the largest value supported by empirical literature (e.g. Cohen (1981) finds an average correlation of 0.43 between overall SET score and student learning), a large difference in SET scores (even as much as 30 percentile points) does not reliably identify the best teacher in a pairwise comparison of simulated faculty members. Moreover, over one quarter of faculty with SET scores at or below the 20th percentile are actually better at teaching than the median faculty member in our simulation. Even those with exceptionally high SET scores can be poor teachers: nearly 19% of those with SET scores above the 95th percentile are no better than the median professor at teaching. These findings are confirmed when we repeat our analysis using a bivariate normal distribution to simulate SET scores and faculty quality. The implication of our analysis is that making fair, accurate personnel decisions based on faculty instruction requires a measure of teaching performance that is substantially more related to student learning or instructional best practices than SET scores alone.

우리 결과에 근거해, 대학내에서의 SET의 사용 방법에 대해 3개의 제언을 실시합니다.

  • 첫째, 목적이 무엇이든 회귀 조정 또는 일치된 하위 표본 분석을 통해, 비교육적instructional 요인(즉, 편향)에 의해 설명되는 SET 점수의 체계적 편차를 제거한 후 이러한 점수를 사용할 것을 권고한다. 이 조정은 평가 점수와 교육의 질 사이의 상관관계를 증가시켜 본질적으로 이 관계의 부정확한 원인을 걸러내고, 따라서 우리의 시뮬레이션에 따르면 불공정한 결정의 가능성을 감소시킨다. 단, 이 절차에서는 SET 점수에 대한 특이적 영향에 의해 발생하는 노이즈를 제거할 수 없습니다. 따라서 우리는 또한 SET 점수만으로는 오해의 소지가 있을 때 독립 평가자, 학생 인터뷰, 전문가에 의한 교수 관찰, 교재 동료 검토 및 SET 점수를 조합하여 교직원의 교수 능력을 훨씬 더 정확하게 파악할 수 있다고 믿는다. 중요한 것은, 이러한 개별적인 조치 각각에 노이즈가 있거나 결함이 있는 경우에도 마찬가지라는 것입니다.
  • 우리는 이러한 여러 형태의 평가를 평균화하는 것이 각각의 독특한 변화를 상쇄시켜 평균 평가와 교직원의 실제 교육 성과 사이의 부정확성을 더욱 감소시킬 수 있다는 것을 보여준다. 교육 품질의 여러 척도를 취득하는 것은 비용이 많이 들기 때문에 SET는 교육에 대한 보다 포괄적인 평가가 필요한 교사를 특정하기 위한 저비용 메커니즘으로 기능할 수 있습니다.이렇게 파악된 많은 교직원이 우수한 교사가 될 것이라는 것을 이해하고 있습니다.
  • 마지막으로, 어떠한 목적으로든 SET 점수에 과도하게 의존하는 경우 주의를 기울일 것을 권장합니다. 이러한 유용성은 일반적으로 관리자 또는 교수진에게 알려지지 않은 SET와 강사 품질 간의 공동 분포 특성에 따라 달라질 수 있음을 보여준다. 우리는 이 마지막 요점이 교육을 평가할 때 여러 평가 메커니즘(SET 점수 포함, 이에 한정되지 않음)을 사용할 필요성을 더욱 강조한다고 믿는다.

Based on our results, we make three recommendations concerning how SETs should be used within universities.

  • First, we advise removing any systematic variance in SET scores explained by non-instructional factors (i.e. biases) via regression adjustment or matched subsample analysis before using these scores for any purpose (as illustrated by Nargundkar and Shrikhande 2014; see also Benton and Li 2017, pp. 3–4). This adjustment increases the correlation between evaluation scores and teaching quality, in essence filtering out a source of imprecision in this relationship and therefore reducing the chance of an unfair decision according to our simulations. However, this procedure cannot remove the noise created by idiosyncratic influences on SET scores. Thus, we also believe that a combination of independent evaluators, interviews with students, teaching observations by experts, peer review of instructional materials, and SET scores can give a much more accurate picture of a faculty member’s teaching proficiency when SET scores alone would be misleading. Importantly, this is true even when each of these individual measures is noisy or flawed.
  • We show that averaging these multiple forms of evaluation can allow idiosyncratic variation in each one to cancel out, resulting in further reduction of imprecision between the averaged assessment and a faculty member’s true teaching performance. Because obtaining multiple measures of instructional quality is expensive, we think that SETs could serve as a low-cost mechanism for identifying faculty in need of this more comprehensive assessment of their teaching–with the understanding that many faculty so identified will be excellent teachers.
  • Finally, we advise caution in over-reliance on SET scores for any purpose: we show that their usefulness can depend on characteristics of the joint distribution between SETs and instructor quality that will typically be unknown to administrators or faculty. We believe this final point further underscores the need to use multiple assessment mechanisms (including but not limited to SET scores) when evaluating teaching.

 

배경
Background

본 연구는 SET의 가치에 대한 평가에서 크고 분할된 문헌을 다루지만, 기본적으로는 SET 점수의 타당성, 신뢰성 및 (무)편향성에 초점을 맞추고 있다는 점에서 통합된다. 다수의 연구에서는 SET를 긍정적으로 평가하는데, 한 41개 연구의 메타 분석은 '일반 과정과 강사 차원이 학생의 성취도와 상당히 강하게 관련되어 있다는 것을 비교적 확신할 수 있다' 그리고 '소견은 다른 학생, 강사, 기관 및 주제 영역에 일반화될 수 있다'고 주장한다. Feldman(1989)에 의한 동일한 데이터의 재분석은 이러한 결론을 대체로 확인시켜 준다. Herbert Marsh의 오랜 연구 기록은 대부분(전부는 아니지만) Marsh가 개발한 SEQ(Student Evaluation of Educational Quality)은 신뢰성과 타당성을 조사하여 SET의 특성을 다음과 같이 주장한다.
Our study enters a literature that is both large and divided in its assessment of the value of SETs, but essentially united in that its focus is on the validity, reliability, and (un)biasedness of SET scores as measures of faculty teaching performance. In favour of SETs, an influential meta-analysis combining the findings of 41 empirical studies argues that ‘we can be relatively certain that the general course and instructor dimensions relate quite strongly to student achievement’ (Cohen 1981, p. 298) and that the ‘findings can be generalized to different students, instructors, institutions, and subject matter areas’ (p. 305). Re-analysis of the same data by Feldman (1989) largely confirms these conclusions. A long record of scholarship by Herbert Marsh (summarized in Marsh 1984, 1987; Marsh and Roche 1997), which mostly (but not exclusively) examines the reliability and validity of the Student Evaluation of Educational Quality (SEEQ) developed by Marsh (1982), argues that SETs are:

  • (a) 다차원 
  • (b) 신뢰성 및 안정성 
  • (c) 주로 교육되는 과정이 아닌 과정을 가르치는 강사의 지도의 기능 
  • (d) 효과적인 교육의 다양한 지표에 대해 상대적으로 유효하다. 
  • (e) 잠재적 편견으로 가정된 다양한 변수에 상대적으로 영향을 받지 않는다. 
  • (f) 교육의 효율을 향상시키는 데 도움이 되다 

 

  • (a) multidimensional;
  • (b) reliable and stable;
  • (c) primarily a function of the instruction of the instructor who teaches a course rather than the course that is taught;
  • (d) relatively valid against a variety of indicators of effective teaching;
  • (e) relatively unaffected by a variety of variables hypothesized as potential biases… and
  • (f) useful in improving teaching effectiveness (Marsh and Roche 1997, p. 1187).

이러한 발견은 나르군드카르와 쉬리칸데(2012)의 독립 연구에서도 확인되었다. 이와 함께 Benton과 Li는 IDEA가 제작한 SET의 교육 등급은 '학습자 및 교사 행동에 대한 외부 학생 등급과 긍정적인 상관 관계'와 함께 학생들의 시험 성적도 보고했습니다. 이러한 등급은 또한 Marsh(1982)가 만든 SET에서 보고된 것과 유사한 학생의 숙련도에 해당하는 여러 차원으로 구분된다. 일반적으로 경험적 연구는 [학생 학습]과 [SET 평정] 사이의 상관관계를 최대 ρ = 0.4 정도로 보고한다.

These findings were confirmed in an independent study by Nargundkar and Shrikhande (2012). Along the same line, Benton and Li (2017, pp. 7–8) reports that student ratings of instruction on a SET produced by IDEA ‘correlate positively with external student ratings of learner and teacher behaviours’ as well as student performance on exams (Benton, Duchon, and Pallett 2013). These ratings also break into multiple dimensions that correspond to student proficiencies (Li et al. 2016) similar to those reported for the SET created by Marsh (1982). Generally, empirical studies report correlations between student learning and SET ratings of around ρ ≈ 0.4 at most.


반면에, 많은 다른 연구들은 SET가 학생의 학습이나 강사의 질을 측정하지 않으며, 성과와 상관없이 체계적으로 일부 그룹에 편향될 수 있다고 주장해왔다. Utl, White, Gonzalez(2017)가 Cohen(1981)과 Feldman(1989)의 데이터를 재분석한 결과, [null 결과는 무시]되고, [과장된 긍정적인 결과를 가진 소규모 연구]만 발표되는 경향에 영향을 받는다는 것을 발견했다. 30개 이상의 수업 섹션을 포함하는 SET 연구만 조사하면 학생 등급과 학생 학습 간의 상관관계가 50% 이상 감소하고, 나중에 발표된 SET 연구를 포함하면 이 상관관계는 최대 ρ = 0.1까지 떨어진다(표 4 참조). Nargundkar와 Shrikhande(2014)는 Marsh의 SET 도구의 유효성을 확인하지만, SET 점수는 학급 규모, 강사 성별, 교육 과정 유형과 같은 비교육적 요인에 의한 일부 내재적 편견을 반영한다. 우리 분야(정치학)에서의 SET에 대한 연구는 특히 강사 성별이 코스 평가에 미치는 영향에 초점을 맞추고 있으며, 코스의 다른 측면이 동등하더라도 여성이 남성보다 낮은 SET 점수를 받는다는 것을 반복적으로 발견해 왔다. 이 연구결과는 여성 교수자에 대한 편견을 발견했지만, 이후 대규모 학제 간 연구에서는 커리어의 초기에서만 그렇다는 것으로 확인되었다.

On the other hand, many other studies have argued that SETs do not measure student learning or instructor quality and may be systematically biased against some groups irrespective of merit. Uttl, White, and Gonzalez (2017) re-analyse the data from Cohen (1981) and Feldman (1989) and find that their results are influenced by the tendency for small studies with exaggeratedly positive results to be published while null results are ignored (Schwarzer, Carpenter, and Rücker 2015, chapter 5; see also Sterling 1959; Sterling, Rosenbaum, and Weinkam 1995; Franco, Malhotra, and Simonovits 2014). When examining only those SET studies that included 30 or more class sections, the correlation between student ratings and student learning falls by 50% or more (see Table 3 in Uttl, White, and Gonzalez 2017); when including SET studies published later, this correlation falls even further to at most ρ ≈ 0.1 (see Table 4). While Nargundkar and Shrikhande (2014) confirm the validity of Marsh’s (1982, p. 55) SET instrument, they also note that SET scores ‘reflect some inherent biases due to noninstructional factors’ (p. 55) such as class size, instructor gender, and the type of course being taught. Work on SETs in our home discipline (of political science) has been particularly focused on the effect of instructor gender on course evaluations, repeatedly finding that women receive lower SET scores than men even when the other aspects of the course are equivalent (Langbein 1994; Andersen and Miller 1997; Martin 2016; Mitchell and Martin 2018). This finding was partially confirmed in a large cross-disciplinary study by Mengel, Sauermann, and Zölitz (2019), who found bias against female instructors but only against those early in their career.

고용과 종신 재직에 대한 결정을 내리기 위해 무효, 신뢰성이 없거나 편향된 학생 평가를 사용하는 것은 분명히 학생과 교수진 모두에게 해가 된다. 대학이 학생의 학습이나 지도의 베스트 프랙티스를 추적하지 않는 SET를 채용, 재직 및 승진 과정의 일부로 사용할 경우, 그들은 성과 대신 무작위 기회에 따라 중요한 결정을 내릴 수 있습니다. 설상가상으로, 편향된 SET는 소수집단 배경의 교수자에게 불이익이 되거나, [인기 없는 필수 과목]을 가르치는 교수에 대한 처벌punish이 될 수 있다. 이것이 중요한 문제라는 것은 인정하지만, 다른 질문을 합니다. SET가 유효하고 신뢰할 수 있으며 편견이 없다면 어떻게 될까요? 뚜렷한 편견이 없고 강사의 질과 중간 정도의 상관관계가 있는 SET 점수는 교직원의 교육 성과를 판단하는 공정한 기준인가? 이 질문에 대한 대답이 '아니오'인 경우, 일반적으로 인식되는 것보다 SET 사용에 더 큰 문제가 있습니다.
Using invalid, unreliable or biased student evaluations to make decisions about hiring and tenure is obviously harmful to students and faculty alike. If universities use SETs that do not track student learning or instructional best practices as a part of their hiring, tenure, and promotion process, they may make important decisions on the basis of random chance instead of merit. Even worse, biased SETs could disadvantage faculty from underrepresented minority groups or punish faculty members who teach unpopular required courses. While we agree that this is an important problem, we ask a different question: if SETs are valid, reliable, and unbiased, what then? Are SET scores without demonstrable bias and moderately correlated with instructor quality a fair basis on which to judge a faculty member’s teaching performance? If the answer to this question is ‘no,’ there is a much bigger problem with the use of SETs than is commonly recognized.

 

방법론
Methodology


SET 점수의 신뢰성, 타당성, 편중성을 교육 능력의 척도로 경험적으로 평가하는 것이 아니라 경험적 문헌에 의해 뒷받침될 수 있는 가장 낙관적인 조건을 가정하고 대학 교직원 평가 및 관리를 위한 도구로서 SET 점수를 사용한 결과를 연구한다.

  • 첫째, 전체 강사 SET 등급이 코스 내의 실제 교육 품질(예: 학생 학습 및/또는 교육 모범 사례)과 중간 정도 상관된다고 가정합니다. 문헌에 보고된 가장 높은 상관관계는 ρ 0 0 0.4 정도이므로 이 상관관계 수준을 연구의 기준으로 사용한다. 우리는 또한 강사의 클래스 평균 SET 점수가 완벽하게 신뢰할 수 있다고 가정한다(즉, 강사의 클래스 평균 SET 점수는 항상 동일하므로 완벽하게 알려져 있다). 이는 다수의 클래스 평균 SET 점수의 평균을 사용하여 교직원을 평가하거나 클래스 평균 SET 점수가 완벽하게 안정되어 있다고 가정하는 것과 같다.
  • 둘째, 관리자가 SET 점수를 전문가가 권장하는 신중하고 현명한 방법으로 사용하고 있다고 가정합니다. 예를 들어, 문헌에 의해 보고된 SET 점수와 품질과의 불완전한 상관관계를 고려할 때, 두 강사 사이에 실질적인 품질 차이가 있다고 결론짓기 전에 관리자가 SET 점수에 큰 차이를 요구한다고 가정한다. 따라서 SET 점수가 동료보다 낮은 강사가 불량 교사로 식별될 경우 관리자는 오류 가능성을 최소화하기 위해 이 컷오프를 낮은 수준으로 설정했을 것으로 가정합니다.
  • 마지막으로, 학생 학습과 무관한 강사 수업 평균 SET 점수의 특이적 차이를 모델링하지만, 이러한 특이적 차이는 안정적이며 특정 그룹(예: 여성 또는 대표성이 부족한 소수자)에 대한 체계적 편견을 대표하지 않는다고 가정한다.

Rather than empirically assessing the reliability, validity, or unbiasedness of SET scores as measures of teaching proficiency, we assume the most optimistic possible conditions that can be supported by empirical literature and then study the outcomes of using SET scores as tools for assessing and managing university faculty.

  • First, we assume that overall instructor SET ratings are moderately correlated with actual instructional quality (e.g. student learning and/or instructional best practices) in the course. The highest correlations reported in the literature are on the order of ρ ≈ 0.4, so we use this level of correlation as the basis for our study. We also assume that an instructor’s class average SET scores are perfectly reliable (i.e. an instructor’s class average SET score is always the same and thus perfectly known). This is equivalent to assuming that a faculty member is assessed using the average of a large number of class-average SET scores, or alternatively that class average SET scores are perfectly stable.
  • Second, we assume that administrators use SET scores in the careful and judicious manner recommended by experts (e.g. Boysen et al. 2014; Benton and Young 2018). For example, we assume that administrators require a large difference in SET scores before concluding that there is a real difference in quality between two instructors, given the imperfect correlation of SET scores with quality reported by the literature. Relatedly, if instructors who receive lower SET scores than their peers are identified as poor teachers, we assume that administrators set this cutoff to a low level in order to minimize the possibility for error.
  • Finally, although we model the idiosyncratic difference in instructor class-average SET scores that is unrelated to student learning, we assume that these idiosyncratic differences are both stable and not representative of any systematic bias against a particular group (e.g. women or under-represented minorities).

 

이러한 가정은 SET 점수, 교육 품질 및 관리 평가 모델에 대한 정보를 제공합니다. 구체적으로는 교직원 i의 클래스 평균 강사 SET 점수 si의 백분위수 순위(원점수나 값이 아닌)와 교사로서의 실제 자질을 연구한다.여기서 qi는 교직원이 학생 학습에 진정으로 기여하는 것 및/또는 교육 모범 사례에 대한 적합성을 나타낸다. 예를 들어,

  • si = 40은 교직원의 전체 SET 점수가 교직원의 총 모집단에서 SET 점수의 40%보다 우수하다는 것을 의미하며,
  • qi = 40은 같은 교직원이 동료의 40%보다 우수하다는 것을 의미합니다. 

These assumptions inform our model of SET scores, the quality of instruction, and administrative assessment. Specifically, we study the percentile rankings (rather than raw scores or values) of a faculty member i’s class average overall instructor SET scores si and their actual quality as a teacher qi, where qi represents a faculty member’s true contribution to student learning and/or their conformity with instructional best practices.

For example, 
> si = 40 means that the faculty member’s overall SET score is better than 40% of SET scores from the total population of faculty members,
> while qi = 40 means that the same faculty member is a better instructor than 40% of his/her peers.

이러한 척도는 백분위수이기 때문에 기본 SET 점수 또는 강사 품질 메트릭이 어떻게 분포되는지에 관계없이 각각은 si ~ U [0, 100] 및 qi ~ U [0, 100]의 균일한 한계 분포를 가집니다. (si, qi)의 공동분포는 si와 qi가 고정공통값 θ에서 상관관계를 갖는 것으로, 상관관계가 θ인 정규연관을 사용하여 이를 모델링한다(Hofert 2018, 페이지 87). 

Because these measures are percentiles, each has a uniform marginal distribution regardless of how the underlying raw SET score or instructor quality metric is distributed: si  U [0, 100] and qi  U [0, 100]. The joint distribution of (si, qi) is such that si and qi are correlated at a fixed and common value of ρ; we model this using a normal copula with correlation ρ (Hofert 2018, p. 87).

그림 1은 모델을 사용하여 교수진의 SET 점수 및 실제 교육 품질 값을 백분위수로 시뮬레이션하는 세 가지 예를 보여줍니다. 산점도(si, qi)의 각 점은 개별 교직원 i의 클래스 평균 SET 점수 백분위수(x축)와 실제 교육 품질 백분위수(y축)를 나타냅니다.

  • 그림 1(a)에서 SET 점수와 실제 강사 품질 사이에는 아무런 관계가 없습니다(표준 = 0).
  • 그림 1(b)에서 SET 점수와 강사 품질 사이의 상관관계는 경험적 문헌에 의해 지원되는 최대값과 거의 일치하는 값으로 설정된다(set = 0.4).
  • 마지막으로, 그림 1(c)은 상관 관계를 매우 높게 설정한다(표준 = 0.9).

Figure 1 shows three examples of how we simulate faculty members’ SET scores and true instructional quality values as percentiles using our model. Each point in a scatter plot (si, qi) represents an individual faculty member i’s class average SET score percentile (on the x-axis) and true instructional quality percentile (on the y-axis).

  • In Figure 1(a), there is no relationship between SET score and true instructor quality (ρ = 0).
  • In Figure 1(b), the correlation between SET score and instructor quality is set at a value roughly consistent with the maximum value supported by empirical literature (ρ = 0.4).
  • Finally, Figure 1(c) sets the correlation extremely high (ρ = 0.9).

각 산점도 상단 및 오른쪽 모서리의 히스토그램에는 SET 점수 백분위수(위 모서리)와 교직원 교육 품질(오른쪽 모서리)의 한계 균일한 분포가 표시됩니다. 각각의 시뮬레이션에서는, 특정의 ρ 를 가지는 통상의 코풀라로부터 다수의 교직원을 추출해, 그러한 교직원을 사용해 SET 스코어의 특정의 관리상의 용도가, 좋은 교사와 나쁜 교사의 구별에 있어서 얼마나 효과가 있는지를 평가합니다. 시뮬레이션에서 각 교직원의 진정한 강사 자질을 알 수 있기 때문에 이상적인 조건에서 이러한 관리 용도가 얼마나 잘 수행되는지 정확하게 평가할 수 있습니다.

The histograms on the top and right edges of each scatter plot shows the marginal uniform distribution of SET score percentiles (top edge) and faculty instructional quality (right edge). Each one of our simulations draws a large number of faculty members from the normal copula with a specified ρ and uses those simulated faculty members to assess how well particular administrative uses of SET scores work in terms of distinguishing good teachers from bad. Because we know the true instructor quality of each faculty member in our simulations, we are able to accurately assess how well these administrative uses perform under ideal conditions.

 

우리의 모델은 테일러와 러셀(1939)의 모델과 유사하며, 테일러와 러셀(1939)은 표준화된 평가(점수 테스트 등)를 사용하여 이 [표준화된 평가]가 [근로자의 직무 성과]와 유의하지만, 불완전하게 상관되어 있을 때(수준 r) 근로자를 선택하는 결과를 연구했다. Taylor와 Russell은 저비용의 전자컴퓨팅 이전에 근무하고 있었기 때문에, (평가의 엄격성(즉, 고용되는 평가 노동자의 비율), 평가의 유효성(r) 및 작업 성과가 최소한 허용 가능한 모집단의 근로자 비율이 주어졌을 때) 평가에 의해 선택된 종업원의 비율을 나타내는 표를 작성했습니다. 이러한 표를 통해 관리자는 복잡한 계산 없이 정보에 입각한 결정을 내릴 수 있었습니다.

Our model is similar to that of Taylor and Russell (1939), who studied the consequences of using a standardized assessment (such as a scored test) to select workers when this assessment is meaningfully but imperfectly correlated (at level r) with those workers’ job performance. Because Taylor and Russell were working at a time before low-cost electronic computing, their main contribution was producing tables showing what proportion of workers selected by the assessment would be acceptable given the stringency of the assessment (i.e. what proportion of assessed workers would be hired), the validity of the assessment (r), and the proportion of workers in the population whose job performance would be at least minimally acceptable; these tables enabled managers to make informed decisions without complex calculation.

같은 이유로 테일러와 러셀은 연속 표준화 평가 지표(예: 시험 점수)와 근로자 품질의 연속 표준화 측정치가 상관 관계 r을 갖는 단위 이변량 정규 밀도에 따라 분포될 것이라고 가정했다. Naylor와 Shine(1965)은 다양한 평가 조건에서 선택된 근로자의 평균 표준화된 업무 성과를 보여주는 이 표의 버전을 작성했다. 이들의 수정된 접근방식은 관리자들이 표준화된 평가를 통해 얼마나 많은 선택이 기준 수준과 비교하여 노동자의 평균 품질을 개선할 수 있는지를 결정할 수 있게 했다.그는 전체 인구입니다. Naylor와 Shine은 이러한 표준화된 품질 점수 사이의 상관 단위 이변량 정규 분포에 대한 가정을 유지했습니다. 이러한 모델은 과거 고등교육 평가 연구에 성공적으로 적용되었다. 예를 들어, Owen과 Li(1980)는 수정된 Taylor-Russell 접근방식을 사용하여 대학 입학 요건으로 최소한의 표준화된 시험 점수 성과를 요구하는 효과를 연구한다. 

For the same reason, Taylor and Russell assumed that the continuous standardized assessment metric (e.g. a test score) and the continuous standardized measure of worker quality would be distributed according to a unit bivariate normal density with correlation r. Naylor and Shine (1965) created a version of these tables showing the average standardized job performance of workers selected under varying assessment conditions; their modified approach allowed managers to determine how much selection via standardized assessment would improve the average quality of a workforce relative to the baseline level of the overall population. Naylor and Shine maintained the assumption of a correlated unit bivariate normal distribution between these standardized quality scores. These models have been successfully applied to the study of assessment in higher education in the past; for example, Owen and Li (1980) study the effectiveness of requiring minimum standardized test score performance as a requirement for college admissions using a modified Taylor–Russell approach.


이 모델을 사용하여 SET 점수의 두 가지 일반적인 관리 용도를 연구합니다.

  • 교직원의 쌍별 비교
  • 각 교직원의 SET 점수를 모든 교직원의 SET 점수 전체 분포와 비교합니다.

We use our model to study two common administrative uses of SET scores:

  1. for pairwise comparison of faculty members; and
  2. for comparison of an individual faculty member’s SET score to the overall distribution of SET scores from all faculty.


이러한 용도는 SET가 의사결정에 정보를 제공할 수 있는 현실적인 시나리오를 다루도록 설계되어 있습니다. 예를 들어, 테뉴어 평가는 종종 최근의 사례를 참고한다. 후보자의 SET 점수와 최근의 테뉴어 사례의 점수를 쌍으로 비교하여 교육 성과에 기초한 결정을 정당화할 수 있다. 채용 결정에는 소수의 교직원을 서로 비교하는 것이 포함됩니다. SET 점수의 쌍별 비교는 어떤 후보가 더 나은 교사인지 판단하기 위해 사용될 수 있습니다. 아마도 가장 가능성이 높은 것은 교직원의 SET 점수를 모든 교직원의 SET 점수 모집단이 많은 것과 비교하여 동료보다 현저히 나쁜 교직원의 SET 점수를 식별할 수 있다는 것입니다. 예를 들어, 강사는 SET 점수가 학과 또는 대학 중간 점수보다 낮은지 여부에 따라 평가될 수 있습니다. 우리는 그러한 비교가 테뉴어 심사나 임기 전 평가의 일부로서 일어날 것이 거의 확실하다고 기대한다.

These uses are designed to cover realistic scenarios in which SETs may inform decision-making. For example, tenure evaluations often make reference to cases from the recent past; pairwise comparison of a candidate’s SET scores to those of a recent tenure case might be used to justify a decision based on teaching performance. Hiring decisions involve comparing a small number of faculty members to one another; a pairwise comparison of SET scores might be used to adjudicate which candidate is a better teacher. Perhaps most likely of all, a faculty member’s SET scores might be compared to the larger population of SET scores from all faculty in order to identify those whose teaching performance is markedly worse than their peers. For example, an instructor might be judged according to whether his/her SET scores are below the department or university median score. We expect that such a comparison is almost guaranteed to happen as part of a tenure review or a pre-tenure evaluation.

Microsoft R Open 3.5.3(R Core Team 2019)의 copula 라이브러리를 이용하여 ρ 의 상관관계를 갖는 일반 copula에서 SET 점수 백분위수와 강사 품질 백분위수 1,000,000개를 추출하여 이러한 절차의 영향을 모델링합니다. 그림 1과 같이 SET 점수 및 강사 품질 백분위수의 각 추첨은 단일 교직원을 나타냅니다. 그리고 첫 번째 절차에서는 첫 번째 50만 SET 점수 추첨과 두 번째 50만 SET 점수 추첨을 비교하여 SET 점수가 높은 교직원이 질 높은 강사이기도 한 시간의 비율을 결정합니다. 두 번째 절차에서는 100만 SET 점수 추첨을 모두 최소 백분위수 임계값과 비교하여 SET 점수가 임계값 미만인 모든 교직원을 모집단에서 분리한 후 SET 백분위수 임계값 미만 교직원의 강사 품질 점수를 조사합니다.

We model the impact of these procedures by sampling 1,000,000 draws of SET score percentiles and instructor quality percentiles from a normal copula with correlation ρ using the copula library (Hofert et al. 2017; Kojadinovic and Yan 2010) in Microsoft R Open 3.5.3 (R Core Team 2019). As illustrated in Figure 1, each draw of a SET score and an instructor quality percentile represents a single faculty member. Then, for the first procedure, we compare the first 500,000 SET score draws to the second 500,000 SET score draws to determine the proportion of the time that the faculty member with the higher SET score is also a higher quality instructor. For the second procedure, we compare all 1,000,000 SET score draws to a minimum percentile threshold, separate all faculty members whose SET score is below that threshold from the population, then examine the instructor quality scores of faculty members who are below the SET percentile threshold.

한 가지 방법론적인 선택은 특히 주의를 요한다. 즉, 원점수 또는 표준화된 점수 대신 일반 코풀라를 사용하여 SET 점수 및 강사 성과 백분위수를 시뮬레이션하는 선택이다(표준 측정, 즉 z 점수는 평균이 0이고 표준 편차가 1로 조정되었다). 이 선택에는 중요한 이점이 있습니다.SET 점수 또는 강사 품질 등급의 특정 한계 분포를 가정하지 않아도 됩니다. 그러나 결론에서 다시 살펴보겠지만, 상관관계 ρ 은 SET 점수와 강사 자질 사이의 많은 가능한 관계와 일치하며, 다른 관계는 SET 점수를 사용하여 교직원을 평가하는 다른 결과를 초래한다. 원점수나 표준점수보다 백분위수에 초점을 맞추면 정확한 한계분포를 지정하는 문제를 피할 수 있고, 모든 SET 점수나 교육 품질 지표가 백분위수 등급의 동일한 분포를 가져야 하므로 분석을 보다 광범위하게 적용할 수 있다. 즉, 대학이 학생에게, 예를 들면, 다른 질문의 표현이나 다른 응답 척도를 사용하는 등, 전체적인 강사의 평가를 요구하는 방법에 관계없이, 그러한 평가의 퍼센티지는 균일하게 분포할 필요가 있습니다.따라서 시뮬레이션에서는 이러한 SET 중 하나를 사용하는 경우의 결과를 보다 잘 모델링할 수 있습니다.
One methodological choice requires particular attention: our choice to simulate percentiles of SET scores and instructor performance using the normal copula rather than raw or standardized scores (a standardized measure, i.e. a z-score, is one that has been rescaled to have a mean of zero and a standard deviation of one). This choice comes with an important advantage: it enables us to avoid assuming any particular marginal distribution of SET scores or instructor quality ratings. However, as we will revisit in the conclusion, a correlation ρ is consistent with many possible relationships between SET score and instructor quality and different relationships result in different consequences of using SET scores to evaluate faculty. Focusing on percentiles rather than raw or standardized scores allows us to sidestep the issue of specifying correct marginal distributions and makes our analysis more broadly applicable, as any SET scores or instructional quality metrics must have the same distribution of percentile ratings. That is, no matter how a university asks its students for an overall instructor rating – for instance, using different question wording or different response scales – the percentiles from those ratings must be distributed uniformly and therefore our simulations are better able to model the consequences of using any one of these SETs.



그러나 우리의 절차에는 한계가 있다.

  • 첫째, 한계 분포 함수와 상관 계수를 지정한다고 해서 SET 점수와 교직원 품질 사이의 고유한 공동 분포를 의미하는 것은 아니다(Hofert 2018, 페이지 47). 동일한 균일하게 분포된 SET 점수와 강사 품질 지표는 모두 동일한 상관 관계를 갖는 다른 패턴을 가질 수 있다. 따라서 우리의 결론은 매우 다양한 공통적인 상황에 일반화되어 있다고 믿지만, 가능한 모든 경우에 반드시 적용되는 것은 아니다.
  • 또한 경험적 문헌은 종종 원시 또는 z-점수의 표준화된 SET 점수와 시험 점수와 같은 학생 성취도의 직접적인 척도 사이의 상관관계를 연구한다. 이러한 척도에 대한 백분위 순위 간의 상관관계가 아니라, 우리는 이러한 차이가 분석의 일부에서 중요하지 않다고 가정해야 한다. 따라서, 우리는 분석을 특정 SET 시스템 사용의 결과에 대한 거울 같은 시뮬레이션이 아니라 합리적이고 가능성 있는 조건에서 무엇이 잘못될 수 있는지를 보여주는 유용한 예시로 간주한다.
  • 결론의 견고성을 높이기 위해 정규 연결부를 통해 균일하게 분포되지만 상관 관계가 있는 백분위수 대신 이변량 정규 분포 SET 점수 및 교직원 품질 지표를 사용하여 분석을 반복했다. 온라인 부록에 보고된 결과는 질적으로 우리의 주요 finding과 유사하다. 결론에서 연구의 의미를 설명할 때 이 방법론적 선택에 대한 논의로 돌아갈 것이다.

However, there are limitations to our procedure.

  • First, specifying marginal distribution functions and a correlation coefficient does not imply a unique joint distribution between SET scores and faculty quality (Hofert 2018, p. 47): the same uniformly distributed SET scores and instructor quality metrics can have different patterns of relationship that all have the same correlation ρ. Consequently, although we believe that our conclusions generalize to a wide variety of common circumstances, they do not necessarily apply to every possible case.
  • Moreover, the empirical literature often studies the correlation between raw or z-score standardized SET scores and direct measures of student achievement like exam scores (e.g. Benton, Duchon, and Pallett 2013, pp. 380–383), not the correlation between percentile rankings for these measures; we must assume that this difference is not consequential in parts of our analysis. Consequently, we consider our analysis an informative illustration of what can go wrong under reasonable and likely conditions, not a mirror-like simulation of the outcome of using any particular SET system.
  • Toward the end of increasing the robustness of our conclusions, we repeated our analyses using bivariate normally distributed SET scores and faculty quality metrics instead of uniformly distributed but correlated percentiles created via a normal copula; the results, which are reported in an online appendix, are qualitatively similar to our main findings. We will return to a discussion of this methodological choice when describing the implications of our study in the conclusion.

 

결과.
Results

그림 2는 평균 SET 점수를 사용하여 교직원을 쌍으로 비교한 결과를 보여줍니다. 이러한 SET 점수가 순전히 무작위로 할당된 경우, SET 점수에 의해 실제로 더 poor한 교수가 더 나은 강사로 식별되는 경우는 50%이다 (즉, si -sj와 qi -qj는 한 쌍의 교직원에 대해 같은 부호를 가집니다). 따라서 50%의 오류율은 평가 성과에 대한 최소 기준입니다. 참고로 분석에서는 si = sj를 qi = qj일 경우에만 올바른 예측으로 취급합니다. 또한 qi = qj일 때만 si = sj이면 올바른 예측으로 취급됩니다. 이것들은 엣지 케이스이며 계산상으로는 발생할 가능성이 거의 없습니다. 

Figure 2 shows the result of conducting pairwise comparisons of faculty members using average SET scores. If these SET scores were assigned purely at random, the faculty member who was truly a poorer instructor would be identified by SET scores as the better instructor 50% of the time (that is, si −sj and qi −qj have the same sign for a pair of faculty members i and j). Therefore, a 50% error rate is the minimum baseline of evaluation performance. As a side note, our analysis treats si = sj as a correct prediction if and only if qi = qj. In addition, when qi = qj only si = sj is treated as a correct prediction. These are edge cases and computationally unlikely to occur. 

 

 

그림 2는 진정한 질과 전체적인 강사 SET 평가 사이에 [중간 정도의 상관관계]가 있더라도 교직원의 수업 평균 SET 점수를 비교하면 허용할 수 없을 정도로 높은 에러율을 얻을 수 있음을 보여준다. 경험적 문헌에 따르면 현실적으로 기대할 수 있는 가장 높은 상관관계는 0.4이다. 품질과 SET 점수 간의 이러한 상관 관계 수준에서 시뮬레이션에서 품질이 낮을수록 평균 SET 점수가 거의 37% 더 높습니다. 즉, SET 점수를 완벽하게 신뢰할 수 있고 교육의 질과 중간 정도의 상관관계를 갖는 것으로 두 교원을 비교하는 것은 잘못된 교원을 1/3 이상의 시간 동안 더 나은 교사로 식별할 수 있습니다. 실제 데이터에서 가능한 것보다 훨씬 높은 θ = 0.9인 경우에도 품질이 낮은 강사는 평균 SET 점수가 14% 이상 더 높습니다.

Figure 2 shows that comparing faculty members’ class average SET scores results in an unacceptably high error rate, even when there is moderate correlation ρ between true quality and overall instructor SET evaluation. Based on the empirical literature, ρ ≈ 0.4 is the highest correlation we can realistically expect. At this level of correlation between quality and SET scores, the poorer quality instructor in our simulation has a higher average SET score almost 37% of the time. That is, using SET scores that are perfectly reliable and moderately correlated with teaching quality to compare two faculty members can identify the wrong faculty member as a better teacher over one third of the time. Even when ρ = 0.9, far higher than possible in real data, the poorer-quality instructor still has a higher average SET score over 14% of the time.

SET 점수가 행정 결정에서 중요한 역할을 한다고 믿는 학자들은 SET 점수에서 매우 작은 차이를 심각하게 받아들이는 것을 지지하지 않는다(Boysen et al. 2014; Benton and Young 2018). 따라서 분석 고정 ρ = 0.4를 반복하여 한 교직원이 다른 교직원보다 더 나은 교직원이라는 결론을 내리기 위해 필요한 백분위수 SET 점수 격차의 크기를 변경하였다. 그 결과는 그림 3에 나타나 있다.

Scholars who believe that SET scores have a role to play in administrative decisions do not endorse taking very small differences in SET score seriously (Boysen et al. 2014; Benton and Young 2018). Therefore, we repeated our analysis fixing ρ = 0.4 and varied the size of the gap in percentile SET scores necessary to conclude that one faculty member is truly a better instructor than another. The result is depicted in Figure 3.

 

강사 품질에 대한 판단을 형성하기 위해 SET 점수 사이의 최소 거리를 요구하는 것은 단순히 SET 점수의 차이를 심각하게 받아들이는 것보다 상당히 개선된다. 그러나 시뮬레이션에서 SET 점수의 차이는 의사결정 오류가 허용 가능한 수준에 도달하기 전에 실제로 매우 커야 한다. 그림 3과 같이 시뮬레이션된 교직원이 39퍼센트 이상의 SET 점수 차이로 분리된 경우에만 오류율이 10%에 도달합니다. 심지어 이러한 비교에서도 poor한 강사는 10번 중 1번 이상 우수한 강사로 식별됩니다. 5%의 오류율은 SET 점수가 약 54% 포인트 떨어져 있는 교직원만을 비교해야 달성될 수 있다. 그러나 시뮬레이션된 쌍별 비교의 약 21%만이 SET 점수에서 적어도 이만큼 큰 차이를 보였다. 즉, 어떤 교수가 더 나은 교사인지에 대한 결정은 할 수 없었다.대부분의 경우에서 그렇습니다.
Requiring a minimum distance between SET scores in order to form a judgement about instructor quality does improve considerably on simply taking any difference in SET scores seriously. However, the gap in SET scores in our simulation must be very large indeed before errors in decision making reach an acceptable level. As Figure 3 shows, only when our simulated faculty members are separated by a SET score difference of over 39 percentile points does the error rate reach 10%. Even these comparisons identify the wrong instructor as better one out of ten times. A five percent error rate can be achieved in our simulation by comparing only faculty members whose SET scores are separated by about 54 percentile points; however, only about 21% of our simulated pairwise comparisons had a difference in SET scores at least this large, meaning that no decision about which professor was a better teacher could be made in the vast majority of cases.


마지막으로, 교직원을 명시적으로 비교하지 않고, 리뷰 프로세스의 일부로서 모든 교직원의 전체 모집단과 비교할 수 있습니다.예를 들어 관리자는 교직원의 SET 점수를 학과 또는 대학 중앙 SET 점수와 비교할 수 있습니다. 상관관계가 0.4로 고정된 정상 코풀라에서 1,000,000 SET 점수와 실제 강사 품질 수준을 추출하여 이 수행 평가를 시뮬레이션한 후 SET 전체 강사 점수의 20번째 백분위 이하 교직원을 low-quality 교사로 식별하였다. 중위수 대신 20번째 백분위수를 사용하는 것은 단순히 뛰어나지 않은 교사가 아니라 최악의 교사를 식별하는 SET의 신중한 관리 사용을 나타내기 위한 것입니다. 마지막으로 SET 점수가 낮은 교직원 모집단에서 진정한 강사 품질 수준의 분포를 조사합니다. 그 결과는 그림 4와 같다.

Finally, faculty may not be explicitly compared to one another but rather compared to the overall population of all faculty as part of a review process; for example, administrators may compare a faculty member’s SET scores to the department or university median SET score. We simulated this performance evaluation by drawing 1,000,000 SET scores and true instructor quality levels from a normal copula with correlation fixed at ρ = 0.4, then identified faculty members at or below the 20th percentile of SET overall instructor score as low-quality teachers. Using the 20th percentile instead of the median is intended to represent a careful administrative use of SETs that identifies the worst teachers, not simply teachers who are not exceptionally good. Finally, we examine the distribution of true instructor quality levels in this population of faculty members with poor SET scores. The result is shown in Figure 4.

 

 

그림 4는 SET 점수와 실제 강사의 질 사이에 중간 정도의 상관관계가 있더라도, 학생 평가에서 가장 성적이 나쁜 일부 학생은 시뮬레이션에서 여전히 좋은 교사임을 보여줍니다. 구체적으로, SET의 20번째 백분위 이하에 있는 모의 교수진의 27% 이상이 실제로 강사 품질의 중위수를 초과했습니다. 실증연구 결과가 뒷받침하는 가장 낙관적인 조건하에서 SET 성적은 상대적으로 낮은 층에서도 열악한 교사로 지목된 교수 4명 중 1명이 실제로 일반 교수보다 더 능력이 있는 시나리오를 만들 수 있다는 점은 불안하다. 이 문제는 사용하는 분포에 대해 대칭적이라는 점에 유의하십시오. 즉, SET 점수가 80번째 백분위수를 초과하는 교직원의 27% 이상이 실제로 교육자로서의 퀄리티에서 중간값 이하에 있습니다.

Figure 4 shows that, even with moderate correlation between SET scores and true instructor quality, some of the worst performers on student evaluations of teaching are still good teachers in our simulation. Specifically, over 27% of simulated faculty members at or below the 20th percentile on SETs were actually above the median of instructor quality. It is disturbing that even a relatively low floor for SET performance under the most optimistic conditions supported by empirical study results can create a scenario where one in four faculty members identified as a poor teacher is actually more capable than the typical professor. Note that the problem is symmetric for the distributions we use: that is, over 27% of faculty members with SET scores over the 80th percentile are actually at or below the median in instructor quality.


실제로, 뛰어난 SET 점수조차 교직원의 질을 나타내는 신뢰할 수 있는 지표가 되지 않습니다. 가장 높은 평가를 받은 교수 선발 과정을 시뮬레이션하기 위해 그림 4의 분석을 반복하여 SET 점수에서 95번째 백분위 이상의 모의 교직원을 식별하였다. 이 엘리트 그룹의 교직원 중 18% 이상이 중간 강사와 다를 바 없다는 것을 알게 되었습니다. SET 점수가 매우 높은 교사의 자질 평가의 완전한 분포는 부록 그림 7을 참조하십시오. 이러한 결과에 근거해, 상당수의 교사상 수상자가, 실제로 보통의 교수에 비해 teaching에 서투른 것을 발견할 수 있을 것이다. 따라서 SET 점수가 낮으면 좋은 교수가 나쁜 것으로 잘못 인식될 뿐만 아니라 보통보다 못한 교수가 매우 숙련된 것으로 인식되는 경우가 많습니다. 앞에서와 마찬가지로, 이 문제는 대칭적적으로 발생한다. 즉, SET 점수가 5퍼센타일 이하(매우 낮은)인 교직원의 18% 이상이 실제로 교사의 질에서 중위수 이상입니다.

Indeed, not even exceptional SET scores are a reliable indicator of faculty quality. To simulate the process of selecting the most highly-rated professors for special recognition, we repeated the analysis of Figure 4 and identified simulated faculty members above the 95th percentile in SET scores. We find that over 18% of this elite group of faculty are no better than the median instructor; see Appendix Figure 7 for the full distribution of teacher quality ratings for those with extremely high SET scores. Based on these results, it would not be unusual to find that a substantial proportion of teaching award winners are actually worse at teaching than the ordinary faculty member. Thus, not only do poor SET scores often mis-identify good professors as bad, they can often identify worse-than-mediocre professors as exceptionally skilled. As before, the problem is symmetric for the distributions that we examine: over 18% of faculty members with SET scores at or below the 5th percentile are actually above the median in instructor quality.

 

결론
Conclusion

우리의 증거는 교직의 학생 평가에 대한 일반적인 사용이 그러한 평가들이 매우 신뢰성이 높고, 어떤 그룹에 대해서도 편견이 없으며, 진정한 교수진의 질과 적당히 상관되어 있을 때 많은 불공정한 결과를 쉽게 만들어 낼 수 있다는 것을 보여준다. 우리가 보는 것처럼, 근본적인 문제는 학생들의 평가 점수에 대한 무관한 영향이 이 점수에 근거해 결정을 내리는 것이 너무 우연에 의한 것이라는 것이다. 동시에, 우리는 학생 평가가 이용 가능한 대안보다 비용 및 표준화 측면에서 상당한 이점을 가지고 있다는 것을 인식하고 있습니다. 어떻게 해야 할까요? 우리는 세 가지 추천을 합니다.

Our evidence indicates that common uses for student evaluations of teaching can easily produce many unfair outcomes when those evaluations are extremely reliable, unbiased against any group, and moderately correlated with true faculty quality. As we see it, the fundamental problem is that irrelevant influences on student evaluation scores make decisions based on these scores too subject to chance. At the same time, we recognize that student evaluations have substantial advantages in terms of cost and standardization over available alternatives. What should be done? We make three recommendations.

첫째, SET를 만들고 독립적인 연구에 의해 뒷받침된 일부 회사가 이미 작성한 권고사항과 일치한다. 우리는 코스 평균 학생 평가 점수가 어떠한 목적에 사용되기 전에, [체계적인 비교육적 영향(즉, 편견)을 제거하기 위해 통계적으로 조정되어야 한다]고 믿는다. 예를 들어, 선형 회귀 분석에서는 성별, 인종 및 과정 유형에 기인하는 과정 평균 SET 점수의 변동을 추출한 후 이러한 점수를 교직원 평가에 사용할 수 있습니다. 이러한 특성이 교육 및 학습과 무관한 한, 결과적으로 조정된 점수는 원시 SET 점수보다 실제 강사 품질과 더 강하게 상관되어야 하며 부정확성은 감소합니다. 또 다른 대안으로, 이러한 특징에 대한 점수를 일치시킨 다음 일치된 그룹 내에서만 비교할 수 있다. 이는 IDEA가 이미 채택한 접근법과 유사하다. 이 절차에서는 SET 점수에 대한 순수하게 랜덤한 영향이나 특이적인 영향을 제거할 수 없습니다.따라서 이 조정에도 SET 점수와 강사 품질 간의 상관관계가 1에 근접할 것으로 예상되지 않습니다. 그러나 우리가 권장하는 조정은 이 상관관계를 최대한 높일 것으로 믿습니다.
First, consonant with the recommendations already produced by some companies that create SETs (e.g. Benton and Young 2018) and supported by independent research (e.g. Nargundkar and Shrikhande 2014), we believe that course-averaged student evaluation scores should be statistically adjusted to remove any systematic non-instructional influences (i.e. biases) before they are used for any purpose. For example, linear regression could extract any variance in course average SET scores attributable to gender, race, and course type before these scores are used to evaluate faculty. As long as these characteristics are irrelevant to teaching and learning, the resulting adjusted scores should be more strongly correlated with true instructor quality than the raw SET scores and imprecision will be reduced. As another alternative, scores could be matched on these characteristics and then compared only within the matched groups; this is similar to the approach already taken by IDEA (Benton and Li 2017, p. 5). This procedure cannot remove purely random or idiosyncratic influences on SET scores, and so even with this adjustment we do not expect that correlation between SET scores and instructor quality will be close to 1. But we believe that the adjustment we recommend will make this correlation as high as it can be.


둘째, 기존 권고사항과 마찬가지로, SET 점수를 사용하여 중요한 인사 결정을 내릴 때, 교직원의 [교육 성과를 종합적으로 평가하기 위해 여러 다른 척도와 연계]하여야 한다고 생각합니다. 모든 방법(SET를 포함하지만 이에 국한되지 않음)은 교수 교육 퀄리티의 노이즈와 문제를 야기할 수 있는 측정을 생성하기 때문에, '교습 평가의 증거로서 적절한 단일 척도는 없다.' 그러나, 모든 측정이 모두 같은 방식으로 노이즈를 발생시키거나 편향되지 않는 한, 교육을 평가하기 위해 모든 측정치를 동시에 사용하면 보다 타당한 평가를 할 수 있습니다. 그림 5를 보면, 실제 교사의 질과 그 평균 소음 측정 사이의 상관 관계를 알 수 있다. 노이즈가 있는 각 측정치는 θ = 0.4의 품질과 상관되며, 측정치는 x축에 표시된 것과 같이 서로 상관됩니다(그림에 공선성으로 표시됨). 측정치 간의 공진성이 낮으면 이러한 측정치에 대한 특이적 영향과 지시적으로 무관한 영향이 각각 다르다는 것을 나타낸다. 측정값 간의 공선성이 높으면 각 측정값의 편중과 불완전성이 매우 유사하다는 것을 의미한다. 그래프에서 알 수 있듯이, 4개의 다른 측정치에 대한 결합된 평가의 타당성은 이러한 측정치가 다른 방식으로 불완전하다면 어떤 개별 측정치보다 훨씬 더 나을 수 있다.

Second, and also consistent with prior recommendations (Benton and Young 2018), we believe that SET scores should be used in concert with multiple, dissimilar measures in order to comprehensively evaluate the teaching performance of faculty members when significant personnel decisions are being made. Because every method (including but not limited to SETs) produces a noisy and possibly problematic measure of faculty instructional quality, ‘no single measure is adequate as evidence for evaluating teaching’ (Benton and Young 2018, p. 3). However, as long as these measures are not all noisy or biased in the same way, employing them all simultaneously to evaluate teaching can result in a more valid assessment. Consider Figure 5, which shows the correlation between true teacher quality and an average of noisy measures thereof. Each noisy measure is correlated with quality at ρ = 0.4, and the measures are correlated with each other as indicated on the x-axis (which we label in the figure as collinearity). When collinearity among the measures is low, it indicates that idiosyncratic and instructionally irrelevant influences on these measures are different for each one. When collinearity among the measures is high, it means that the biases and imperfections of each measure are very similar. As the plot shows, the validity of a combined assessment of four different measures can be substantially better than any individual measure as long as these measures are imperfect in different ways.

 

물론 이런 종류의 종합평가에는 비용이 많이 듭니다. 모든 교직원이 매년 자기평가, 강의계획표 등의 동료검토, 숙련된 전문가의 강의실 직접관찰, 학생 관리자에 의한 광범위한 인터뷰 등을 실시해야 합니다. 따라서 SET 점수는 이 보다 포괄적인 평가를 위해 일부 교직원을 초기에 선별하는 저비용 수단이 될 수 있다고 생각합니다. 시뮬레이션의 증거에 근거해, 이 평가의 대상이 되는 교직원의 대부분이 좋은 교사(및 선발되지 않은 교직원은 나쁜 교사)가 되는 것을 강조하는 것이 중요합니다. 그러므로, 우리는 교수님의 가르침을 집중적으로 평가하기로 한 결정이 징벌적인 것으로 여겨져서는 안 된다고 생각한다. 또, 이 집중 평가는 SET 점수가 낮은 교직원만을 대상으로 실시되어서는 안 됩니다. 여기서 설명한 것처럼, 일부의 저조한 강사가 우연히 좋은 학생 평가를 받게 될 것으로 예상되기 때문에, SET 점수가 좋은 교원의 랜덤 서브셋도 집중 평가를 위해서 선택되어야 한다고 생각합니다.
Of course, this kind of comprehensive assessment is very costly; it requires all faculty to engage in self-assessment, peer review of syllabi and other course materials, direct observation of their classroom teaching by trained experts, extensive interviews by administrators of their students, and the like on an annual basis. Therefore, we believe that SET scores could serve as a low-cost means to initially screen some faculty members for this more comprehensive evaluation. Based on our simulation evidence, we think it important to emphasize that many of the faculty members selected for this evaluation will be good teachers (and some faculty members not selected will be poor teachers). Therefore, we believe that the decision to intensively evaluate a professor’s teaching should not be viewed as punitive. Nor should this intensive evaluation be performed solely on faculty with low SET scores; as we showed in this article, we expect that some poor instructors will receive good student evaluations by chance and thus we think that a random subset of faculty with good SET scores should be selected for intensive evaluation as well.

마지막으로, SET 점수와 교원 질 간의 상관관계가 일정하게 유지되어도, [SET 점수]와 [교수자 퀄리티] 사이의 공동 분포joint distribution 형태가 SET 점수의 유용성에 영향을 미칠 수 있다는 점에 유의해야 한다. 위에서 설명한 바와 같이, 우리의 분석은 백분위수가 항상 균일하게 분포되어 있기 때문에 (원시 SET 점수나 교직원 품질 측정이 아닌) 백분위수 순위 간의 상관관계를 가정한다. 이를 통해 우리의 분석을 보다 다양한 사례에 적용할 수 있습니다. 그러나 동일한 상관 관계가 매우 다른 분포에 해당할 수 있습니다. SET 점수 백분위수에 따라 대학의 교수진을 평가하는 것은 SET 기구나 대학마다 다를 수 있는 교사의 질과 정확히 어떤 관련이 있는지에 따라 여전히 문제가 될 수 있다.

Finally, we think that administrators and faculty members should be mindful that the shape of the joint distribution between SET scores and instructor quality can impact the usefulness of SET scores even when the correlation between SET scores and faculty quality is held constant. As noted above, our analysis presumes a correlation between percentile rankings (rather than raw SET scores or faculty quality measures) because percentiles are always uniformly distributed. This makes our analysis applicable to a broader variety of cases. However, the same correlation can correspond to very different distributions. Evaluating a university’s faculty according to their performance on SET score percentiles can still be problematic depending on precisely how they are related to teacher quality, which might vary both among SET instruments and universities.

이 현상의 간단한 예는 그림 6과 같다. 그림의 두 패널은 X축의 SET 점수와 Y축의 교직원 품질 점수 사이의 관계를 나타냅니다. 두 경우 모두 SET 점수는 평균 0과 표준 편차 1로 표준화됩니다. 두 패널 모두 동일한 ρ = 0.4에서 교직원 품질과 상관된 SET 점수를 나타냅니다.

  • 왼쪽 패널(그림 6(a))은 SET 점수와 교수 퀄리티의 양봉 분포를 나타내고 있습니다. 대부분의 교직원은 평균보다 약간 높은 SET 점수로 분산되어 있으며, 실제 교직원의 질은 널리 분산되어 있지만, 소수의 교직원은 신뢰할 수 있는 저품질 강사이며, SET에서도 점수가 낮은 경향이 있습니다.
  • 오른쪽 패널은 그림 6(a)의 분포와 동일한 분산-공분산 행렬을 가진 이변량 정규(단일) 분포를 보여준다. 수직 점선은 각 사례에 대한 SET 점수의 10번째 백분위수를 나타내며 수평 점선은 중위수 교직원 품질 점수를 나타냅니다.

A simple example of this phenomenon is shown in Figure 6. Both panels of the figure depict a relationship between SET scores on the x-axis and faculty quality score on the y-axis. In both cases, SET scores are standardized with a mean of 0 and a standard deviation of 1; both panels also depict SET scores that are correlated with faculty quality at an identical ρ ≈ 0.4. However,

  • the left panel (Figure 6(a)) shows a bimodal distribution of SET scores and faculty quality: most faculty are distributed around a slightly above-average SET score and are widely dispersed in true quality, but a small number of faculty are reliably low quality instructors and also tend to score poorly on SETs.
  • The right panel shows a bivariate normal (unimodal) distribution with the same variance-covariance matrix as the distribution in Figure 6(a). The vertical dashed line shows the 10th percentile of SET scores for each case, while the horizontal dashed line shows the median faculty quality score.
 

 

  • 그림 6(a)의 쌍봉 분포에서는, SET 점수의 10번째 백분위 이하에 해당하는 사람 중, 1% 미만만 실제로 중위수 강사보다 우수합니다. 따라서, 이 백분위수를 poor한 교수자를 식별하기 위한 차단으로 사용하는 것은 이 시나리오에서 매우 효율적이고 대부분 공평할 것이다.
  • 그림 6(b)의 단일 분포에서는, SET 점수의 10번째 백분위 이하에 해당하는 사람 중, 21% 이상이 실제 퀄리티 면에서 중위수보다 우월하다. 따라서, 이 경우에 poor한 교수자를 식별하기 위해 낮은 SET 점수를 사용하는 것은 불공평합니다.

 

  • In the bimodal distribution of Figure 6(a), fewer than 1% of faculty below the 10th percentile of SET scores are better than the median instructor. Thus, using this percentile as a cutoff to identify poor teachers would be quite efficient and mostly fair in this scenario.
  • However, in the unimodal distribution of Figure 6(b), over 21% of faculty below the 10th percentile of SET scores are nevertheless above the median in terms of true quality. Thus, in this other case, using low SET scores to identify bad instructors would be unfair.

반적으로 모집단에서 진정한 교수 퀄리티의 분포를 직접 관찰할 수 없기 때문에 SET 점수 사용자는 자신이 어떤 상황에 처해 있는지 알 수 없습니다. 이번 연구는 주의를 기울일 필요성을 강조하며, SET 점수가 보다 철저하고 비용이 많이 들며 정확한 교육 성과 조사가 필요하다는 우리의 결론을 강화한다고 생각합니다.

Because we generally cannot directly observe the distribution of true faculty quality in any relevant population, a user of SET scores has no way to know which situation they are in. We think this demonstration underscores the need for caution, and reinforces our conclusion that SET scores are best used as an indicator of the need for a more thorough, costly, and accurate investigation of teaching performance.

 


Scholarly debate about student evaluations of teaching (SETs) often focuses on whether SETs are valid, reliable and unbiased. In this article, we assume the most optimistic conditions for SETs that are supported by the empirical literature. Specifically, we assume that SETs are moderately correlated with teaching quality (student learning and instructional best practices), highly reliable, and do not systematically discriminate on any instructionally irrelevant basis. We use computational simulation to show that, under ideal circumstances, even careful and judicious use of SETs to assess faculty can produce an unacceptably high error rate: (a) a large difference in SET scores fails to reliably identify the best teacher in a pairwise comparison, and (b) more than a quarter of faculty with evaluations at or below the 20th percentile are above the median in instructional quality. These problems are attributable to imprecision in the relationship between SETs and instructor quality that exists even when they are moderately correlated. Our simulation indicates that evaluating instruction using multiple imperfect measures, including but not limited to SETs, can produce a fairer and more useful result compared to using SETs alone.

 

 

진실은 중간 어딘가에 있다: 일본 의학교육의 국제화와 지역화 사이에서 (Med Teach, 2017)
The truth lies somewhere in the middle: Swinging between globalization and regionalization of medical education in Japan 
Takuya Saikia, Rintaro Imafukua, Yasuyuki Suzukia and Nobutaro Banb

 

서론
Introduction

일본 의료의 현변화
Current changes of health care in Japan

의료 교육이 의료의 지역적 및 세계적 변화에 대응함에 따라(Gibbs 및 McLean 2011), 의과대학은 지역사회에 봉사할 의료 전문가를 양성해야 할 사회적 책임을 지고 있습니다. 일본의 의료·의료 교육에 대해 기술한 마지막 논문(오니시·요시다 2004년·고즈 2006년·스즈키 외 2008년)으로부터 근 10년, 일본의 의학교육은 과거 수십년간 사회·의료 개혁의 필요성(2014년 Ban)과 그 이하에 관한 큰 전환점을 맞이하고 있다. 지난 수십 년간 '세계화'의 영향 현재의 일본 의학 교육의 변화와 과제에 대처하기 위해, 박스 1과 같이, 헬스케어의 큰 변화를 몇 개 선택했습니다.

As medical education responds to regional and global changes in healthcare (Gibbs and McLean 2011), medical schools have a social responsibility to train health care professionals to serve local communities. It has been almost a decade since the last paper describing health care and medical education in Japan (Onishi and Yoshida 2004; Kozu 2006; Suzuki et al. 2008), and medical education in Japan is now approaching a major turning point, related to the need for the reformation of society and healthcare in the past few decades (Ban 2014), and under the influence of “globalization” for the past decades. To address the current change and challenge of medical education in Japan, we have selected some major changes in healthcare as shown in Box 1.

 

일본의 번역주의
Japan’s “translationism”

국제화에 대한 일본인의 관점은 일본 의학 교육의 현재 상태에 기초하고 있다. 2010년 일본의 철학자이자 베스트셀러 중 하나인 '일본의 주변국적 인식에 관한 논의'에서 우치다(2009)는 국제화에 대한 일본인의 공통된 견해를 논했다. 우치다씨는, 일본인은 주로 [주변적 상황]에 살고 있다는 인식에 근거해, 세계의 중심이 세계 어딘가에 있다고 생각하는 경향이 있다고 주장했다. 그 때문에, 우치다씨는, 통상, 일본인은 새로운 글로벌 동향이나 컨셉을 오픈 마인드(비판 없이)로 받아 들여, 국제 표준을 따라잡아, 서서히 해석·실행해, 최종적으로 일본 국내에 도입한다고 생각하고 있다. 일본의 다른 철학자인 마루야마와 가토(1998년)는 근대 일본이 19세기 개국 이후 외국 문화를 수입함으로써 더 큰 변혁을 이루었기 때문에 "수입"의 중요성을 언급했다. 해외에서 개념을 수입하는 것은 사실 다른 언어에 대한 이해를 높여야 하며, 19세기 일본 정부는 모든 외국어를 일본어로 번역해야 한다는 번역주의를 채택했다. 그 결정 과정에서 일부 사람들은 영어가 일본의 공용어 중 하나로 받아들여져야 한다고 주장했다. 반면에, 다른 사람들은 영어를 이해하지 못하는 일반인들은 중요하고 학술적인 토론에서 제외되고 사회적 불평등을 야기할 수 있기 때문에 제안된 정책에 동의하지 않았다. 이러한 번역주의는 세계화의 쓰나미에 대한 방파제 역할을 하고 문화적 독립을 유지할 수도 있다. 실제로 번역주의의 적응에 의해, 일본어를 사용하는 것에 의해서, 일본의 전통 문화에 비해, 서서히 외국의 개념이나 제도, 문화를 내면화할 수 있을지도 모른다(마루야마, 카토 1998). 한편, 일본 제품의 외국어로의 번역은 매우 한정되어 있어, 이 기사에 기재되어 있는 레퍼런스의 상당수는 일본어로 되어 있다.
The Japanese perspectives toward internationalization are fundamental to the status quo of Japanese medical education. In “Nihon Henkyo Ron (Discussion on the Japan’s perception of peripheral nationality)”, which was written by a Japanese philosopher and one of the best-selling book in 2010, Uchida (2009) discussed the Japanese common perspectives on internationalization. Uchida claimed that the Japanese are based primarily on their perception that they are living in a peripheral situation, and tend to think that the center is located somewhere else in the world. Therefore, Uchida considers that Japanese usually accept new global trends and concepts with an open mindset (without criticisms), to catch up with international standards, interpret and implement them gradually, and finally incorporate them internally into the Japanese context. Maruyama and Kato (1998), other Japanese philosophers, stated the importance of “import” since modern Japan had achieved further transformation by importing foreign cultures after the opening of the country in the nineteenth century. Importing concepts from overseas actually requires a better understanding of another language and in the nineteenth century, the Japanese government adopted “translationism” that every foreign language should be translated into Japanese. In the process of making the decision, some people argued that English should be accepted as one of the official languages in Japan. On the other hand, others disagreed with the policy suggested, because common people who could not understand English would be excluded from the important and scholarly discussions and possibly resulting in social disparity. Such translationism might function as the breakwater against the tsunami of globalization, and maintain cultural independence. In fact, the adaptation of translationism might enable Japanese to internalize foreign concepts, system, and cultures gradually, in comparison with Japanese traditional cultures, by using Japanese language (Maruyama and Kato 1998). On the other hand, translation of Japanese products into foreign languages has been extremely limited, as many of references in this articles are in Japanese.


이 기사에서는, 박스 2와 같이, 매크로, 메소, 마이크로 레벨의 글로벌 동향과 비교해, 우리 나라의 의학 교육의 「번역」의 개념, 현재의 상황, 변화에 초점을 맞추고 있다.

In this article, we focus on some “translated” concepts, current context and changes of medical education in Japan, in comparison with global trends at macro, meso, and micro level as shown in Box 2.

매크로 레벨(국제, 국내 레벨)
Macro level (international, national level)

이 수준에서는 문화보다는 [사회 시스템]이 교육 변화에 영향을 미칩니다. 고령화 고령화와 지역 내 의사 분포의 불균형에 의해 일본의 사회·질병 구조가 변화하고 있다. 실제로 우리나라의 의사 수는 OECD 국가 중 매우 낮은 수준이며(OECD 2009), 도시화와 의사 부정 분포가 공공연히 주장되었다(타니하라 외 2011). 그 결과, 일본인은 다음과 같은 다양한 어프로치에 의해, 지역사회에서 일하는 의사를 늘리려고 하고 있다.
At this level, the social system rather than culture influences the educational change. The social/disease structure in Japan has been changing due to the super-aging population and the ever-increasing uneven regional distribution of doctors. In fact, the number of physicians in Japan is ranked very low among OECD countries (OECD 2009), and urbanization and physician mal-distribution were claimed publicly (Tanihara et al. 2011). As a result, Japanese are trying to increase the physicians working in the community by various approaches as described below.

의료 전문 분야 중 하나인 일반 진료
General practice as one of the fundamental medical specialty area


지역사회에서 인적/사회적 자원을 효과적으로 활용할 수 있는 [1차 진료의사 양성]은 졸업 후 다양한 수준에서 이루어지고 있다(Ban and Fetters 2011). 2014년에는 프로그램의 표준화 및 전문의의 질 보장을 위한 독립된 제3자 조직으로 재조직되어 재기동되어 general practice가 내과, 외과 등 19개 기본 의학 전공분야 중 하나로 자리매김하고 있다. 전국적인 프로그램이 개발 중입니다. 우리나라는 모든 의료기관에 대한 무료접근 체제를 갖추고 있지만, 게이트키퍼로서의 일반의의의 증가는 환자의 의사접근의 재정비와 의료비 절감에 기여할 것이다.

Training of the primary care physicians who can utilize human/social resources effectively in the community is undertaken at various levels after graduation (Ban and Fetters 2011). In 2014, the Japanese Medical Specialty Board was re-organized and re-started as an independent third party organization for standardizing programs and guaranteeing the quality of specialists, and the general practice is finally positioned as one of 19 fundamental medical specialty areas such as internal medicine and surgery and its development of nationwide programs is under development. Although Japan has a free-access system to all health care institutions, the increase in certified general practitioners as gatekeepers would contribute to the reorganization of the patients’ access to the physicians and reduction of medical expenditure.

커뮤니티 의학 학습
Learning community medicine in the community

국제적인 동향에 맞추어, 의학교육의 모든 수준에서 임상 훈련은 서서히 대학병원에서 지역사회로 이동해 왔다(일본 커뮤니티에 근거하는 의학교육협의회 2015). 레지던트 트레이닝에 대해서는, 2004년에 2년간의 대학원 임상 트레이닝 프로그램이 도입되었습니다(스즈키 외 2008년). 이 프로그램에서는 커뮤니티에서 1개월간의 트레이닝을 의무화하고 있으며, 이는 커뮤니티에서 활용할 수 있는 기초적이고 포괄적인 임상역량을 배양하기 위한 노력의 일환이기도 합니다. 다른 나라의 경향과 같이, 커뮤니티 클리닉에서의 커뮤니티-기반 교육과, 일차의료-지향적 교육은 있어서의 교육이 일본의과대학 80곳 중 77곳에서 도입되고 있다(Takamura et al.2015). 또, 학부 교육에서는, 커뮤니티에의 조기 공개를 실시해, 커뮤니티의 고령자, 임산부, 영유아와의 장기적인 만남이, 사회 주체로서의 자각의 폭을 넓히고, 커뮤니티의 기능을 이해하는 데 성공하고 있다.

To fit with the international trends, clinical training has slowly been relocated from the university hospitals to the community at all level of medical education (Japanese Council for Community-based Medical Education 2015). As to residency training, a two year-postgraduate clinical training program was introduced in 2004 (Suzuki et al. 2008); one month training in the community is now mandatory during this program, which is also a part of efforts to cultivate the basic and comprehensive clinical competencies that can be utilized in the community. As with the trend in other countries, community-based education and primary-care-oriented education, within community clinics has been introduced in 77 out of 80 Japanese medical schools (Takamura et al. 2015). Furthermore, early exposure to the community is provided in undergraduate education; longitudinal encounters with elderly people, pregnant mothers, and infants at the community were all successfully implemented for the first year students to understand the function of the community with broadening their self-awareness as social entities (Saiki et al. 2016).

 

의사들의 분포 문제를 해소하기 위한 치이키와쿠 
“Chiiki-waku” to resolve the maldistribution of doctors

문부과학성은, 지역사회에 봉사하는 의사를 늘리기 위해서, [3개의 시책]을 실시했습니다. 문부과학성은 2008년에 [의과대학 입학정원을 증원]하기로 하고, 2007년 7625명에서 2016년 9262명(21.5%)으로 전국 의과대학 입학정원을 변경했다. 문부과학성의 [2개 의과대학 신설] 결정과 함께, 특히 농촌 지역 취업을 희망하는 학생을 우대하는 [새로운 입시 제도가 도입]되었습니다. 이 혁신에서는, 현내에 거주하는 지방 학생이나, 현내에서 복무할 학생에 대해서, 일정수의 의과대학이 일정 숫자의 입학 정원을 허용하고 있다. 지원자들은 지역사회에서 일하려는 강한 미래 의지를 가질 것으로 기대된다. 입학사정관리는 학업성취도, 고등학교 추천, 면접을 포함한 시험을 바탕으로 이루어진다. 졸업생들이 특정 기간(보통 9년) 동안 지역사회에서 일한다는 점을 고려할 때, 그들은 지방 정부로부터 장학금을 받을 수 있다. 이 「치이키와쿠」를 통해 의대에 입학하는 학생이 계속 증가해, 약 1400명(2016년 문부과학성)의 의과대학이 71개교 이상 있다. 오구치 외 연구진(2015년)은, 「치이키와쿠」의 학생은, 학년 내내 지역·농촌의학에 대해 긍정적인 이미지를 가지고 있어, 그 중에서도 1차 진료나 소아과가 인기가 있는 것을 분명히 했다. [지역틀 졸업자]의 83%가 같은 도도부현에 있는 레지던트 프로그램을 선택하고 있는 것에 비해, [비-지역틀 졸업자]는 45.3%만이 선택하고 있다(오구치 외 2015). 이 지역틀 입학 제도는, 지역·농촌의 장래의 의사 양성에 효과적이라고 생각됩니다.

The Ministry of Education, Culture, Sports, Science & Technology of Japan (MEXT) (http://www.mext.go.jp/en/) had implemented three policies to increase the physicians serving at community. MEXT decided to increase the admission quota of medical schools in 2008, and the nationwide medical student enrollment changed from 7625 in 2007 to 9262 in 2016 (21.5% increase). In addition to MEXT’s decision to establish two new medical schools, a new entrance examination system was introduced that specifically favored students who wished to work in community rural areas. In this innovation, medical schools are allowed to have a certain number of seats for local students living in the prefecture where the medical school exists or any students who will serve in the prefecture community. The applicants are expected to have a strong future will for working in the community. The admission decisions are made based on the examination, including the academic performance, recommendation of high schools and interviews. They can receive a scholarship from the local government, given that the graduates work in the community for an given period; usually nine years. The number of students admitted to the medical school via this “Chiiki-waku” has continued to increase and there are now over 71 medical schools, that accept about 1400 such medical students (MEXT 2016). Oguchi et al. (2015) clarified that students of “Chiiki-waku” had a positive image to regional/rural medicine throughout the period of academic years, and primary care and pediatrics are more popular among them. Eighty-three percent of the regional frame graduates have selected residency program located in the same prefecture of their graduation, compared to 45.3% of the non-regional graduates (Oguchi et al. 2015). This regional frame entrance system seems to be effective for increasing the future doctors in the local/rural community.

JACME의 설립
Establishment of JACME

일본의 의과대학에서는, 「일본의 세계 동향에의 민감성」과「일본의 헨쿄론」(우치다 2009)으로 설명되고 있는 미국에의 역사적 의존성」의 2가지 요인에 의해서, 국제적 인정이 매우 중요한 것으로 인식되고 있다. 또 다른 이유는 일본 의대의 보수적인 상황을 타개하려는 의학교육자들의 동기이다. 2004년에 이미 일반 고등교육의 인증제도가 시작되어 교육기관 전체의 신뢰성을 확보하는 것이 주안점이 되고 있기 때문에, 우리 나라 대학으로서 인정 자체는 새로운 것이 아니다. 그러나 2010년 미국 외대 졸업자 교육위원회(ECFMG)는 "2023년부터 자격증을 취득하려면 ECFMG가 의대 인증을 받아야 한다"(ECFMG 2010)고 발표했다. 그 후, 의학교육을 위한 독자적인 인증 기관을 설립하는 움직임이 급속히 강해지고 있습니다. 문부과학성 및 일본 의과대학연합회(AJMC)가 지원하는 파일럿 QA 프로그램을 마련하여 2013년 4월부터 의과대학에 대한 시험인정을 실시하고 있습니다. 그 결과, 2015년 12월에 JACME(Japan Accreditation Council for Medical Education)가 정식 설립되어 2017년 3월에 세계 의학 교육 연맹으로부터 인정받았다(JACME 2015-2017). JACME가 주관하는 공식 인증 활동은 2017년 4월부터 시행되고 있습니다. 이것은, 우리 나라의 의학교육의 변혁에 영향을 주는 계기가 될 수 있다.

International accreditation is recognized as extremely important by the Japanese leaders in medical schools due to two factors: one is Japan’s sensitivity to global trends and historical dependency on the United States to catch up with international standards, which may be partly explained by the “Nihon Henkyo Ron” (Uchida 2009) as described. Another reason is medical educators’ motivation to break through the conservative situation of medical schools in Japan. Accreditation itself is not something new for Japanese universities since the accreditation system for general higher education had already started in 2004, in which the main focus was to ensure the credibility of educational institutions as a whole. However, in 2010, the US Educational Commission for Foreign Medical Graduates (ECFMG) announced that “ECFMG requires medical school accreditation for international medical school graduates seeking certification beginning in 2023” (ECFMG 2010). Since then, a momentum to build an independent accreditation organization for medical education has rapidly increased. A pilot quality assurance program supported by MEXT and the Association of Japanese Medical Colleges (AJMC) has been organized and has carried out trial accreditation for medical schools since April 2013. As a result, the Japan Accreditation Council for Medical Education (JACME) was formally established on December 2015, and recognized by the World Federation for Medical Education in March 2017 (JACME 2015–2017). Formal accreditation activity, which is organized by JACME, has been implemented since April 2017. This can be an influential trigger of transformation of medical education in Japan.

Meso(조직/조직 수준)
Meso (institutional/organizational level)

이 수준에서, [몇몇 문화적 요소]들이 교육 변화에 영향을 미칠 수 있다. 커리큘럼 개혁, 성과주의 교육, 자기주도적 학습 전략 수립, 효과적인 교사 연수는 세계적으로 주요한 전제입니다. 커리큘럼 개발에는 지역 의료교육기관의 조직 변화(2001년 Genn)가 포함되기 때문에 특정 국가의 커리큘럼 발전에 미치는 문화적 영향도 무시할 수 없다.
At this level, some cultural factors may influence educational changes. As to curriculum reform, outcome-based education, setting self-directed learning strategies and effective teacher training is a major premise globally. Since curriculum development includes organizational change in local medical education institutions (Genn 2001), the cultural influence on the curriculum development in a particular country cannot be ignored.

커리큘럼 개혁
Curriculum reformation

Hofstede 외 연구진(2010)은 일본이 권력 거리에서는 중간, 불확실성 회피에서는 가장 높은 점수를 가지고 있음을 입증했다. 이러한 문화의 특성은 PBL/TBL 및 임상 사무직과 같은 커리큘럼 개혁에 대한 접근 방식에 영향을 미칠 수 있다. Jippes and Majoor(2008)와 Jippes et al.(2013)는 권력 거리 및 불확실성 회피와 같은 Hofstede의 문화적 차원이 PBL 커리큘럼과 통합 커리큘럼의 구현에 부정적인 영향을 미친 국가에서 다음과 같이 제안했다. 스즈키 외 연구진(2008)의 보고에 의하면, 일본의 의대의 90%는 커리큘럼 설계에 PBL 어프로치를 채용하고 있다. 한편, 자격을 갖춘 충분한 튜터 확보나 물적 자원의 가용성 등과 같이 PBL 프로그램을 지속하는 것에 관한 어려움을 보고한 기관도 있다(Okubo 2014). 이러한 어려움으로 인해, 최근 PBL을 사용하는 의과대학 수는 약간 감소 추세를 보이기 시작했다. 또한 구현 방법이 다양하다는 것도 분명해졌다. 예를 들어, PBL은 기초 의학, 임상 과목의 커리큘럼에만 도입되거나 몇 주 동안 다른 커리큘럼에 도입된다(Okubo 2014). 한편, 일본의 일부 의과대학은 PBL에서 팀 베이스 학습(TBL)으로 이행하기 시작했습니다. 의과대학 80곳 중 31곳은 2013년부터 TBL 방식을 채택하고 있지만, 실행하는 방식이 불분명하고, 목적에 대한 적합성은 아직 연구가 필요하다. 임상 사무직은 일본 의료 커리큘럼의 또 다른 약점으로 꼽힌다. 많은 의과대학에서 학생들은 여전히 모든 임상학과를 통해 단기(2주) 교대로 배우고 있지만, 임상실습의 국제 표준은 기본적인 임상 역량을 배우기 위한 핵심 과목의 통합과 집중이다.

Hofstede et al. (2010) demonstrated that Japan has an intermediate score in power distance and highest score in uncertainty avoidance. Such characteristics of culture may influence the approaches to curriculum reformation such as PBL/TBL and clinical clerkship. Jippes and Majoor (2008) and Jippes et al. (2013) suggested that in countries where Hofstede's cultural dimensions such as power distance and uncertainty avoidance negatively influenced the implementation of PBL curriculum and integrated curriculum. As reported by Suzuki et al. (2008), 90% of Japanese medical schools have adopted a PBL approach in the design of their curriculum. On the other hand, some institutions reported the challenges of sustaining a PBL program, such as ensuring the sufficient number of qualified tutors, and the availability of physical resources (Okubo 2014). Due to these challenges, the number of medical schools using PBL has started to show a slight downward trend in recent years. It also has become clear that the ways of implementation are varied. For example, PBL is introduced only for the curriculum in basic medical sciences, clinical subjects only, or introduced for a few weeks in a few other curricula (Okubo 2014). Meanwhile, some medical schools in Japan began to implement, or switch from PBL to team-based learning (TBL); 31 out of 80 medical schools have adopted a TBL approach since 2013 (Okubo 2014), but its implementation is unclear and its fit for purpose still needs further research. Clinical clerkship is considered another weak point of Japan’s medical curriculum. In many medical schools, students still learn through a short (two weeks) rotation through all clinical departments, while international standard of the clerkship is more integration and the concentration of the core subjects to learn basic clinical competencies.


일본에서는 새로운 커리큘럼 학습 전략을 받아들이는 열린 마음이 있을 수 있지만, 실제로는 각 학과의 재량권에 대한 간섭이 있어, 매우 독특하고 간략화된 형태로 되어 가는 경향이 있다. 따라서, 실천 연구(2001년 Genn 2001년)등의 연구를 재검토해, 글로벌한 커리큘럼 경향의 개념을 어떻게 채용해, 우리 나라의 의학 교육에 내재화시키고 있는지를 파악하기 위해서, 커리큘럼 혁신에의 노력과 효과가 필요하다.

In Japan, there may be an open mind to accept new curricula learning strategies; however, in practice, there is an interference with the discretionary rights of each department, and a tendency toward quite unique, shortened and simplified forms. Therefore, efforts and effectiveness for the curriculum innovation are necessary to examine the research such, as action research (Genn 2001), to understand how the concept of the global trends of the curriculum are employed and internalized into Japanese medical education.

 

일본의 교직원 육성
Faculty development in Japan

1969년 일본 의학 교육 협회(JSME)의 설립으로 교수개발이 시작되었다. 일본 최초의 의학교육과·센터는 1972년, 준텐도 대학에 설립되었습니다. 1973년, 3명의 일본인 의료지도자가 시드니에서 세계보건기구(WHO)가 실시하는 지역 교사 양성 프로그램에 참가하고, 1974년에는 후지산 기슭에서 같은 1주간의 「의료 교육자를 위한 의료 교육 워크숍」을 개시했다. 이후 일본에서는 커리큘럼 기획과 교수법을 폭넓게 다루는 워크숍식 세미나가 열렸다. 후생노동성(이하 후생노동성)이 2004년 [2년간의 의무적 레지던트 프로그램]을 개시한 이후, 전국 임상교사 워크숍의 기본 틀이 됐다. 워크숍 참가자는 50세 미만이어야 하며, 프로그램은 16시간 이상 진행되어야 하며, 교육과정 개발 및 피드백 및 직장 기반 평가(문부과학성 2004) 등의 실용적인 방법을 포함해야 합니다. 이 워크숍에는 지금까지 7만 명 이상의 주치의(일본 의사 전체의 약 20%)가 참가해, 인증을 취득했습니다.
Faculty development began in 1969 with the establishment of the Japan Society for Medical Education (JSME). The first department/center of medical education in Japan was established in 1972 in Juntendo University. In 1973, three Japanese medical leaders participated in a Regional Teacher Training Programme provided by the World Health Organization (WHO) in Sydney, and they launched a similar 1-week Japanese program “Medical Education Workshop for Medical Educators” at the foot of Mt. Fuji in 1974. Since then, workshop-style seminars that broadly handle curriculum planning and teaching methods had been held in Japan (Science Council of Japan 1997; Ban 2014). Such workshop have now become the basic framework of the nationwide workshop for clinical teachers in 2004 launched by Ministry of Health, Labour and Welfare of Japan (MHLW) after a compulsory 2-year residency program was started. Participants in the workshop should be less than 50, the program should be run for at least 16 hours, and should contain curriculum development and practical methods such as feedback and workplace-based assessment (MEXT 2004). More than 70,000 attending physicians (about 20% of total Japanese physicians) have participated in this workshop and have been certified so far.

 

의학교육의 전문화 및 자격
Specialization and qualifications of medical education

커리큘럼 개혁이 시작된 1990년 이후 현재 의과대학 80곳 중 75곳에 의학교육을 위한 부서나 센터가 존재한다. 600명 이상의 전임 및 시간제 학부가 고용되어 있으며, 비공식 조직 「의학 교육 단위 협회」(Hatao 1999)아래에서 협력하고 있다. 의료 교육을 담당하는 핵심 교직원이 급증함에 따라 교육 전문가 자격증을 취득할 필요성이 높아졌다. 이러한 움직임은 WFME 글로벌 스탠다드 문서에서 의료 교육 전문가를 각 기관에 배치하고 교육 활동을 관리해야 한다는 문구로 가속화되었다(WFME 2015). 현재 일본에서는 외국인 의학교육 석사과정 졸업생이 20명 안팎에 불과하고, 석사과정도 개설되지 않았다. 석사 프로그램 설립이 예상되는 가운데 JSME의 전국 니즈 평가 조사에서 JSME 회원들은 석사 학위보다는 의학 교육의 기본 자격증을 취득하는 것을 선호하는 것으로 나타났다. 이에 따라 2014년 JSME 주도로 학부/대학원/평생 의학교육의 기획, 교육, 경영, 선도, 연구에 능한 [의학교육 전문가]를 양성하기 위한 [전문가 자격 제도]가 구축되었습니다. 지원자는 (1)교육·학습, (2)학습자 평가, (3)교육과정 개발에 관한 3개의 1박2일 과정에 참가하여 교육활동을 분석하여 3개의 교육실천 반영보고서를 작성해야 합니다. 2017년 3월까지 56명의 [의학교육전문가]가 인증되었습니다. 이들은 의학교육이 제도적, 국가적 차원에서 더욱 발전하기 위해 의견 주도적 역할을 할 것으로 기대된다.

Since 1990, when curricula reform commenced, the number of departments/centers for medical education now number 75 out of 80 present medical school (http://www1.gifu-u.ac.jp/∼medc/unit/unit.htm). More than 600 full-time and part-time faculties are employed and they are collaborating under the informal organization “Society for Medical Education Units” (Hatao 1999). With the rapid increase in core faculty members who are responsible for medical education, there was increasing need to acquire certification as experts in education. This movement was accelerated by the statement from the WFME global standards document, that medical education experts are required to be assigned to each institution and to manage educational activities (WFME 2015). Only around 20 Japanese graduates from foreign Masters programs on medical education are now taking a leadership role in Japan, and no Masters program has yet been established. While the establishment of a Masters program is expected, the nation-wide need assessment survey by JSME demonstrated that the members of JSME prefer to obtain a basic certification in medical education rather than a Master degree (Suzuki et al. 2009). According to these results, expert qualification system led by JSME was established in 2014 to nurture medical education experts who are competent in the planning, teaching, managing, leading and studying of undergraduate/postgraduate/lifelong medical education. Applicants are required to participate in three two-day courses on (1) teaching and learning, (2) learner assessment, and (3) curriculum development, with analyzing their educational activities, then they make three educational practice reflective reports for the certification. By March 2017, 56 Medical Education Specialists have been certified. They are expected to take opinion leadership for further development of medical education at both institutional and national level.

대학 레벨에서는, 의학교육에 관한 세미나나 워크숍이 전국에서 개최되고 있습니다. 특히 기후대학 의학교육 개발센터(MEDC)가 주최하는 의료 교육 세미나나 워크숍은, 2001년부터 6000명 이상의 참가자를 받아 들여 새로운 교육 개념과 방법의 발전에 공헌하고 있습니다. 또, 최근, 2개의 의과대학(교토대, 기후대)에서 보건전문직교육 펠로우쉽 프로그램이 개시되고 있다. 두 프로그램 모두 바쁜 임상의들을 위해 온라인 학습과 캠퍼스 학습의 결합으로 설계되었습니다. 이러한 펠로우들은 각 기관의 현지 상황에 대응하여 균형 잡힌 임상 의무와 교육을 보여줄 것으로 기대된다.
At the university level, seminars and workshops on medical education have been held throughout the country, especially Medical Education Seminars and Workshops hosted by Gifu University Medical Education Development Center (MEDC), which as a National Collaboration Centre has accepted more than 6000 participants since 2001 and contributed to the development of new educational concepts and methods (Saiki et al. 2014). Moreover, Fellowship programs on health professions education have recently begun in two medical schools (Kyoto University, Gifu University). Both programs have been designed as a combination of online learning with campus learning for busy clinicians. Those fellows are expected to show their balanced clinical duties and teaching responding to the local context in each institution.

마이크로(개인, 철학)
Micro (personal, philosophical)

[사회적 구성주의]는 현대 교육 및 학습의 글로벌하고 견고한 이론적 기반 중 하나로 간주됩니다. 이 견해는 지식은 활동을 통해 사회적으로 어떻게 구성되는지에 대한 설명을 제공합니다. 성공적인 학습의 열쇠는 학습자의 적극적인 참여와 교육자의 학습 촉진입니다. 또한 오늘날 성찰은 학습 주기의 중요한 단계로 여겨진다(Kolb 1984). 그러나 학습에 대한 기대와 학습에서 어떤 일이 일어나야 하는지에 대한 개념은 원래 각 국지적 맥락, 즉 상황에 따라 개발되었다. 이 절에서는, 해외로부터의 새로운 교육 개념이나 실천이 어떻게 받아들여져 일본의 의학교육에 동화되고 있는지를 기술한다.
Social constructivism is regarded as one of the global, solid theoretical foundations in contemporary teaching and learning. This view provides an account of how knowledge is socially constructed through activity. Key to successful learning is the learner’s active participation and educator’s facilitation for learning. Additionally, reflection is nowadays seen as an important phase of the learning cycle (Kolb 1984). However, the expectations of learning and concepts about what should happen in learning have been originally developed in each local context, i.e. context-dependent. In this section, how new educational concepts and practices from overseas have been accepted and assimilated into Japanese medical education are described.

일본의 교수법
Japanese approaches to teaching

일본의 의학교육자는 전통적으로 학생의 지식 습득을 바람직한 학습 성과로 중시해 왔으며, [강의 위주의 교습]이 바람직한 교육 전략으로 간주되어 왔다. 한편, PBL, TBL, 플립 교실등의 인터랙티브한 교육 전략을 개발해, 학습자의 자율적인 학습과 문제 해결 능력을 촉진해 왔습니다. 의학 교육의 개혁에 수반해, 일본의 고등 교육에서는, 학습자 중심의 교육 패러다임으로의 이행이 광범위하게 행해지고 있다. 특히, 일본 정부 중앙 교육 협의회(2012년 중앙 교육 협의회)가 대학생의 고등 교육에서의 적극적인 학습을 촉진하는 것의 중요성을 강조했기 때문이다.

The medical educators in Japan have traditionally focused strongly on students’ knowledge acquisition as the desired learning outcome and seen lecture-based teaching as a preferred educational strategy (Onishi and Yoshida 2004). On the other hand, they have also committed to developing the interactive educational strategies over 30 years, such as PBL, TBL and flipped classroom, to promote learners’ autonomous learning and problem-solving skills. Subsequent to the reforms in medical education, a shift to the educational paradigm underpinned by learner-centeredness has been made widely in Japanese higher education, especially as the Central Council for Education of the Japanese Government (Central Council for Education 2012) emphasized the importance of facilitating university students’ active learning in higher education.

일본의 교육 패러다임의 변화 속에서, 「선생님」은 학생 학습의 촉진자 또는 코치로서의 역할을 기대받는다. Saiki et al. (2013)는 일본의 의학 교육자들이 때때로 PBL 튜토리얼에서 튜터/조력자의 역할을 맡는 데 어려움을 겪고 있다고 시사했다. 그들은 학생들의 토론이 실패했을 때, 부분적으로 그들이 경험이 부족하고 촉진자로서 무엇을 해야 할지 완전히 이해하지 못했기 때문에, "적극적인" 개입을 피하는 경향이 있었다. 또, PBL의 교육 효과에 대해서도 회의적인 견해를 가지고 있어, 지금까지의 교습 경험이나 일본어의 불확실성 회피의 문화적 특징에 의해서도 영향을 받을 가능성이 있다. 하지만, 그들이 경험함에 따라, 그들은 새로운 교육적 맥락으로 사회화되었고, 튜터로서 학생들의 학습을 촉진하는 더 나은 방법을 찾으려고 시도했다. 
In the educational paradigm shift in Japan, the “teacher” is expected to be a facilitator or coach for student learning. Saiki et al. (2013) suggested that Japanese medical educators were sometimes struggling to assume the role of the tutor/facilitator in the PBL tutorial. They tended to avoid “active” involvement when students’ discussion failed, partially because they were inexperienced and did not fully understand what to do as a facilitator. They also had a skeptical view of the educational effectiveness of PBL, which could be affected by their previous teaching/learning experiences and by a cultural characteristic of uncertainty avoidance in Japanese (Saiki et al. 2013). However, as they experienced, they were socialized into the new educational context and attempted to find a better way to facilitate student learning as a tutor.

교육 철학에 대한 몇 가지 공통된 이해는 아시아와 서양 문화 사이에 존재한다. 예를 들면, 일본의 반영과 같은 개념은 「한성hansei」입니다. 이는 "과거 행동을 검토하고, 평가하고, 비판하고, 최종적으로 이를 개선하는 것"으로 정의된다(Taylor et al. 2005). [한세이]는 전통적으로 아이의 사회적, 개인적 발달을 촉진하는 기본 기술로 여겨져 일본 아이들이 한세이의 습관을 들일 수 있도록 장려되어 왔다. 하지만 한세이는 사람이 해서는 안 되는 것, 즉 경험의 부정적인 면을 특히 더 강조하기 때문에, 일본인은 개선을 위하여 실수로부터 배우는 것을 의미하는 「카이젠Kaizen」을 더 선호한다. 이러한 경미한 인식의 차이에도 불구하고, 일본의 의학교육에서는, 지역 의료 사무원(미야타, 야기타 2010)의 포트폴리오나 시뮬레이션에 의한 교육의 보고 등, 「서양」의 성찰 개념이 널리 받아들여지고 있다.

Some shared understandings of educational philosophy do exist amongst Asian and Western cultures (Nishigori and Sriruksa 2011). For example, a concept similar to reflection in Japan is “hansei”. It is defined as “reviewing past behavior, evaluating, critiquing, and finally improving upon it” (Taylor et al. 2005). Hansei has been traditionally considered a fundamental skill that promotes a child’s social and personal development so that Japanese children are encouraged to make a habit of hansei. Hansei emphasizes particularly on the negative aspect of an experience, i.e. what people should not do, so that Japanese people prefer to learn from a mistake for better improvement; this is known as “kaizen” (change for the better) (Kato and Smalley 2010). Despite such minor difference of their perception, the “Western” concept of reflection has been widely accepted in Japanese medical education, such as portfolios in community-medicine clerkships (Miyata and Yagita 2010) and debriefing in simulation-based education (Konishi et al. 2015).

 

일본식 학습법
Japanese approaches to learning

왓킨스와 빅스(1996)는 학습자가 교육적 맥락, 이전의 학습 경험 및 학습 개념에 따라 학습에 다른 접근법을 취할 것이라고 주장했다. 예를 들면, 일본인을 포함한 아시아계 학생은, 「기억」과 「이해」의 관계를 서양의 학생과는 다르게 인식했다. 특히, 아시아 학생들은 암기와 이해를 별개의 과정이라기 보다는, [상호 연결된 과정]으로 보고 암기가 초기 학습 과정에서 이해로 이어질 수 있다고 믿는다. 예를 들면, 학습자가 학습 전에 독학 준비를 하도록 장려하는 뒤집힌 교실(일본어로는 요슈)이 받아들여져 일본의 학부 의학 교육에 서서히 도입되고 있다(Nishiya et al. 2014). 이러한 급속한 보급의 배경에는, 거꾸로 된 교실에서의 학습 과정이, 일본인의 학습에의 어프로치와 일치할 가능성이 있기 때문일 것이다.
Watkins and Biggs (1996) argued that learners would take different approaches to learning in accordance with its educational contexts, their previous learning experiences and conceptions of learning. For instance, Asian students, including Japanese, perceived the relationship between “memorizing” and “understanding” differently than Western students did. Specifically, Asian students do not see memorizing and understanding as separate but rather interconnecting processes, and believe that memorization can lead to understanding in the initial learning process (Watkins and Biggs 1996; Marton et al. 1997; Imafuku 2012). For instance, the flipped classroom, in which learners are encouraged to perform self-study preparation before classroom learning (Yoshyu in Japanese) is now embraced and gradually introduced into undergraduate medical education in Japan (Nishiya et al. 2014). The reason behind this rapid spreading out may be that the learning process in flipped classroom might align with an approach to learning by the Japanese.

일본 학습자는 조용하고 비판적이지 않은 정보수집자이며 암기성 학습자라는 고정관념적인 이미지가 여전히 남아 있다. 그러나, 실제로, 그들은 비판적인 평가 없이 교실에서 적극적으로 기부를 하고 다른 사람들의 의견을 받아들이는 것을 항상 꺼리는 것은 아니었다(Tavakol과 Dennick 2010). 예를 들면, 인터랙티브한 교육 환경에서, 일본어를 포함한 아시아 학습자는, 단지 대화중의 침묵을 언어적 해방이라고만 생각하지 않았다. 오히려 침묵은 상충되는 이해에 대처하는 생산적인 자원, 협업적 관행 및 플랫폼으로 간주되었습니다. 이러한 교육학적 맥락에서 새로운 학습 프로세스를 형성하는 것은 어렵다고 생각되는 것 같았지만, PBL의 경험을 쌓아, 그룹 학습의 성공을 위한 논의에 보다 적극적으로 공헌하려고 했다(Imafuku et al. 2014).
There are still stereotypical images of Japanese learners as being quiet, non-critical recipients of information and rote learners. However, in fact, they were not always reluctant to actively make contributions in the classroom and to accept others’ opinions without a critical appraisal (Tavakol and Dennick 2010). For instance, in the interactive educational setting, Asian learners, including Japanese, did not merely regard silence in interaction as verbal disengagement. Rather, silence was seen as a productive resource, collaborative practice and platform of handling conflicting understandings (Nakane 2006; Jin 2012). Although Japanese learners appeared to feel it difficult to shape the new learning process in such pedagogical contexts, they attempted to more actively make contributions to discussions for the successful group learning, as they acquired experience of PBL (Imafuku et al. 2014).

일본의 의학교육의 미시적 관점에서 보면, 학습이나 행동에 대한 일본인의 어프로치를 지나치게 일반화시키는 리스크에 유의할 필요가 있다. 마츠모토(2002)의 주장처럼, 일본인은 보다 집단주의적이라고 하는 고정관념은, 현대 문화에서의 일본인의 정체성과 커뮤니케이션 행동을 명확하게 반영하고 있지 않다.

From the viewpoint of micro level of Japanese medical education, we need to note the risk of over-generalizing the Japanese learners’ approach to learning and behavior. As Matsumoto (2002) claims, the stereotype of Japanese being more collectivistic does not clearly reflect Japanese identity and communication behavior in contemporary culture.

결론들
Conclusions

일본의 의학교육은 아직 유동적이지만, 국제적인 동향에 따라 성공적 발전과 개혁을 볼 수 있다. 국제 트렌드에 대한 열린 마음을 가진 번역주의가 일본을 형성하고 있는 반면, 일본 제품의 외국어로의 번역은 극히 한정되어 있다. 영어권 국가에서 주로 창출되는 지식, 교육용어, 의료교육 모델 등이 의료교육의 글로벌 진전에 기여하는 것이 확실하기 때문에 비영어권 국가에서 동등한 협력을 위해 또 다른 견해와 지혜를 만들어 수출해야 한다. 이를 실현하기 위해, 연구를 통해서 지혜를 수출하고, 설계, 개발, 촉진, 평가, 수송하는 능력을 갖춘 일본의 의학 교육자의 적극적인 참여가 기대된다.

Even though medical education in Japan is still in a state of flux, successful development and reformation can be observed in response to international trends. While “translationalism” with an open mind set for international trends has been shaping Japan, translation of Japanese products into foreign languages has been extremely limited. As knowledge, educational terms, and models of medical education, which are mainly generated in the English-speaking countries surely contributes to the global progression of medical education, another view and wisdom should be produced and exported from non-English speaking countries for the equal collaboration. To realize this, active engagement of Japanese medical educators, who equip the capability to design, develop, facilitate, evaluate, and transport as well as export their wisdom through research are expected.

 


Med Teach. 2017 Oct;39(10):1016-1022.

 doi: 10.1080/0142159X.2017.1359407. Epub 2017 Jul 31.

The truth lies somewhere in the middle: Swinging between globalization and regionalization of medical education in Japan

Affiliations collapse

Affiliations

1a Gifu University Medical Education Development Center , Gifu , Japan.

2b Aichi Medical School of Medicine , Medical Education Center , Aichi , Japan.

PMID: 28758830

DOI: 10.1080/0142159X.2017.1359407

Abstract

Japan is well known as a super-aging society, with a low birth rate, and has been ranked as one of the countries having the highest quality of healthcare system. Japan's society is currently approaching a major turning point with regard to societal and healthcare reforms, which are influenced by international trends and regional needs. Development of Japanese healthcare human resources, including medical students, is now expected to ride the wave of globalization, while resolving regional problems in the training and delivery of healthcare. Terms and global trends in medical education, such as outcome-based education, community-based education, reflective learning, international accreditation of medical education, and professionalization of educators are well translated into the Japanese language and embraced positively among the Japanese medical educators. However, these trends occasionally sit uncomfortably with cultural variations that are often a common approach in Japan; notably, "hansei" (introspection) and "kaizen" (change for the better). In the world facing a new era where people are unsettled between globalism and regionalism, Japan's future mission is to steer a balanced route that recognizes both global and regional influences and produce global health professionals educators.

 

교수 리더십 개발: 시너지적 접근의 사례 연구(Med Teach, 2021)
Faculty leadership development: A case study of a synergistic approach
Ellen Goldman , Nisha Manikoth, Katherine Fox, Rosalyn Jurjus and Raymond Lucas

 

 

서론
Introduction

조직이 환경의 변화 속도가 증가하고 무수한 과제에 직면함에 따라 리더십 훈련과 개발이 매우 중요합니다(Yukl 및 Gardner 2020). 이는 특히 교육 및 의료 서비스 제공 개선 및 조직 성과 향상을 위한 이니셔티브를 교직원이 주도할 수 있는 수많은 기회가 있는 Academic Health Center(AHC)에 해당됩니다. 그러나 필요한 리더십 역량을 개발하기 위한 교육을 받은 교직원은 거의 없습니다. 리더십 개발 프로그램(LDP)을 제공하는 AHC가 증가하고 있지만, 평가 방법은 특히 프로그램 설계와 결과를 연결하는 데 있어 엄격하지 않습니다. 교직원의 개발 자원을 효율적으로 활용해야 한다는 압박감이 높아짐에 따라 교직원의 리더십 개발을 극대화하는 프로그램을 설계하는 방법에 대한 더 많은 지식이 필요합니다.
Leadership training and development is critical as organizations face increasing rates of change and a myriad of challenges in their environments (Yukl and Gardner 2020). This is especially true for academic health centers (AHCs), where faculty members have numerous opportunities to lead initiatives to improve education and care delivery, and to enhance organizational performance. However, few faculty members have had training to develop the requisite leadership competencies. While an increasing number of AHCs are offering leadership development programs (LDPs), evaluation methods lack rigor, particularly in linking program design to outcomes (Steinert et al. 2012; Leslie et al. 2013; Straus et al. 2013; Frich et al. 2015; Lucas et al. 2018; Simas et al. 2019). With increasing pressure to use faculty development resources effectively, we need further knowledge about how to design programs that will maximize faculty leadership development.

리더십 개발에 전념하는 자원에도 불구하고 후원 기관들은 프로그램 효과에 대해 계속 의문을 제기하고 있으며(Lacerenza et al. 2017), 관련 연구는 관찰 가능한 결과를 식별하고 다른 환경 세력으로부터 프로그램 효과를 분리하는 것이 어렵기 때문에 어려운 과제이다(Day and Thornton, Yukl and Gardner 2020). 확인된 공식 프로그램의 메타 분석에서는 요구 분석, 대면 현장 세션, 간격 전달, 다중 전달 방법의 사용, 연습 및 피드백이 프로그램 효율성의 중요한 요소로 파악되었습니다(Lacerenza et al. 2017). 이러한 원칙은 지도 학자들의 권고에 부합하며 의학 교육 문헌에서도 공명을 발견한다. 그러나 프로그램 설계를 안내하려면 학습 방법에 대한 자세한 내용이 필요합니다. 어떤 방법이 가장 효과적입니까? 각 방법은 어떻게 리더십을 기르나요?
Despite the resources devoted to leadership development, sponsoring organizations continue to question program effectiveness (Lacerenza et al. 2017) and related research is challenging because identifying observable outcomes and isolating program effects from other environmental forces is difficult (Day and Thornton 2018; Yukl and Gardner 2020). A meta-analysis of formal programs identified needs analysis, face-to-face on-site sessions, spaced delivery, use of multiple delivery methods, practice, and feedback as critical factors for program effectiveness (Lacerenza et al. 2017). These principles are consistent with recommendations from leadership scholars (DeRue and Myers 2014; Day and Thornton 2018; Yukl and Gardner 2020) and also find resonance in the medical education literature (Frich et al. 2015; Lucas et al. 2018; Simas et al. 2019). Yet more specifics regarding learning methods are needed to guide program design: What methods are most effective? How does each method develop leadership?


Allen과 Hartman(2008)이 제안한 학습 방법을 사용한 Conger(1992)의 프로그래밍 접근방식을 활용하여 앞서 언급한 프로그램 효과 원칙(Lacerenza 등 2017)을 포함하도록 설계된 프로그램의 사례 연구를 통해 이러한 질문을 탐색하려고 했다.

We sought to explore these questions through a case study of a program designed to include the aforementioned principles for program effectiveness (Lacerenza et al. 2017), utilizing Conger’s (1992) programming approaches with learning methods suggested by Allen and Hartman (2008).

Conger(1992)의 선구적 리더십 개발 프레임워크는 리더십에 대한 변혁적 접근법(Northouse 2019)을 기반으로 만들어졌으며, 리더십 이론에 대한 경험적 학습의 원칙을 연결하였다. Conger(1992)는 필요한 기술과 능력을 습득할 수 있다고 보고 리더십 개발 프로그래밍에 필요한 4가지 접근법(개념 이해, 스킬 육성, 피드백, 개인 성장)을 확인하였습니다. 앨런과 하트만(2008)은 콩거(1992)의 네 가지 접근법에 매핑된 27가지 학습 방법의 분류법을 만들었다. 이 분류법은 리더십 개발의 필수요소(즉 경험, 지원 네트워크 및 피드백이 리더십 역량을 개발하는 데 중요하다는 것)를 경험적 학습에 관한 문헌에 통합한다(Merriam et al. 2007).
Conger’s (1992) pioneering leadership development framework built on work underpinning the transformational approach to leadership (Northouse 2019) and connected principles of experiential learning to leadership theory. Seeing the requisite skills and abilities as learnable, Conger (1992) identified four required approaches to leadership development programming: conceptual understanding, skill building, feedback, and personal growth. Allen and Hartman (2008) created a taxonomy of 27 learning methods mapped to Conger’s (1992) four approaches. This taxonomy unites the essence of leadership development—i.e. that experience, supportive networks, and feedback are critical for developing leadership competencies (Yukl and Gardner 2020)—to the literature on experiential learning (Merriam et al. 2007).

[경험]은 (경험에서 의미가 만들어지는) [구성주의적 학습 지향]의 핵심이고, 인지적 지향의 핵심으로서, 여기서 [학습 능력capacity to learn]은 지각, 통찰력 및 의미 창출을 통해 개발된다 (Merriam et al. 2007). 구성주의 및 인지적 성향에 기초한 Kolb의 (2015) 경험적 학습이론에서, [학습]은 [경험, 성찰, 사고 및 행동의 지속적인 발전 과정]이다. 앨런과 하트먼(2008) 분류법의 학습 방법을 결합하면 콜브(2015) 학습 주기의 4단계 모두에서 학습할 수 있는 기회를 제공한다. 이와 같은 [학습 방법과 발달 접근법의 조합]은 [인지적, 경험적 및 사회적 과정을 포함하는 전인적holistic 리더십 개발 경험]을 위한 시너지를 제공합니다.

Experience is

  • core to a constructivist orientation to learning, where meaning is made from experience, and
  • core to a cognitive orientation, where the capacity to learn is developed through perception, insight, and meaning-making (Merriam et al. 2007).

Drawing on Kolb’s (2015) Experiential Learning Theory, based on both constructivist and cognitive orientations, learning is a continuous developmental process of experience, reflection, thinking, and acting. Combining learning methods from Allen and Hartman’s (2008) taxonomy provides opportunity to learn from all four stages of Kolb’s (2015) learning cycle. The combination of learning methods and development approaches provides the synergy for a holistic leadership development experience that includes cognitive, experiential, and social processes.

AHC의 리더십 개발에 관한 문헌은 만족도와 학습 수준을 넘어서는 경우가 거의 없으며(Lucas 등 2018; Simas 등 2019), 평가 설계 프레임워크가 부족하고 대부분 자체 보고 데이터에 의존한다는 점에 주목하면서 보다 엄격한 평가가 시급하다는 점을 식별한다(Leslie 등 2013). 다중 데이터 소스(Steinert 등 2012) 또는 종적 데이터(Frich 등 2015)를 사용하는 프로그램 평가는 거의 없다. 또한 '리더십 훈련의 어떤 측면이 가장 효과적이고 참가자들에게 가장 유용한 과정'을 학습하기 위해 질적 방법을 사용할 필요성에 대한 공감대가 형성되어 있다. 또, LDP의 설계와 성과를 관련짓는 문헌에는 gap이 있다. 단일 전략(예: 성찰, 멘토링)의 효과는 연구되었지만, 많은 방법을 설계에 체계적으로 통합하는 프로그램의 효과는 평가되지 않았다. 따라서 특정 학습 방법이 프로그램 효율성에 어떻게 기여하는지를 확인하기 위해 LDP에 대한 엄격한 평가가 필요하다. 

The literature on leadership development in AHCs identifies an urgent need for more rigorous evaluations, noting that most rarely go beyond levels of satisfaction and learning (Lucas et al. 2018; Simas et al. 2019), lacking a framework for evaluation design and relying mostly on self-reported data (Leslie et al. 2013). Few program evaluations use multiple sources of data (Steinert et al. 2012) or longitudinal data (Frich et al. 2015). There is also consensus on the need for using qualitative methods (Leslie et al. 2013; Straus et al. 2013; Frich et al. 2015) to ‘learn what aspects of leadership training are most effective and what processes are most useful to participants’ (Straus et al. 2013, p. 714). Further, there is a gap in the literature linking design of LDPs to outcomes. The effectiveness of singular strategies (e.g. reflection, mentoring) has been researched, but the effectiveness of a program that systematically integrates many methods into its design has not been evaluated. Thus, there is a need for rigorous evaluations of faculty LDPs to identify how specific learning methods contribute to program effectiveness.

본 연구는 프로그램 결과에 대한 [특정 학습 방법의 효과를 평가]함으로써 문헌의 격차를 해소한다. 한 가지 조사 질문이 연구의 방향을 제시했습니다.

  • Conger(1992)의 리더십 개발에 대한 4가지 접근법 및 관련 학습방법(Allen 및 Hartman 2008)은 참가자, 감독자 및 멘토에 의해 보고된 바와 같이 리더십 역량 향상에 어떻게 기여하는가? 다양한 학습 접근법에 맞는 특정 학습 방법이 리더십 역량 향상에 어떻게 기여하는지 연구했다.

This study addresses a gap in the literature by evaluating the effectiveness of specific learning methods for program outcomes. One research question guided our study:

  • How do Conger’s (1992) four approaches to leadership development and the associated learning methods (Allen and Hartman 2008) contribute to improving leadership competencies as reported by participants, supervisors and mentors? We studied how specific learning methods catering to different learning approaches contributed to improving leadership competencies.

 

방법들
Methods

사례 연구 설계는 [경계지어진 현상]으로서 LDP의 '집약적이고 전체적인 설명과 분석'(Merriam and Tisdell 2016, 페이지 232)을 제공한다. 사례 연구를 통해 다양한 연구 방법과 여러 데이터 소스를 통해 분석 단위로서 프로그램에 심도 있는 집중을 통해 구축 타당성을 보장할 수 있습니다(2014년 Yin). 사례연구의 구조적 요소는 앞서 언급한 LDP 평가의 엄격성에 대한 요구에 대처한다.
A case study research design provides an ‘intensive, holistic description and analysis’ (Merriam and Tisdell 2016, p. 232) of the LDP as a bounded phenomenon. Case study allows for in-depth focus on the program as a unit of analysis through mixed research methods and multiple data sources to ensure construct validity (Yin 2014). The structural elements of a case study address the aforementioned calls for rigor in LDP evaluation.

 

프로그램 설명
Program description

George Washington University Medicine and Health Sciences는 리더십 능력 모델을 사용하여 실시한 니즈 평가에 따라 중간 수준의 교직원을 위한 리더십 개발 프로그램인 Fundamentals of Leadership을 설계했습니다(Lucas et al. 2018). 이 프로그램에는 4가지 학습 목표가 있었습니다. 개인 효과, 대인 효과, 팀 성과 및 변경 관리 향상입니다. 참가자들은 학과장의 서포트에 따라 자기 지명을 하고, 실제 프로젝트에 임할 것을 약속했다. 지원자들은 모두 합격했다.
The George Washington University School of Medicine and Health Sciences designed a leadership development program, Fundamentals of Leadership, for mid-level faculty following a needs assessment conducted using a leadership competency model (Lucas et al. 2018). The program had four learning objectives: to enhance personal effectiveness, interpersonal effectiveness, team performance, and change management. Participants self-nominated with chair support and committed to work on a real-life project. All who applied were accepted.

[교실 내 세션]은 8개월 동안 매달 4시간씩 총 32시간 동안 진행되었습니다. 학습 방법은 프로그램 목표와 앨런과 하트먼(2008) 분류법에 기초했다(표 1의 첫 번째 두 열 참조). 비즈니스, 리더십 및 조직 변화에 대한 고급 교육을 받은 교직원은 변경 리더십, 시간 관리, 협상, 팀 구성, 감성 인텔리전스 및 조직 문화에 대한 세션을 촉진했습니다. 참가자들은 실제 [프로젝트 실행을 위한 계획]을 수립하고 세션 내용을 반영하기 위해 매달 업데이트했습니다. 프로젝트 진행 상황은 동료 보고 중에 코호트 구성원과 공유되었다. 각 참가자는 상호 합의에 의해 선택된 [상급 경영자executive 멘토]와 세션과 세션 사이에 만났습니다. [멘토링 툴킷]은 멘토와 멘티의 혜택과 책임, 생산적인 미팅을 위한 팁, 멘토링 계약을 위한 템플릿 등 제공되었습니다.

In-classroom sessions occurred 4 h per month for 8 months, for a total of 32 h. Learning methods were based on program objectives and Allen and Hartman’s (2008) taxonomy (see first two columns of Table 1). Faculty with advanced training in business, leadership, and organizational change facilitated sessions on change leadership, time management, negotiation, team building, emotional intelligence, and organizational culture. Participants developed an action plan for their real-life projects and updated them monthly to reflect session content. Project progress was shared with cohort members during peer debriefs. Each participant met between sessions with a senior executive mentor selected by mutual agreement. A mentoring toolkit was provided, including benefits and responsibilities of mentor and mentee, tips for productive meetings and a template for a mentoring agreement.

 
 

리서치 어프로치
Research approach

기관 심사 위원회는 그 연구를 면제한다고 간주했다. 익명의 조사 데이터는 각 세션과 프로그램의 가치에 대한 피드백을 제공했습니다. 프로그램 종료 시 프로젝트 프레젠테이션 및 멘토 설문조사를 통해 프로그램 결과에 대한 정보를 제공했습니다. 프로그램 완료 후 3개월 후 참가자 및 작업 감독관과의 개별 인터뷰를 통해 장기적인 영향에 대한 정보를 얻을 수 있었습니다.
The institutional review board deemed the study exempt. Anonymous survey data provided feedback on the value of each session and the program. Project presentations and mentor surveys at program conclusion provided inputs on program results. Separate interviews with participants and their work supervisors, 3 months after program completion, provided information on longer-term impacts.

데이터 수집 및 분석은 프로그램 설계 또는 제공에 관여하지 않은 작성자(NM, KF, RJ)에 의해 완료되었습니다. 복수의 근거 소스(예: 인터뷰, 세션 및 프로그램 평가, 조사)와 수렴하는 조사 라인(예: 참가자, 감독자, 멘토)이 결과를 삼각측량하여 'rigor, 폭, 복잡성, 풍부성 및 깊이'를 추가했다. 데이터 분석은 테마를 식별하기 위해 개방형 코딩과 지속적인 비교 방법(Merriam과 Tisdell 2016)을 사용했으며, 콩거 프레임워크와 앨런과 하트만 분류법(2008)의 이론적 코드를 사용한 두 번째 코딩 주기(2014년 Yin 2014)를 사용했다. 코딩과 주제에 대한 합의는 토론을 통해 이루어졌다.
Data collection and analysis were completed by authors not involved in the program design or delivery (NM, KF, RJ). Multiple sources of evidence (i.e. interviews, session and program evaluations, surveys) and converging lines of inquiry (i.e. participants, supervisors, mentors) triangulated the results, adding ‘rigor, breadth, complexity, richness and depth’ (Denzin and Lincoln 2013, p. 10). Data analysis utilized open coding and constant comparative methods to identify themes (Merriam and Tisdell 2016), followed by a second coding cycle (Yin 2014) with theoretical codes from the Conger (1992) framework and the Allen and Hartman (2008) taxonomy. Consensus on coding and themes was reached through discussions.

 

결과.
Results

조사 참가자는 프로그램을 완료한 최초 두 개 코호트 멤버 21명, 참가자의 작업 감독자 15명 중 11명, 시니어 이그제큐티브 멘토 12명(15명 중 12명)을 포함했다. 코호트 구성원은 피부과, 응급의학, 일반 및 전문 소아과, 내과, 실험실 과학, 신경외과, 신경외과, 병리학, 약리학, 의사 보조, 정신과, 종양학 및 외과 조교, 새로운 프로그램, 클리닉, 센터 및 외과와 관련된 프로젝트를 포함했다. 시스템 개선. 모든 프로젝트에는 복수의 부서가 관여하고 있으며, 커뮤니티 파트너도 있었습니다.

Study participants included all 21 members of the first 2 cohorts who completed the program, 11 (of 15) participants’ work supervisors, and 12 (of 15) of the senior executive mentors. Cohort members included assistant and associate professors in departments of dermatology, emergency medicine, general and specialty pediatrics, internal medicine, laboratory science, neurology, neurosurgery, pathology, pharmacology, physician assistant, psychiatry, oncology, and surgery, with projects concerning new programs, clinics, centers, and system improvements. All projects involved multiple departments; some had community partners.

표 1의 세 번째 열은 리더십 개발에 대한 네 가지 접근법 각각(Conger 1992)과 관련 학습 방법이 리더십 역량 향상에 어떻게 기여했는지 요약한다. 자세한 내용은 아래 설명과 함께 Kirkpatrick 및 Kirkpatrick의 (2016) 평가 수준을 사용하여 프로그램 전반에 대해 논의합니다. 만족, 학습, 행동 및 결과. 인용구 출처는 코호트('C') 1 또는 2의 프로그램 참가자('P'), 감독자('S') 또는 멘토('M')입니다.

The third column of Table 1 summarizes how each of the four approaches to leadership development (Conger 1992) and associated learning methods (Allen and Hartman 2008) contributed to improving leadership competencies. Further description is provided below, followed by a discussion of the program overall using Kirkpatrick and Kirkpatrick’s (2016) evaluation levels: satisfaction, learning, behavior and results. Quote sources are program participants (‘P’), supervisors (‘S’), or mentors (‘M’) from cohort (‘C’) 1 or 2.

 

개념적 이해
Conceptual understanding


리더십 개발에 대한 이러한 접근방식은 리더십 개념에 대한 [인지적 이해]를 구축한다(Conger 1992). 참가자들은 수업 전 독서, 과제 및 강의실 세션에서 다음과 같은 주제를 인용하여 새로운 개념을 제시했습니다.
This approach to leadership development builds cognitive understanding of leadership concepts (Conger 1992). The participants cited the following topics from the pre-class readings, assignments and classroom sessions that offered them new concepts:

[세션]을 통해 리더쉽 스킬에 대해 생각해 볼 수 있는 훌륭한 구성을 얻을 수 있었습니다. 회의 리드하기, 프로젝트 아이디어의 개발, 팀의 동기 부여 등입니다. (P9C1)
[The session] gave me nice constructs to think about my leadership skills … leading a meeting, developing project ideas, motivating my team. (P9C1)

정말로 공명하고 있는 것은, 시간 관리의 그리드입니다.(P3C2 )

What really resonated with me is the grid of (how to achieve) time management. (P3C2)

감성 인텔리전스 세션은 사람들이 어디에서 오는지를 듣고 이해하는 데 매우 적극적인 역할을 할 수 있게 해주었습니다. (P6C1)
The emotional intelligence session allowed me to take a very active role in listening and understanding where people are coming from. (P6C1)

문화에 대해 배우는 것은 매우 중요했습니다.그것을 바꾸는 것은 얼마나 어려운 일입니까.필요한 일을 해야 합니다.(P4C2)
It was really important to learn about culture … how difficult it is to change that …what you might need to do. (P4C2)


다른 이들은 참여 강화(P3C1, P5C1), 의사결정 개선(P6C1), 적절한 위임(P3C2, P7C1) 및 좋은 평가를 받는 피드백(P6C2, P7C1)을 위한 리더십 스타일과 팀 개발 원칙을 이해하는 것의 가치에 주목했다. 한계(표 1 열 4 참조)에는 읽기 자료의 과밀함denseness에 대한 불만과 더 많은 사례 사례에 대한 욕구가 포함되었다.

Others noted the value of understanding leadership styles and team development principles to enhance engagement (P3C1, P5C1), improve decision-making (P6C1), delegate appropriately (P3C2, P7C1), and provide well-received feedback (P6C2, P7C1). Limitations (see Table 1 column 4) included complaints about the denseness of the reading material and desire for more case examples.

스킬 육성
Skill building

리더십 개발에 대한 이러한 접근방식은 실천을 제공한다(Conger 1992). 참가자들은 [강의실 내 역할극과 프로젝트 실행 ]계획 제정이 새로운 스킬을 구축하는 데 도움이 된다고 확인했습니다. 한 사람이 지적했듯이, '클래스는 단순히 '개념이 여기에 있다'는 것이 아니었다. 읽어보세요」라고 끝나지 않았고, 「이 문제에 대처하는 방법의 예는 무엇입니까」…실제 롤플레잉(P3C1)을 했다.
This approach to leadership development provides practice (Conger 1992). The participants identified in-class role plays and enactment of project action plans as helping them build new skills. As one noted: ‘Class was not just “here’s the concept. Go read about it,” but … “what’s an example of how you would deal with this?’ … actual role-playing’ (P3C1).


[프로젝트 실행 계획]은 스킬을 쌓기 위해 가장 자주 인용되는 도구였습니다.
The project action plan was the tool most often cited for building skills:

드릴다운, 목적 설명 작성, 측정 기준 작성, 목표가 부서와 일치하는지 확인하는 것이 중요했습니다.(P3C2)
It was important to drill down … create a purpose statement … metrics … recognize if your goals were in line with your department. (P3C2)

[이 계획]은 매우 집중적이고 구체적이어서 도움이 됩니다.언제 대처해야 할 것을 특정합니다.우선순위의 변경에 따라 손실될 가능성이 있는 것을 추적합니다.(P4C2)

[The plan] helped by being very focused and concrete … identify what to tackle when … keep track of things that might get lost as priorities change. (P4C2)

이 계획을 통해 리더로서 큰 시야를 갖게 되었습니다.중요한 목표를 향해 한 발짝 물러서는 것.현재 진행 상황을 눈으로 확인할 수 있습니다.또, 뛰어난 과제도 볼 수 있습니다. … 그것은 매우 귀중한 것이었습니다.(P1C1)

The plan helped me as a leader have that big-picture view … take a step back at its overarching goals … visually see the progress you’re making … as well as outstanding challenges. … That was incredibly valuable. (P1C1)

그 계획은 구체적인 틀을 만들었다. … 매달 그것에 대해 질문을 받는 것은 당신을 긴장하게 한다. (P5C1)

[The plan] created a tangible framework. … Being asked about it on a monthly basis keeps you on your toes. (P5C1)

매월 계획을 갱신하는 것으로, 시간 관리가 향상되었습니다. 「실제로 필요한 것에 주의를 기울이는 한편, 불필요한 것은 무시하거나, 그 시간을 재할당하거나 합니다」(P5C2) 상사들은 향상된 능력을 알아차렸다: '그의 조직력은 향상되었다. … 그는 이해관계자들을 모아 프로젝트를 완료하기 위해 필요한 것을 지지하고 사람들에게 책임을 물을 수 있었습니다(S6C2). 다른 연구진은 부하 직원의 프로젝트 리더십(S1C2, S4C1, S6C1, S9C1, S9C2)에 대한 자신감, 주장성 및 편안함을 증가시켰다.

Updating the plans monthly improved time management: ‘[I’m] paying attention to the things I actually really need to do and ignoring what I don’t … or reallocating that time’ (P5C2). Supervisors noticed enhanced abilities: ‘His organizational skills improved. … He was able to bring stakeholders together … advocate for what was needed to finish the project … hold people accountable’ (S6C2). Others observed increased confidence, assertiveness, and comfort in their subordinates’ project leadership (S1C2, S4C1, S6C1, S9C1, S9C2).

 

피드백
Feedback

리더십 개발에 대한 이러한 접근방식은 [비판적 평가 및 측정 도구]를 사용하여 피드백을 제공합니다(Conger 1992). 참가자가 실시한 자기 평가에서는, 「의심했던 점 뿐만이 아니라, 장점과 단점에 대한 통찰력 향상에 도움이 되지 않았던 점이 강조되었습니다」(P4C2).
This approach to leadership development provides feedback using critical assessment and measurement tools (Conger 1992). Self-assessments completed by the participants ‘highlighted the things I suspected … as well as ones I did not to help improve [my] insight into [my] strengths and weaknesses’ (P4C2).

멘토 피드백 또한 가치 있었다: '나의 멘토가 나에게 좋은 조언을 해주었다. 계속 만날 수 있는지 물어볼게요.(P2C2) 멘토는 멘티가 역할극 시나리오나 어려운 대화(M1C2, M3C2, M5C2)에 대한 '연습 실행' 역할을 하는 등, 이러한 활동이 사운드보드와 격려의 원천이 되고 있음을 확인했습니다.
Mentor feedback was also valuable: ‘My mentor gave me good advice. I’m going to ask if we could continue meeting’ (P2C2). Mentors confirmed they served as sounding boards and sources of encouragement, with several serving as ‘practice runs’ for their mentee to role-play scenarios or difficult conversations (M1C2, M3C2, M5C2).

[동료 디브리핑] 중에 코호트 구성원으로부터도 귀중한 피드백을 받았다.
Valuable feedback also came from cohort members during peer debriefs:

우리는 모두 두려움, 문제, 뭐 그런 것들을 끄집어내다가 서로에게 이렇게 말하곤 했다. '나도 비슷한 일을 겪었어. 난 이렇게 해왔어. 도움이 되는지 확인해 주세요.(P7C1)
We were all bringing up our fears, problems, whatever … and then we would tell each other: ‘I had similar things. I’ve done it this way. See if that helps.’ (P7C1)

칭찬하든 비판하든, 동료의 피드백은 다른 태도, 경험, 배경을 가진 개인들로부터 나왔기 때문에 특히 도움이 되었습니다. (P1C2)
Whether they praise it or criticize it, [peer feedback] was particularly helpful because it came from [individuals with] different attitudes, different experiences, different backgrounds. (P1C2)

동료와 멘토들의 격려로 프로젝트 리더쉽 이상의 자신감을 얻었습니다.다른 사람의 견해와 피드백을 얻음으로써 자신감을 얻을 수 있었습니다.(P1C1).
Encouragement from peers and mentors provided confidence beyond project leadership: ‘Having other people’s perspective and feedback … gave me more confidence’ (P1C1).

 

개인의 성장
Personal growth

 

리더십 개발에 대한 이러한 접근방식은 행동, 가치 및 욕구의 반영을 유도한다(Conger 1992). 참가자들은 수업 시간을 프로젝트 계획을 갱신하고 위에서 논의한 피드백을 받는 것이 개인 및 그룹의 성찰을 촉진하는 것이라고 생각했습니다.'수업에 도움이 된 것은 성찰 시간……프로젝트나 목적지에 대해서만 생각하는 30분 이었다'(P5C2). 그룹 성찰에 참여하는 것은 또 다른 가치를 제공했습니다. '다른 사람이 자신의 문제를 해결할 수 있도록 도와주면서 자신의 프로젝트에 가져올 수 있는 리더십의 자질을 명확히 했습니다.' (P3C2) P6C1은 이 시간의 중요성을 '한 달 동안 당신이 어떻게 진화했는지 볼 수 있도록 하고, 내가 어떻게 발전하고 있는지 생각해 보고, 내가 앞으로 개선할 수 있는 것은 무엇인가'로 요약했습니다.
This approach to leadership development induces reflection of behaviors, values and desires (Conger 1992). Participants identified class time updating project plans and getting the feedback discussed above as promoting personal and group reflection: ‘The thing that helped me were the class reflects … 30 minutes just to think about my project and where I wanted it to go’ (P5C2). Participating in group reflection provided another value: ‘In helping others work through their problems, it clarified … leadership qualities that I could bring to my own project’ (P3C2). P6C1 summarized the significance of the time as ‘allowing you to look at how you evolved over the month … think about how I am improving … what I can improve moving forward.’

전체적인 평가
Overall evaluation


만족도(1단계), 학습(2단계), 행동(3단계), 결과(4단계)를 평가했다(Kirkpatrick 2016).

  • 참가자들은 내용, 자료, 진행자 및 학습 환경에 대한 만족도가 높다고 보고했다(1 = 강하게 동의하지 않음 ~ 4 = 강하게 동의함). 
  • 학습 내용은 표 1에 기재되어 있습니다. 초월 세션 콘텐츠 학습: 「[프로그램]은, 사물을 보다 선명하게 볼 수 있도록 했습니다…… 내가 무엇을 완수하는지, 어떻게 정리하는지…… 스스로 페이스 업 하는 것에 대해, 훨씬 더 신중해졌습니다」(P9C1) 
  • 리더쉽 행동에 대한 자기 인식적인 변화가 설명되었습니다. '내 직감을 따르기 전에' … 이제 "좋습니다. 여기서 어떤 접근 방식이 작동할까요?"(P3C1)가 되었습니다. P7C1은 병원 경영진과 전략적인 월례 회의를 시작했고 P6C1은 운영을 개선하기 위해 간호 리더십에 접근했습니다. 
  • 결과는 주목할 만하다. 거의 모든 참가자가 프로젝트의 주요 컴포넌트를 구현했습니다. 새로운 임상 센터, 학위 프로그램, 연구 시험, 지역사회 관계 확대. 슈퍼바이저는, 많은 참가자가, 부서내 또는 전문 조직내의 리더로서의 역할과 책임을 한층 더 가지고 있는 것에 주목했습니다.

Satisfaction (level 1), learning (level 2), behavior (level 3), and results (level 4) were evaluated (Kirkpatrick and Kirkpatrick 2016).

Participants reported high satisfaction with the content, materials, facilitators, and learning environment (3.14–3.87 on an agreement scale of 1 = Strongly Disagree to 4 = Strongly Agree. 

Learning is noted in Table 1. Learning transcended session content: ‘[The program] made me see things a lot crisper … be much more intentional about what I take on, how I organize … pace myself’ (P9C1).

Self-perceived changes to leadership behaviors were described: ‘Before I would go with my gut. … Now it’s “all right, what approach is going to work here?”’ (P3C1). P7C1 started strategic monthly meetings with a hospital executive, and P6C1 approached nursing leadership to improve operations. 

Results are notable. Nearly all participants implemented major components of their projects: new clinical centers, degree programs, research trials, expanded community relationships. Supervisors noted many participants had additional leadership roles and responsibilities—either within their departments or with professional organizations.

논의
Discussion

이 연구는 중간 수준의 AHC 교직원을 위한 리더십 개발 프로그램에 평가 엄격성을 적용하고 네 가지 리더십 개발 접근법과 관련된 학습 방법의 이점을 미묘한 이해도를 얻었다(Conger 1992).

  • 개념적 이해 접근방식은 참가자가 새로운 리더십 개념을 인식하는 데 도움이 되었습니다.
  • 스킬 육성 접근방식은 참가자가 새로운 스킬을 연습하는 데 도움이 되었습니다.
  • 피드백 접근방식은 강점과 개발 영역에 대한 인식을 높였습니다.
  • 또한 개인 성장 접근방식은 성찰과 전체적으로 성장하기 위한 자극을 촉진했습니다.

중요한 것은 이러한 접근방식의 조합으로 새로운 프로그램, 클리닉, 센터 및 시스템 개선의 형태로 조직 수준(Kirkpatrick 및 Kirkpatrick 2016)에서 이점을 볼 수 있게 되었다는 점입니다.

This study applied evaluation rigor to a leadership development program for mid-level AHC faculty members and obtained a nuanced understanding of the benefits of learning methods associated with four leadership development approaches (Conger 1992).

  • The conceptual understanding approach helped participants become aware of new leadership concepts;
  • the skill-building approach helped them practice new skills;
  • the feedback approach generated greater awareness about strengths and areas for development; and
  • the personal growth approach fostered reflection and the impetus to grow holistically as leaders.

Importantly, the combination of these approaches made it possible to see benefits at the organizational level (Kirkpatrick and Kirkpatrick 2016) in the form of new programs, clinics, centers and system improvements.


다양한 방법들이 체험 학습 주기를 육성하였다(Kolb 2015). 

  • 독서 및 강의실 모듈은 학습자를 추상 개념화 과정을 거치게 했다. 
  • 역할극 및 사례연구는 구체적인 경험을 제공한다. 
  • 동료 및 멘토로부터 받은 자기 평가와 피드백이 성찰 관찰에 기여한다. 
  • 프로젝트 실행 계획은 활발한 실험을 위한 추진력을 제공했습니다. 

The various methods fostered the experiential learning cycle (Kolb 2015):

  • readings and classroom modules took learners through abstract conceptualization;
  • role plays and case studies offered concrete experience; 
  • self-assessments and feedback from peers and mentors contributed to reflective observation; and
  • project action plans provided the impetus for active experimentation

이러한 학습 방법의 통합은 학습자가 '행위자마다, 그리고 특정 참여에서 일반 분석 분리까지 다양한 정도'를 취하여(Kolb 2015, 페이지 42), 인지적, 경험적, 사회적 과정을 통해 학습 기회를 제공했다.

The integration of these learning methods took the learners ‘in varying degrees from actor to observer, and from specific involvement to general analytic detachment’ (Kolb 2015, p. 42), providing learning opportunities through cognitive, experiential, and social processes.

이 리더십 개발 프로그램의 진정한 가치는 실제 프로젝트에 초점을 맞추기 위해 다양한 학습 방법이 연결되고 서로 연계된 방식입니다.

  • 구조화된 강의실 토론은 참가자들이 자신의 프로젝트에 개념을 적용하도록 장려합니다. 
  • 프로젝트 액션 플랜은 작업을 계속하고 과제를 극복할 수 있는 도구를 제공했습니다. 
  • 멘토 피드백은 참가자의 프로젝트 성공을 지원하는 데 초점을 두었다.
  • 동료 디브리핑는 장애물을 극복하고 새로운 솔루션을 찾기 위한 지원 그룹을 개발했습니다.
  • 개인 및 그룹의 성찰은 개념을 명확히 하고 이를 프로젝트에 적용하는 방법에 도움이 되었습니다. 

The true value of this leadership development program is in the way different learning methods were connected and interwoven to focus on a real-life project:

  • structured classroom discussions encouraged participants to apply concepts to their projects;
  • project action plans provided a tool to stay on task and overcome challenges;
  • mentor feedback focused on helping participants succeed in their projects;
  • peer debriefs developed a support group to overcome obstacles and find new solutions;
  • individual and group reflections helped clarify concepts and how to apply them to the project.

프로젝트의 중심성은 개인적이고 경험적인 방식으로 리더십 개념의 의미를 만드는 것을 촉진했습니다. 다양한 리더십 육성 어프로치와 학습 방법의 통합에 의해 달성된 시너지는 리더십 역량 개발에 기여했을 뿐만 아니라 참가자, 감독자, 멘토 입장에서 리더로서의 자신감을 형성했다(그림 1).

The centrality of the project facilitated meaning-making of leadership concepts in a personal, experiential way. The synergy achieved through the integration of different leadership development approaches and learning methods not only contributed to leadership competency development but also built participants’ confidence as leaders from the participants’, supervisors’ and mentors’ perspectives (Figure 1).

 

제한 사항
Limitations

다른 케이스 스터디와 마찬가지로 이러한 결과는 특정 설정에서 제공되는1개의 LDP를 반영합니다. 또한, 이 결과는 우리 프로그램에서 사용된 특정 학습 방법을 반영합니다. 다른 방법은 다른 결과를 제공할 수 있습니다. 마지막으로 프로그램의 장기적인 영향에 대해 알아보는 것이 도움이 될 것입니다.
As with any case study, these results reflect one LDP offered in a specific setting. In addition, the results reflect the specific learning methods used in our program; other methods might provide different results. Finally, it would be helpful to study the program’s long-term impact.

결론
Conclusion

우리의 연구는 자민당에 대한 엄격한 평가의 예를 제공함으로써 문헌을 추가한다. 특정 학습 방법이 리더십 개발에 어떻게 기여했는지를 파악하여 Conger의 리더십 개발 프레임워크, Allen과 Hartman의 학습 방법 분류법 및 경험적 학습 문헌을 더욱 연결한다. 또한 실제 프로젝트를 중심으로 학습 앵커링의 시너지 효과를 설명하고 개인과 조직에 긍정적이고 의미 있는 결과를 보여줍니다.

Our study adds to the literature by providing an example of rigorous evaluation of an LDP. It identifies how specific learning methods contributed to leadership development, further connecting Conger’s (1992) leadership development framework, Allen and Hartman’s (2008) taxonomy of learning methods, and the experiential learning literature. Moreover, we illustrate the synergistic effect of anchoring learning around a real-life project, and show positive and meaningful outcomes for individuals as well as the organization.

 


Med Teach. 2021 Aug;43(8):889-893.

 doi: 10.1080/0142159X.2021.1931079. Epub 2021 Jun 2.

Faculty leadership development: A case study of a synergistic approach

Affiliations collapse

 

Affiliation

1School of Medicine and Health Sciences, The George Washington University, Washington, DC, USA.

PMID: 34078213

DOI: 10.1080/0142159X.2021.1931079

Abstract

Introduction: Ongoing leadership development is essential for academic health center faculty members to respond to increasing environmental complexity. At the George Washington University School of Medicine and Health Sciences, an 8-month program, based on Conger's leadership development approach emphasizing conceptual understanding, skill building, feedback and personal growth was offered to mid-level faculty charged with developing educational programs, clinical services, and/or research initiatives. We studied how specific learning methods catering to different learning approaches contributed to improving leadership competencies.

Methods: Session and program evaluations, participant interviews, mentor surveys, and supervisor interviews were used for data collection. Themes were identified through open coding with use of constant comparative methods to help find patterns in the data.

Results: Readings and classroom modules provided a broadened, holistic understanding of leadership; role plays and action plans helped participants apply and practice leadership skills; self-assessments and feedback from peers and mentors provided specifics for focusing development efforts; and personal growth exercises provided opportunities to reflect and consider fresh perspectives. Anchoring learning methods around a real-time project led to improved leadership competencies and personal confidence as reported by participants, supervisors and mentors.

Conclusion: A faculty leadership development program that integrates understanding, skill building, feedback and personal growth and connects multiple learning methods can provide the synergy to facilitate behavior change and organizational growth.

Keywords: Leadership development; faculty development; learning process.

 

 

Carle Illinois College of Medicine (Acad Med, 2020)
Jennifer R. Amos, PhD, William J. Pluta, PhD, Sol Roberts-Lieb, EdD, Judith L. Rowen, MD,
Lexi Shurilla, MS, Robert C. Wallon, and Heather Wright

 

의료 교육 프로그램의 주요 내용
Medical Education Program Highlights

  • 공학 통합: 일리노이 대학교 어바나-샴페인(Urbana-Champaign)과 칼 재단(CIMED)의 공공-민간 파트너십인 칼 일리노이 의과대학(Carle Illlinois Medicine of Medicine)은 의사-혁신가 졸업하는 것을 목표로 한다. CIMED는 이 재설계된 의과대학의 중추로서 4년 3단계 교육과정의 모든 부분에 공학을 구축했다.
    • 1시기 임상전 과정에서는 공학 개념이 주간 문제 기반 학습(PBL) 사례와 의료 엔지니어링 발견 및 혁신(MEDI) 실험실 세션을 통해 짜여진다.
    • 2시기 임상실습은 "엔지니어링 파트너" 교직원이 매주 학생들과 회진하여 잠재적 엔지니어링/기술/설계 솔루션의 문제를 파악하고, 이를 혁신, 설계, 엔지니어링 및 분석(IDEA) 과정에서 개발하고 해결합니다.
    • Capstone 및 Data Science Project 과정은 3단계의 일부이다.

 

  • Engineering integration: Carle Illinois College of Medicine (CIMED), a public–private partnership between the University of Illinois at Urbana–Champaign and the Carle Foundation, aims to graduate physician–innovators. As the backbone of this reenvisioned medical school, CIMED built engineering into every part of its 4-year, 3-phase curriculum.
    • In Phase 1 preclinical courses, engineering concepts weave through weekly problem-based learning (PBL) cases and Medical Engineering Discovery and Innovation (MEDI) laboratory sessions.
    • In Phase 2 clinical clerkships, an “engineering partner” faculty member rounds with students weekly to identify problems with potential engineering/technology/design solutions, which students then develop and address in the Innovation, Design, Engineering and Analysis (IDEA) course.
    • Capstone and Data Science Project courses are part of Phase 3.

 

  • 초기 임상노출: 학생들이 의과대학 1학년 동안 지역사회 기반 강사와 매주 세션에 참석함에 따라 임상노출이 즉시 시작됩니다. 종단적 가정의학 임상실습은 2학년을 시작하는 7월에 시작한다. 임상실습 기간 동안, 학생들은 저녁 진료소에서 교수진의 감독을 받는 주요 제공자이다. 학생들은 18개월 동안 매주 클리닉 세션을 진행하며 전화 앱을 통해 임상 기술을 직접 관찰함으로써 매주 피드백을 받는다.
    Early clinical exposure: Clinical exposure begins immediately as students attend weekly sessions with a community-based preceptor for the first year of medical school. A longitudinal family medicine clerkship begins in July to start year 2. During the clerkship, students are the primary providers with faculty oversight in an evening clinic. The students have clinic sessions weekly for 18 months and receive weekly feedback from direct observation of clinical skills via a phone app.

 

  • 혁신적인 입학 절차: 양적 역량은 성적증명서나 직장 경험으로부터 분명해야 합니다. 입학을 위해 캠퍼스 내 면접은 필요하지 않습니다. 학생들은 CIMED의 "4C"를 반영한 포트폴리오를 만듭니다: 역량, 호기심, 동정심, 창의성. 화상 인터뷰는 협업과 다양성을 포함한 다른 CIMED 가치를 조사합니다. 2018년 7월 칼리 일리노이 대학교 1학년에 입학했다.
    Innovative admissions process: Quantitative competencies must be evident from transcripts or workplace experiences. No on-campus interview is required for admission. Students produce a portfolio reflecting CIMED’s “4Cs”: competence, curiosity, compassion, and creativity. A video interview probes other CIMED values including collaboration and diversity. Carle Illinois’ first class matriculated in July 2018.

 

  • 빈번하고 다양한 평가: CIMED의 의학 교육 프로그램은 빈번한 인출연습의 기회를 제공한다.
    • 1시기 전반에 걸쳐 학생들은 매주 자신의 의학 지식을 평가하고 즉각적인 피드백을 받는 퀴즈를 치른다.
    • 팀 기반 학습(TBL)은 개별 인출과 팀 토론의 기회를 제공하는 1단계 과정 전반에 걸쳐 사용된다.
    • 또한 1시기 평가에는 42개의 OSCE 스테이션, 4개의 해부학 실습 및 간격을 둔 인출을 지원하도록 설계된 5개의 발달시험progress test가 포함됩니다.
    • 2시기에서는 '위탁 가능한 전문 활동'과 연계된 학생의 역량을 평가하기 위한 진도 OSCE 프로그램이 사용된다.
  • Frequent and varied assessment: The medical education program at CIMED provides frequent opportunities for student retrieval practice.
    • Throughout Phase 1 of the curriculum, students take weekly quizzes that assess their medical knowledge and receive immediate feedback.
    • Team-based learning (TBL) is used in courses throughout Phase 1, which provides opportunities for individual retrieval and team discussion.
    • Phase 1 assessment also includes 42 OSCE stations, 4 anatomy lab practicals, and a series of 5 progress exams that are designed to support spaced retrieval.
    • In Phase 2 of the curriculum, a progress OSCE program is used to assess student competencies that are linked to Entrustable Professional Activities.

 

커리큘럼
Curriculum

커리큘럼 설명
Curriculum description

CIMED 커리큘럼은 4년 동안 3단계로 구성되어 있다: 18개월 전 임상 1상, 12개월 임상 사무직 2상, 캡스톤 및 데이터 과학 프로젝트, 임상 선택, 경력 개발 3상.
The CIMED curriculum consists of 3 phases in 4 years: an 18-month preclinical Phase 1; a 12-month clinical clerkship Phase 2; and Capstone and Data Science Projects, clinical electives, and career development in Phase 3.

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 1—교육과정 설명—을 참조하십시오.
See Supplemental Digital Appendix 1—Curriculum Description—at https://links.lww.com/ACADMED/A831.

 

평가
Assessment

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 2—프로그램 목표—를 참조하십시오.
See Supplemental Digital Appendix 2—Program Objectives—at https://links.lww.com/ACADMED/A831.

 

의료교육 프로그램 목표
Medical education program objectives


칼 일리노이는 의대생 교육을 위한 AAMC 학습 목표, ABET, Inc.의 세 가지 프레임워크를 결합한 목표를 채택하기로 결정했다. 학생 학습 결과 및 KEEN(Kern Entrepreneural Engineering Network) 교육 결과. 이 프레임워크는 대학의 미션과 핵심 역량에 부합하는 목표를 채택하기 위해 결합되었다.
Carle Illinois chose to adopt objectives combining 3 different frameworks:

  • the AAMC Learning Objectives for Medical Student Education,
  • ABET, Inc. Student Learning Outcomes, and
  • KEEN (Kern Entrepreneurial Engineering Network) educational outcomes.

It combined these frameworks to adopt objectives that aligned with the college’s mission and core competencies.

특히, 이 대학은 의사-혁신자를 위한 공학 및 혁신 학습 목표를 반영하는 목표를 추가했다. ABET는 공학, 컴퓨팅, 기술 및 응용 과학 학위를 인가하는 인증 기관입니다. ABET 학생 성과는 모든 공학 학위 및 엔지니어로서의 전문 자격증 취득에 필요합니다. KEEN 교육 성과는 또한 엔지니어링 교육 프로그램에 널리 사용되며 ABET 목표에 도입된 엔지니어링 및 설계 기술의 적용을 강화하고 혁신을 촉진하는 데 도움이 된다.
In particular, the college added objectives that reflected engineering and innovation learning goals for physician–innovators. ABET is an accreditation agency that accredits engineering, computing, technology, and applied science degrees. ABET student outcomes are required for all engineering degrees and professional licensure as an engineer. KEEN educational outcomes are also widely used in engineering educational programs and help reinforce application of engineering and design skills introduced in the ABET objectives, as well as foster innovation.

교육학
Pedagogy

  • PBL: Carle Illinois 학생들은 1단계 동안 일주일에 세 번의 2시간 PBL 세션에 참여합니다. 이 세션은 기초 과학, 임상 실습 및 엔지니어링 기술을 통합하는 사례에 초점을 맞춥니다. CIMED만의 독특한 점은 "혁신가" 역할의 추가이다; 한 학생은 사례에서 임상적으로 관련된 요구를 확인하고 가능한 새로운 해결책에 대한 토론을 이끈다. CIMED의 자랑거리는 PBL 세션을 촉진하고 1단계 전반에서 연속성을 제공하는 전임 교수진을 보유한 것입니다.
    PBL: Carle Illinois students participate in three 2-hour PBL sessions per week during Phase 1. These sessions focus on cases that integrate foundational science, clinical practice, and engineering skills. Unique to CIMED is the addition of an “innovator” role; one student identifies a clinically relevant need from the case and leads a discussion of possible novel solutions. A point of pride at CIMED is having full-time faculty who facilitate the PBL sessions, providing continuity across Phase 1.
  • TBL: CIMED의 주요 교육학은 PBL이지만, 컨텐츠와 기술 지식을 구축하고 굳히기 위해 추가적인 실습이 사용됩니다. 이러한 실습은 저널 클럽, TBL, 사례 검토, 강의의 형태를 취합니다. 첫 번째 과정에서는 TBL이 자주 사용되며 나머지 1단계에서는 과정당 평균 1~2 TBL 세션을 사용합니다.
    TBL: While the primary pedagogy at CIMED is PBL, additional practices are used to build and solidify content and skill knowledge. These practices take the form of journal clubs, TBL, case review, and lecture. TBL is used often in the first course and then averages 1 to 2 TBL sessions per course for the remainder of Phase 1.
  • 실습: 학생들은 기존의 시신 기반 해부 실습 외에도, 의학적으로 관련된 환경에서 공학적 원칙의 적용을 입증하는 MEDI 실험실 세션을 경험한다. 예를 들어, 천식 생리를 복제하는 폐 모델의 설정에서 에어로졸 입자 크기와 분포 패턴을 검토했다.
    Laboratory: In addition to traditional cadaver-based anatomy laboratories, students experience MEDI laboratory sessions demonstrating the application of engineering principles in medically relevant settings. For example, aerosol particle size and distribution patterns were reviewed in the setting of a lung model replicating asthma physiology.
  • 몰입형 프로젝트:
    • 1단계의 후반부에서 MEDI 세션은 그룹 프로젝트를 포함한다.
    • 2단계 IDEA 프로젝트 과정에서는 학생들이 환자 및 의료 시스템 문제를 파악하고 기술적 해결책을 제안합니다.
    • 3단계에서는 IDEA 프로젝트 중 하나가 학생의 캡스톤 프로젝트로 선택되며, 개발의 프로토타이핑 단계를 통해 학제 간 팀이 이를 추구합니다. 학생들은 또한 3단계에서 대규모 데이터 세트를 분석하여 인간의 건강 문제에 적용할 수 있는 데이터 과학 프로젝트를 완료합니다.
  • Immersive projects:
    • In the latter portion of Phase 1, the MEDI sessions include group projects.
    • In the Phase 2 IDEA Projects course, students identify patient and health care system problems and propose technological solutions.
    • In Phase 3, one of the IDEA projects is selected as the student’s capstone project; this is pursued in an interdisciplinary team through the prototyping stage of development. The students also complete a data science project in Phase 3, analyzing large data sets for application to human health concerns.
  • 시뮬레이션 및 가상 현실:
    • 표준화된 환자, 작업 트레이너, 충실도가 높은 마네킹 및 가상/증강 현실 활동이 과정 작업에 엮여 있다. 초음파 훈련에는 공학적 원리에 대한 탐구뿐만 아니라 영상의 획득과 해석을 포함한다. 학생들은 초음파 및 기타 시술 기술에 대한 능력을 시험 받는다.
  • Simulation and virtual reality:
    • Standardized patients, task trainers, high-fidelity manikins, and virtual/augmented reality activities are woven into coursework. Ultrasound training includes exploration of the engineering principles as well as the acquisition and interpretation of images. Students are tested to competence in ultrasound and other procedural skills.

 

임상 경험
Clinical experiences

Carle Illinois 학생들은 대부분의 훈련을 지역사회 기반 돌봄 환경에서 한다. 학생들이 훈련하는 주요 병원은 433병상 1레벨 외상센터인 칼 파운데이션 병원이다. 칼병원과 연관된 22개의 외래 환자 시설 외에도 학생들은 210병상 규모의 개인 병원뿐만 아니라 지역 내과의사가 소유한 클리닉 시스템을 통해 돌아가며 진료한다.
Carle Illinois students do most of their training in community-based care settings. The primary hospital where students train is Carle Foundation Hospital, a 433-bed, Level I Trauma Center. In addition to the 22 outpatient facilities that are associated with Carle Hospital, students rotate through a local physician-owned clinic system, as well as a 210-bed private hospital.


첫 해에 학생들은 임상 통합에 초점을 맞춘 1년 과정의 혜택을 받는다. 강의와 시뮬레이션을 통해 학생들은 임상 환경에 참여하는 데 필요한 기술을 점진적으로 개발한다. 학생들은 지역사회의 전담 교사를 찾아가 학습자의 주간 스킬 개발 정도를 평가한다. Carle Illinois 학생들은 직접적인 관찰과 시기적절하고 집중적인 피드백으로부터 이익을 얻는다.
In the first year, students benefit from a yearlong course focused on clinical integration. Through didactics and simulation, students progressively develop the skills necessary to engage in the clinical environment. Students visit a dedicated preceptor in the community who assesses the learner’s development of their weekly skill. Carle Illinois students benefit from direct observation and timely, focused feedback.

필요한 종적 경험
Required longitudinal experiences

CIMED에서 종적 경험은 3개의 시기 중 2개에 짜여져 있다.

  • 1단계 중 1단계에서는 임상 실습 입문 과정에 등록하며, 임상 기술을 개발하는 데 초점을 맞춘 1년 과정이다.
  • 1단계 2학년부터 학생들은 6개월 간의 가정의학 임상실습을 시작한다. 이 사무직은 매주 학생 클리닉뿐만 아니라, 걸어다니는 가정의학과 로테이션를 포함한다.
  • 학생 클리닉은 2단계 3학년까지 계속됩니다.

Longitudinal experiences are woven into 2 of the 3 curricular phases at CIMED.

  • In year 1 of Phase 1, students are enrolled in the Introduction to Clinical Practice course, a yearlong course that focuses on the development of clinical skills; the course includes weekly sessions in a community physician’s practice.
  • Starting in year 2 of Phase 1, students begin a 6-month family medicine clerkship. This clerkship includes ambulatory family medicine rotations, as well as a weekly student clinic.
  • The student clinic continues through year 3 of Phase 2.

 

커뮤니티 기반 필수 및 선택 순환
Required and elective community-based rotations

1단계는 "디스커버리"라는 제목의 6주 선택 기간을 포함하고 있으며, 학생들은 다양한 선택권을 가지고 있으며, 많은 글로벌 경험을 선택한다. 칼리 일리노이주 학생들은 가정의학과, 내과, 외과, 정신과, 신경과, 산부인과, 소아과 등 7개의 필수 임상실습을 가지고 있다. 가정의학은 지역사회에 기반을 두고 있으며, 정신의학, 내과, 산부인과 사무직은 칼 재단 병원 밖의 지역사회에서 발생할 수 있는 부분을 가지고 있다. 졸업을 위해서는 총 28주간의 선택elective 경험이 필요하다; 대부분은 지역사회에 기반을 두거나 지역사회 현장에서 발생하는 부분을 가지고 있다.
Phase 1 includes a 6-week elective period titled “Discovery,” where students have multiple options, with many selecting global experiences. Carle Illinois students have 7 required clerkships: family medicine, internal medicine, surgery, psychiatry, neurology, obstetrics–gynecology, and pediatrics. Family medicine is community based, and the psychiatry, internal medicine, and obstetrics–gynecology clerkships have portions that may occur in community locations outside of Carle Foundation Hospital. A total of 28 weeks of elective experience is required for graduation; many are community based or have portions that occur at community sites.

의대생 임상 경험을 설계하고 구현하는 데 있어 어려움
Challenges in designing and implementing clinical experiences for medical students

다른 새로운 의과대학들과 마찬가지로 CIMED는 임상경험의 발전에 있어서 몇 가지 장애물에 직면했다. 1년차 임상몰입 프로그램이 탄탄한데다 연중 운영되는 종적 학생클리닉까지 있어 새로운 임상교수를 모집하고 승선시키는 것은 쉽지 않은 과제였다. 또한 Urbana-Champaign은 2022년까지 일리노이 대학교 의과대학의 지역 캠퍼스이며, 두 기관의 학습자들의 요구가 균형을 이루어야 한다.
Similar to other new medical schools, CIMED faced some hurdles in the development of its clinical experiences. With a robust clinical immersion program in the first year, as well as a longitudinal student clinic that runs year-round, recruiting and onboarding new clinical faculty was a challenge. Additionally, Urbana–Champaign is a regional campus for the University of Illinois College of Medicine through 2022 and the needs of learners from both institutions must be balanced.

커리큘럼 거버넌스
Curricular Governance

  • 커리큘럼 거버넌스 위원회: 교육과정 감독위원회는 CIMED 미션에 충실하며, 공학도 3분의 1과 기초과학도 3분의 1 그리고 임상 경력이 있는 3분의 1이 있다. 위원회는 3단계에 걸쳐 모든 과정의 검토와 승인을 보고 참여한다. 위원회는 효율적인 심사가 가능하도록 사전심사분과위원회, 사무분과위원회, 엔지니어링분과위원회, 프로그램평가분과위원회 등 4개 분과위원회로 나뉜다. 각 소위원회는 제안서를 상세히 검토한 후 더 큰 위원회의 승인을 위해 검토서를 제출한다. 또한 대학 내 직원, 교수, 학생, 교직원이라면 누구나 위원회 의견을 위한 자료를 제출하거나 공개 회의에 참석할 수 있습니다. 이 과정을 통해 교수진이 행정처의 영향력 없이 교육과정을 통제하고 모든 이해관계자가 위원회에 동등한 접근 권한을 부여해 제안서를 제출할 수 있다.
    Curriculum governance committees: The Curriculum Oversight Committee is true to the CIMED mission with one-third of members from engineering; one-third of members from basic science; and one-third of members with clinical backgrounds, none of which hold an administrative title in the college. The committee sees and participates in review and approval of all courses throughout the 3 phases. To facilitate efficient review, the committee is split into 4 subcommittees: the Preclerkship Subcommittee, Clerkship Subcommittee, Engineering Subcommittee, and Program Evaluation Subcommittee. Each subcommittee does detailed review of proposals and then presents its review for endorsement of the larger committee. In addition, any administrator, faculty, student, or staff member in the college is welcome to submit materials for committee input or attend any of the public meetings. This process ensures that faculty control the curriculum without influence from the administration and that all stakeholders have equal access to the committee to submit proposals.
  • 부서 주도 거버넌스: 공공-민간 파트너십으로서 CIMED는 독특한 교수 모델을 가지고 있다. 많은 학교와 마찬가지로, 임상 교수진들은 보건 시스템(칼 재단 또는 다른 지역사회 파트너)에 의해 고용되고 CIMED에 임명된다. 칼리 일리노이는 기초 이공계 교수들에게도 비슷한 제도를 따르고 있다. 이 대학은 일리노이 대학 캠퍼스의 풍부한 콘텐츠 전문 지식을 활용한다. CIMED에는 임상 과학, 생의학 및 중개과학 두 개의 학과가 있다. 각 학과는 임명, 승진 및 종신 재직권 위원회를 유지하며 대학 수준에서 공유 지원 서비스에 액세스합니다.

    Department-led governance: As a public–private partnership, CIMED has a unique faculty model. As in many schools, the clinical faculty are employed by the health system (Carle Foundation or other community partners) and have appointments at CIMED; key personnel such as clerkship directors and course directors have designated FTE contributions to the school. Carle Illinois follows a similar system for its foundational science and engineering faculty; the faculty retain appointments in their home college, and course directors have designated effort in CIMED. The college draws on the wealth of content expertise on the University of Illinois campus. There are two departments within CIMED: Clinical Sciences, and Biomedical and Translational Sciences; the department chairs oversee faculty efforts dedicated to CIMED and report to the dean. Each of the departments maintains an Appointment, Promotions, and Tenure Committee and accesses shared support services at the college level.




 
 

교육 담당자
Education Staff

  • 과정 설계: 모든 1단계 과정은 기초과학자, 임상의, 엔지니어 등 최소 3명의 교수진이 설계한다. 교육 담당 직원은 지원 소프트웨어 관리, 테스트 프로그램 및 과정 전달을 포함하여 커리큘럼 개발 및 전달의 모든 측면을 지원합니다. 각 과정 위원회에는 교수진 또는 직원이 임명됩니다.
    Course design: All Phase 1 courses are designed by a minimum of 3 faculty: a basic scientist, clinician, and engineer. Academic affairs staff support all facets of curriculum development and delivery, including management of the supporting software, testing programs, and course delivery. An academic affairs faculty or staff member is appointed to each course committee.
  • Academic staff의 역할: Carle Illinois는 교육과정을 완전히 지원하기 위한 다양한 역할을 합니다. 여기에는
    • 의료 교육 촉진자(PBL);
    • 교육과정, 교수진 개발 및 평가 및 품질 향상을 위한 디렉터;
    • 학무 조정자,
    • 의료 교육 조정자(임상, 기초 과학),
    • 의료 사서,
    • 시뮬레이션 센터 직원(관리자, 장비 기술자, 시뮬레이션 환자 조정자),
    • 엔지니어링/IDEA/데이터 과학/캡스톤 조정자
    • 임상실습 조정자
  • 이 직원들은 CIMED의 가치와 사명에 따라 커리큘럼이 생성, 개발, 전달될 수 있도록 교수진과 협력합니다.
  • Roles of academic staff: Carle Illinois has various roles to fully support the curriculum. These include:
    • medical education facilitators (PBL);
    • directors for curriculum, faculty development, and assessment and quality improvement;
    • academic affairs coordinator;
    • medical education coordinators (clinical, basic science);
    • medical librarians;
    • simulation center staff (manager, equipment technician, simulated patient coordinator);
    • engineering/IDEA/data science/capstone coordinator; and
    • clerkship coordinators.
  • These staff work with the faculty to ensure the curriculum is created, developed, and delivered according to the values and mission of CIMED.

교육분야 교수진 육성 및 지원
Faculty Development and Support in Education

  • 교육자로서 교수진을 위한 전문성 개발: CIMED에는 교수진의 전문성 개발을 위한 다양한 옵션이 있습니다. 진행자, 임상 강사, 엔지니어 및 관리 직원과 같은 모든 역할에 대한 특정 교육이 제공됩니다. "칼 일리노이 소개 - 무엇이 CIMED를 독특하게 만드는가.""라는 제목의 소개 프레젠테이션이 있습니다. 매년 열리는 교육과정 리트리트는 교육과정 업데이트, 새로운 기술 학습, 네트워크 구축에 초점을 맞춘다. 프레젠테이션, 활발한 학습 세션 및 워크샵이 혼합된 것이 특징이다. 또 다른 연례 행사인 PBL 워크숍에서는 모든 교직원이 학생이자 촉진자로서 PBL을 경험할 수 있습니다. 교수진은 학습목표 작성, 마이크로 강의 녹음, 활발한 학습활동 등과 같은 작업에 대한 도움을 받기 위해 일대일 세션을 요청할 수 있습니다. 또한 일리노이 대학교 어바나 샴페인에는 광범위한 교수개발 서비스가 있다.
    Professional development for faculty as educators: There are a variety of options at CIMED for faculty professional development. Specific training is available for all roles: facilitators, clinical instructors, engineers, and administrative staff. There is an introductory presentation titled “Introduction to Carle Illinois—What Makes CIMED Unique.” An annual curriculum retreat focuses on curricular updates, learning new skills, and network building. It features a mix of presentations, active learning sessions, and workshops. Another annual event, the Problem-Based Learning Workshop, allows all faculty and staff to experience PBL as both a student and facilitator. Faculty may request one-on-one sessions for assistance with tasks such as creating learning objectives, micro-lecture recordings, active learning activities, and so forth. Additionally, the University of Illinois at Urbana–Champaign has extensive faculty development offerings.
  • 승진 및 테뉴어: 임상의와 캠퍼스 교직원 모두를 지원하기 위해, FTE 역할이 정의된 교수진 외에도 임명, 승진, 종신 재직에 대한 다양한 트랙이 있습니다. 여기에는 교육, 임상 및 재직권 기록이 포함됩니다. 이들 각 트랙에는 승진을 고려한 학생 평가와 장학금이 포함돼 있다.
    Promotion and tenure: To support both the clinicians and campus faculty, in addition to the faculty with defined FTE roles, there are various tracks for appointment, promotion, and tenure. These include teaching, clinical, and tenure tracks. In each of these tracks, student evaluation and scholarship are included in consideration for promotion.

 

 


Acad Med. 2020 Sep;95(9S A Snapshot of Medical Student Education in the United States and Canada: Reports From 145 Schools):S142-S145.
 doi: 10.1097/ACM.0000000000003295.

Carle Illinois College of Medicine

PMID: 33626667

DOI: 10.1097/ACM.0000000000003295

WBA 시스템을 위한 타당도 지도 만들기: Messick과 Kane의 상호교차 (Acad Med, 2021)
Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane
Benjamin Kinnear, MD, MEd, Matthew Kelleher, MD, MEd, Brian May, MD, MEd, Dana Sall, MD, MEd, Daniel P. Schauer, MD, MSc, Daniel J. Schumacher, MD, PhD, MEd, and Eric J. Warm, MD 

 

 

보건 직업 교육은 [의료 제공자를 훈련시키는 데 사용되는 프로세스]가 [복무할 인구의 요구]에 따라 추진되는 접근 방식인 [역량 기반 패러다임]으로 전환되었다. 역량 측정의 필요성으로 인해 평가는 역량 기반 의료 교육(CBME) 구현에서 특히 중요하지만 어려운 측면이 되었다. 직장 기반 평가(WBA)는 실제 임상 과제를 수행하는 학습자 평가의 이점을 제공하는 평가 프로그램에 필수 요소가 되었다. 그러나 WBA는 상대적으로 낮은 심리측정적 성능으로 인해 총괄적 목적을 위한 타당성 증거가 부족하다는 비판을 종종 받는다. 우리는 타당성이 심리측정학 그 이상을 포함해야 한다고 믿는다.

Health professions education has shifted to a competency-based paradigm, 1–4 an approach in which the processes used to train health care providers are driven by the needs of the populations they serve. 5–7 The need for competency measurement has made assessment a particularly crucial, yet challenging, aspect of competency-based medical education (CBME) implementation. 8–11 Workplace-based assessment (WBA) has become integral to programs of assessment, 8 carrying the advantage of assessing learners performing real-world clinical tasks. However, WBAs are often criticized for lacking validity evidence for summative purposes due to relatively poor psychometric performance. 12 We believe validity should include more than psychometrics alone.

타당도는 good assessment의 필수불가결한 요소이므로 CBME 프로그램의 핵심입니다. 타당도에 대한 여러 가지 설명이 존재하지만, 현대의 프레임워크는 타당도를 [데이터를 미리 정의된 해석이나 사용에 대해 지지하는 해석적 주장interpretive argument]으로 개념화한다. 두 개의 현대적 프레임워크는 비록 강조점이 다르지만 타당성 증거를 구성하기 위해 일반적으로 사용된다(표 1). 메식(Messick)의 프레임워크는 타당성 [증거의 출처]를 강조하고, 케인의 프레임워크는 [증거 사슬의 추론]에 초점을 맞춘다. 이러한 프레임워크가 상호 배타적이지는 않지만, 종종 증거를 구성하기 위해 둘 중 하나가 사용된다. 그러나 우리는 그것들이 상호 보완적이라고 믿는다. 
Validity is the sine qua non of good assessment, 13 and therefore is central to CBME programs. While multiple descriptions of validity exist, 14 modern frameworks conceptualize it as an interpretive argument that supports a predefined interpretation or use of data. 15 Two contemporary frameworks are commonly used to organize validity evidence, though they differ in emphasis (Table 1). Messick’s framework stresses sources of validity evidence, 16 and Kane’s focuses on inferences in an evidentiary chain. 17 While these frameworks are not mutually exclusive, often one or the other is used to organize evidence. However, we believe they are complementary. 

 

 

접근
Approach

신시내티 대학(UC) 내과 레지던트 프로그램은 UC 메디컬 센터, 보훈 의료 센터 및 여러 외래 클리닉에서 돌아가며 약 89명의 레지던트들로 구성되어 있다. 2012년에는 대학원 의학교육 하위역량 인증협의회를 통합한 위탁기반 WBA 제도를 시행하였으며, 이후 이 데이터를 레지던트 역량 판단에 활용하기 위한 타당성 근거를 수집하고 있습니다. 

The University of Cincinnati (UC) Internal Medicine (IM) residency program, based in an urban, tertiary referral medical center, consists of approximately 89 categorical residents who rotate at UC Medical Center, Veterans Affairs Medical Center, and multiple ambulatory clinics. In 2012, we implemented an entrustment-based WBA system that integrated the Accreditation Council for Graduate Medical Education subcompetencies, and we have been collecting validity evidence for using these data for determination of resident competence since that time. 18,19

우리는 다음 4단계를 포함한 수사적 주장을 반영하는 다단계 프로세스를 사용하여 타당도 맵을 구성했다. 

  • (1) 명시된 해석과 사용에 대한 비판적인 질문을 할 때, 
  • (2) 그에 대한 대응으로 타당성 증거를 찾고, 
  • (3) 증거 분류, 그리고 
  • (4) 증거를 시각화

We constructed our validity map using a multistep process that mirrored a rhetorical argument including the following 4 steps:

  • (1) Asking critical questions about the stated interpretation and use,
  • (2) Seeking validity evidence as a response,
  • (3) Categorizing evidence, and
  • (4) Visualizing evidence.

 

1. 서술된 해석과 사용에 대한 중요한 질문
1. Asking critical questions about the stated interpretation and use

우리 팀은 먼저 우리만의 WBA 시스템에 [비판적인 대화자 역할]을 하는 방식을 택했습니다. 우리는 개별적으로 WBA 데이터를 사용하여 내린 결정이 역량 평가에 타당한지 여부에 이의를 제기할 수 있는 질문을 작성했다. 예제는 다음과 같습니다. 

  • "위임entrustment은 왜 일선 평가를 위한 구성물로 사용되는가?" 
  • "위임 평정entrustment rating의 신뢰도는 어느 정도인가?" 및 
  • "위임entrustment 점수는 임상 치료 품질 척도와 관련이 있는가?" 

이 질문들은 우리가 찾는 타당성 증거에 대한 가이드 역할을 했습니다.

Our team first took the approach of acting as an interlocutor who is critical of our own WBA system. We individually wrote questions that might challenge whether decisions made using the WBA data were valid for assessment of competence. Example questions included,

  • “Why is entrustment used as a construct for frontline assessment?”,
  • “What is the reliability of entrustment ratings?”, and
  • “Do entrustment scores correlate with measures of clinical care quality?”.

These questions then served as a guide for the validity evidence we sought.

 

2. 대응책으로서 타당성 입증 모색
2. Seeking validity evidence as a response

우리는 각각의 질문에 답변하고 뒷받침되는 증거를 제공하려고 시도했습니다. 우리는 먼저 우리의 대응을 지지하거나 반박할 수 있는 증거를 위해 기존 문헌을 검토했다. 증거가 없다면, 이전 작업을 통해 생성한 증거를 사용했습니다. 
We attempted to respond to each question and provide supportive evidence. We first reviewed existing literature for evidence that would support or refute our response. Other times we used evidence that we had generated through previous work. 

이 작업은 마이크로소프트 엑셀(마이크로소프트, 워싱턴 레드몬드) 스프레드시트를 사용하여 구성되었으며 열 제목은 다음과 같습니다. 질문, 응답, 근거, 인용문, 격차.
This work was organized using a Microsoft Excel (Microsoft Corporation, Redmond, Washington) spreadsheet with the following column headings: Question, Response, Supporting Evidence, Citations, Gaps.

 

3. 증거 분류
3. Categorizing evidence

우리는 우리의 주장에서 추론(Kane)을 뒷받침하는 증거 출처(메식)를 기준으로 증거를 구성했다(그림 1). 이 프로세스는 토론을 통해 범주 분류에 대한 그룹 합의를 형성했습니다. 예를 들어,

  • 일선 WBA 기기에 대한 위탁 프레임워크의 사용은 점수 추론(Kane)을 뒷받침하기 위한 응답 프로세스 증거(Messick)로 고려되었다.
  • 일반화 가능성 연구는 일반화 추론(Kane)을 뒷받침하는 내부 구조 증거(Messick)로 간주되었다. 

We organized our evidence by the source of evidence (Messick) supporting an inference (Kane) in our argument (Figure 1). This process was done using discussion to form group consensus around categorizations. For example,

  • the use of an entrustment framework for frontline WBA instruments was considered response process evidence (Messick) to support the scoring inference (Kane).
  • The generalizability study was deemed internal structure evidence (Messick) to support the generalization inference (Kane).

 

 

4. 증거 시각화: 지도 작성
4. Visualizing evidence: Map building

엑셀은 증거를 분류하는 기능적인 수단이었지만, 우리는 두 가지 이유로 좀 더 시각적인 형식을 원했습니다.

  • 첫째, 우리는 우리의 논쟁에 남아 있는 차이를 식별하기 위해 수집된 증거에 대해 이해할 수 있는 높은 수준의 검토를 추구했다. 이 시각 자료는 증거에 대한 심층 분석에 사용되는 Excel 문서와 함께 빠른 참조를 위한 타당도의 "맵" 역할을 할 수 있다.
  • 둘째, 지도는 우리가 이미 수집한 증거, 진행 중인 검증 작업, 향후 연구로 정리할 수 있게 해주었습니다. 

Excel was a functional means of cataloguing evidence, but we wanted a more visual format for 2 reasons.

  • First, we sought an understandable, high-level review of collected evidence to identify remaining gaps in our argument. This visual could serve as a validity “map” for quick reference, with the Excel document used for deeper dives into the evidence.
  • Second, the map allowed us to organize evidence into that which was already collected, ongoing validation work, and future studies.

We used Microsoft Visio (Microsoft Corporation, Redmond, Washington) to create the map and organize the information using spatial orientation and color/shading (Figure 2). Inferences from Kane’s framework were placed in 4 rows that crossed 3 columns labeled “Evidence obtained,” “Work in progress,” and “Gaps/future studies.” Each critical question from the Excel sheet was placed in a box that represented the corresponding response/evidence. Boxes were color coded based on which source of evidence they represented from Messick’s framework and placed in the appropriate row and column on the map.

 

 

성과
Outcomes

우리의 타당도 맵의 첫 번째 초안은 메식(Messick)이 상세히 설명한 5가지 근거 출처를 모두 포함하고 케인이 설명한 4가지 추론 모두에 걸쳐 확산된 25개의 증거 상자를 생성했다(그림 2a). 우리 팀은 지도 제작 과정과 지도 자체에서 가치를 발견했어요. 수사적 질문-응답 과정을 통해 WBA 시스템을 신중하게 비판적으로 평가할 수 있었다.

The first draft of our validity map produced 25 boxes of evidence that included all 5 sources of evidence detailed by Messick and spread across all 4 inferences described by Kane (Figure 2a). Our team found value in both the process of map construction and in the map itself. The rhetorical question–response process allowed us to critically appraise our WBA system in a deliberate fashion. 

우리는 메식 프레임워크와 케인의 프레임워크를 모두 지도에 통합하는 것이 유익하다는 것을 알았다. 케인의 틀은 증거 사슬에서 "가장 약한 고리"를 식별할 수 있다는 장점을 가지고 있어, 우리의 작업의 우선순위를 정하는 데 도움을 준다. 15 앞서 언급했듯이, 지도에는 외삽 추론을 뒷받침할 증거가 부족함을 보여주었다. 따라서, 우리는 우리의 WBA 데이터가 성과에 대한 다른 측정 또는 임상 치료 결과와 관련이 있는지를 연구하여 증거를 구축하는 데 최근의 노력을 집중해 왔다. 메식(Messick)의 프레임워크는 주어진 추론을 뒷받침할 수 있는 증거의 출처를 통해 우리가 체계적으로 생각하도록 도왔다.

We found it beneficial to integrate both Messick’s and Kane’s frameworks into our map. Kane’s framework carries the advantage of allowing for the identification of the “weakest link” in the evidentiary chain, helping us to prioritize our work. 15 As previously mentioned, the map showed our argument was lacking in evidence to support the extrapolation inference. Thus, we have focused our recent efforts on building evidence by researching if our WBA data are associated with other measures of performance or with clinical care outcomes. Messick’s framework has helped us think systematically through sources of evidence that might be sought to support a given inference.

우리의 타당도 맵은 역동적이며, 새로운 질문이 발생하고 새로운 증거가 수집됨에 따라 변화한다. 전자 형식을 사용하면 시간이 지남에 따라 지도를 쉽게 편집, 업데이트 및 공유할 수 있습니다. 그림 2b는 타당성 연구가 완료되거나 증거가 발견됨에 따라 박스가 오른쪽(미래 작업)에서 왼쪽(증거 누적)으로 이동하는 방법을 보여주는 업데이트된 지도이다. 

Our validity map is dynamic, and changes as new questions arise and new evidence is collected. Using an electronic format allows us to easily edit, update, and share the map over time. Figure 2b is an updated map, showing how boxes move from right (future work) to left (accrued evidence) as validity studies are completed or evidence is discovered. 

다음 단계
Next Steps

현재 타당도 맵의 한계는 각 상자의 질문을 뒷받침하는 증거를 쉽게 심층 분석할 수 없다는 것이다. 위에서 언급한 바와 같이 증거의 초기 분류에 Excel을 사용했으며, 이 스프레드시트에는 관련 증거에 대한 보다 심층적인 설명과 인용이 포함되어 있습니다. 향후 반복 작업에는 대화형 플랫폼과 심층 다이빙을 허용하는 플랫폼을 기반으로 타당도 맵을 구축하는 것이 포함될 것이다. 
A limitation of our current validity map is that it does not allow for an easy deep dive into the evidence undergirding each box’s question. As noted above, we used Excel for the initial categorization of evidence, and these spreadsheets contain more in-depth explanations and citations for relevant evidence. Future iterations will involve building our validity map on a platform that is interactive and allows for deep dives. 

우리는 WBA 시스템에 대한 타당성 증거를 수집, 분류 및 구성하는 데 가치를 발견했지만, 가장 높은 가치는 평가 시스템의 이해관계자와 이 작업을 공유하는 데 있다. 우리는 우리의 과정과 제공된 증거의 수용 가능성에 대한 피드백을 얻기 위해 의학 교육계의 다른 사람들과 우리의 타당성 맵을 예비적으로 공유했습니다. 26 다음 단계에는 타당성 맵이 프로그램의 타당성 주장을 평가하는 데 가치를 추가하는지 이해하기 위해 이해관계자(예: 인가자, 기관 지도자, 학습자, 환자)의 의견을 수집하는 것이 포함된다. 이해관계자들은 증거의 우선순위를 다르게 정하거나 우리에게 처음에 분명하지 않은 새로운 gap을 강조할 수 있다. 
We found value in collating, categorizing, and organizing validity evidence for our WBA system, but the highest value lies in sharing this work with the stakeholders of our assessment system. We have preliminarily shared our validity map with others in the medical education community to obtain feedback on our process and the acceptability of the evidence provided. 26 Next steps include collecting stakeholders’ (e.g., accreditors, institutional leaders, learners, patients) input to understand if our validity map adds value for evaluating our program’s validity argument. Stakeholders may prioritize evidence differently or highlight new gaps not initially evident to us. 

결론
Conclusion

WBA 시스템에 대한 타당도 맵을 구축하는 것이 증거 격차를 식별하고 향후 연구 및 프로그램 개선 노력을 계획하는 데 도움이 된다는 것을 발견했습니다. 다른 프로그램도 WBA 시스템의 의도된 사용을 정의하고, 중요한 질문을 생성하고 관련 증거를 수집하기 위한 수사적 질의응답 접근법을 사용하며, 증거를 구성하고 중요한 차이를 식별하기 위해 Messick과 Kane의 프레임워크를 사용하여 유사한 접근방식을 취할 수 있다. 

We found that constructing a validity map for our WBA system helped identify evidentiary gaps and plan future research and program improvement efforts. Other programs could take a similar approach by defining the intended use of their WBA system, using a rhetorical question–answer approach to generate critical questions and collect relevant evidence, and using the frameworks from Messick and Kane to organize evidence and identify critical gaps.

 


Acad Med. 2021 Jul 1;96(7S):S64-S69.

 doi: 10.1097/ACM.0000000000004112.

Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane

Affiliations collapse

Affiliations

1B. Kinnear is associate professor of internal medicine and pediatrics, Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0003-0052-4130.

2M. Kelleher is assistant professor of internal medicine and pediatrics, Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, Ohio.

3B. May is assistant professor of internal medicine and pediatrics, Department of Internal Medicine, University of Alabama Birmingham School of Medicine, Birmingham, Alabama.

4D. Sall is program director, HonorHealth Internal Medicine Residency Program, Scottsdale, Arizona, and assistant professor of internal medicine, University of Arizona College of Medicine, Phoenix, Arizona.

5D.P. Schauer is associate professor of internal medicine and associate program director, Department of Internal Medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0003-3264-8154.

6D.J. Schumacher is associate professor of pediatrics at Cincinnati Children's Hospital Medical Center/University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0001-5507-8452.

7E.J. Warm is professor of internal medicine and program director, Department of Internal Medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0002-6088-2434.

PMID: 34183604

DOI: 10.1097/ACM.0000000000004112

자기주도적 의과대학생 교육과정(JAMA, 2021)
The Self-directed Medical Student Curriculum

Joseph H.Wu, PhD, PhilipA. Gruppuso, MD, Eli Y.Adashi,MD,MS

 

최근 몇 년 동안 의대생들은 전임상실습preclerkship 교육에 대한 통제control를 강화해오고 있다.

  • 미국 의대생 13명이 참여한 설문조사에 따르면 2018~2020년 의대 2학년생 중 '거의 강의에 참석하지 않는다'고 답한 비율이 26.3%에서 37.0%로 지속적으로 증가했다.
  • 라이브 강의가 아닌 녹음된 강의에 대한 의존도 증가와는 별개로, 자율학습independent learning에 할당된 커리큘럼 이벤트는 2013년과 2020년 사이에 약 3.35%에서 6.38%로 두 배 가까이 증가했다.
  • 현재 의대생들은 대부분의 학습을 교실 밖에서 수행하는데, 이는 COVID-19 대유행의 적응으로 굳어진 관행이다.

In recent years, medical students have been assuming increasing control over their preclerkship education.

  • According to a survey involving 13 099 US medical students, the percentage of second-year medical students who reported “almost never” attending lectures in person continued to increase, from 26.3% to 37.0% between 2018 and 2020.1 Concurrently, medical school curricula evolved to promote learner autonomy.
  • Apart and distinct from increased reliance on recorded rather than live lectures, the curricular events allocated to independent learning nearly doubled between 2013 and 2020, from an estimated 3.35% to 6.38%.2 
  • These trends are unlikely to abate anytime soon. Current medical students accomplish the bulk of their learning outside the classroom, a practice likely solidified by adaptations to the COVID-19 pandemic.

이미 지적된 바와 같이, 의학 교육의 전임상 구성요소preclerkship component의 재구성은 거의 불가피하다. 이 관점에서, 우리는 자신의 교육을 형성하는 데 있어 의대생의 증가하는 역할을 강조하고 의대생 직접 학습의 증가가 의료 분야의 교육 목표와 일치하도록 보장하는 데 필요한 조치를 개략적으로 설명한다.

As others have noted, the reconfiguration of the preclerkship component of medical education is all but inevitable.3 In this Viewpoint, we highlight the growing role of medical students in shaping their own education and outline the measures required to ensure that the increase of medical student–directed learning remains aligned with the educational aims of the medical discipline.

의과대학은 의대연락위원회(LCME) 인증기준 6.3이 나온 이후 강의와 사례중심 교육을 보완하는 [자기주도학습]이 강조되고 있다. 해당 LCME 표준은 "의대생들이 평생학습의 기술을 개발할 수 있도록" 수업이 배정되지 않은unscheduled 시간과 자율 학습independent learning 구성요소를 포함하도록 요구한다. 4 자기주도학습에 대한 강조는 교육 경험에서 의대생들의 보다 적극적인 역할을 적절히 장려한다. 이러한 변화에다가, USMLE Step 1에서 높은 점수를 받아야 한다는 압박이 더해져서, [USMLE를 위한 학습에 맞춰진 (학습) 자원]이 대부분을 구성하는 [병행적이고 의대생-주도적 커리큘럼의 출현]으로 이어졌다.5 현대 의대생들은 이제 [각 의과대학-특이적 자료는 그저 여러 학습자료 중 하나에 불과한] didactic resource의 방대한 바다를 항해한다. USMLE 1단계가 합격/불합격으로 전환된 것은 이 시험을 잘 봐야한다는 압박을 완화시키는 데 기여했을지 몰라도, 여전히 병렬 커리큘럼을 구성하는 수많은 리소스는 사라지지 않을 것으로 보인다.
Since the advent of Accreditation Standard 6.3 of the Liaison Committee on Medical Education (LCME), medical schools have taken to emphasizing self-directed learning to complement lecture and case-based instruction. The LCME standard in question requires the inclusion of unscheduled time and independent learning components “to allow medical students to develop the skills of lifelong learning.”4 The emphasis on self-directed learning aptly encourages a more active role for medical students in the educational experience. These changes, along with the pressures imposed by the numeric score reporting of the United States Medical Licensing Examination (USMLE) Step 1, led to the emergence of a parallel, medical student–directed curriculum that is dominated by resources geared toward studying for the USMLE.5 Contemporary medical students now navigate a vast sea of didactic resources wherein institution-specific materials constitute but one of many sources. While the transition to pass/fail for USMLE Step 1 may have contributed to the alleviation of the examination performance pressure, the numerous resources that comprise the parallel curriculum are unlikely to fade away.

[평행적, 의대생 주도 교육과정]이 전임상실습 학습 환경에 미치는 영향은 처음에 생각했던 것보다 훨씬 클 수 있다. 2023년 브라운 대학교 워렌 앨퍼트 의대 졸업 예정인 학생 147명의 온라인 과정 평가 플랫폼으로부터 얻은 정보는 장기 시스템 기반 교육 과정에서 다양한 학습 자원을 사용하는 것을 보여주었다. 여기서 보고된 교육 자원과 비율은 다음과 같다.

  • 제도권 의대 강의(84%),
  • 보드 및 비욘드 강의(84%),
  • 안키 플래시카드(65%),
  • 스케치 영상(55%),
  • 패토마 강의(36%),
  • 응급처치(74%),
  • USML Rx 물음은행(72%)  

The influence of the parallel, medical student–driven curriculum on the preclerkship learning environment may be far greater than initially suspected. Information from an online course evaluation platform from 147 medical students in the Warren Alpert Medical School of Brown University class of 2023 revealed the use of a variety of learning resources during the organ system–based portion of the preclerkship curriculum. The didactic resources and percentages of students who reported usage included

  • institutional medical school lectures (84%),
  • Boards and Beyond lectures (84%),
  • Anki flashcards (65%),
  • Sketchy videos (55%),
  • Pathoma lectures (36%),
  • First Aid (74%), and
  • the USMLE Rx Question Bank (72%).

이러한 관측은 [의과대학-특이적 강의를 보충하거나 대체하기 위해 의대생들이 외부 학습 자원에 의존하는 정도가 상당하다는 것]을 보여준다.

  • 2학년 초부터는 교수진이 진행하는 강의보다 Boards & Beyond 또는 Pathoma와 같은 상업적인 비디오 강의에 의존하는 의대생이 더 많았다. 교수가 진행한 수업을 사용하는 비율은 2학년 과정 종료 시점에서 62%로 감소했다.
  • 미생물학 및 약학과 같은 주제를 위한 시공간 학습 플랫폼인 Sketchy도 마찬가지로 장기 시스템 기반 커리큘럼에서 많이 사용되어 1학년 미생물 블록 동안 86%로 정점을 찍었다.
  • 말해둘 것은, 의과대학은 모든 전임상과정 학생들에게 Boards & Beyond와 USMLE Rx 문제은행에 대한 구독을 제공한다는 점이다.

These observations indicate that the reliance of medical students on external study resources to supplement or replace institution-specific lectures is substantial.

  • From the beginning of the second year, more medical students reported relying on commercial video lectures, such as Boards & Beyond or Pathoma, than on faculty-delivered lectures. Usage of the latter declined to 62% of the class by the conclusion of the second-year curriculum.
  • Sketchy, a visual-spatial learning platform for topics such as microbiology and pharmacology, was likewise heavily used throughout the organ system–based curriculum, peaking at 86% during the first-year microbiology blocks.
  • Of note, the medical school provides all preclerkship students with a subscription to Boards & Beyond and to the USMLE Rx Question Bank.

지난 몇 년간 의대생이 만든 학습 자료의 크라우드소싱이 눈에 띄게 증가했고, 특히 눈에 띄는 것은 [안키 플래시카드 데크]이다. 147명의 의대생 중 약 65%가 장기기반의 블록에서 Anki를 꾸준히 사용했다고 보고했다. [크라우드소싱 플래시카드]가 의대생들의 전임상실습 교육을 형성하고 있다는 것은 쉽게 드러난다. 그러나 특히, 이러한 널리 사용되는 자원은 의과대학 시설에서 품질이나 양에 대한 평가를 받지 않는다. 오히려 의대생들이 이러한 학습 도구의 개발과 유지관리를 주도하고 있다. 따라서 [플래시카드 덱의 품질 보장]은 온라인으로 협력하여 오류를 식별하고 관련 내용을 지속적으로 업데이트하는 [의대생 커뮤니티가 담당]하고 있다.
The last several years have also seen a remarkable increase in crowdsourcing of study materials by medical students, most notably, Anki flashcard decks. Approximately 65% of 147 preclerkship medical students reported that they consistently used Anki throughout the organ system–based blocks. It is readily apparent that crowdsourced flashcards are shaping the preclerkship education of medical students. Notably, however, these widely used resources are not vetted for either quality or content by the medical school establishment. Rather, medical students are driving the development and maintenance of these learning tools. Accordingly, the assurance of the quality of the flashcard decks is assumed by a community of medical students who collaborate online to identify errors and update the relevant content on an ongoing basis.

따라서 의대생들은 [강의 기반 학습]을 실질적으로 아웃소싱하고 있을 뿐만 아니라, 온라인에서 교육자료을 개발하고 [크라우드 소싱]함으로써 그들 자신의 교육을 주도directing하고 있는 듯 보인다. 이건 문제일까? 한 가지 관점은 의대생들이 필요한 이해와 관련 역량을 성취하는 한 모든 것이 좋다는 것일 수 있다. 의대생들은 (교과서에서 논문에 이르기까지) 자신의 학습을 위해 이미 오랜 시간 동안 정규 커리큘럼 이상의 학습자원을 탐색해왔다. 현재의 상황은 '자율 학습의 정점'이라고 합리화될 수 있다. 즉 의과대학생들은 기관 특이적 승인과 무관하게 교육 자원을 사용할 수 있는 특권을 가정하고 있는 것이다. LCME는 "의과대학 외부의 상업적 기관"에서 파생된 교육 자료의 사용을 허용한다.6 그러나 LCME는 또한 기관이 "사용되는 교육 자료의 출처가 무엇이든, 전체 의료 교육 프로그램의 수행과 [품질에 대한 책임]이 있다."고 명시한다. LCME 인증 표준을 유의미하게 적용하기 위해서는, 의과대학은 [학생 중심 병행 커리큘럼]을 구성하는 학습자원에 대한 철저한 평가를 수행해야 한다.

It would thus appear that medical students are not only substantially outsourcing their lecture-based learning, but they are also directing their own education by developing and crowdsourcing didactic resources online. Is this a problem? One viewpoint might be that so long as medical students are achieving the requisite understanding and relevant competencies, then all is well. Medical students have long sought out resources beyond the formal curriculum to advance their own learning, from textbooks to peer-reviewed articles. The current situation could be rationalized as the pinnacle of independent learning, that is, medical students assuming the prerogative of using educational resources irrespective of institution-specific endorsement. The LCME, for its part, permits the use of instructional materials that derive from “commercial entities outside of the medical school.”6 However, the LCME also states that institutions are “responsible for the conduct and quality of the entire medical education program, regardless of…the sources of instructional materials that are used.”6 It follows that a meaningful application of the LCME accreditation standards will require medical schools to undertake a thorough evaluation of the resources comprising the parallel, student-driven curriculum.

현상태가 바뀌고 있음을 직면했다면, 의과대학은 학생이 주도하고 있는 의학교육 진화를 따라잡아야만 한다. 의대 교육자들은 의대생들이 [추가적 학습 자료]로 학업을 보완한다는 것을 오랫동안 알고 있었지만, 현재 수준으로 [전임상실습 과정의 학습이 공식적인 의대 커리큘럼과 무관한 방식으로 운영되고 있는 것]은 지탱할 수 없고, 지속 불가능한 평형상태이다.

  • 충분한 품질을 갖춘 학습 자원에 대해서 나아가야 할 최적의 경로는, 이것을 [공식 커리큘럼과 통합]하는 것이다. 즉, [학생들이 주도하는 병행 커리큘럼]을 [공식 커리큘럼]과 정렬aligning하는 것이 필요하다. 이렇게 하지 않는다면, 의대생들은 이중 커리큘럼을 계속 탐색할 것이며, 이는 [기관-특이적 수업을 불필요한 것으로 만드는 행위]가 될 것이다.
  • 접근의 형평성을 보장하기 위해 의과대학은 또한 [의대생들이 일반적으로 사용하는 교육자원에 대한 구독을 제공]하도록 해야 한다.
  • 의대생들이 최대한 효율적으로 학습할 수 있도록 커리큘럼을 구성하려면, [의대생들이 학습시간을 어떻게 배분하는가]를 이해해서 그 정보를 커리큘럼 결정에 사용해야 한다.
    • 예를 들어 강의에 해당하는 플래시카드를 추천하거나,
    • 슬라이드나 유인물이 아닌 플래시카드 형태의 커리큘럼 콘텐츠를 더 많이 설계하거나,
    • 심지어는 교수진이 제공하는 강의 수를 줄이겠다는 의미가 될 수도 있다.

Faced with a changing status quo, medical schools must catch up with the student-driven evolution of medical education. Although medical educators have long known that medical students complement their studies with additional resources, the extent to which preclerkship learning is presently operating in a manner that is independent of formal medical school curricula constitutes an untenable and unsustainable equilibrium.

  • For those learning resources that are of sufficient quality, the optimal path forward should involve their incorporation into the official curriculum—in essence, aligning the parallel student-driven curriculum with the formal curriculum. Absent such, medical students will continue to navigate dual curricula, a practice that threatens to render institution-specific pedagogy redundant.
  • To ensure equity of access, medical schools should also ensure that medical students are provided with subscriptions to commonly used educational resources.
  • Insofar as curricula are to be structured so that medical students can learn as efficiently as possible, insights as to how medical students apportion their study time should inform curricular decisions. This might mean, for example,
    • recommending flashcards that correspond to lectures,
    • designing more curricular content in the form of flashcards as opposed to slides and handouts, or
    • even decreasing the number of faculty-delivered lectures.

현대 의학 교육이 직면하고 있는 주요 질문은 다음과 같습니다: 누가 의학교육을 통제하고 있는가? 이에 대한 정답은 점점 더 '의대생'이 되고 있다. 의과대학 커리큘럼이 자기주도학습을 촉진하는 방향으로 진화하면서 외부 교육자원의 자유시장도 발전했다. 의대생들은 그들의 입장에서 학습을 최적화하는 새로운 방법을 개발했는데, 크라우드소싱 플래시카드 덱의 보급이 대표적인 예이다. LCME와 의과대학은 [많은 면에서, 학생들이 주도하는 병행 커리큘럼]이 의대생들을 설득시켜버린 현실을 더 이상 무시해서는 안 된다. 이제 의대생이 일반적으로 사용하는 학습자원을 검토하고, 커리큘럼 중복을 제거하고, 검토된 새로운 학습자원을 교실 학습의 진화하는 구조에 통합하는 방법을 고려하는 여러 단계를 수행해야 한다. 

A key question facing contemporary medical education is this: who controls medical education?5 Increasingly, the answer is medical students. As medical school curricula evolved to promote self-directed learning, so did the free market of external educational resources. Medical students, for their part, developed novel ways to optimize their learning, the dissemination of crowdsourced flashcard decks being a prime example. It is time for the LCME and the medical education establishment to reckon with the reality that, in many respects, the parallel, student-driven curriculum has won medical students over. Several steps must now be taken to vet the resources commonly used by medical students, eliminate curricular redundancies, and consider how to incorporate vetted novel resources into the evolving construct of classroom learning.

일단 의대생들이 임상 로테이션을 시작하면, 소위 쉘프 검사와 USMLE 2단계를 준비하기 위하여, [임상 환경 밖에서 진행 중인 교육은 거의 전적으로 자기 주도적이라는 점]이다. 의학 교육이 발전함에 따라, 의사이자 평생 학습자로의 전환 과정에서, 교육자들은 언제 학생 주도 학습이 지배적인 교육 방법이 되어야 하는지에 대해 상당한 생각을 해왔다. 많은 학생들에게는 이 전환점이 예상보다 훨씬 일찍 도래한 것으로 보일 것이다.

It is noteworthy that once medical students embark on their clinical rotations, their ongoing education outside the clinical setting is almost entirely self-directed as they prepare for the so-called shelf examinations and for USMLE Step 2. As medical education evolved, educators have given considerable thought to when, in the transition to becoming a physician and a lifelong learner, student-directed learning should become the predominant instructional method. For many students, it would appear that this transition point may have arrived far earlier than anticipated.

 

 

Hafferty  FW, O’Brien  BC, Tilburt  JC.  Beyond high-stakes testing: learner trust, educational commodification, and the loss of medical school professionalism.   Acad Med. 2020;95(6):833-837 XXX


JAMA. 2021 Nov 1.

doi: 10.1001/jama.2021.16312. Online ahead of print.

The Self-directed Medical Student Curriculum

No abstract available

 

역량바탕평가가 지속적인 개혁이 되기 위해 고려할 점(Adv in Health Sci Educ, 2019)
Considerations that will determine if competency‑based assessment is a sustainable innovation
W. Dale Dauphinee1,2,3 · John R. Boulet1 · John J. Norcini1

 

 

거의 20년 동안 보건 분야의 교육 평가는 역량 기반 프레임워크를 도입하기 위한 주요 노력을 보아왔다. 역량 기반 교육(CBE)과 평가(CBA)로의 이동 강도는 40년 이상의 공유된 전문 경험에서 다른 평가 활동과 일치하지 않는다. 이와는 대조적으로, 1980년대 후반 평가에서 시뮬레이션의 도입은 규제 파트너십을 통해 수행된 많은 평가 연구가 지속 가능한 혁신을 확립하기 위한 기반 역할을 하는 빠른 일련의 현장 테스트로 나타났다. 본 논문에서 우리는, 특히 졸업후 의학 교육(PGME)의 맥락에서, CBA를 둘러싼 교육 분야의 근본적인 개발 작업과 규제 상호작용이 뒤떨어지고 있다고 주장한다.
For almost two decades, educational assessment in the health professions has seen a major effort to introduce competency based frameworks. The intensity of the movement to competency-based education (CBE) and assessment (CBA) has not been matched by any other assessment activity in our shared professional experience of over 40 years. In contrast, the introduction of simulation in assessment in the late 1980s appeared as a rapid series of field tests wherein many evaluation studies, conducted with regulatory partnerships, served as the bases for establishing a sustainable innovation. In this paper, we argue that the underlying developmental work and regulatory interaction with the educational sector around CBA is lagging, especially in the context of postgraduate medical education (PGME).

PGME에서 CBA에 대한 우려를 제기한 것은 처음이 아니다. 캐나다 의료 교육의 미래 프로젝트(Regehr et al. 2011)에서 2011년에 세 가지 주요 개발 문제가 지적되었다. 훨씬 더 우려되는 것은 CBA 평가 도구에 사용된 용어와 정의의 의미에 대한 의문이 제기되어 타당성에 대한 잠재적 우려도 제기되었다. 그러나 거의 10년이 지난 후에도 CBA의 실제 적용과 실행으로의 전환과 관련된 문제에 계속 부딪치고 있다. 
We are not the first to raise concerns about CBA in PGME. Three categories of key developmental issues were noted in 2011 by The Future of Medical Education in Canada Postgraduate Project (Regehr et al. 2011). Of even greater concern, the meaning of terms and definitions used in CBA assessment tools have been questioned, raising some potential validity concerns (Lurie et al. 2011; Govaerts and van der Veuten 2013). Yet almost a decade later, we continue to encounter problems with the actual application and translation of CBA into action. 

로드맵 1: CBA를 측정 개발 문제로 재구성 및 해결
Roadmap one: reframe and address CBA as a measurement development issue

첫 번째 로드맵에서는 CBA 과제를 [측정 개발 문제]로 다시 설명하고 있으며, 이를 위한 좋은 모델이 있다. 이 영역에서 성공적인 이노베이션으로 이어지는 여정은 혁신가들에게 구현implementation 경로를 안내할 수 있는 일련의 단계를 기반으로 합니다. 전문 교육과 평가의 실제 세계에서 지속 가능한 혁신에 도달하기 위해서는 이러한 단계를 준수해야 한다. 1970년대 미국응급의학위원회(ABME)의 새로운 인증 프로세스 초기에, Maatsch 등(1976)의 선구적 연구는 오늘날 평가 혁신가들의 본보기가 되고 있다. 이 프로젝트는 기준 참조로 전환하는 것 외에도 대규모 평가 혁신을 위한 모범 사례를 수립했습니다. 

The first roadmap restates the CBA challenge as a measurement development issue, and there are good models for doing this. The journey leading to successful innovation in this realm is based on a series of steps that can guide innovators along the pathway to implementation. Observance of these steps is required to reach a sustainable innovation in the real world of professional education and assessment. Pioneering work by Maatsch et al. (1976) in the early days of the new certification processes of the American Board of Emergency Medicine (ABME) in the 1970s serves as a template for assessment innovators today. In addition to shifting to criterion referencing, the project established best practices for large scale assessment innovations:

  • (1) 전문직, 규제당국 및 교육자를&n