복잡성 이론을 의과대학 평가에 활용하기 (Acad Med, 2018)

복잡성 이론을 의과대학 평가에 활용하기 (Acad Med, 2018)

Using Complexity Theory to Guide Medical School Evaluations

Christine Jorm, MBBS, MD, PhD, and Chris Roberts, MBBS, MBChB, PhD

현재의 교육 시스템은 "쉽게 표현되는 그 어떤 이론적 또는 개념적 틀이 아니라, 전통, 의식, 문화, 역사의 산물"로 묘사되어 왔다.2 이러한 상황 때문에, 1 교육자들은 현재의 관행을 필요한 것, 근본적인 것, 완전한 것처럼 여기는 경향이 있다. 그 결과, 기존 교육적 요소와 실천의 개선은 점진적인 변화만 이뤄진다.

The current education system has been described as “More often the result of tradition, ritual, culture, and history than of any easily expressed theoretical or conceptual framework.”2 Because of this situation,1 educators tend to act as if current practices are necessary, elemental, and complete. Thus, only incremental changes are offered to improve existing educational elements and practices.

또한 인증 프로세스는 불만족스러운 현상태를 유지하는데 기여한다. 왜냐하면 "인증을 위한 개별 프로그램 성과의 모니터링이 반드시 시스템으로서 프로그램 자체에 대한 이해를 진전시키는 것은 아니"기 때문이다.

In addition, accreditation processes may be contributing to this unsatisfactory status quo1 as “Monitoring of individual program outcomes for accreditation does not necessarily advance a program’s understanding of itself as a system.”3

의학교육 시스템을 선형적으로 보는 기존의 평가 프로세스는 정보를 체계적으로 수집하고 해석하여 판단을 내리고 변화에 대한 권고사항을 제공한다.4 거의 20년 전에 Gerrity와 Mahaffy5에 의해 묘사된 접근법은 여전히 내적internal, 양적 과정에 초점을 맞추고 있는 현재의 의과대학 평가 문화에 상응한다. 의과대학평가는 보통 단일 개입의 결과(예: 새로운 교수 방식)에 초점을 맞추고 있으며, 종종 개입의 결과는 시스템 수준에서 보고되지 않고, 개입에 의해 즉시 영향을 받는 교사나 학생의 평균 반응 수준에서 보고된다. 하지만, 의학 교육 시스템의 디자인이 의미하는 것은, 학생마다 그들의 임상적 로테이션 동안에 독특한 경험을 가지고 있다는 것이다.

Traditional evaluation processes, which take a linear view of medical education systems, systematically gather and interpret information to make judgments and offer recommendations for change.4 The approach described by Gerrity and Mahaffy5 nearly two decades ago still captures the current medical school evaluation culture, where the focus is on internal and quantitative processes. Measurement usually centers on the outcomes of a single intervention (e.g., a new way of teaching), and often those outcomes are reported at the level of the average reaction of the teachers or students who are immediately impacted by the intervention, rather than at the system level. Yet, the design of the medical education system means that individual students have unique experiences during their clinical rotations.6

전통적인 의과대학 평가

Traditional Medical School Evaluations

성과기반교육 프레임워크9는 종종 측정 가능한 역량에 대한 원자화된 접근방식을 선호하여, 복잡한 통합적 기술을 무시한다.10,11 하지만 의과대학평가에도 변화가 필요하다. [도구적, 점진적 변화를 추구해온 기존의 방식]에서 [직원, 학생 및 환자의 행동에 대해서, 헬스케어 성과에 대해서, 커뮤니티 태도에 대해서 여러 단계의 변화]를 봐야 한다.

Outcomes-based education frameworks9 often ignore complex integrative skills in favor of an atomized approach to measurable competencies.10,11 However, evaluating a medical school requires a shift from seeking instrumental and incremental linear change to seeking multilevel change in the behaviors of staff, students, and patients, in health care outcomes, and in community attitudes.

복잡성 이론에 대하여

About Complexity Theory

복잡성 이론은 [시스템 구성 요소들 사이의 상호작용에 초점을 맞춘 복잡계를 연구하기 위한 접근방법]이다.12 복잡계는 다양성에 의해 동력을 공급받고, 네스팅이 있으며, 자가 조직화된다.

Complexity theory is an approach to studying complex systems that focuses on the interactions between the components of the system.12 Complex systems are energized by diversity, display nesting, and are self-organizing.

• 다양성은 서로 관련을 갖는 상호연결된 여러 요소의 수를 말하며 [입력의 다양성]과 [상호작용과 출력의 다양성]으로 측정된다. 

• 네스팅은 초기 시스템을 둘러싸는 더 큰 복잡한 시스템을 말한다(더 큰 시스템도 그 자체로 상위 시스템의 구성 부품일 수 있다). 

• 자기조직화는 다양한 [상호연결된 시스템 요소들이 의도적인 방법으로 자발적으로 배열하는 능력]을 기술한다. Outcome은 Emergent하다. 따라서 Emergent outcome은 사전에 완벽하게 구체화될 수 없는 성격과 타이밍을 가지고 있다.

• Diversity refers to the number of different and interconnected elements involved and is measured by the variety of inputs and the multiplicity of interactions and outputs. 

• Nesting refers to the larger complex systems that surround the initial system (which also may have component parts that are themselves complex systems). 

• Self-organizing describes the capability of the various interconnected system components to spontaneously arrange themselves in a purposeful way. Outcomes are emergent; they have a nature and timing that cannot be specified fully in advance.

복잡성 이론이 의과대학의 이해를 도울 수 있는 방법

How Complexity Theory Can Help Us Understand Medical Schools

일부 사람들은 선형 모델이 교육 시스템을 이해하기에 충분하다고 주장하지만, 13 [다수준 결과multilevel outcome의 출현emergence]은 모든 교육환경에 존재하는 핵심적 복잡성 개념이다.14 즉, 새로운 지식은 학생, 교수진 및 교육 시스템의 중요한 요소들 사이의 많은 상호 작용에서 생성된다.

While some claim that linear models suffice for understanding education systems,13 the emergence of multilevel outcomes is a central complexity concept that is present in all educational settings.14 That is, new knowledge is created from the many interactions between students, faculty, and the material elements of education systems

교육 연구에서 복잡성 이론은 개인을 강조하고 학습의 역동적인 사회성에 초점을 맞추는 Sociomaterial 학습 이론들 중 하나이다.18,19

In educational research, complexity theory is among the sociomaterial learning theories that deemphasize the individual and focus on the dynamic social nature of learning.18,19

다양성

Diversity

의과대학의 시스템 다양성은 많은 원천sources을 가지고 있다. 인적 자원의 예를 이용하여, 다양성은 의대에 받아들여지고 다양한 적합성, 지식, 기술, 행동, 에너지를 가지고 오는 성인 학습자들에 의해 만들어진다. 그것은 다양한 배경, 경험, 관점의 아카데믹과 임상의사를 가르치는 교수진에 의해 만들어진다. 마지막으로 다양성은 의료 교육에 항상 존재하는 개별 환자, 질병 및 그들의 이야기를 포함하여 다양한 임상 경험에 노출되는 것에서도 비롯된다.

System diversity in a medical school has many sources. Using the example of human resources, diversity is created by the adult learners who are accepted into medical school and bring with them varied aptitudes, knowledge, skills, behaviors, and energy. It is created by the faculty who teach—academics and clinicians from varied backgrounds, experiences, and perspectives. Finally, diversity comes from exposure to a variety of clinical experiences, including to individual patients, their illnesses, and their stories, which are always present in medical education.

네스팅

Nesting

어떤 평가에서 nested system을 고려하려면 평가에 대한 비선형 접근방식이 필요하다. 

In any evaluation, the inclusion of nested systems demands a nonlinear approach to evaluation. 

이 논의의 중심을 이루는 핵심적 nested system은 보건의료 시스템과 그것의 설계, 자금 지원이며, 보건의료시스템과 의과대학과의 연계이다.21 보다 광범위하게 보자면 정부 역시 nested system이다. 왜냐하면 법, 자금 및 기타 정치적 전략을 통해 대학과 보건 시스템의 조직을 지도함으로써 사회적 우려와 지역사회 건강 문제에 대응하기 때문이다. 

A central nested system in this discussion is the health care system, its design, funding, and links with medical schools.21 More broadly, the government is also a nested system, as it responds to societal concerns and community health problems by guiding the organization of universities and health systems through laws, funding, and other political strategies.

자기조직화

Self-organizing

의과대학 내에서 자기조직을 하는 예로는 [의대생들이 자신의 교육 및 임상경험에서 인지된 격차를 매우기 위해서 능동적인 주체로서 취하는 행동방식]이 있다. 그들은 튜토리얼을 자체 조직하고, 새로운 동료 기반 학습 활동을 개발하고, 임상 환경에서 새로운 학습 기회를 모색한다.23

An example of self-organizing within a medical school is how medical students act as active agents who fill perceived gaps in their didactic education and clinical experience. They self-organize tutorials, develop new peer-based learning activities,22 and seek out new learning opportunities in clinical placements.23

복잡성 이론을 사용하여 의과대학 평가 설계

Using Complexity Theory to Design Medical School Evaluations

우리는 의학교육자들이 복잡성 이론을 사용하여 평가 프레임워크를 설계하는 데 도움이 되는 두 가지 유용한 도구를 설명한다: 로직모델, 센스메이킹

We describe two useful tools to help medical educators design evaluation frameworks using complexity theory—logic models and sensemaking.

프로그램 로직 모델은 평가에 대한 생각을 발전시킬 수 있는 잠재력을 가지고 있다.24–26 기존 모델은 네 가지 기본 요소인 입력, 활동, 산출, 결과를 가진 선형 구조를 가지고 있다.4 의과대학의 결과는 무수하고, 논쟁적이고, 이해하기 어려운 것이며, 로직모델은 여러 관점, 상황 복잡성 또는 동적 관계를 쉽게 포착할 수 없다.27,28 그러나 [입력과 결과 사이에 예측 가능한 선형 관계를 가지고 있다]는 가정을 제거하면, 입력과 결과라는 개념이 도움이 된다.

Program logic models have the potential to advance thinking about evaluation.24–26 Traditional models have a linear structure with four basic components—inputs, activities, outputs, and outcomes.4 The outcomes of medical schools are myriad, contested, and elusive, and logic models are not easily able to capture multiple perspectives, contextual complexity, or dynamic relationships.27,28 However, the notion of inputs and outcomes is helpful if we remove the assumption that inputs and outcomes have a predictable linear relationship.

예를 들어, 우리는 간호학과 의대생을 위한 복잡한 대량 외상 시뮬레이션을 평가했다.29 

• 투입에는 촉진, 응급 처치 장비, 교육 공간 및 미리 훈련된 학생들을 위한 직원이 포함되었다. 

• 활동에는 시뮬레이션된 외상환자에 대한 소규모 그룹 학습이 포함되었다. 

• 산출에는 학생 출석, 직원 및 학생 학습 경험이 포함되었다. 

• 성과에는 트라우마 치료의 맥락에서 협력적인 팀워크에 필요한 학생들의 새로운 지식과 비기술적 기술의 개발이 포함되었다.

For example, we evaluated a complex mass trauma simulation for nursing and medical students.29 Inputs included staff for facilitation, first aid equipment, educational space, and pretrained students. Activities involved small-group learning around a simulated trauma patient. Outputs included student attendance and staff and student learning experiences. Finally, outcomes included students’ new knowledge and their development of the nontechnical skills required for collaborative teamwork in the context of trauma care.

복잡성 이론을 사용하여 평가 프로그램을 설계하는 또 다른 유용한 과정은 센스메이킹이다.30 센스메이킹은 교육자가 복잡성을 줄일 수 있는 방법을 제공하며, 이는 [진단 과정을 통해서 임상의사가 무수한 임상 및 사회적 정보를 make sense하는 방법]과 유사하다. 임상팀이 복잡한 환자를 관리하는 것처럼, 조직 수준에서 최적의 센스메이킹은 [귀납적 결론이 나올 수 있도록 충분한 양의 데이터를 분석하는 참여적 과정]이다.17

Another helpful process in designing evaluation programs using complexity theory is sensemaking.30 Sensemaking provides a way for educators to reduce complexity which is similar to how the diagnostic process provides a way for clinicians to make sense of myriad clinical and social information. Just as the clinical team manages the complex patient, optimal organizational sensemaking is a multimethod, participatory process that analyzes sufficient amounts of data to allow inductive conclusions to emerge.17

조직적 학습(즉, 평가 과정의 바람직한 성과)은 창발적이고, 유동적이며, 실험을 동반하고, 지속적으로 역동적 복잡성이 추가된다. 교육적 변화는 의대 내 시스템 역학을 변화시킬 것이며, 의과대학 내부적으로, 외부적으로 중첩된 복잡성nested complexity을 야기할 것이다. 필연적으로, 몇몇 창발적 결과들은 예상치 못한 것이 될 것이다. 그런 다음 (복잡한 환자들에게서 진단 과정이 계속되는 것과 같은 방식으로) 센스메이킹 과정이 이어진다. 센스메이킹은 바람직하지 않은 시스템 역학을 추적할 수 있고, 시스템 개선을 위한 새로운 가설을 쉽게 만들 수 있다.

Organizational learning (i.e., the desired outcome of an evaluation process) is emergent and fluid (self-organizing), and it involves experimentation and the addition of continuing dynamic complexity. Educational changes will alter system dynamics within the medical school and produce complexity nested both internally within the medical school and externally within the systems in which the medical school is nested. Inevitably, some of the emergent outcomes will be unexpected. The process of sensemaking then continues in the same way in which the diagnostic process continues in complex patients. Sensemaking can trace some of the undesirable system dynamics and facilitate the generation of new hypotheses for system improvement.

의과대학 평가의 복잡성 이론 기반 메타포

A Complexity-Theory-Based Metaphor for Medical School Evaluations

강력한 센스메이킹 수단은 은유를 사용하는 것이다.

A powerful means of sensemaking is through the use of metaphor.

그러한 비유 중 하나는 "기계로서의 조직"이다. 세계가 그렇게 합리적이지 않고 잘 정돈되어 있지 않은 대안적 은유는 "이상한 나라로서의 조직"이다.33 소설 "이상한 나라의 앨리스 모험"을 그린다.34 이 은유는 부조리성, 불합리성, 불확실성, 무질서와 같은 문제를 중심에 두고 있으며 아마도 몇몇 의학 교육자들에게 학문적 또는 임상적 삶의 역설적 성격을 이해하는 방법으로서 매력적일 수 있다.

One such metaphor is the “organization as machine.” An alternative metaphor in which the world is not so rational and well ordered is the “organization as Wonderland,”33 which draws on the novel Alice’s Adventures in Wonderland.34 This metaphor places issues such as absurdity, irrationality, uncertainty, and disorder at its center and is perhaps appealing to some medical educators as a way to understand the paradoxical character of academic or clinical life.

그러나 평가는 방향을 제시해야 한다. 앨리스도 이렇게 묻는다.

Yet evaluation needs to provide direction. Even Alice asks:

"제발, 여기서부터 어느 길로 가야 하는지 말해 주시겠습니까?" "그것은 당신이 어디에 가고 싶은지에 달려있다."고 그 고양이는 말했다.34

“Would you tell me, please, which way I ought to go from here?” “That depends a good deal on where you want to get to,” said the Cat.34

우리는 의과대학 평가를 이해할 수 있도록 새로운 비유, 즉 복잡한 신경망 내에 위치한 뉴런으로서의 조직을 제안한다(그림 1 참조). 그것은 기계에 대한 은유라기 보다는 커넥션에 의해 정의되는 유기체로서 은유로이다.

We propose a new metaphor—the organization as a neuron situated within a complex neural network—to make sense of medical school evaluation (see Figure 1). It is an organic metaphor rather than a mechanical one and is very much defined by its connections.

이러한 은유에서는, 투입과 성과는 비선형이라는 수정된 로직 모델을 사용한다. 우리는 그림 1의 

• 왼쪽에 있는 dendrites를 사용하여 교사, 학생 및 교육 설계의 투입 정보를 표시한다. 

• 오른쪽 축을 이용하여 성과(졸업자의 증거 기반 관리 관행, 사회적 책임 등)를 표시한다. 

이 시스템은 우리가 라벨을 붙인 것보다 더 많은 입력과 결과(선도 및 축도)를 가지고 있다.

For this metaphor, we used a modified program logic model in which inputs and outcomes were nonlinear. We indicate inputs—teachers, students, and educational design—using the dendrites on the left side of Figure 1. We indicate outcomes—the practice of evidence-based care by graduates, social accountability, and so forth—using the branched axons on the right side. This system has many more inputs and outcomes (dendrites and axons) than those we have labeled.

이 은유는 [신경의 출력을 결정하는 흥분과 억제 입력]이라는 competing nature를 고려하여 더욱 확장될 수 있다.

the metaphor can be extended by considering the competing nature of excitatory and inhibitory inputs in determining neuronal output,

의료 교육의 활동과 결과에 영향을 미치는 몇 가지의 핵심적 중첩 시스템은 의대 뉴런을 둘러싸고 있는 촘촘하게 네트워크로 연결된 조립체를 형성하는 다른 뉴런에 대응될 수 있다. 이러한 중첩된 시스템nested system(대학, 보건 시스템 및 정부)은 여러 가지 방법으로 의대에 영향을 주고, 의대로부터 영향을 받는다.

Several important, related nested systems that affect the activities and outcomes of medical education are illustrated by the other neurons that form the densely networked assemblage that surrounds the medical school neuron. These nested systems—the university, the health system, and the government—influence and are influenced by the medical school in multiple ways.

의학교평가에 있어서 감각제정을 위한 복잡성 이론의 사용원리

Principles for Using Complexity Theory for Sensemaking in Medical School Evaluations

We suggest that eight key principles (http://links.lww.com/ACADMED/A465).

Supplemental Digital Appendix 1

복잡성 이론의 관점에서 본 의과대학평가의 기본원리

Key Principles Underpinning the Design of Medical School Evaluations from a Complexity Theory Perspective

1. 집단적 센스메이킹에 참여하여, (관련 이해관계자의 의미 있는 우려를 해결하고, 자원을 현명하게 사용하기 위한) 적절한 평가 질문을 분석 및 설계한다.

1. Engage in collective sensemaking to analyze and design appropriate evaluation questions that address the meaningful concerns of the relevant stakeholders and use resources judiciously.

2. 투입과 성과가 비선형 관계를 갖는 로직모델을 사용하여 평가 질문을 다시 표현한다. 평가는 여러 방법을 사용해야 하며, 가능하다면 참여적이어야 한다.17

2. Reframe evaluation questions using a logic model, where inputs and outcomes have a non-linear relationship. Evaluations should be multimethod and, where possible, participatory.17

3. 추가적인 센스메이킹을 만들기 위해 대량의 데이터를 찾고 여러 개의 마이크로 및 매크로 레벨 지표를 집계하여 귀납적 성과가 드러나게 해야 한다.29

3. For further sensemaking, seek large amounts of data and aggregate multiple micro- and macro-level indicators to allow for inductive outcomes to emerge.29

4. 중요하게 생각되는 투입을 측정하라, 중요한 투입이란 복잡한 역동적 시스템에 에너지를 제공하는 것으로서, 작은 변화만으로도 양 또는 음의 피드백 루프를 발생시켜, 놀라운 창발적 결과를 초래할 수 있다.

4. Measure inputs that are likely to be important, those that provide energy to the complex dynamic system, and those for which small changes may lead to positive or negative feedback loops and surprising emergent outcomes.

5. 중첩된 시스템(대학, 보건 시스템, 사회 등)의 영향(입력)을 구체적으로 고찰한다. 예를 들어, 이러한 시스템의 변화와 의과대학에 미칠 수 있는 영향에 대한 분석을 적어도 1년에 수행해야 한다.

5. Explicitly consider the influence (input) of nested systems--university, health system, society, etc. For instance, an analysis of the changes in these systems and the possible implications for the medical school should be undertaken at least yearly.

6. emergence로 인해서 성과는 활동에 의해서 예측되지 않으며, 커리큘럼이 의도한 대로 전달되거나 수신되는 경우가 드물기 때문에, 관련된 의과대학의 활동의 영향을 고려한다.

6. Consider the influence of relevant medical school activities, as outcomes are not predictably linked to these activities (due to emergence) and the curriculum is rarely delivered or received as intended.

7. 임상 결과를 포함한 장기적 결과(졸업 이후)를 측정한다. 이것들은 중첩된 시스템에서 명백하며, 이들 시스템의 이해당사자들과 함께 그곳에서 측정되어야 한다.

7. Measure long-term outcomes (beyond graduation), including clinical outcomes. These are evident in the nested systems and need to be measured there, in conjunction with stakeholders in these systems.

8. 분석이 끝나면, 조직의 학습organizational learning은 교육자가 자신의 연구 결과를 반성하고 이론을 개발하고 개선을 실험할 것을 요구한다. 목표는 의료 교육의 복잡한 시스템이 변화한다는 것이다; 그것은 어떤 장소에서는 단순화될 수 있고, 다른 곳에서는 새로운 복잡성을 얻을 수 있지만, 전체적인 결과는 개선될 것이다.

8. After analysis, organizational learning requires educators to reflect on their findings, develop theory, and experiment with improvements. The goal is that the complex system of medical education changes; it may be simplified in places, gain new complexity in others, but outcomes overall will improve.

의대졸업생들의 건강관리 시스템 참여에 대한 센스메이킹 적용

Applying Sensemaking to the Issue of Medical School Graduates’ Engagement With the Health Care System

의대 졸업생들이 헬스케어 시스템에 참여하는 것이 왜 중요한가? 임상의사가 참여하지 않으면 환자 치료에 대한 개선은 일어나지 않을 것이며, 지속되지 않을 것이다.37–40 참여 근로자들은 그들의 일을 다시 설계하고 개선하지 않을 것이다.41 자부심과 자기 효율성이 높은 사람들은 이것을 더 잘 할 수 있다.42 그리고 능동적이고 양심적인 사람들은 그렇게 할 가능성이 더 높다.43 

Why is it important that medical school graduates engage with the health care system? Without clinician engagement, improvements to patient care would not happen, nor would they be sustained.37–40 Engaged workers redesign and improve their jobs .41 Those with higher levels of self-esteem and self-efficacy are better ableto do this,42 and those who are proactive and conscientious are more likely to do so.43 

임상의가 어느 정도 관여하게 되면, 직원 이직과 결근률이 낮아지고, 감염률이 감소하고, 환자 만족도가 높아지고, 환자 사망률이 낮아진다.44–46 많은 의사들(및 최근 의과대학 졸업생들)은 시스템 참여를 자기의 업무의 일부로 보지 않으며, 시스템적 사고나 개선 노력에 참여하기를 거부한다. 또한 관심 있는 사람들조차 이 일을 효과적으로 하는데 필요한 기술이 부족하다.

When clinicians are measurably engaged, staff turnover and absenteeism is lower, infection rates decrease, patient satisfaction increases, and patient mortality is lower.44–46 Many doctors (and recent medical school graduates47) do not see system engagement as part of their job, are somewhat resistant to systems thinking and being involved in improvement efforts,48–51 and lack the skills to be effective in this work even if they are interested.48,52

졸업생의 engagement는 의과대학에 귀중한 결과물이므로 측정해야 한다.

Graduates’ engagement is a valuable outcome for medical schools, so it should be measured.

관련 이해당사자들에 의한 센스메이킹은 [의대 밖의 대표]들과 [학교 내부의 대표]들이 포함될 것이다. "무엇이 가장 중요한가?"와 "어떻게 하면 각 요소를 연구할 수 있는가?"와 같은 질문을 함으로써, 이러한 질문은 평가 문제와 적절한 방법론을 반복적으로 다듬도록 아이디어의 workshopping을 촉진할 수 있다.

Sensemaking by the relevant stakeholders would include representatives from outside the medical school as well as those from within the school. This metaphor also can facilitate the workshopping of ideas so that the evaluation question and appropriate methodology are iteratively refined—for instance, by asking “What is most important to understand?” and “How can we study each element?”

교사의 투입 평가

Evaluating teachers’ input

사회적 학습 이론은 교육자들이 학생과 역동적으로, 사회적 참여를 함으로써 학습을 유발한다는 개념을 뒷받침한다.53 그렇다면 어떤 교육적 투입이 더 많은 참여 졸업생들을 만들 수 있는가? 우리는 세 가지 영역, 즉 

• 교육자의 다양성, 

• 교육자의 건강 시스템과의 연결, 

• 교육 공동체의 중첩된 시스템의 특성과 강점

...을 탐구하는 것을 추천한다. 표 1.

Social learning theories support the notion that educators’ dynamic social engagement with students creates learning.53 What kind of educator input then might create more engaged graduates? We recommend exploring three areas—diversity, connection to the health system, and the nature and strength of the nested system that is the teaching community of practice. Table 1.

졸업생들의 참여를 준비하는 문화와 교육과정 평가

Evaluating the culture and curriculum that prepares graduates to be engaged

환자 안전 및 품질 커리큘럼을 제정하여 품질 향상을 가르치려는 시도가 있었다.54–57 예를 들어, 세계보건기구(WHO)는 그러한 교육과정을 시행했지만, 전체적으로 성공적이지 못했고, 제한적으로만 받아들여졌고, 결국 세계보건기구가 정한 목표를 달성하지 못했다.

Attempts have been made to teach quality improvement by enacting safety and quality curricula.54–57 For example, the World Health Organization (WHO) implemented such a curriculum; however, it has not been successful as a whole,58 has had limited uptake,54,55 and has failed to meet the goals established by the WHO.

따라서, 우리는 여기서 더 근본적인 요소들에 초점을 맞춘다.

Thus, we focus here on the more fundamental elements

표 2는 이론적으로 정보에 입각한 교육 개선 사례, 자기조절학습 이론을 포함하고 있다.

Table 2 includes examples of theoretically informed educational improvements, drawing on the work of Kalet and colleagues59 and self-regulated learning theory.

의료 시스템 평가

Evaluating the clinical care system

빈번한 로테이션은 개인적인 고립, 불완전한 해결책, 열악한 환자 치료와 관련이 있다.61 추가적으로, 근로 시간 단축으로 인해 다음과 같은 필연적인 결과가 생겼다: 더 많은 교대 근무, 더 많은 핸드오버 및 훨씬 더 세분화된 작업 경험. 아마도 그 결과, 근로시간을 줄이는 것이 후배 의사들의 심리적 고통과 기진맥진을 줄이는 데 기대만큼 효과적이지 못했다.62,63

Frequent rotations are associated with personal isolation, dysfunctional workarounds, and poor patient care.61 Additionally, working hours are now restricted; an inevitable consequence of reduced working hours is more shift work, more handovers, and an even more fragmented work experience. Perhaps as a consequence, reducing working hours has not been as effective as expected in reducing psychological distress and burnout in junior doctors.62,63

현재의 의료 고용 관행은 졸업생들이 이 시스템에 참여할 수 있는 능력을 제한하고 있지만, 의과대학들은 그들이 의료 시스템에 nested 되어있음에도 불구하고 변화를 일으키는 데 거의 영향을 미치지 않는다. 우리의 센스메이킹 연습은 의료 교육 연구원들이 보건 서비스 연구원들과 정책 입안자들과 협력하여 졸업생들의 고용 관행 변화를 뒷받침할 증거를 개발해야 할 절박한 필요성을 보여주었다.

Current health care employment practices restrict the ability of graduates to engage with the system, but medical schools have little influence to make changes even though they are nested within health care systems. Our sensemaking exercise revealed a pressing need for medical education researchers to work with health services researchers and policy makers to develop the evidence to support changes to graduates’ employment practices.

중첩된 시스템에서 모든 이해당사자들의 견해는 명시적으로 추구되거나 의과대학 평가에 통합되지 않을 수 있다. (정책 입안자 및 자금 제공자뿐만 아니라) 보건 시스템의 이해당사자들과 함께 의과대학 평가를 공동 설계하는 것은 의과대학이 보건 시스템과 치료의 결합자라는 것을 받아들이는데 있어 중요한 다음 단계다.

Currently, the views of stakeholders from all nested systems may not be explicitly sought or incorporated into medical school evaluations. Co-designing medical school evaluations with stakeholders from the health system, as well as with policy makers and funders, is a crucial next step in accepting that the medical school is a coproducer of care with the health system.

표 1 의료전문학교 졸업생의 의료시스템 참여성 평가를 위한 복잡성 이론을 이용한 교사 입력 평가

Table 1 Evaluating Teachers’ Input Using Complexity Theory to Assess Medical School Graduates’ Engagement With the Health Care System

표 2 의과대학 졸업생을 건강관리 시스템에 참여시키는 문화와 교육과정 평가

Table 2 Evaluating the Culture and Curriculum That Prepare Medical School Graduates to Be Engaged With the Health Care System

우리는 "의학교육을 [본질적으로 복잡한 사회적 개입을 위한 개선 과학]으로 재인식할 필요성"을 지지한다.65

We endorse the need to “reconceptualise medical education as intrinsically an improvement science for complex social interventions.”65

결론

Conclusion

평가 노력에 대한 청중은 학교 내의 의과 교육자들을 넘어서고 있다. 그러므로 의과대학 평가에 있어 가장 큰 어려움은 (의과대학이 nested in되어있는, 영향을 주고, 영향을 받는) 지역사회를 평가 과정에 어떻게 포함하느냐이다.

The audience for evaluation efforts extends beyond medical educators within the school. Thus, the biggest challenge for medical school evaluation is how to include the communities the medical school is nested in, influences, and is influenced by, in the evaluation process.

우리가 발견한 차이점은 의학교육에 대한 다른 평가 접근법에 의해서는 포착되지 않는 것이다. 복잡성 이론을 사용하는 것은 그러한 창발적 성과를 고려하게 해준다. 창발적 성과는 의과대학 평가를 새로운 초점을 맞추도록 장려할 것이며, 학생들을 미래의 잠재적 change agent로 생각하게 하고, 보건 시스템과 환자의 삶을 변화시킬 것이다.

The gap we found would not have been identified by other evaluation approaches to medical education. Using complexity theory encourages the consideration of such emergent outcomes. Emergent outcomes in turn encourage medical school evaluations to take on a new focus, reimagining students as future potential change agents, who transform health systems and the lives of patients.

20 Jorm C, Nisbet G, Roberts C, Gordon C, Gentilcore S, Chen TF. Using complexity theory to develop a student-directed interprofessional learning activity for 1220 healthcare students. BMC Med Educ. 2016;16:199. XXX

1 Holmboe ES, Batalden P. Achieving the desired transformation: Thoughts on next steps for outcomes-based medical education. Acad Med. 2015;90:1215–1223.

7 Mossop L. The curse of the teenage learner. Med Educ. 2014;48:231–233.

3 Bowe CM, Armstrong E. Assessment for systems learning: A holistic assessment framework to support decision making across the medical education continuum. Acad Med. 2017;92:585–592.

65 Yardley S. Lost in translation: Why medical education research must embrace “real-world” complexities. Med Educ. 2014;48:225–227.

57 World Health Organization. Multi- professional Patient Safety Curriculum Guide. http://www.who.int/patientsafety/education/curriculum/tools-download/en/. Published 2011. Accessed May 16, 2017.

---

Acad Med. 2018 Mar;93(3):399-405. doi: 10.1097/ACM.0000000000001828.

Using Complexity Theory to Guide Medical School Evaluations.

Jorm C1, Roberts C.

Author information

1

C. Jorm is honorary associate professor, Sydney Medical School, Sydney, Australia. C. Roberts is associate professor in primary care and medical education, Sydney Medical School, Sydney, Australia.

Abstract

Contemporary medical school evaluations are narrow in focus and often do not consider the wider systems implications of the relationship between learning and teaching, research, clinical care, and community engagement. The result is graduates who lack the necessary knowledge and skills for the modern health care system and an educational system that is limited in its ability to learn and change.To address this issue, the authors apply complexity theory to medical school evaluation, using four key factors-nesting, diversity, self-organization, and emergent outcomes. To help medical educators apply this evaluation approach in their own settings, the authors offer two tools-a modified program logic model and sensemaking. In sensemaking, they use the organic metaphor of the medical school as a neuron situated within a complex neural network to enable medical educators to reframe the way they think about program evaluation. The authors then offer practical guidance for applying this model, including describing the example of addressing graduates' engagement in the health care system. The authors consider the input of teachers, the role of culture and curriculum, and the clinical care system in this example.Medical schoolevaluation is reframed as an improvement science for complex social interventions (medical school is such an intervention) in this model. With complexity theory's focus on emergent outcomes, evaluation takes on a new focus, reimagining medical students as reaching their future potential as change agents, who transform health systems and the lives of patients.

PMID:

 

28678103

 

DOI:

 

10.1097/ACM.0000000000001828