교육과정 통합을 위한 이론적 틀을 전임상 의학교육으로 확장하기(Perspect Med Educ, 2017)

Extending the theoretical framework for curriculum integration in pre-clinical medical education

John Vergel1 · Diana Stentoft2 · Juny Montoya1

배경

Background

개념은 모호하지만 의료 교육 분야에서 커리큘럼 통합은 널리 권장되어 왔다 [1–9]. 커리큘럼 통합은 학생들이 기초적인 연결뿐만 아니라 전체 커리큘럼 그림을 볼 수 있도록 도와줌으로써 학습을 용이하게 한다. 따라서, 학생들은 단지 개별적인 주제를 암기할 뿐 아니라, 포괄적인 방식으로 정보를 이해한다[10].

Curriculum integration has been widely recommended in the field of medical education, although the concept remains ambiguous [1–9]. Curriculum integration facilitates learning by helping students to see the complete curricular picture, as well as its underlying connections; thus, students do not merely memorize separate topics, but understand information in a comprehensive manner [10].

커리큘럼 통합의 의미는 다음을 포함하는 커리큘럼의 여러 가지 변화 때문일 수 있다.

the meaning of curriculum integration is unclear, possibly owing to the multiple variations of it that include the following:

• a) 기초 및 임상 과학의 통합[11]

• b) 기초, 임상, 사회과학의 통합[12]

• c) 정보 전달에 기초한 통합 [8];

• d) 사전 지식 및 경험의 적용에 기초한 통합 [13];

• e) 교육과정에서의 지식의 개별 영역을 의도적으로 통일한다[5];

• f) 의료 활동의 이해와 성과를 촉진하기 위해 여러 출처에서 도출된 상호 작용 지식[14]

• g) '다단계 재귀적 상호작용에서 발생하는 동적 상호연결성' [15];

• h) '모든 관련 학문의 수평적 통합을 지배하는 전체적인 테마를 가진 모듈 설계 [16]

• i) '과정 전반에 걸쳐 주제, 주제 또는 주제를 반복적으로 재방문' [17].

a) Integrating basic and clinical sciences [11];

b) Integrating basic, clinical, and social sciences [12];

c) Integration based on delivering information [8];

d) Integration based on applying prior knowledge and experience [13];

e) Deliberately unifying separate areas of knowledge in the curriculum[5];

f) Interacting knowledge derived from multiple sources to foster understanding and performance of medical activities [14];

g) The ‘dynamic interconnectedness that emerges from recursive interactions at multiple levels’ [15];

h) Designing modules that have ‘an overall theme which governs the horizontal integration of all relevant disciplines’ [16]; and

i) An ‘iterative revisiting of topics, subjects or themes throughout the course’ [17].

교육과정을 통합하기 위한 이러한 다중 접근방식은 [학문-기반 학습, 인지주의, 행동주의, 구성주의, 복잡성 이론 및 나선적 학습과 같은] 기본 구성 원리를 제공하는 각자 다른 학습 이론에 기초한다[18–20]. 커리큘럼 통합에 대한 이해에 대한 공감대가 부족한 것은 커리큘럼 통합의 실천을 다루는 사람들에게는 혼란스러운 일이다.

These multiple approaches for integrating curriculum are based on different learning theories that provide underlying organizing principles such as discipline-based learning, cognitivism, behaviourism, constructivism, complexity theory, and spiral learning [18–20]. The lack of consensus on the understanding of curriculum integration is confusing for those who deal with its practice.

방법론

Methodology

연구 패러다임 Research paradigm

본 논문은 질적 연구, 특히 사례 연구에 대해 보고하며, 근거 이론에서 일반적으로 사용되는 유도 분석 기법 중 일부를 데이터 해석에 적용하였다. 우리는 연구 참여자들이 커리큘럼 실행과 같은 사회적 행동을 정의한다는 생각에 기초하여 커리큘럼 통합의 이론적 프레임워크를 구축할 것을 고려했다[25].

This paper reports on qualitative research, specifically a case study, in which we applied some of the inductive analytic techniques that are commonly used in grounded theory to interpret data. We thought about constructing a theoretical framework of curriculum integration grounded in the idea that research participants define social actions, such as the curriculum practice [25].

세팅 Setting

공식 커리큘럼에 따르면, 알보리 대학교의 의학 교육 프로그램은 종합 3년제 임상 전 학사 학위와 3년제 임상 석사 학위를 제공한다. 학습 활동은 문제 기반 학습(PBL) '7점프' 모델[26]에 근거하고 있으며, 학습 목표(교육과정에 제시된 내용)는 특정 지식, 기술 및 역량을 중심으로 구성된다.

According to the official curriculum, Aalborg University’s medical education program offers a compounded, three-year, pre-clinical bachelor’s degree and a three-year clinical master’s degree. The learning activities are grounded in the problem-based learning (PBL) ‘seven jump’ model [26], and learning goals (as set forth in the curriculum) are organized around a specific set of knowledge, skills, and competences.

통합은 다른 커리큘럼 수준에서 이루어질 것으로 예상된다. 거시적인 수준의 커리큘럼 통합에서 학생들은 인간 장기 시스템(근골격계, 신경계, 위장계 등)에 대한 지식을 개발할 것으로 기대되며, 이는 기초/생명과학, 임상 및 사회과학의 각도에서 지식, 기술, 태도 등의 통합에 내재되어 있다.

Integration is expected to occur at different curriculum levels. At the macro levels of curriculum integration, students are expected to develop knowledge of the human organ systems (such as the musculoskeletal, nervous, and gastrointestinal systems); this is embedded in the integration of knowledge, skills, and attitudes from the angle of basic/ biomedical, clinical, and social sciences

또한, 그림 1과 같이, 미시적 수준의 커리큘럼 통합에서는 학생들의 사전 지식을 질문 과정을 통해 다루는 새로운 정보와 연결시키기 위한 다양한 학습 활동을 연결할 것으로 예상된다.

In addition, as shown in Fig. 1, the micro levels of curriculum integration are expected to connect various learning activities that are intended to link students’ prior knowledge with the new information addressed via an inquiry process.

설계 Design

연구에서 우리는 전임상 학사 프로그램의 커리큘럼 통합에 대한 완전한 설명을 얻기 위해 다중 방법 접근법을 채택했다[27].

In the study we adopted a multi-method approach to obtain a complete description of curriculum integration at the pre-clinical bachelor program [27].

그림 2와 같이 설계에는 4단계가 포함되어 있다.

As shown in Fig. 2, the design included four stages.

참여자 Participants

우리는 '스노우볼 샘플링' 기법을 사용하여 참가자를 '편의성 샘플링'으로 선정했다[25. 다른 설정으로 전이 가능한 이론을 구성하는 것을 목표로 했기 때문에, 포화 상태에 이를 때까지 데이터를 수집하여, 아래에서 귀납 분석으로 기술한 후, 10명의 참가자가 제공한 반복 정보를 바탕으로 이론을 개발했다[28].

We selected participants as a ‘convenience sample’ using the technique of ‘snowball sampling’ [25]. Since we aimed to construct a theory transferable to other settings, we gathered data until reaching saturation, described below as an inductive analysis, then developed the theory based on the repeating information provided by the ten participants [28].

자료 분석 Data analysis

우리는 귀납 분석[29]을 실시했다. 우리는 소프트웨어 프로그램 ATLAS.ti(버전 6.2)로 텍스트를 전송하기 시작했다. 그리고 나서, 우리는 우리의 연구 질문과 관련된 원시 정보와 선별된 부분을 반복해서 읽는다. 후속 단계에서는 이러한 세그먼트를 테마로 해석했다. 다음으로 테마를 그룹으로 배열(검토된 문헌 [표2]와의 논리적 연계를 바탕으로)하고 이론적 구성으로 분류하여 그룹을 해석했다.

We performed an inductive analysis [29]. We started transferring the text to the software program ATLAS.ti (Version 6.2). Then, we repeatedly read the raw information and selected segments relevant to our research questions. In the follow-up phases, we interpreted these segments into themes. Next, we arranged the themes into groups (based on their logical connections with the reviewed literature [Table 2]) and interpreted the groups by categorizing them into theoretical constructs.

해석의 신뢰성 Credibility of the interpretations

우리는 편견이 아니라 데이터에서 어떻게 우리의 구조가 나왔는지를 설명하기 위해 입증된 전략을 사용했다[30]. 루빈과 루빈[30]은 연구 분석에서 주관성을 정당하게 사용하는 기준을 제공한다. 우리는 그러한 기준을 적용했다.

• 1) 투명성(교육 분야의 다른 연구자에게 데이터를 해석하는 방법을 보여주었다); 

• 2) 의사소통성 (우리 구조가 다른 연구자들과 이치에 맞는지 논의했음) 및 

• 3) 일관성 (우리의 구성물이 독자들에게 일관된 이야기를 들려주었는지 확인했다.)

We used proven strategies to explain how our constructs emerged from the data instead of our biases [30]. Rubin and Rubin [30] provide criteria for using subjectivity in research analysis in a justifiable manner. We applied such criteria, including 

• 1) transparency (we showed how we interpreted the data to other groups of researchers in the field of education); 

• 2) communicability (we discussed if our constructs made sense with other researchers), and 

• 3) coherence (we checked whether our constructs told the reader a coherent story).

더욱이 이론적 구조를 개발하는 동안, 우리는 삼각측량을 사용하여 우리의 해석이 복수의 출처에서 발견되었는지 검토했다[31]. 예를 들어, Table 2에서 보여지듯이, 관찰에서, 그리고 학생과 촉진자 인터뷰에서도 데이터를 발견하여, 공동 학습 활동(제4구체)에서 지식의 통합이 엿보인다고 추론할 수 있었다.

Furthermore, while developing the theoretical constructs, we used triangulation to examine if our interpretations were found in multiple sources [31]. For example, as shown in Tabl e 2, we discovered data in the observations, as well as in the interviews with students and facilitators, which led us to infer that integration of knowledge was visible in collaborative learning activities (the fourth construct).

포함된 데이터: 

• 1) 학생들이 지식을 통합할 때 촉진자가 학습 평가와 함께 식별된 방법, 

• 2) 학생이 급우들이 학습 성과 사이에 연결을 만들고 있음을 어떻게 인지했는지, 

• 3) PBL 세션에서 칠판에 그린 개념 지도에 대한 학생들의 토론에 대한 현장 메모.

The data included: 

• 1) Descriptions of how a facilitator identified with learning assessments when students integrated knowledge; 

• 2) How a student acknowledged that their classmates were making connections between learning outcomes; and 

• 3) Field notes on students’ discussions about the conceptual maps they drew on the blackboard in PBL sessions.

결과 Results

교육과정 통합의 복잡성이 제도적 학습 관점에 내재되어 있음

Curriculum integration complexity is embedded in the institutional learning perspectives

커리큘럼 설계자들은 커리큘럼 통합을 복잡한 구조로 인식했다. 즉, 여러 커리큘럼 요소가 커리큘럼 구조의 거시적 수준과 미시적 수준 모두에서 통합된다. 커리큘럼 설계에서, 학생들이 다양한 분야(매크로 수준)로부터 다양한 학습 성과를 얻으려면 많은 학습 활동(마이크로 수준)이 상호 작용해야 한다. 예를 들어 강의와 이론 실습은 PBL 사례와 연계되어 학생들의 바이오의학 및 임상 지식 학습, 사회적 이슈(외톨이가 치유에 미치는 영향 등 '부드러운 학습' 결과), 기술 관련 주제(건강 시스템에 미치는 기술의 영향 등)를 지원한다.

The curriculum designers perceived curriculum integration as a complex structure; that is, multiple curriculum elements are integrated at both the macro and micro levels of the curriculum structure. In curriculum design, many learning activities (the micro level) must interact for students to attain varied learning outcomes from diverse disciplines (the macro level). For example, lectures and theoretical exercises are linked to PBL cases to support students’ learning of biomedical and clinical knowledge, social issues (the ‘soft learning’ outcomes, such as the influence of loneliness on healing), and technology-related topics (such as the impact of technology on health systems).

그러나 이 경우 이러한 복잡한 교육과정 통합 접근법을 성공적으로 처리하기 위해서는 교육과정 요소를 특정 원칙에 따라 어떻게 통합해야 하는지가 과제다. 이와 같이, 수집된 데이터를 이용하여, 기관이 보유한 학습 관점institutional learning perspectives이 통합을 안내한다고 추론했다. 예를 들어, 제도적 학습 관점은 구성주의적 사고와 경험적 학습에 기반을 둔 PBL로 이해된다. 따라서, 커리큘럼 통합은 학생들이 그들의 지식을 확립할 수 있는 구체적인 방법을 지원하기 위해 구성된다.

However, in this case, the challenge is how the curriculum elements need to be integrated based on certain principles in order to successfully handle such a complex curriculum integration approach. As such, by using the collected data, we deduced that the institutional learning perspectives guide the integration. For instance, institutional learning perspectives are understood as PBL grounded in constructivist thinking and experiential learning. Hence, curriculum integration is organized to support specific ways for students to establish their knowledge,

결과적으로, 제도적 학습 관점(즉, 학생들이 지식을 구성하게끔 의도한 방식)은 활동이 어떻게 통합적으로 학습 성과를 달성해야 하는지를 포함하여 학습 활동이 커리큘럼 설계에 통합되는 방식을 지향한다.

Consequently, the institutional learning perspectives (that is to say, the way that students are intended to construct knowledge) orient the way that learning activities are integrated in curriculum design, including how activities are supposed to achieve learning outcomes in an integrated manner.

커리큘럼 통합은 현실 교육과정에서 상충하는 학습 관점을 조화시키는 도구로 사용된다.

Curriculum integration is used as a tool to harmonize conflicting learning perspectives in curriculum practice

커리큘럼 설계자들은 [갈등이 발생]한 커리큘럼 통합을 경험했다고 언급하기도 했다. 교육과정 설계자는 '(...) 교과과정이 책과 책 페이지에 초점을 맞추는 전통적인 방식으로는 정의되지 않는다'고 지적했지만, 전통적으로 의료교육은 (예: 강의나 교과서의 개별 읽기를 통한) 특정 분야 주제의 학습에 의해 영향을 받아 왔다. 따라서 커리큘럼 설계자는 [(경험 기반 통합으로 알려진) 구성주의에 기반한 활동]뿐만 아니라 [학문단위 주제 또는 과목 기반 통합]도 통합할 필요가 있었다.

The curriculum designers also mentioned that they had experienced curriculum integration where conflicts occurred. Although a curriculum designer noted that ‘(...) the curriculum is not defined in a traditional way where the curriculum [focuses on] books and [the] pages of books’, traditionally, medical education has been influenced by learning disciplinary topics (i. e., through lectures or individual readings of textbooks). Thus, curriculum designers not only needed to integrate activities framed on constructivism – otherwise known as experience-based integration [31] – but also on disciplinary topics, or subject-based integration [31].

이 경우 쟁점이 되었던 이러한 긴장의 부정적 영향을 완화하기 위해, 커리큘럼 설계자는 [체험 기반 통합을 위한 임상 사례에 대한 학생들의 공동 토론], [과목 기반 통합을 위한 강의] 등 통합 접근방식에 대한 학습 활동을 수립하였다. 그런 다음 설계자는 이러한 학습 활동을 경험 및 과목 기반 통합 접근방식 모두에 연결했다. – 커리큘럼 통합을 학생들의 학습을 지원하기 위한 전략으로 사용한다. 커리큘럼은 사례 중심 PBL 활동에서 이러한 높은 수준의 통합을 촉진했다. 다음 인용문은 이러한 의도를 포착한다.

To mitigate the negative effects of this tension, which was an issue in this case, curriculum designers established learning activities for each integration approach, such as students’ collaborative discussion of clinical cases for experience-based integration and lectures for subject-based integration. Designers then connected these learning activities to both experiences and subject-based integration approaches – using curriculum integration as a strategy to support students’ learning. The curriculum facilitated this high-level integration in the case-oriented PBL activities. The following quote captures this intention:

커리큘럼 통합은 그 구조를 스스로 구성하는 긴장을 조성한다.

Curriculum integration creates tensions that self-organize its structure

우리 연구의 학생들은 커리큘럼 통합 practice에서 몇 가지 긴장이 나타났다고 언급했다. 그들은 교육과정 통합을 골자로 하는 제도적 학습 관점이 그들의 학습 기대와 일치하지 않을 때 긴장이 발생했다고 믿었다.

The students in our study mentioned that several tensions emerged from the curriculum integration practice. They believed the tensions arose when the institutional learning perspectives framing curriculum integration did not correspond to their learning expectations.

많은 학생들은 강의가 불필요하다고 생각하거나, 이러한 학습 활동을 어떻게 조직해야 하는지에 대한 다른 기대를 가지고 있었다.

A number of students saw lectures as unnecessary, or had different expectations of how these learning activities should be organized:

이러한 긴장감 때문에, 학생들은 주요 커리큘럼 구성요소에 통합된 [대안적 학습 활동]을 탐색했다. 이들은 학습에서 느끼는 긴장감 때문에 커리큘럼 실천 과정에서 커리큘럼 통합의 구조를 바꿨다. 따라서 그 긴장은 새로운 교육과정 요소를 포함하는 방식으로 교육과정 통합을 스스로-조직화self-organized 하였다.

Due to these tensions, the participating students explored alternative learning activities integrated into the major curricular components. They changed the structure of curriculum integration during the curriculum practice due to the tensions they perceived in their learning. Therefore, the tensions self-organized curriculum integration by including new curriculum elements

협업 학습 공간에서 커리큘럼 통합이 가시화됨

Curriculum integration becomes visible in collaborative learning spaces

진행자들은 학생들이 공동으로 사례를 논의할 때 지식을 통합하고 있다고 지적했다. 연구자 1이 촉진자에게 학생들이 배우고 있다는 것을 어떻게 깨달았는지 묻자 촉진자는 다음과 같이 대답했다.

The facilitators noted that the students were integrating knowledge when jointly discussing the cases. When Researcher 1 asked a facilitator how he realized that the students were learning, the facilitator responded:

그의 관찰에서, 연구자 1은 또한 공동 학습 활동이 지식 통합 촉진에 있어 커리큘럼 통합의 효과를 식별하는 데 적합한 장소라는 것을 발견했다. 이러한 활동에서, 학생들은 스스로 그리고 서로에게 주제에 대한 이해를 설명할 수 있었다. 예를 들어, 학생들은 여러 분야의 정보를 사용하여 문제를 토론했고, 그 이슈에 기초하여 배운 것을 설명했다.

In his observations, Researcher 1 also found that collaborative learning activities were suitable venues for identifying the effectiveness of curriculum integration in promoting knowledge integration. In these activities, students could explain their understanding of the topics by themselves and to one another. For instance, students discussed issues using information from multiple disciplines, and explained what they learned based on the issues.

고찰 

Discussion

교육자로서 우리는 [지식 통합이 학습자들에게 암묵적으로 주어진 과제였던 전통적인 교육]보다 [학생들이 다양한 학문단위 지식 요소를 더 쉽게 연결하도록 도와야 하는 과제]에 직면해 있다. 예를 들어, 환자의 임상 문제가 생의학적 기초를 사용하여 더 잘 이해될 수 있기 때문에, 커리큘럼에는 기초 과학과 임상 과학의 정보를 통합하는 것이 학생들의 healthcare practice을 어떻게 촉진시킬 수 있는지에 대한 검사가 명시적으로 포함되어 있다[32, 33]. 그러나 커리큘럼 통합 이론은 학생들의 지식 통합을 복잡하게 만들 수 있는 contextual practice의 문제에는 거의 관심을 기울이지 않는다. 따라서, 우리는 그러한 문제들을 고려하는 분석적 프레임워크를 구축하기 위해 우리의 사례 연구를 사용하는 것을 목표로 했다.

As educationalists, we face challenges such as helping students to connect diverse elements of disciplinary knowledge more easily than in traditional education, where knowledge integration was implicitly a task for learners. For example, the curriculum explicitly includes an examination of how integrating information from basic and clinical sciences might boost students’ healthcare practice, as patients’ clinical problems may be better understood using a biomedical basis [32, 33]. However, curriculum integration theories play little attention to contextual practice issues that may complicate students’ knowledge integration. Thus, we aimed to use our case study to construct an analytical framework that considers such issues.

첫째로, [교육과정 통합의 복잡성이 제도적 학습 관점에 내재되어 있다]는 구조는, 통합은 복잡한 과정으로서, 여러 분야의 많은 주제들이 (다른 교육과정 수준에서) 연결될 경우 학생들이 이해하기 어렵다는 것을 함의한다. 이 문제는 제도적 학습 관점을 사용하여 학생들에게 이러한 연결을 시각화할 수 있는 방법을 설명함으로써 해결될 수 있다. 커리큘럼 통합은 학습 관점에 내재되어 있기 때문에, 학생들은 왜 일부(또는 어떤) 학습 활동, 주제 및 분야(즉, 커리큘럼 구성요소)가 학습 관점과 통합되는지 더 쉽게 이해할 수 있다.

First, the construct Curriculum integration complexity is embedded in institutional learning perspectives implies that integration is a complex process that will be challenging for students to understand if a large number of topics from multiple disciplines (at different curriculum levels) are connected. This issue could be addressed by using the institutional learning perspectives to explain to students how they can visualize these connections. Since curriculum integration is embedded in learning perspectives, students might more easily understand why some (or which) learning activities, topics, and disciplines (i. e., curriculum components) are integrated with learning perspectives.

예를 들어, 알보리 대학은 학습을 조사 과정inquiry process으로 보기 때문에, 학생들이 사례를 조사하기 전이 아니라, 사례 조사를 시작한 후에 자원 세션resource session이 이루어졌다. 학생들은 자원 세션을 포함하여 연결되었지만 후속 활동에 참여하기 전에 조사해야 할 학습 결과를 확인한다. 이렇게 하면 학생들이 커리큘럼 구조를 시각화할 수 있고, 연결의 이면에 있는 이유를 이해할 수 있기 때문에 [자원 세션이 진행되는 도중에서 뿐만 아니라 사례를 처음 검토할 때부터] 지식 통합이 강화될 수 있다.

For instance, resource sessions occurred in our study after the students had begun to investigate cases, not before, because Aalborg University views learning as an inquiry process. Students identify the learning outcomes they need to investigate before engaging in subsequent connected yet activities, including resource sessions. In this way, knowledge integration from the time a case is first examined, as well as during resource sessions, may be enhanced as students can visualize the curriculum structure and understand the reasons behind connections.

뮬러 외 연구진[34]은 커리큘럼 통합을 다중 연결이 있는 복잡한 프로세스로 이해해야 한다고 제안했다. 그럼에도 불구하고, 많은 의학 교육 연구자들은 다른 많은 관련 교육과정 상호관계를 제쳐두고 기초과학과 임상과학 사이의 연결로 커리큘럼 통합을 축소시켰다[34–40]. 이러한 환원주의적 접근법은 통합 커리큘럼을 이해하는 방법에 부정적인 영향을 미칠 수 있다. 그러한 접근방식은 생물 의학-임상 이원론을 강조하기 때문에, 기존의 서로 다른 연결에 비추어 커리큘럼의 복잡성을 고려할 수는 없다.

Muller et al. [34] suggested that curriculum integration should be understood as a complex process with multiple connections. Nevertheless, many medical education researchers have reduced curriculum integration to a connection between basic and clinical sciences, leaving aside many other relevant curricular interrelationships [34–40]. This reductionist approach may negatively affect how integrated curricula are understood. Since such an approach emphasizes biomedical-clinical dualism, it is not possible to consider curriculum complexity in the light of existing different connections.

두 번째와 세 번째 construct (교육과정 통합은 교육과정 실습에서 상반된 학습 관점을 조화시키기 위해 사용되며, 교육과정 통합은 그 구조를 스스로 구성하는 긴장을 조성한다)은 [실제 교육과정 통합의 역동적인 성격]을 나타낸다. '역동적'이라는 것은 다양한 제도적 학습 관점의 상호작용에서 나타날 수 있는 긴장을 완화시키지만, 동시에 학습 관점과 이해관계자의 학습 기대치 사이에 긴장을 발생시킨다는 것을 의미한다.

The second and third constructs (Curriculum integration is used to harmonize conflicting learning perspectives in curriculum practice and Curriculum integration creates tensions that self-organize its structure) represent the dynamic nature of curriculum integration in practice. By ‘dynamic’ we mean curriculum integration mitigates tensions that may emerge from the interaction of diverse institutional learning perspectives but, simultaneously, produces tensions between the learning perspectives and the stakeholders’ learning expectations.

우리의 경우, 두 번째 구조는 경험과 주제 기반 통합 접근방식에서 나타난 긴장을 가리킨다. 이 문제는 의학을 공부하는 것은 [현실의authentic 학습 경험으로부터 지식을 쌓는 것]이자, 동시에 [서로 다른 교육적 목표를 수반하는 여러 의학 과목에 집중하는 것]을 의미한다는 믿음으로 인해 프레임되었다. 이 구조는 커리큘럼 통합이 다양한 학습 관점의 상호작용에서 발생하는 갈등을 조화시킬 수 있음을 암시한다.

In our case, the second construct refers to the tensions that emerged from the experience- and subject-based integration approaches. This issue is framed by the belief that studying medicine implies constructing knowledge from authentic learning experiences while also focusing on medical subjects, which entail different educational goals. This construct implies that curriculum integration may harmonize conflicts arising from the interaction of diverse learning perspectives.

예를 들어, [사례 활동(교육과정 통합의 로지스틱 기반)]은 [임상 문제에 대한 협업적 토론(경험)]을 사용하여 광범위한 주제(대상)를 탐색함으로써 주제와 경험에 기초한 통합을 결합하였다. 따라서 [서로 다른 교육적 접근법(실천에서 긴장감을 유발할 수 있음)]과 [서로 다른 두 가지 교육목표]의 상호작용을 제도적 학습관점(질문과정과 PBL)에 기반을 둔 학습활동을 통해 교과과정에 통합함으로써 조화시킬 수 있다.

For example, case activities (the logistical basis of curriculum integration) combined subject- and experience-based integration by using collaborative discussions (experiences) about clinical issues to explore broad topics (subjects). Therefore, the interaction of two different educational goals with different pedagogical approaches (which may cause tensions in practice) can be harmonized by integrating them into the curriculum via a learning activity that is grounded in institutional learning perspectives (inquiry processes and PBL).

세 번째 구조는 커리큘럼 통합이 정적인 상태를 유지하지 않는다는 것을 보여준다; 대신에, 커리큘럼 통합의 구조는 practice하는 동안 바뀐다. 우리의 경우, 커리큘럼 통합 실습은 학생들의 구체적인 학습 기대감 때문에 커리큘럼의 분열을 초래했다. 학생들이 자신만의 특정한 기대를 갖고 기관의 학습 관점에 접근하면, 사전에 구축된 커리큘럼 배열이 도전받고 왜곡되면서, [학생들은 강의에 출석하지 않고 동영상을 보는 등] 새롭고 떠오르는 연결 패턴을 만들어냈다.

The third construct shows that curriculum integration does not remain static; instead, its structure changes during practice. In our case, curriculum integration practice led to disorganization in the curriculum owing to students’ specific learning expectations. When students approached institutional learning perspectives with their expectations, the pre-established curriculum arrangement was challenged and distorted, creating new and emerging patterns of connections, such as watching videos instead of attending a lecture.

우리는 이러한 현상을 자기 조직적 통합self-organizing integration으로 해석했다. 즉, 교육과정 시행과정에서 생성된 피드백의 결과로 새로운 패턴이 만들어지는 교육과정 통합의 특징을 의미한다. 우리는 [통합 커리큘럼의 설계, 구현, 평가에서] (커리큘럼 통합의 특징으로서) 자기-구성적 특징이 지식 통합의 향상에 기여할 수 있다고 본다. 커리큘럼 평가는 통합에서 발생하는 긴장을 밝혀줄 것이기 때문에, 그러한 문제들을 해결하기 위한 구체적인 노력을 할 수 있을 것이다.

We interpreted this phenomenon as self-organizing integration, a characteristic of curriculum integration in which new patterns are created as a result of feedback produced during curriculum implementation [41]. We posit that self-organization as a characteristic of curriculum integration in the design, implementation, and evaluation of integrated curricula might contribute to improving knowledge integration. Since curriculum evaluation would bring to light the tensions arising from integration, it might be possible to undertake specific efforts to resolve such issues.

네 번째 구성인 [커리큘럼 통합은 협력적 학습 공간에서 가시화된다]는 커리큘럼 통합과 학생들의 지식 통합 사이의 연관성을 나타낸다. 학습 활동 중 학생들이 정보에 입각한 주제 설명에 지식 통합이 명시적으로 입증되었다. 이 결과는 특히 사회적 학습 시간에 커리큘럼 통합을 통한 학습의 결과로 해석될 수 있다.

The fourth construct Curriculum integration becomes visible in collaborative learning spaces denotes the link between curriculum integration and students’ knowledge integration. Knowledge integration was explicitly demonstrated in students’ informed explanations of topics during learning activities. This outcome could be interpreted as the result of learning through curriculum integration, especially in social learning sessions.

따라서 이 구성에는 지식통합을 추진함에 있어 커리큘럼 통합의 효과를 평가하는 방법에 대한 단서가 포함되어 있다. 교육과정 통합을 단순히 물류기능logistical function 이상으로 이해한다는 것은, 교육과정 통합을 교육목표로 특성화하는 것이며, 여기에는 '다른 유형의 지식들 사이의 개념적, 인지적 연결' 달성을 수반해야 한다[43]. 지식통합은 우리의 연구과목이 참여한 협력학습 세션에 표시되었으므로, 평가는 학생들이 지식을 통합하는 방법에 대한 피드백을 제공하기 위해 유용하게 이 세션에 집중될 수 있었다.

Therefore, this construct contains clues about how to evaluate the effectiveness of curriculum integration in promoting knowledge integration. Understanding curriculum integration beyond its logistical function is to characterize it as an educational aim [14, 42], which entails achieving ‘a conceptual, cognitive connection between different types of knowledge’ [43]. Knowledge integration was displayed in the collaborative learning sessions that our research subjects participated in; therefore, evaluation could usefully be focused on these sessions to provide feedback on how students integrate knowledge.

Conclusions

의학교육에서 오픈북평가: 지금이 적기다 (Med Teach, 2020)

Assessing open-book examination in medical education: The time is now

Ivry Zagury-Orlya and Steven J. Durningb

코로나바이러스 대유행은 전세계적으로 의료 교육자들이 그들의 교육과 평가를 온라인 환경에 적응하도록 강요했다. 온라인에서 학습자를 평가하면 이론적으로 시험 보안, 특히 고부담 시험(Durning et al. 2016; Fuller et al. 2020)에 대한 우려가 제기된다. 폐쇄형 시험(CBE)과 개방형 시험(OBE)의 관리는 감독되지 않은 것에서부터 오디오 및 비디오 모니터링과 지문 감식이 있는 시험 프로그램까지 다양하다(Fuller et al. 2020). 현재, OBE 대 CBE의 사용은 논쟁거리로 남아 있다 – 그 이유와 함께, OBE와 CBE 중 어느 한쪽의 사용을 지지하는 결정적인 증거가 부족하다. (Durning et al. 2016)

The coronavirus pandemic has forced medical educators, globally, to adapt their teaching and assessment to the online environment. Assessing learners online, theoretically poses a concern for test security, particularly for high-stakes testing (Durning et al. 2016; Fuller et al. 2020). Administration of closed-book examinations (CBEs) and open-book examinations (OBEs) vary from being unsupervised to test-taking programs with audio and video monitoring and fingerprint identification (Fuller et al. 2020). As of now, the use of OBE versus CBE remains a debate – with reason: definitive evidence supporting the use of one over the other is lacking (Durning et al. 2016).

CBE 또는 OBE를 사용하기로 한 결정에는 몇 가지 이론적 가정이 있다. 한 쪽에서, CBE 옹호자들은 일반적으로 

• 첫째, CBE가 [학습자가 알고 있는 정보]의 지표로서 정보를 이해하고 인출하는 학습자의 능력을 평가하는데 필수적이라고 주장한다. (Durning et al. 2016) 

• 둘째로, CBE를 복용하는 것은, 외관상 더 수동적인 OBE와 비교했을 때, 시험 효과의 결과로 학습자의 장기 보유에 도움이 될 수 있는 기억력에서 더 많은 노력을 필요로 할 수 있다. 그럼에도 불구하고, 최근 CBE와 OBE를 비교한 체계적 검토에서 시험 성과와 시험 효과에 대해 유의미한 차이는 발견되지 않았다(Durning et al. 2016). 

• 셋째, 학습자는 OBE가 CBE보다 쉽다고 가정할 수 있으며, 결과적으로 OBE에 대해 덜 공부할 수 있다(Durning et al. 2016). 실제로, 체계적 검토 결과 학습자들은 OBE를 준비하는 데 더 적은 시간을 투자했지만, 포함된 37개 연구 중 70%는 OBE에 대한 사전 경험이 거의 또는 전혀 없었으며, 이는 학생들이 준비하는데 필요한 시간을 과소평가하게 만들 수도 있다(Durning et al. 2016).

There exist several theoretical assumptions underlying the decision to use CBEs or OBEs. On the one hand, advocates for CBE generally contend that, 

• first, CBEs are essential for evaluating learners’ ability to understand and recall information as an indication of what learners know (Durning et al. 2016). 

• Second, taking a CBE may require more effortful retrieval from memory, which, as a result of the testing effect, could benefit learners’ long-term retention, as compared to seemingly more passive OBEs (Durning et al. 2016). Nevertheless, in a recent systematic review comparing CBE and OBE, no significant differences were noted for exam performance and testing effects (Durning et al. 2016). 

• Third, learners may assume OBEs are easier than CBEs, and may, consequently, study less for an OBE (Durning et al. 2016). Indeed, the systematic review indicated that learners invested less time preparing for an OBE; however, in 70% of the 37 studies included, participants had little to no prior experience with OBE, which may have led them to underestimate the time required to prepare (Durning et al. 2016).

반면 OBE의 지지자들은 OBE가 교육자들이 암기를 넘어 고차원의 인지 능력과 비판적 사고를 요구하는 질문을 제기할 수 있도록 한다고 주장한다. 학습자의 지식을 평가하지 않는다는 위협은 모든 것을 찾을 시간이 없도록 시험 시간을 제약시킴으로써 극복할 수 있다(Durning et al. 2016). 또는 더 좋은 방법은 'why'에 대한 질문을 함으로써 극복할 수 있다(슈워츠슈타인과 로버츠 2017; 풀러 외 2020). 이러한 질문은 검색할 수 없을 뿐만 아니라, 학습자들의 추론적 사고를 밝혀내고 그들의 사고에 도전하는데 도움을 준다. 그리고 의학지식이 핵심역량임에도 불구하고 의료학습자의 지식손실은 상당할 수 있다(D'Eon 2006).

On the other hand, proponents of OBE argue that OBEs allow educators to pose questions that require higher-order cognitive skills and critical thinking, beyond rote memorization (Durning et al. 2016). The threat of not assessing learners’ knowledge could be overcome by time-pressured tests, leaving little time to look up everything (Durning et al. 2016), or better, by asking why questions (Schwartzstein and Roberts 2017; Fuller et al. 2020), which are not only less searchable but also help to uncover learners’ reasoning and challenge their thinking. And although medical knowledge is a core competency, knowledge loss among medical learners can be significant (D’Eon 2006).

암기의 한계를 인식하는 것은 플립 교실 모델(슈워츠슈타인과 로버츠 2017)의 채택과 일치하며, 최근 미국 의료면허시험(USMLE) 1단계를 합격 또는 불합격으로 하기로 연방의료위원회(FSMB)와 국가의료심사위원회(National Board of Medical Examiners, NBME)의 결정과 일치한다. USMLE step 1에서 세 자리 성적을 없앰으로써, 학습자들은 불필요한 사실보다 더 중요하고 관련 있는 정보를 우선시할 것으로 기대한다(Prober 2020).

Recognizing the limits of rote memorization is consistent with the adoption of the flipped classroom model (Schwartzstein and Roberts 2017), and the recent decision by the Federation of State Medical Boards (FSMB) and the National Board of Medical Examiners (NBME) to make the US Medical Licensing Examination (USMLE) Step 1 exam a pass or fail assessment. By eliminating the three-digit score, learners may prioritize more essential and relevant information, over unnecessary facts, they are likely to be tested on (Prober 2020).

OBE와 CBE의 대면 비교를 넘어, OBE는 임상 실습에 보다 정통하며 다양한 전이 가능한 기술의 평가를 허용할 수 있다. 

• 학습자가 고품질 정보를 얻기 위해 찾아야 하는 자원(자료)의 유형에 대해 공식적인 교육을 받고 있는가? 

• 학습자가 시간에 제약된 환경에서 신뢰할 수 있는 증거를 적용하는 방법을 알고 있는가? 

• 학습자가 불확실성에 대응하는 방법을 알고 있는가? 

Beyond the face-to-face comparison of OBE and CBE, OBEs are more authentic to clinical practice and may allow for assessment of various transferable skills. 

• Do learners have formal training on the type of resources they must seek to obtain high-quality information? 

• Do learners know how to apply credible evidence in time-constrained settings? 

• Do learners know how to respond to uncertainty? 

이 질문들 중 많은 것은 매일 실무자들이 경험하는 것을 나타낸다. 그러나 이러한 질문들은 일반적으로 교육되거나 의도적으로 평가되지 않는다.

Many of these questions represent what practitioners experience daily; yet, these are typically not taught or purposely assessed.

온라인 OBE는 '구글 의사'를 넘어 의사가 현재 임상 실습에서 사용할 것으로 예상되는 치료 시점 자원을 실시간으로 시뮬레이션할 수 있다. 특히 OBE는 학습자가 온라인 자원을 효율적으로 효과적으로 문제 해결에 활용할 수 있도록 설계할 수 있다. 이 때 수행능력이 뛰어나다는 것은 다음과 같은 지식으로 증명될 수 있다: 

• 무엇을 검색할 것인가, 어느 정도 배경 지식이 있어야 효과적일 수 있다. 

• 어디서 검색할 것인가, 신뢰할 수 있는 출처를 식별하고 오보의 현저한 시대에 이성의 목소리가 되기 위해 필요한 기술 

• 어떻게 검색할 것인가, 적절한 키워드, 유효한 검색 전략 및 적절한 리소스 탐색을 최소 시간 내에 검색하는 방법 

• 어떻게 데이터를 효과적으로 사용할 것인가– 정보 검색에 능숙하다고 해서 지식 번역의 우수성을 의미하는 것은 아니다.

Online OBEs can provide a real-time simulation of the point-of-care resources – beyond doctor Google – that physicians are currently expected to use in their clinical practice. Specifically, OBEs can be designed for learners to utilize online resources to problem-solve efficiently and effectively. Greater performance could be evidenced by knowing: 

• what to search, which would require some background knowledge to be effective; 

• where to search, a necessary skill for identifying credible sources and for being the voice of reason in this striking age of misinformation; 

• how to search, with appropriate keywords, valid search strategies, and proper resource navigation, in minimal time; and 

• how to use the data effectively – being proficient at searching for information does not imply excellence in knowledge translation. 

또한 온라인 OBE는 일반적으로 증거 기반 의학이라고 불리는 [임상 의사결정에서 이용 가능한 최선의 증거를 적절히 식별하고 활용하는 것의 중요성]에 대한 학습자의 인식을 높일 수 있다. 과학 정보의 양이 기하급수적으로 증가함에 따라 한때 의과대학에서 일찍 습득되었던 지식은 잊혀질 뿐만 아니라 무관할 수도 있다. 온라인 OBE를 관리함으로써, 의대생과 레지던트들도 자기주도 학습자가 되어야 할 의무를 더욱 의식하게 될 수 있다. 그들은 의료행위의 끊임없는 진화에 보조를 맞추는 기술을 개발할 수 있었다.

Online OBEs may also heighten learner awareness of the importance of aptly identifying and utilizing best available evidence in clinical decision-making, commonly referred to as evidence-based medicine. With the quantity of scientific information increasing exponentially, knowledge that was once acquired early in medical school may not only be forgotten but may also be irrelevant. By administering online OBEs, medical students and residents may become more mindful of their duty to be self-directed learners. They could develop skills in keeping up with the constant evolutions of medical practice.

코로나바이러스 대유행으로 인한 CBE의 제한된 실현가능성을 고려할 때, 지금은 의료 교육자인 우리 모두가 의학교육에서 온라인 OBE의 사용을 신중하게 탐구할 때다. 

• 첫째, 효과성을 연구하기 전에 학습자에게 저부담 환경에서 충분한 OBE 경험을 제공해야 한다. 예를 들어, 우리는 종합 평가 전에 일련의 형성적 OBE를 구현할 수 있다. 

• 둘째, OBE가 학습자와 교수진에게 어떻게 받아들여지는지를 잘 설계된 조사와 정성적 연구 방법을 사용하여 탐구해야 한다. 

• 셋째, 우리는 온라인 자원으로 오픈북 시험을 사용하는 것의 효율성과 효과성에 대한 연구를 고려해야 한다. 예를 들어, 현재 사용할 수 있는 시험 응시 기술을 고려할 때, 우리는 학습자가 어떤 자원을 사용하고 있는지 또는 주어진 페이지의 어떤 섹션에 가장 오랜 시간을 소비하는지 평가할 수 있다. 그러한 데이터 분석을 통해 우리는 학습자들에게 미래의 실무자로서 그들에게 도움이 될 수 있는 맞춤형 피드백을 제공할 수 있을 것이다.

Given the limited feasibility of CBEs due to the coronavirus pandemic, now is the time for us, medical educators, to thoughtfully explore the use of online OBEs in medical education. 

• First, before studying their effectiveness, we should provide learners with sufficient OBE experience in lower-stake settings. For example, we can implement a series of formative OBEs before a summative assessment. 

• Second, we should explore how OBEs are received by learners and by faculty using well-designed surveys and qualitative research methods. 

• Third, we ought to consider studying the efficiency and effectiveness of using openbook exams with online resources. For example, given the test-taking technology that is currently available, we can assess what resources learners are using, or what section of any given page they spend the longest time on. Such data analytics would allow us to provide our learners with tailored feedback that could benefit them as future practitioners.

그러나 한 가지 시험 모드를 선택하는 대신에 OBE와 CBE를 결합한 혼합 접근법을 사용하여 학습자를 평가할 수 없을까? OBE와 CBE에 대한 체계적 검토의 결론은 각각 장단점과 추천에 대한 혼합된 증거를 고려할 때, 학습 프로토콜은 오픈북과 클로즈북 항목을 모두 사용하여 학습자를 평가할 수 있어야 한다고 제안했다(Durning et al. 2016).

But, instead of choosing one mode of examination over another, could we not assess learners using a blended approach, combining OBEs and CBEs? Conclusions from a systematic review on OBE and CBE suggested that we should; given the pros and cons of each, and the mixed evidence for recommending one versus the other, study protocols could assess learners using both open-book and closed-book items (Durning et al. 2016).

[필수 의료 개념에 대한 학습자의 이해를 평가해야 한다고 주장하는 CBE 지지자]들은 임상 실습에서 결국 기대되는 것인 [학습자의 정보 검색 및 번역 능력을 평가하는 능력을 가진 공개 온라인 검사를 지지하는 OBE 지지자]들과 힘을 합칠 수 있다. 혼합된 평가에는 1부에서, CBE로, 자료를 찾아보지 않고 알아야 할 개념에 대한 학습자의 평가한 뒤, 2부에서 학습자가 연구할 것으로 기대되는 주제에 대한 오픈북이 포함될 수 있다.

Proponents of CBE who reason that we must evaluate learners’ understanding of essential medical concepts can join forces with OBE supporters who advocate for an open, online examination that has the ability to assess learners’ capacity to search and translate information efficiently, as they would be expected to do in clinical practice. A mixed assessment could include a first part, closed-book, evaluating learners on concepts they should know without looking things up, followed by a second part, open-book, on topics learners are expected to research.

• 학습자의 경우 일상적인 OBE는 [스테로이드 합성에 관한 분자적 상세한 내용]보다는 무엇이 잘못될 수 있고 왜 잘못될 수 있는지에 더 많은 초점을 맞출 수 있다. 교육자가 학습 자료를 제공하거나 탐색하기를 기다리는 대신, 몇 시간 동안 최신의 과학 문헌을 통해 학습자들은 평생 자기조절적학습자가 되는 방법을 배우고 신뢰할 수 있는 연구를 효율적으로 검색하고 해석할 수 있다. 

• 교육자들에게 OBE는 인터넷 검색의 이점과 한계를 조사하고 학습자의 고차원의 사고 능력을 목표로 하는 데 매력적일 수 있다. 중요도가 높은 CBE에 오픈 엔드 항목을 추가함으로써, 면허소지 기관은 진품이며 증거기반 임상실무와 관련된 기술을 평가할 기회를 갖는다.

• For learners, routine OBEs could entail focusing less on the molecular details of steroid synthesis, and more on what can go wrong and why. Rather than waiting for educators to provide learning materials or navigating, for hours, through up-to-date, scientific literature, learners can learn how to become lifelong self-regulatory learners and search and interpret credible research efficiently. 

• For educators, OBEs could be attractive in investigating the benefits and limits of searching the Internet and in targeting their learners’ higher-order thinking skills. By adding open-ended items to high-stakes CBEs, licensing bodies have an opportunity to assess skills that are authentic and relevant to evidence-based clinical practice.

Durning SJ, Dong T, Ratcliffe T, Schuwirth L, Artino AR, Boulet JR, Eva K. 2016. Comparing open-book and closed-book examinations: a systematic review. Acad Med. 91(4):583–599.

CBME를 위한 평가 진주(J Grad Med Educ, 2017)

Assessment Pearls for Competency-Based Medical Education

Susan Humphrey-Murto, MD, MEd, FRCPC Timothy J. Wood, PhD Shelly Ross, MA, PhD Walter Tavares, PhD Brent Kvern, MD, CCFP, FCFP Ravi Sidhu, MD, MEd, PhD Joan Sargeant, BN, MEd, PhD Claire Touchie, MD, MHPE, FRCPC

1. 모든 평가는 표본이다.

1. All Assessments Are Samples

전공의가 demonstrate할 것으로 기대하는 모든 것을 평가할 수 없기 때문에, 우리는 신중하게 구성된 청사진을 사용하여 의도적으로 대표 지식과 기술을 샘플링해야 한다.2 Blueprint는 평가되고 있는 내용을 정의하며, 또한 충분하고 적절한 샘플링을 보장함으로써 평가 전략이 유효하다는 증거를 제공한다. 예를 들어, 내과용 1 EPA는 "의학 바닥에서 새로운 급성 문제를 가진 입원환자를 수용하고 관리한다."3,4 전공의가 이 EPA를 완료하기 위해서는 기초과학 지식, 임상적 특징 및 관리 전략, 의사소통 기술 및 적절히 focus된 신체검진 수행 능력 등 몇 가지 역량이 필요하다. 각 역량에 대해서는 샘플링 전략이 필요하다.

It is not possible to assess everything residents are expected to demonstrate, so we must deliberately sample representative knowledge and skills using a carefully constructed blueprint.2 A blueprint defines what is being assessed; it also provides evidence that the assessment strategy is valid by ensuring sufficient and appropriate sampling. For example, 1 EPA for internal medicine is ‘‘admit and manage a medical inpatient with a new acute problem on a medical floor.’’3,4 Several competencies are required for a resident to complete this EPA: knowledge of basic science, clinical features and management strategies, as well as communication skills and the ability to perform an appropriately focused physical examination. For each competency, a sampling strategy is required.

2. 부담stakes이 높을수록 샘플이 더 많이 필요함

2. The Higher the Stakes, the More Samples Are Needed

모든 측정은 오차가 있으며, 부담이 더 높을수록 더 많은 평가점(또는 샘플)이 필요하다.5 예를 들어, 평가의 목적이 전공의에게 외래 클리닉에서 환자 관리에 대한 피드백을 제공하는 것이라면, 단일 평가가 적절할 것이다. 반면, 임상 역량 위원회(CCC)가 학습자 진급에 대한 결정을 내리고자 한다면(즉, 평가는 고득점 합격/불합격 결정을 위한 것이다), 평가자료를 1개만 사용하는 것은 방어할 수 없을 것이다. 평가의 목적(높은/낮은 부담)을 정의하면 필요한 샘플 수를 결정하는 데 도움이 될 수 있다.

All measurements have error, and the higher the stakes, the more assessment points (or samples) are required.5 For example, if the purpose of the assessment is to provide feedback to residents on the management of patients in ambulatory clinic, a single assessment would be appropriate. On the other hand, if the Clinical Competency Committee (CCC) wanted to make decisions on learner promotion (ie, the assessment is for higher-stakes pass/fail decisions), then using only 1 faculty assessment would not be defensible. Defining the purpose (high/low stakes) of the assessment can help determine how many samples are needed.

3. 쉬운 것뿐만 아니라 중요한 것이 무엇인지 평가하기

3. Assess What Is Important, Not Just What Is Easy

교육자들은 종종 무엇이 중요한지를 평가하기 보다는 쉬운 것을 평가하는 잘못을 범한다. 우리는 지필시험이 임상 역량의 모든 측면을 평가는데 사용하는 것으로는 적절하지 않다는 것을 알고 있다. CanMEDS 2015 및 ACME(Accreditation Council for Graduate Medical Education) 역량7과 같은 프레임워크에서 내면적intrinsic(의료전문가 외non-medical expert) 역할은 평가하기 어려울 수 있지만(예: 프로페셔널리즘), 이것들이 의사 역량의 중요한 요소들이다. 분명히, 의료 교육자들은 의료 지식(ACGME)이나 CanMEDS 의료 전문가medical expert 역할과 같이 평가하기 쉬운 능력뿐만 아니라, 서로 다른 영역의 역량을 평가하는 도구를 개발하는 데 있어 진전을 이루었다.

Educators often default to assessing what is easy, rather than assessing what is important. We know that using a written examination to assess all aspects of clinical competence is not adequate. The intrinsic (nonmedical expert) roles in frameworks such as CanMEDS 20156 and the Accreditation Council for Graduate Medical Education (ACGME) competencies7 can be difficult to assess (eg, professionalism), yet they are important elements of physician competence. Clearly, medical educators have made progress on developing tools to assess different areas of competence, not just the easier competencies to assess such as medical knowledge (ACGME) or the CanMEDS medical expert role.

4. 모든 평가에는 판단이 포함된다.

4. All Assessment Involves Judgment

완벽한 객관성과 표준화는 가능하지도 바람직하지도 않다. 시험 점수가 생성되려면 성과를 관찰한 다음 점수로 변환해야 하며, 이 점수는 반드시 해석되어야 한다. 모든 단계에는 판단이 필요하다.

Perfect objectivity and standardization is neither possible nor desirable. Considering that in order for a test score to be generated, a performance must be observed and then converted into a score, which then must be interpreted—every step involves judgment.

평가자 인식은 여러 평가자가 서로 다른 관점을 제공하고 전공의의 성과에 대한 더 풍부한 데이터를 제공할 수 있는 잠재력을 가지고 있는 강점으로써 증가된 관심을 받았다.11 반면에, 여러 평가자들에 의한 과도한 평가등급 변동은 신뢰성과 타당성에 대한 우려를 야기시켰다.12 훈련을 통해서 평가자는 개선될 수 있으나, 연구 결과는 엇갈린다.13

Rater cognition has received increased attention as a strength, where multiple raters provide different perspectives and have the potential to provide richer data about a resident’s performance.11 On the other hand, excessive variability in ratings by different raters has raised concerns about reliability and validity.12 Training raters may improve assessment quality, but results are mixed.13

승급promotion의 문턱이나 기준을 명확하게 정하려면 집단적 판단과 전문가의 공감대가 필요하다.11,14

Determining the threshold or standard for promotion clearly requires collective judgments and the consensus of experts.11,14

5. 양적, 질적 방법 상호 보완

5. Quantitative and Qualitative Methods Complement One Another

내러티브는 누적된 숫자가 가릴mask 수 있는 성과 요소를 포착하는 것으로 입증되었다. 나아가, 대부분의 직장 평가 상황과 같이 표준화되지 않은 상황에서는 피드백과 학습을 위한 훨씬 더 나은 데이터를 제공한다.11

Narratives have been shown to capture elements of performance that an accumulation of numbers may mask15; further, in unstandardized situations—such as most workplace assessment situations—narrative provides much better data for feedback and learning.11

6. 임상적 역량의 모든 측면을 파악할 수 있는 단일 평가 툴은 없음

6. No Single Assessment Tool Can Capture All Aspects of Clinical Competence

임상적 역량은 다양한 평가 도구와 전략이 필요한 복잡한 구조다.

Clinical competence is a complex construct necessitating a diverse set of assessment tools and strategies.

7. 피드백은 평가의 필수 요소

7. Feedback Is an Essential Element of Assessment

최상의 평가 관행은 하나의 교육 단위를 통과할 수 있을 만큼 충분히 잘 하는 것뿐만 아니라, 수행능력 향상에 도움이 되는 형성적 피드백의 기회를 제공하는 것이다.

best assessment practice is not only about doing well enough to pass a unit of instruction, but also providing an opportunity for formative feedback that contributes to improved performance.

8. 평가는 학습을 촉진한다.

8. Assessment Drives Learning

학습자들은 가능할 때마다 '시험에 대비하여' 학습 전략을 자신이 알고 있는 개념에 집중하여 학습할 것이다. 시험 강화 학습은 교육생들이 시험을 준비하고 완료한 후 피드백을 받을 때 학습을 포함한다.

Learners will ‘‘study to the test’’ whenever possible, focusing their study strategies on concepts they know will be examined. Test-enhanced learning involves learning as trainees prepare for the test, complete it, and then receive feedback.

9. 타당성이 평가 데이터의 가장 중요한 특성임

9. Validity Is the Most Important Characteristic of Assessment Data

간단히 말해서 타당성은 [이론과 증거가 특정 목적을 위한 평가 점수의 해석을 뒷받침하는 정도에 대한 전반적인 판단]이다.5,22 만약 어떤 전공의가 객관식 시험에서 만점을 점수를 받았다면, 우리는 과연 그 전공의가 내과의사에게 오는 모든 상담에 대비해서, 이제 책임지고first call 컨설트를 받을 준비가 되어 있다고 결론을 내릴 수 있을 것인가?

Simply put, validity is the overall judgment of the degree to which theory and evidence support the interpretation of assessment scores for a specific purpose.5,22 If a resident scores perfectly on a multiple-choice examination of knowledge, can we conclude that the resident is ready to take first call for all consultations coming to internal medicine?

객관식 시험 점수를 first call을 받을 준비가 되어 있다는 증거로 해석하는 것은 타당하지 않다: 증거(지식 시험)가 목적(전반적 역량)을 뒷받침하지 않기 때문이다. 이는 중요한 개념을 강조한다: (본질적으로) 타당하거나 타당하지 않은 테스트는 없다는 것이다. 타당성은 항상 특정 목적에 대한 시험 점수에 근거한 추론이나 판단의 적절성을 말한다.

the interpretation of the multiple-choice test score as proof of readiness to take first call is not valid: the evidence (knowledge testing) does not support the purpose (overall competence). This highlights an important concept: that there is no such thing as a valid or invalid test. Validity always refers to the appropriateness of inferences or judgments based on test scores for a specific purpose.

10. 완벽한 평가는 환상이다.

10. Perfect Assessment Is an Illusion

모든 평가와 관련된 많은 기준이 있다: 타당성, 재현성, 동등성, 타당성, 교육 효과, 촉매 효과, 수용성. 23,24 궁극적으로 평가는 항상 어느 정도의 타협을 수반한다.

There are many criteria that are relevant to any assessment: validity, reproducibility, equivalence, feasibility, educational effect, catalytic effect, and acceptability.23,24 Ultimately, assessment always involves some degree of compromise.

• 진행상황에 대한 데이터와 피드백을 제공하는 것이 목적이라면 저부담 평가를 고려하십시오. 이 경우 실현가능성(행정의 본질), 수용성(전공의와 교직원에 대한 수용성), 교육효과(피드백 촉진), 촉매효과(교육을 강화할 결과를 제공)가 모두 중요하게 고려될 것이다. 

• 만약 이것이 유의미한 결과를 가진 고부담 평가였다면, 방어 가능한 결과로 이어지기 위해서는 재현성(통계적으로 신뢰할 수 있는 시험)과 동등성(모든 전공의가 동일한 방법으로 시험됨)이 가장 중요할 것이다.

Consider a low-stakes assessment where the purpose is to provide residents with progress data and feedback. In this instance, feasibility (ease of administration), acceptability (for residents and faculty), education effect (facilitates feedback), and catalytic effect (provides results that enhance education) would all be considered important. If this was a high-stakes assessment with significant consequences, then reproducibility (statistically reliable test) and equivalence (every resident is tested in the same way) would be paramount to lead to defensible results.

Assessment Pearls for Competency-Based Medical Education

• PMID: 29270255
 
• PMCID: PMC5734320
 
• DOI: 10.4300/JGME-D-17-00365.1

의학 전문직업성 평가: 평가도구와 측정특성의 체계적 보고(PLoS One, 2017)

Assessing medical professionalism: A systematic review of instruments and their measurement properties

Honghe Li1, Ning Ding1☯, Yuanyuan Zhang2☯, Yang Liu3, Deliang Wen1*

도입 

Introduction

의료전문가의 사회에 대한 헌신이 의료전달체계 내에서 변화의 외적인 힘에 의해 도전을 받고 있는 가운데, 의료전문직업성은 고품질 환자진료를 제공하는 핵심요인 중 하나로 널리 주목을 받아 왔다[1–4]. 많은 연구에서 입증되었듯이, 전문직업성은 의사-환자 관계 개선, 환자 만족도, 의료 전문가의 경력 만족도, 그리고 심지어 건강관리 결과와도 밀접한 관련이 있기 때문에 의학의 실천에 중심적이다[4–7]. 의료 전문직업성의 핵심 요소들은 모든 의료 전문가들이 의료 서비스를 조직하고 제공할 것을 약속하고, 환자와 대중들 사이에서 신뢰를 구현하며, 각자의 분야에서 자기 감시와 개선을 하도록 요구한다[8–11]. 게다가 전문성에 대한 이해는 시간과 문화적 맥락에 따라 다르다[12]. 전문성이 복합적이고 다차원적인 구조임을 시사한다[9].

Facing medical professionals’ commitment to the society is being challenged by external forces of change within health care delivery systems, medical professionalism has received widespread attention as one of the core factors in providing high-quality patient care [1–4]. As demonstrated by many studies, professionalism is central to the practice of medicine because of its close associations with improvements in physician-patient relationships, patient satisfaction, health care professionals’ career satisfaction, and even healthcare outcomes [4–7]. The core components of medical professionalism require that all medical professionals commit to organize and deliver health care, to implement trust within patients and the public, and to self-monitor and improve in their respective fields [8–11]. Besides, understanding of professionalism varies across time and cultural contexts [12], suggesting that professionalism is a complex, multi-dimensional construct [9].

지난 30년 동안, 의료 전문직업성을 평가하기 위한 다양한 도구들이 개발되었고 많은 경험적 연구에 사용되었다[13–15].

Over the last three decades, various instruments to assess medical professionalism were developed and employed in many empirical researches [13–15].

측정도구 사용에 대한 지침을 제공하기 위한 노력의 일환으로, 발행된 여러 검토 기사에서 내용, 유형 및 구성에 대한 전문성을 평가하는 측정도구를 요약하고 비교하였다[9, 13, 15, 16, 18, 19]. 이러한 검토에 따르면 많은 측정도구들이 측정 특성에 대해 완전히 평가되지 않았으며, 이는 척도의 사용을 제한한다[9, 13, 18].

In an effort to provide guidance for instrument usage, several published review articles have summarized and compared instruments assessing professionalism with respect to their content, type, and construction [9, 13, 15, 16, 18, 19]. These reviews have indicated that many instruments have not been fully evaluated for their measurement properties, which would then limit their usage [9, 13, 18].

COSMIN(Consensus-based Standards for health status Measurement INstruction) 체크리스트는 연구의 방법론적 품질을 체계적으로 평가하기 위해 개발된 프레임워크로, 다양한 분야에서 경험적 연구의 품질을 평가하는 데 사용되어 왔다 [23–25]. 건강관리 결과를 측정하는 기구 외에도, COSMIN 체크리스트는 자가 효능감, 의사 신뢰도 및 근린 환경과 같은 다른 복잡한 건강 관련 문제의 금융상품의 품질을 평가하는 데도 사용되었다 [24, 26, 27].

The COnsensus-based Standards for the selection of health status Measurement INstruments (COSMIN) checklist is a widely accepted framework developed for systematically evaluating the methodological quality of studies [20–22] and has been used for assessing the quality of empirical studies in various fields [23–25]. Besides instruments measuring health care outcomes, the COSMIN checklist was also used to assess the quality of instruments of other complex health-related issues, such as self-efficacy, trust in physicians, and neighborhood environments [24, 26, 27].

연구 자료 및 방법

Materials and methods

검색 전략 

Search strategy

1990년 1월 1일부터 2015년 12월 31일까지 전자 데이터베이스 PubMed, Web of Science, PsycINfo에 대한 무증상 검색은 측정 속성에 대한 보고서(S1 부록)로 의료 전문성을 평가하는 연구를 식별하기 위해 실시되었다.

A systematic search of the electronic databases PubMed, Web of Science, and PsycINFOfrom January 1, 1990 through to December 31, 2015, was conducted to identify studies assessing medical professionalism with reports on measurement properties (S1 Appendix).

본 연구에서는 전문직업성을 아놀드 외 에 의한 분류에 근거하여 완전한 구성물complete construct로 파악하였다. [29] 아놀드 등에서는 의료 전문성을 평가하는 도구를 세 가지 그룹으로 분류하였다. 

• 역량 면으로서의 전문성을 평가하는 도구, 

• 종합적인 구성 요소로서의 전문성을 평가하는 도구, 그리고 

• 휴머니즘과 공감과 같은 전문성의 별도 요소 평가 도구 [29]. 

이 검토에는 전문성의 개별적인 요소만을 가지는 척도가 전문성을 전체적으로 평가하는 척도로 간주되지 않았기 때문에 종합적 구성으로서 또는 역량의 한 측면으로서 전문성의 척도가 포함되었다.

In this study, we identified professionalism to be a complete construct based on the classification of instruments by Arnold, et al. [29]. Arnold, et al., classified instruments assessing medical professionalism into three groups: 

• those assessing professionalism as a facet of competence; 

• those assessing professionalism as a comprehensive construct; and 

• those assessing separate elements of professionalism, such as humanism and empathy [29]. 

This review included measures of professionalism as a comprehensive construct or as a facet of competency, since any measure of only an individual element of professionalism was not considered as a measure assessing professionalism as a whole.

연구 선택

Study selection

자료 추출과 질 평가

Data extraction and quality assessments

포함된 연구의 방법론적 품질과 계측기의 측정 특성을 평가하기 전에 계측기의 짧은 이름, 작성자/년, 국가, 연구 설계, 대상 모집단, 표본 크기, 설정, 연령, 성비 등 포함된 연구의 서술적 변수를 추출했다.

Before assessing the methodological quality of the included studies and the measurement properties of an instrument, descriptive variables of the included studies were extracted, including: the short name of the instrument, author/year, country, study design, target population, sample size, setting(s), age, and sex ratio.

방법론적 퀄리티 평가

Evaluation of methodological quality of the included studies

포함된 연구의 방법론적 품질은 COSMIN 점검표에 기초하여 평가되었다[20]. COSMIN 체크리스트에는 고전적 테스트 이론(CTT) 기반 분석(내부 일관성, 신뢰성, 측정 오류, 내용 유효성, 구조적 유효성, 가설 테스트, 문화 간 유효성, 기준 유효성 및 응답성)을 위한 9개의 상자가 포함되어 있다. 이 box들은 계측기의 측정 속성에 대한 연구의 설계, 방법론 및 보고 품질의 다른 측면을 평가한다. 각 box에는 4점 척도로 측정된 5~18개 항목이 들어 있다. 문항응답이론(IRT) 모델의 경우 방법론적 품질을 평가하기 위한 상자가 1개뿐입니다. 항목 내 어떤 항목의 가장 낮은 점수는 각 상자의 전체 점수를 결정한다.

Methodological quality of the included studies was evaluated based on the COSMIN checklist [20]. The COSMIN checklist includes 9 boxes for classical test theory (CTT) based analyses (internal consistency, reliability, measurement error, content validity, structural validity, hypothesis testing, cross-cultural validity, criterion validity, and responsiveness) to rate different aspects of the design, methodological, and reporting quality of studies on instruments’ measurement properties. Each box contains 5 to 18 items measured on a 4-point scale (excellent, good, fair, or poor). For item response theory (IRT) models, there is only 1 box to rate its methodological quality. The lowest score for any item within the item determined the overall score for each box.

• 교차 문화 타당성은 번역되거나 문화적으로 조정된 측정도구에서 항목의 성능을 결정하고, 조정된 측정도구가 원래 버전의 계측기 항목의 성능을 적절히 반영하는지 여부를 결정하는 것을 목적으로 한다. 

• 대응성은 측정될 구조물의 시간 경과에 따른 변화를 감지할 수 있는 계측기의 능력으로서 COSMIN에 의해 정의되었다. 

9개의 측정 속성에 대한 전체 설명은 COSMIN 분류법[22]에서 얻을 수 있다. COSMIN 체크리스트와 4점 척도는 COSMIN 웹사이트[31]에서 확인할 수 있다.

• Cross-cultural validity aimed to determine the performance of the items on a translated or culturally adapted instrument and whether or not the adapted instrument adequately reflects the performance of the items of the original version of the instrument. 

• Responsiveness was defined by COSMIN as the ability of an instrument to detect change over time in the construct to be measured. 

A full description of the 9 measurement properties can be obtained from the COSMIN taxonomy [22]. The COSMIN checklist and the 4-point scale can be found on the COSMIN website [31].

도구의 측정적 특성 평가

Evaluation of measurement properties of the included instruments

측정 속성의 보고된 모든 측면의 추출은 COSMIN 점검표에 따라 수행되었다[20–22]. 식별된 측정의 측정 속성은 Terwee 외 연구진[32]이 개발한 측정 속성의 품질 기준[표 1에서 볼 수 있는 바와 같이]에 근거하여 평가하였으며, 이는 다양한 연구 분야에서 많은 체계적인 검토에 이용되어 왔다[33–35].

Extraction of all reported aspects of the measurement properties was performed according to the COSMINchecklist [20–22]. The measurement properties of the identified measures were evaluated based on the criteria for quality of measurement properties developed by Terwee et al [32] (as can be seen in Table 1), which have been used in many systematic reviews in different study fields [33–35].

자료 합성과 질 평가 

Data synthesis and quality assessment

향후 사용을 위한 권장 계기를 결정하기 위해, Cochrane Back Review Group[36, 37]에서 제안한 최선의 증거 합성을 수행하였고, 도구의 속성 수준은 "강", "모더레이트", "제한", "충돌", "알 수 없음"으로 분류되었다(표 2). 가장 좋은 증거 합성은 고려를 위한 세 가지 측면을 결합했다: 

• 1) 다양한 연구에서 언급된 측정 속성의 방법론적 품질, 

• 2) 계측기의 측정 속성의 등급, 

• 3) 각 계측기에 대한 연구 수.

In order to determine instruments for recommendation for future use, best-evidence synthesis as proposed by the Cochrane Back Review Group [36, 37] was performed, with levels of instrument properties categorized as “strong”, “moderate”, “limited”, “conflicting”, or “unknown” (Table 2). The best-evidence synthesis combined three aspects for consideration: 

• 1) the methodological quality of the measurement property stated by various studies, 

• 2) the rating of the measurement properties of instruments, and 

• 3) the number of studies for each instrument.

More rating rules can be seen in Table 2.

결과

Results

문헌 검색 및 연구 선택

Literature search and study selection

선정 과정의 세부사항은 그림 1에서 확인할 수 있다.

The details of the selection process can be seen in Fig 1.

포함된 연구 및 측정도구에 대한 설명

Description of included studies and instruments

포함된 연구의 특성 요약(S2 부록)을 보면 80개 연구 중 78개가 2000년 이후 출판된 것으로 나타났다. 80% 이상의 연구가 북미와 유럽에서 수행되었다.

The summary of the characteristics of the included studies (S2 Appendix) show that 78 of the 80 studies were published after 2000. More than 80%of studies were conducted in North America and Europe,

전문성이 종합구축(n = 44)으로 인정되는지, 역량의 면(n = 30)으로 인정받는지에 따라 총 74개의 악기가 두 가지 광범위한 범주로 나뉘었다.

A total of 74 instruments were divided into two broad categories depending on whether professionalism was recognized 

• as a comprehensive construct (n = 44) or 

• as a facet of competence (n = 30).

포함된 74개 계측기의 분류는 표 3에서 확인할 수 있으며, 포함된 계측기의 자세한 내용은 S3 부록에서 확인할 수 있다.

The classification of the 74 included instruments’ classification can be seen in Table 3, and details of the included instruments can be found in the S3 Appendix.

미국내과학회(ABIM)의 이론적 프레임워크[3]에 근거하여 12개 악기를 개발하였고, 

캐나다 왕립의학과외과의대학[40]에 근거한 7개 악기는 [40], 그리고 

22개 악기는 모든 악기의 55.4%를 차지하는 대학원 의학교육인증위원회[41]에 근거하였다.

• 12 instruments were developed based on the theoretical framework of the American Board of Internal Medicine (ABIM) [3], 

• 7 were based on the Royal College of Physicians and Surgeons of Canada (RCPSC) [40], and 

• 22 were based on the Accreditation Council for Graduate Medical Education (ACGME) [41], accounting for 55.4%of all instruments.

포함된 연구의 방법론적 품질

Methodological quality of the included studies

내부 일관성 및 구조적 타당성은 가장 많이 보고된 측정 속성(각각 64개 연구와 54개 연구로 보고됨)인 반면, 

측정 오류, 신뢰성, 기준 유효성 및 응답성은 충분히 보고되지 않았으며, 후속 연구 부족으로 인해 보고되었을 가능성이 가장 높다(표 4 참조).

Internal consistency and structural validity were the most frequently reported measurement properties (reported in 64 and 54 studies, respectively), 

whereas measurement errors, reliability, criterion validity and responsiveness were not reported sufficiently, most likely due to the lack of follow-up studies (See Table 4).

표본 크기가 불충분하고 누락된 데이터를 관리하는 방법에 대한 세부 정보가 부족하여 28개 연구가 방법론적 품질에서 "공정" 또는 "불량"으로 평가되었다. 16개 연구에서 보고된 각 측정 속성은 "양호" 또는 "우수"로 평가되었다.

Inadequate sample sizes and lack of details in how missing data were managed resulted in 28 studies being rated as “fair” or “poor” in methodological quality. In 16 studies, each reported measurement property was rated as either “good” or “excellent”.

• 17개 연구에서는 내용 타당성이 보고되었으며, 그 중 적합성이나 포괄성이 충분히 평가되지 않았기 때문에 방법론적 품질에서 11개가 "공정" 또는 "불량"으로 평가되었다. 

• 71개 연구 중 18개 연구에서는 가설 검정을 실시했지만, 4개 연구만 '선'으로 평가되었고, 나머지는 가설을 제시하거나 가설 기대치(효과 방향이나 크기)를 명확히 진술하지 못했다. 

• 교차 문화의 유효성은 단지 5개의 계기에 대해 시험되었고, 이 속성에서 저조한 성과는 주로 다중 그룹 확인 인자 분석의 부족에 기인했다. 

• MSF 계수를 사용한 17개 연구 중 하나를 제외한 모든 연구는 내부 일관성 측면에서 저조한 성과를 보였는데, 이는 항목별 판매에 대한 크론바흐의 계수가 계산되지 않았기 때문이다.

• 17 studies reported content validity, of which 11 were rated “fair” or “poor” in methodological quality because relevance or comprehensiveness was not sufficiently evaluated. 

• 18 of the 71 studies implemented hypothesis testing, but only 4 were rated as “good”, and the rest failed to propose hypotheses or to clearly state hypothesis expectations (the directions or magnitudes of the effects). 

• Cross-culture validity was tested for only five instruments, and poor performance in this property was mainly due to the lack of multiple-group confirmatory factor analysis. 

• All but one of the 17 studies using MSF instruments performed poorly with respect to internal consistency, because Cronbach’s coefficients for subscales were not calculated.

측정 품질 특성

Quality of measurement properties

계측기의 측정 특성의 품질은 Terwee의 기준 [32] (표 5)에 근거하여 평가하였다. 대부분의 계측기는 성능이 우수하였으며, 내부 일관성과 구조적 타당성에서 ("+") 긍정적인 평가를 받았다. 콘텐츠 유효성의 불확실한 결과는 주로 불충분한 정보 때문이었다. 다그룹 확정요인 분석의 부족으로, 문화간 타당성에 대한 대부분의 결과도 미확정 상태로 돌아왔다. 기준 유효성에 관하여, 두 연구에서 사용된 금 표준(즉 USMLE, 프로그램GPA)이 사실 유효한 금 표준이라는 증거는 불충분했다[97, 98]. 또한, Pearson 계기와 이러한 공인된 금 표준 간의 상관관계는 0.7 미만이므로 부정적인 결과를 나타낸다. 그 결과, criterion validity은 전반적인 측정 성능이 저조한 것으로 나타났다.

The quality of instruments’ measurement properties were assessed based on Terwee’s criteria [32] (Table 5). Most instruments performed well and were rated positively (“+”) in internal consistency and structural validity. Indeterminate results in content validity were mainly due to insufficient information. Due to the lack of multiple-group confirmatory factor analysis, most results for cross-cultural validity also returned indeterminate. As for criterion validity, there was insufficient evidence that the gold standards (i.e. USMLE, programGPA) used in two of the studies were in fact valid gold standards [97, 98]. Additionally, Pearson correlations between the instruments and these recognized gold standards were less than 0.7, signifying negative results. As a results, criterion validity displayed poor overall measurement performance.

최량증거합성

Best-evidence synthesis

최선의 증거 합성은 연구 방법론적 품질의 결과(표 4)와 계측기의 측정 속성 결과(표5)를 통합하여 표 2에 요약한 방법에 따라 수행되었다. 각 계측기의 측정 특성에 대한 성능은 표 6과 같다.

Best-evidence synthesis was performed according to the method summarized in Table 2, by integrating the results of study methodological qualities (Table 4) and the results of measurement properties of instruments (Table 5). The performances of each instrument’s measurement properties are shown in Table 6.

데이터 합성 결과에 따르면 측정 속성에서 3개의 계측기는 최소 2개의 강한 양성("++") 또는 3개의 중간 양성("+") 등급을 가졌고, 측정 속성에서 제한적이거나 음성이거나 "-", "-" 또는 "-" 등급이 없는 것으로 확인되었다. 

• 이러한 두 가지 기구, 즉 간호학 분야의 자체 관리 등급 척도는 모두 간호학과 학생들을 위한 히사르의 기구[53]와 간호학 개업의 역할 및 역량 척도[80]이다. 

• 세 번째로는 의대생들의 역량 측면에서의 의학적 전문성에 대한 역할 모델 평가인 PFCI(Preceived Computer Competency Competency Competency Competency Registory)이다[118].

According to the data synthesis results, 3 instruments had at least two strong positive (“+++”) or three moderate positive (“++”) ratings without any limited or negative (“-”, “-” or “-”) ratings in measurement properties and were thus identified as best-rated. 

• Two of these instruments, both self-administered rating scales in the nursing profession, were Hisar’s instrument for nursing students [53] and the Nurse Practitioners’ Roles and Competencies Scale (NPRCS) [80]. 

• The third is the Perceived Faculty Competency Inventory (PFCI), a role model evaluation by medical students regarding medical professionalism as a facet of competency [118].

고찰

Discussion

2009년 이전과 2009년 이전에, 여러 기사에서 의료 전문성을 평가하는 데 사용되는 평가 도구 또는 기법을 체계적으로 검토하였다[9, 13, 15, 18]. 그러나 최근의 체계적 검토는 주로 특정 기기 유형(예: MSF)이나 특정 의료 분야에 초점을 맞춘다[30, 121].

Up and prior to 2009, several published articles systematically reviewed the assessment tools or techniques used to assess medical professionalism [9, 13, 15, 18]. However, recent systematic reviews mainly focus on a specific instrument type (eg. multisource feedback) or on a specific medical discipline [30, 121].

본 검토에서는 2008년부터 2015년까지 발표된 새로운 연구와 그에 상응하는 계측기를 포함하였으며, 연구 방법론적 품질과 보고된 계측기의 측정 특성을 분석하여 계측기의 선택과 사용을 용이하게 하기 위해 계측기의 특성을 요약하였다.

In this review, we included new studies and a corresponding instrument published from 2008 to 2015, analyzes the methodological quality of the studies and the measurement properties of the reported instruments, and summarizes the instruments’ characteristics in order to facilitate their selection and use.

직접 관찰(mini-CEX 및 P-MEX를 통한)과 수집된 견해(MSF 및 환자의 의견을 통한)는 전문성을 평가하는 데 중요한 도구로 입증되었다[9, 122]. 이러한 것들은 복수의 평가자와 다른 관점을 제공하며 평가, 신뢰성 및 객관성의 폭을 강화한다[9, 122]. 

• 그러나, 본 연구는 전문성을 평가하는 MSF 기기가 14개가 있었음에도 불구하고, 전문성을 종합 개념으로 평가하는 MSF 기기가 거의 없다는 것을 보여주었다. 또한 MSF를 사용한 18개 연구 중 17개 연구에서는 내부 일관성에 대한 "나쁜" 방법론 등급을 얻었거나 이 속성에 대해 보고하지 않았다.

Direct observations (through mini-CEX and P-MEX) and collated views (through MSF and patients’ opinions) have been demonstrated to be crucial instruments for assessing professionalism[9, 122]. These offer different perspectives from multiple assessors and would enhance the breadth of assessment, reliability, and objectivity [9, 122]. 

• However, despite there being 14 MSF instruments assessing professionalism as a facet of competency, this study showed that there were few MSF instruments assessing professionalism as a comprehensive concept. Furthermore, 17 of the 18 studies using MSF obtained a “poor” methodology rating for internal consistency or did not report on this property.

따라서, 기존의 MSF 계측기의 방법론적 품질을 개선·향상하거나 전문성에 특화된 MSF 계측기를 더 많이 개발해야 한다는 요구가 있다. 밀러의 택사노미[123, 124, 125]는 평가 시스템 개발을 위한 템플릿으로서 의료 교육에서 평가의 상대적 위치와 사용법을 설명하기 위해 자주 사용되어 왔다. 전문성을 comprehensive construct으로 평가하는 기존 도구들도 시뮬레이션 기구가 없어 밀러의 피라미드 모델의 'show how' 수준을 보여주지 못한 반면, 역량의 한 측면a facet of competency으로서의 전문성 평가는 이 수준에서 더 나은 성능을 보였다.

Thus, there is a calling to refine and enhance the existing methodological quality of MSF instruments or to develop more MSF instruments specific to professionalism. Miller’s Taxonomy (knows, knows how, shows, and does) [123], as a template for the development of systems of evaluation [12, 124, 125], has often been used to illustrate the relative position and usage of assessment in medical education. The existing instruments assessing professionalism as a comprehensive construct also failed to demonstrate the “shows how” level of Miller’s pyramid model because of no simulation instruments, whereas assessment of professionalism as a facet of competency held better performance in this level.

그러나 이 연구에서는, 평가도구 중 의사결정을 위한 운용상 사용을 뒷받침할 수 있는 유효성 및 신뢰성에 대한 중요한 기준을 충족하는 도구는 거의 없었다. 이전의 여러 리뷰[9, 15, 18]에서는 의료전문성 평가의 새로운 방법을 개발하는 것보다 기존 측정도구의 측정 특성을 개선하는 것이 더 실용적일 수 있다는 의견을 제시하였다. 그러나 이번 연구에 포함된 도구 중 37개가 새롭게 개발되었으며, 기존 악기 대부분이 정교함이 결여되어 있었다.

However, in this study, very few of the involved instruments met the critical criteria for validity and reliability that would support their operational use for decision-making. Multiple previous reviews [9, 15, 18] have suggested that it may be more practical to improve the measurement properties of existing instruments rather than develop new measures of assessing medical professionalism. However, 37 of the instruments involved in this study were newly developed, and most of the existing instruments lacked refinement.

적절한 후속 조치가 부족하여 많은 연구에서 신뢰성과 측정 오류가 모두 무시되었다. 표 4, 5, 6에서 볼 수 있듯이, 측정 속성의 COSMIN 정의[22] 및 COSMIN 점검표 매뉴얼의 이 측정 속성 요구[127]에 근거한 어떤 연구도 측정 오류를 보고하지 않았다. 그것은 "측정할 구성의 진정한 변화에 기인하지 않는 환자 점수의 체계적이고 무작위적인 오류"로 정의되었으며, 시점 간의 분산을 고려해야 했다. 따라서 이 검토에서 포함된 연구 중 하나는 허용 가능한 측정 오류를 보고하였다.

Both reliability and measurement error were ignored in many studies due to the lack of adequate follow-up. As can be seen in Tables 4, 5 and 6, based on the COSMIN definitions of measurement properties [22] and COSMIN checklist manual’s requirement of this measurement property [127], no study reported measurement error. It was defined as “the systematic and random error of a patient’s score that is not attributed to true changes in the construct to be measured” and needed to take into account the variance between time points. Thus, in this review one of the included studies reported acceptable measurement error.

종단적 연구 부족과 그에 따른 개입이 대응성responsiveness 평가 부족의 주요 원인이다. 또한 기준 유효성criterion validity도 거의 보고되지 않았다. 전문성이 추상적인 개념이라는 게 가장 유력한 이유다. 전문직업성 평가에 합리적인 gold standard는 말할 것도 없고, 현재 전문성에 대한 보편적인 정의는 없다. 의사 신뢰[26], 팀워크[128], 커뮤니케이션 기술[129, 130], 사교 기술[131] 등 다른 많은 분야에서도 마찬가지다.

Lack of longitudinal studies and corresponding interventions are the primary reasons for the lack of evaluation of responsiveness. Additionally, criterion validity was also rarely reported. The most likely reason is that professionalism is an abstract concept. There is currently no universal definition of professionalism, not to mention a reasonable gold standard for its assessment. This is also the case in many other fields, such as trust in physicians [26], teamwork [128], communication skills [129, 130], and social skills [131].

최량증거 합성의 요약에서 보듯이 모든 측정 속성에 대해 측정 기구를 시험한 적은 없지만, 간호학과 학생들을 위한 히사르의 계측기 [53], NPRCS [80], PFCI [118] 등 세 가지 계측기는 방법론적 품질과 측정 속성 모두에서 더 나은 성능을 보였다. 앞의 두 개의 자기보고식 등급 척도는 밀러의 택사노미의 "knows" 수준과 "knows how" 수준에 속했다. 이것은 밀러의 피라미드 모델의 높은 인지 수준에 대한 의료 전문성을 평가하는 도구와 고품질 연구의 필요성을 강조한다. 더욱이 3가지 권장기구 중 2개는 간호사의 전문성을 평가한 반면 3번째 기구는 의대생을 대상으로 했다. 이것들은 의사와 같은 다른 의료 하위 분야의 전문성을 평가하는 기구의 개발 또는 개선을 위해 참조될 수 있다.

As seen in the summary of best-evidence synthesis, no measurement instrument had been tested for all measurement properties, but three instruments—Hisar’s instrument for nursing students [53], the NPRCS [80], and the PFCI [118]—had better performance in both methodological quality and measurement properties. The former two self-administered rating scales belonged to the “knows” and “knows how” levels of Miller’s Taxonomy. This highlights the need for high-quality studies and for instruments that assess medical professionalism on higher cognitive levels of Miller’s Pyramid Model. Moreover, two of three recommended instruments assessed professionalism in nurses, while the third instrument targeted medical students. These could be referenced for the development or improvement of instruments assessing professionalism in other medical subfields, such as physicians.

결론

Conclusion

측정도구는 도구 사용 및 대상 모집단이 다양했지만, 측정 속성의 성능 및 해당 연구의 방법론적 품질이 다양했다. 구체적으로는 적절한 후속 조치가 미흡하여 많은 연구에서 신뢰성과 측정 오류가 무시되었고, 종적 연구와 그에 상응하는 개입이 부족하여 응답성이 거의 보고되지 않았다. 보고된 척도의 속성에서, 내용타당도와 준거타당도는 부정적이거나 불확실한 등급이 더 많아 계측기의 사용과 평가결과의 유의성을 제한할 수 있었다.

The instruments were diverse in tools’ use and target population, but the performance of their measurement properties and the methodological quality of the corresponding studies were varied. Specifically, reliability and measurement error were ignored in many studies due to the lack of adequate follow-up, and responsiveness was rarely reported due to lack of longitudinal study and corresponding intervention. For the measurement properties that were reported, content validity and criterion validity had more negative or indeterminate ratings, which would limit the usage of the instruments and the significance of assessment results.

9. Wilkinson TJ, Wade WB, Knock LD. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84: 551–558. https://doi.org/10.1097/ACM.0b013e31819fbaa2 PMID: 19704185

19. Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach. 2013; 35: e952–956. https://doi.org/10.3109/0142159X.2012.714888 PMID: 22938675

의료인문학 연구에 대해 다시 생각하기: Scoping review와 Narrative synthesis (Med Educ, 2016)

Rethinking research in the medical humanities: a scoping review and narrative synthesis of quantitative outcome studies

Silke Dennhardt,1,2 Tavis Apramian,2 Lorelei Lingard,2,3 Nazi Torabi4 & Shannon Arntfield5

배경 

INTRODUCTION

의료인문학은 세계 여러 곳에서 의학 교육에서 점점 더 인기 있는 교수 양식으로 부상했다. 이 프로필이 상승하면서 이 방법을 사용하는 것의 효과와 효용을 증명해야 한다는 압력이 생겼다. 의학 인문학 교육에 대한 세 가지 주요 리뷰는 인문학이 의학 교육에 통합되는 긍정적인 장기적 영향에 대한 증거가 부족하다고 보고했다. 이들 리뷰는 '의학 교육 내의 다른 커리큘럼 활동과 마찬가지로, 의학 인문학과의 교습은 원칙적으로 그 효과의 증거로 그 존재를 정당화할 수 있어야 한다'고 요구한다.

The medical humanities have emerged in many parts of the world as an increasingly popular teaching modality in medical education.1–3 With this rising profile has come pressure to prove the efficacy and utility of using this method.4–8 Three major reviews of medical humanities teaching reported a lack of evidence on the positive long-term impact of integrating humanities into medical education.5,6,8 Such reviews demand that teaching of and with the medical humanities, ‘like any other curricular activity within medical education, should in principle be able to justify its existence with evidence of its effectiveness’.5

이러한 리뷰의 결론은 의료인문학계의 비난을 불러일으켰다. 그 리뷰 문헌은 방법론에서 의료인문학에 대한 많은 수의 질적 연구를 배제한 것에 대해 비난을 받았다.

These findings sparked criticism from the medical humanities community. The review methodology was censured for its dismissal of the large body of qualitative work on medical humanities,2,9,10

이 작품은 또한 환원주의, 모호한 그룹화, 지나치게 넓은 정의, 잘못된 비교를 통해 '애초에 존재하지 않는 의료인문학에 대한 동질성'을 강요했다는 비판을 받았다. 이러한 문제들은 학습의 과정보다는 결과물에만 좁은 초점을 두었고, 근거 없는 결론을 지지하는 것으로 간주되었다.12,13

The work was also criticised for imposing ‘a homogeneity on the medical humanities that does not exist’11 through its reductivism, ambiguous groupings, overly broad definitions and fallacious comparisons. Such problems were viewed both as allowing a narrow focus on learning products rather than process, and as supporting unwarranted conclusions.12,13

따라서, 의학 인문학 교육의 효과와 효용성에 대한 탐구는 난관에 봉착한 것으로 보인다: 최근의 리뷰는 '증거가 희박하다'고 보고했고, 이러한 결론을 비판하는 사람들은 '증거가 있지만 당신은 그것을 놓쳤다'고 반박한다.

Thus, exploration of the efficacy and utility of medical humanities teaching appears to have reached an impasse: the recent reviews5,6,8 report that ‘the evidence is sparse’ and their detractors retort that ‘it is there, but you missed it’.

앞으로 두 가지 방법이 가능하다. 첫 번째는 예를 들어, 지배적인 증거 아이디어를 재구성하거나 의료인문학이 무엇을 하고 어떻게 하는지에 대한 보다 [질적인 조사를 수용함으로써, 9,10 평가적, 근거-기반 지향에서 완전히 벗어나자는 제안]이다.14

Two ways forward are possible. The first is a proposed departure from the evaluative, evidence-based orientation altogether,9,10 for example, by reframing dominant ideas of evidence, or embracing more qualitative inquiry into what the medical humanities do and how they do it.14

우리는 이 방향에 공감한다.15,16 그러나, 우리는 또한 교육과정 개혁의 시기에 근거 기반의 의사결정과 비용/편익 평가,17–19 효과 문제를 회피하는 것은 헛되고 어쩌면 위험할 수 있다는 것을 인식한다.

We are sympathetic to this direction.15,16 However, we also recognise that, in times of curriculum reform, evidence-based decision making and cost/ benefit assessments,17–19 it may be futile and possibly dangerous to sidestep the efficacy question.

두 번째 방법은 이 분야에서 효능과 효용 판단의 기초를 형성한 [평가 연구들에 대한 보다 미묘한 분석]에 착수하는 것이다. 20,21 이 논문은 두 번째 길을 택한다.

The second way forward is to embark on a more nuanced analysis of the body of evaluation studies that have formed the basis of efficacy and utility judgements in this field.20,21 This paper takes the second path,

방법 

METHODS

우리는 이 질문들을 탐구하기 위해 scoping review에 착수했다. scoping review는 주어진 주제에 대한 문헌을 체계적으로 검토하고 매핑하는 과정이다. 그 목적은 체계적인 검토에서처럼 연구의 '품질'이 아닌 광범위한 연구 질문과의 관련성에 근거하여 차별화를 만들면서 문헌에 대한 종합적인 그림을 제공하는 것이다. scoping review의 과정은 반복적이다; 연구 질문과 방법을 유연한 상태로 유지하고, 문헌에 대한 새로운 이해와 상호작용을 통해 지속적으로 개선된다.

We undertook a scoping review in an effort to explore these questions. A scoping review is a process of systematically reviewing and mapping the literature on a given topic.22–24 Its purpose is to provide a comprehensive picture of the literature while making discriminations based not on the ‘quality’ of the studies, as in systematic reviews, but on their relevance to a broadly based research question.22 The scoping review process is iterative; research questions and methods remain flexible and are refined through interaction with an emerging understanding of the literature.

우리의 scoping review는 광범위하게 정의되는 [의료인문학을 사용한 성과에 대한 정량적 연구]를 검토한다.25 우리의 범위 지정 검토는 광범위하게 정의된 의료 인문학 사용의 결과에 대한 정량적 연구를 검토한다. 이러한 범위 검토의 목적과 단순한 정의에서 그 분야의 복잡성을 포착하는 것에 대한 많은 다른 논쟁에도 불구하고, 우리는 의료인문학을 '[의학적 교육 목표를 추구하기 위하여, 문학, 예술, 창조적 글쓰기, 드라마, 영화, 음악, 철학, 윤리적 의사 결정, 인류학, 역사학 등 다양한 분야의 창조적, 지적 강점을 끌어내는 학제적 분야]'로 폭넓게 정의하기로 선택했다. 한다.26

Our scoping review examines quantitative studies on the outcomes of the use of medical humanities, broadly defined.25 For the purpose of this scoping review and notwithstanding the many different debates about capturing the complexity of the field in a simple definition, we chose to define the medical humanities broadly, as an interdisciplinary field ‘that draws on the creative and intellectual strengths of diverse disciplines, including literature, art, creative writing, drama, film, music, philosophy, ethical decision making, anthropology, and history, in pursuit of medical educational goals’.26

자료 수집

Data collection

자료 분석

Data analysis

첫 번째 분석 단계는 서술적 분석으로 구성되었다. 내용 및 주제 분석27의 방법을 다음과 같은 광범위한 질문에 따라 사용하였다. 

• 무엇을 하였는가?

• 어떤 목표를 가지고? 

• 누구에게? 

• 얼마나 오래? 

• 어떻게 측정되었는가?

The first stage of analysis consisted of a descriptive analysis. We used methods from content and thematic analysis27 guided by broad questions such as: what was done? With what goal? To whom? For how long? How was it measured?

이 두 번째 분석은 예술과 인문학 기반의 교육 및 학습에 대한 다양한 개념 및 인식론적 이해를 식별하고 지도화하고자 하였다.

This second analysis sought to identify and map studies’ varying conceptual and epistemic understandings of arts and humanities-based teaching and learning.

가이딩 질문 포함: 

• 교육 개입의 원인이 되는 가정은 무엇인가? 

• 예술과 인문학에 기반을 둔 가르침은 무엇으로 가정되고 있는가? 

• 어떤 종류의 지식을 추구하며, 이러한 유형의 교육을 통해 어떻게 생성된다고 가정하는가?

Guiding questions included: 

what assumptions framed the teaching intervention? 

What is arts and humanities-based teaching assumed to be and do? 

What type of knowledge is sought and how is it assumed to be generated through this type of teaching?

우리는 의학과 관련하여 예술과 인문학이 어떻게 분산적으로 위치하는지를 파악하고 지도화하는 것을 목표로 제3차 분석을 실시하기로 했다.

We decided to carry out a third analysis, aiming to identify and map how the arts and humanities were discursively positioned in relation to medicine.

분석적 질문의 지침: 

• 샘플에서 예술과 의학 사이의 관계는 무엇인가? 

• 의학과 관련된 예술은 무엇인가? 

• 의학에 대한 예술의 가치가 형성되는 맥락은 무엇인가?

Guiding analytical questions were: what relationship between the arts and medicine is constructed in the sample? What is the arts in relation to medicine? What are the contexts in which the value of art for medicine is constructed?

결과 

RESULTS

의학 교육에서 예술과 인문학에 기반한 교육에 대한 양적 연구는 '어떻게 생겼는가'?

What does the body of quantitative research on arts and humanities-based teaching in medical education ‘look like’?

우리는 예술과 인문학을 가르치는 형태와 수업의 영향을 측정하는 방법에서 현저한 다양성을 발견했다. 이 다양성은 단지 기술 범주(방법, 학습 목표, 결과 등)를 사용하여 [의미 있게 묘사하고 합성할 수 없었다]. 

We found striking variety in the forms that teaching the arts and humanities took and in the ways in which the impact of the teaching was measured. This variety could not be depicted and synthesised meaningfully using merely descriptive categories (such as method, learning objective, outcome, etc.).

많은 연구들이 다양한 형태의 인문학적 가르침, 때로는 독특한 조합으로 채택되었기 때문에 이러한 서술적 방법으로 깔끔하게 분류되는 것을 거부하였다. 그들은 유사한 방법을 매우 다르게 채택했고, 넓은 범위의 결과와 차원에 걸쳐 측정을 수행했다.

Many studies resisted being neatly classified in these descriptive ways because they employed various forms of humanities teaching, sometimes in unique combinations; they employed similar methods very differently, and they took measurements across a broad spectrum and dimensions of outcomes.

예를 들어, '쓰기'를 사용한 연구에서 학생들은 다음과 같은 다양한 장르의 쓰기를 했다. 

• 저널링,33 

• 성찰문,34-36 

• 포트폴리오 작성,37 

• 중대 사건 보고서 작성,38 

• 대화형 반사 웹 블로그 쓰기,39 

• 시와 수필, 33,40,41 

• 리머릭 글,42 

• 학술 편지 쓰기,43 

• 관점 쓰기 대 임상적 추론 쓰기,41 

• 연극 훈련 내 서술적 글쓰기, 44 그리고 

• 그림에 대한 반응으로 1인칭 원근법 쓰기45

For example, in studies that used ‘writing’, students engaged in a variety of different genres of writing, such as 

• journaling,33 

• reflective writing,34–36 

• portfolio writing,37 

• critical incident report writing,38 

• interactive reflective web blog writing,39 

• poem and essay writing,33,40,41 

• limerick writing,42 

• academic letter writing,43 

• point-of-view writing versus clinical reasoning writing,41 

• narrative writing within theatre training,44 and 

• first-person perspective writing in response to a painting.45

학생들은 또한 그들의 글쓰기를 매우 다른 문제에 집중하고, 다음과 같은 다른 질문들에 응답하도록 요구 받았다. 

• 환자의 이야기를 하는 것,44 

• 기능 해부학 과정 내용 캡처,42 

• 감정 표현,45 

• 개인적인 문제, 진로 계획 및 강의실 토론에 대한 반응 기록, 33 또는 

• 임상에서 발생한 사건 및 경험에 대한 성찰,

• 지역 사회 교육

Students were also asked to focus their writing on very different issues and to respond to different prompts, such as by 

• telling a patient’s story,44 

• capturing functional anatomy course content,42 

• expressing feelings and emotions,45 

• recording personal issues, career planning and reactions to classroom discussions,33 or 

• reflecting on incidents and experiences during clinical38,39 and 

• community-located learning.

의학 인문학 교육의 이러한 다양성이 전통적인 체계적 검토 방법론에는 문제를 제시하지만, 그것은 그 현상의 독특하고 필수적인 특징이다. 따라서 우리의 첫 번째 핵심 발견은 의학 인문학을 단순한 서술적 범주에 기초하여 쉽게 체계화할 수 없다는 것이다.

Although this variety in medical humanities teaching presents a problem for traditional systematic review methodologies, it is a unique and vital feature of the phenomenon. Therefore, our first key finding is that the medical humanities as a whole cannot be easily systematised based on simple descriptive categories.

의학교육에서 예술과 인문학에 기반을 둔 가르침의 기초가 되는 가정은 무엇인가?

What underlying assumptions frame arts and humanities-based teaching in medical education?

우리의 두 번째 분석은 예술과 인문학으로 가르치고 배우는 방법에 대한 서로 다른 개념적 가정을 탐구했는데, 이것을 인식론적 기능이라고 불렀다.

Our second analysis explored the different conceptual assumptions about how teaching and learning with and through the arts and humanities occurs, which we called its epistemic functions.

(그림 2). 우리의 틀은 내용 중심에서 프로세스 중심적 용도에 이르는 연속체를 묘사하고 있으며, 의학교육에서 예술과 인문학의 세 가지 주요 초점을 지도화한다.

(Fig. 2). Our framework depicts a continuum that extends from content- to process-oriented uses and maps three main foci of the arts and humanities in medical education:

확인된 초점과 그 인식 기능은 고정 범주가 아닌 연속체에서의 방향을 표시한다. 즉, 어떤 연구는 두 가지 주요 지향 사이에 배치될 수 있다.

The identified foci and their epistemic functions mark orientations on a continuum, not fixed categories. That is, some studies could be placed between two main orientations,

전체 골격은 표 1에 나타나 있으며, 아래에 설명되어 있다.

The full framework is shown in Table 1 and described below.

표 2는 프레임워크를 사용하여 연구를 매핑할 수 있는 방법에 대한 예를 제공한다.

Table 2 provides an example of how studies can be mapped using the framework.

전문 기술로서의 예술: 기술 마스터

Art as expertise: mastering skills

이 첫 번째 그룹의 논문은, [시각적 기술을 배우기 위한 시각적 예술]이나 [신체 언어와 의사소통 기술에 대해 배우기 위한 연극]과 같이, 의대생들이 배워야 하는 특정한 기술이나 전문지식을 개발하는 데 도움이 되는 고유한 성격을 가진 것으로 언급되었다.

This first grouping of papers referred to a particular art form as having an inherent quality that is helpful in developing a certain skill or type of expertise that medical students need to learn, such as the visual arts to learn visual skills, or theatre to learn about body language and communication skills.

이 사용에서 예술은 [의사에게 중요한 특정 기술 집합과 지식을 쉽게 가르칠 수 있는 특정한 교수 도구 또는 기법]으로 이해된다. 예는 다음과 같다. 

• '예술에 기반한 관찰력 훈련'

• '사례 발표 스킬 향상을 위한 연극 훈련'

• '의대생들의 시각 진단 능력 향상을 위한 미술관찰 훈련'

• 해부학 과학에서 '지각적 기술'을 가르치기 위한 '도안 모델링 및 그리기 활동'

In this use, art is understood to be a specific teaching tool or technique that facilitates the teaching of a particular skill set and knowledge that is represented as important for physicians to possess. Examples included: 

• ‘arts-based observational skills training’,48 

• ‘theatre training to improve case presentation skills’,44 

• ‘formal art observation training [to improve] medical students’ visual diagnostic skills’46 and 

• ‘plasticine modelling and drawing activities’49 to teach ‘metacognitive skills’49 in anatomical sciences.

이 그룹에 대한 교육적 개입은 종종 '숙련된 마스터'(즉, 전문 배우, 작가, 비주얼 아티스트) 또는 특별한 전문지식의 장소(뮤지엄, 연극학과)와의 학제간 협업을 포함하는데, 이는 고품질의 교육적 개입을 암시하는 데 사용된다.

Teaching interventions in this grouping often involved interdisciplinary collaboration with ‘skilful masters’ (i.e. professional actors, writers, visual artists) or places of special expertise (museum, theatre department), which is used to imply a teaching intervention of high quality.

예를 들어, 연극 교수들은 의대생들에게 '신체적 표현력, 신체 언어, 성악적 존재감'을 가르쳤는데, 학생들이 '임상적 공감 기술'을 배울 수 있도록 하기 위해서 말이다.50

For instance, theatre professors taught medical students ‘skills in physical expressiveness, body language, and vocal presence’50 in order that the students might learn ‘clinical empathy techniques’.50

예술을 전문지식으로 도입하는 것은 학생들이 예술로부터 특정 내용과 전문지식을 습득함으로써 '최상'의 방식으로 관찰, 추론, 보고 또는 의사소통하는 방법을 배우게 된다고 가정한다. 습득한 기술은 일반적으로 눈에 잘 띄고 개인이 소유할 수 있으며 합의된 기준, 객관적 지표 및 규범에 기초한다(예: '최상의' 관찰은 존재하는 모든 것을 관찰하는 것이다).

Invocation of art as expertise assumes that students, through engaging with art, learn how to observe, reason, report or communicate ‘best’ by adopting a particular content and expertise. Acquired skills are typically visible, can be possessed by an individual and are based upon agreed standards, objective indicators and norms (e.g. observing ‘best’ is observing ‘all’ things present).

대화로서의 예술: 상호작용, 투시 및 관계 목적

Art as dialogue: interaction, perspective taking and relational aims

두 번째 논문은 교육에 활용할 수 있는 예술의 관계적, 의사소통적, 관점적 측면에 초점을 맞췄다. 이러한 그룹에 예술을 참여시키는 것은 '관점 바꿔보기'를 지원하고, 학생들이 자신과 환자의 경험에 대한 통찰력을 얻고, 관련을 맺고, 성찰할 수 있도록 하는 능력을 촉진하는 것으로 설명되어 있다.

The second group of papers focused on relational, communicative and perspective-based aspects of arts that can be harnessed for teaching. Engaging in art in this grouping is described as supporting ‘perspective taking’ and facilitating students’ ability to gain insight into, relate to and reflect upon their own and patients’ experiences in order to create attitudinal shifts.

특히 환자의 질병 경험과 일상 세계에 대한 이해와 통찰력을 얻는 데 중점을 둔다. 예를 들어, 작가들은

• 의대생들이 문학 고전 단편 소설의 프리즘을 통해 정신 분열증에 대한 이해를 돕기 위해 예술을 사용했다. 

• '정신과 레지던트들을 위한 미국 문화 강좌의 기초로서 필름을 사용하는 것'에 대해 보도되었다.

• '농촌 의사들이 쓴 많은 문헌 자료들'은 농촌 실천의 도전에 대한 토론과 성찰을 촉발한다.

Particular emphasis is placed on gaining understanding and insight into the patient’s illness experience and life world. For example, authors 

• used art to help ‘medical students understand... psychosis through the prism’51 of a literary classic short story, 

• reported on ‘the use of film as the basis of an American culture course for psychiatric residents’,52 or 

• ‘used literary sources, many written by rural physicians, to trigger discussion and reflection’40 about the challenges of rural practice.

이 그룹의 연구에서 배움의 주안점은 개인의 능력보다는 인간관계에 있었다. 여기서 예술은 대화적 질dialogical quality과 관련하여 사용된다. 예술은 환자나 자기자신과 같은 특정 관점에 대한 인식을 높이고, (종종 성찰을 통해서) engage하게 된다. 예술에 engage한다는 것은,

• 생물의학 지식을 완성시키고, 성찰과 전체적인holistic 이해를 증진시켜서, 학생들이 공감하고, 전문적이고, 문화적으로 민감하고, 자상한 의사가 되도록 촉진한다. 이러한 의사는 '전인적 진료를 하는 사람'이며, 따라서 결과적으로 환자를 '단순히 진단 및 치료적 도전으로 환원시키지 않고' 환자와의 관계를 더욱 개선시킬 것이다.

In this group, the main focus of learning was on relationships rather than individual skills. Art here is used with regard to its dialogical quality: it is used to increase awareness of and to relate to a particular perspective such as the patient or the self, and then to engage with it, often through reflection. Engaging with arts is seen as 

• completing biomedical knowledge, enriching reflection and holistic understanding, and, thus, facilitating students to become empathic, professional and culturally sensitive and caring physicians, who ‘engage in whole-person care’53 and, as a result, will have improved relationships with their patients ‘rather than simply reducing them to a diagnosis or treatment challenge’.54

이 그룹 내에서 두드러진 교육 목표는 의대생들이 함께 일하기 어렵거나 보상받지 못할 정도로 선입견을 가질 수 있는 환자 그룹에 대한 연민을 이끌어내는 것이었다.

Within this grouping, a prominent teaching objective was to elicit compassion for a patient group that medical students might preconceive as difficult or unrewarding to work with.

표현과 변혁으로서의 예술: 개인의 성장과 행동주의

Art as expression and transformation: personal growth and activism

세 번째 그룹에서, 예술을 교육에 사용하는 것은 [학생들이 자신의 감정에 접근, 표현, 탐구 및 대처할 수 있도록 돕고, '공개적으로 논의되는 일이 거의 없는' 이슈를 위한 공간을 만들어 의료 문화를 변화시키기 위한 것]이었다. 예술은 감정적 학습을 자극하는 경험을 제공하고, 학생들이 전문직으로 성장하는 과정에서 [자아 인식, 자아 발견, 개인적 성장]을 가르치는 데 도움이 된다고 가정되었다. 

In a third grouping, the use of art in teaching was intended to help students access, express, explore and deal with their emotions, and to transform medical culture by creating space for issues that ‘are seldom discussed openly’.59 Art was assumed to provide experiences that stimulate emotional learning and to be beneficial in teaching students self-awareness, self-discovery and personal growth on their way to becoming professionals. 

개인의 성장과 통찰이라는 본질적 가치 외에도, 이 연구 그룹에서 예술을 사용하는 것은 또한 [의사가 되는 과정에서의 어려움이나 억압되는 측면을 토론하고 처리하는 공간을 만드는 것]으로 설명된다. 예를 들면 죽음과 죽어감, 고통, 자신의 실수와 자신의 취약점, 그리고 의학의 한계 등에 대처하는 것 같은 것.

In addition to the intrinsic value of personal growth and insight, the use of art in this group of studies is also described as creating space in which to discuss and process difficult and often suppressed aspects of being a physician, such as dealing with death and dying, suffering, one’s mistakes and own vulnerabilities, and medicine’s limitations.59,60

그러므로, 이 그룹의 많은 논문들은 예술을 해방적 목표를 가지고 있으며, 의사 소진, 스트레스 및 공감 감소와 같은 체계적인 문제에 더 잘 대처하기 위해 필요한 정서적 회복력을 학생들에게 부여하는 수단으로 설명한다. 예술을 이용하는 것은 학생들이 '의학의 의미와 목적'을 찾고 보호하도록 돕는 방법으로서도 그려지고 있으며, 전통적 위계구조와 무너뜨리고, '공유된 인류애shared humanity를 강조하는 쌍방향 학생-수용자 협업 학습 노력'을 촉진함으로써 의학교육을 개혁하는 방법으로도 그려지고 있다.60

Thus, many papers in this grouping describe art as having emancipatory goals and as providing a means of equipping students with the emotional resilience they require to better face systematic problems, including physician burnout, stress and decreasing empathy. The use of art is also portrayed as a way to help students find and protect ‘meaning and purpose in medicine’59 and as a way to reform medical education by breaking with traditional hierarchies61 and facilitating a ‘bidirectional student–preceptor collaborative learning effort that emphasises a shared humanity’.60

논쟁적 맥락: 의학과 관련하여 예술과 인문학은 어떻게 구성되고 배치되는가?

Discursive contexts: how are the arts and humanities constructed and positioned with regard to medicine?

표3

Table 3.

내재적인 것으로 보는 관점

Positioning as intrinsic

일부 논문은 예술과 인문학을 [의학의 본질적이고 자연적인 부분](예: 48,61,62,62)으로 구성하고 배치했으며, 때로는 [의학이나 의학의 일부를 예술 그 자체로 구성]하기도 했다.33,63 이 담론은 [예술과 인문학은 항상 의학의 본질적인 부분이었기 때문에, 예술, 인문학을 기반으로 하는 가르침은 새로운 것도 아니고, 잠깐 하고 말 유행도 아니라는 것]을 암시한다. 오히려 의학교육에서 예술과 인문학을 이용하는 것은 객관적이고 역사적 사실, 그리고 그 학문 창시자들의 권위에 의해 뒷받침될 수 있는 진지한 토대와 뿌리를 가지고 있다. 이러한 논리에 따라, 의학교육에서 예술과 인문학을 사용하는 쪽으로의 전환(re)turn은 합리적이고 논리적인 단계로 그려진다. 예술과 인문학을 의학의 본질로 위치시키는 것은 의료인문학이라는 학문분야를 잃어버린 혹은 버림받은, 그러나 자연스럽고 본질적이며 내재적인 부분으로 본다.

Some papers constructed and positioned the arts and humanities as an intrinsic and natural part of medicine (e.g.48,61,62), at times framing medicine or parts of it as an art itself.33,63 This discourse implies that, as the arts and humanities have always been an essential part of medicine, arts and humanities-based teaching is neither something new nor a potentially short-lived, fashionable teaching trend. Rather, using the arts and humanities in medical education has serious foundations and roots that can be backed up by the authority of objective, historical facts and the discipline’s founders. Following this rationale, a (re)turn to the use of the arts and humanities in medical education is portrayed as a reasonable and logical step. Positioning the arts and humanities as intrinsic to medicine constructs the discipline as a lost or abandoned, but natural, essential and inherent part of medicine.

따라서 의학과 의료인문학의 관계는 의료인문학을 의학에 '입양'하기 위한 새로운 무언가가 아니라, 회복, 재발견 또는 활성화하기 위한 어떤 것으로 구성된다.

the relationship between the two is constructed not as something new to ‘bring into’ medicine, but rather as something to reclaim, rediscover or revitalise.

첨가적인 것으로 보는 관점

Positioning as additive

두 번째 담론은 예술과 인문학을 [의학 및 임상 실습의 현대적 맥락과 도전에 대응하기 위하여, 의학이 끌어낼 수 있는 가치 있는 것]으로 구성했다. 예술과 인문학은 현재의 의학을 새로운 시각과 중요한 부가적 지식으로 보완하고, 보다 광범위한 사회문화적, 정치적 변화에 대응할 수 있는 유용한 자원으로서 강조되고 있다.

A second discourse constructed the arts and humanities as something of value upon which medicine can draw in response to contemporary contexts and challenges of medicine and clinical practice. The arts and humanities are emphasised as supplementing current medicine with new perspectives and important additional knowledge, and as a useful resource to respond to broader socio-cultural and political changes.

이 담화에는 일반적으로 두 가지 주요 합리성이 채택되었다. 

• 첫째, 예술과 인문학을 사용하여 non-technical 또는 soft skill(의사소통 기술 등)과 관련된 임상 실습의 중요한 역량을 가르칠 수 있으며, 이런 것을 현재 인증 기관과 전문 기관(예: 53,64–66)이 강조하여 요청하고 있다. 

• 둘째로, 예술과 인문학은 의학의 생물학적 지식 기반을 확장시키는 지식을 가르치는 데 이용될 수 있다. 이러한 확장은 의학의 사회정치적 맥락의 변화로 인해 점점 더 필요한 것으로 묘사되고 있으며, 치료의 질을 향상시키는 것으로 가정된다.

Two main rationales were typically employed in this discourse. 

• Firstly, the arts and humanities can be used to teach important competencies for clinical practice that relate to non-technical or soft skills (such as communication skills), which are currently emphasised and requested by accreditation bodies and professional organisations (e.g.53,64–66). 

• Secondly, the arts and humanities can be used to teach knowledge that extends medicine’s biomedical knowledge base. This extension is portrayed as increasingly necessary as a result of changes in medicine’s socio-political contexts and is assumed to improve the quality of care.

예술과 인문학을 첨가물additive로 이해한다면, 의료인문학은 의학 자체로는 갖지 못한 가치 있는 것을 제공하는 역할로서 강조될 수 있다. 의학 교육에 있어서 다른 강력한 담론을 이용하는 것은 예술과 인문학을 의학의 내부(into)로 들여올(bring) 수 있는 문이 열린 것을 나타내는 것 같다.

Positioning the arts and humanities as additive makes it possible to emphasise the arts and humanities as offering something valuable that medicine does not have on its own. Drawing upon other powerful discourses in medical education seems to represent the opening of a door through which to ‘bring’ the arts and humanities ‘into’ medicine.

비록 이 이론이 예술과 인문학이 의학에 가치 있는 무언가를 제공하는 것으로 윤곽을 잡지만, 그것은 [은연중에 예술은 의학의 '외부'에 있어서, 의도적으로 '가지고 들여와야' 하거나, 의학이 호의적으로beneficially 끌고 들어오게 되는 어떤 것]으로 위치하도록 한다. 여기서 예술과 인문학은 자원으로 [구성]되나, 의학이라는 학문분야의 핵심으로 자리 잡거나, 그렇게 고려되지 않는다.

Although this rationale outlines the arts and humanities as offering something valuable to medicine , it implicitly positions the arts as something ‘outside’ medicine and as something that needs to be ‘brought (in)to’ or can be beneficially drawn upon by medicine. Here, the arts and humanities are constructed as a resource, but not positioned and considered as a core part of the discipline.

치료적인 것으로 포지셔닝

Positioning as curative

제3의 담론은 현재의 의학과 [의학 교육의 적자, 결핍, 병폐를 해결할 수 있는 의학의 구제책]으로 예술과 인문학을 구성한다. 이 담화에는 두 가지 주요한 합리성이 사용된다.

A third discourse constructs the arts and humanities as a remedy for medicine that can address the deficits, lacks and ills of current medicine and medical education. Two main rationales are used in this discourse.

첫째, 예술과 인문학은 의사들이 자신의 인간성과 더 많이 접촉할 수 있도록 돕고, 의학의 '인간적인 면'을 위한 공간을 만들어줌으로써 의학을 보다 '인간적'으로 만드는 힘을 가진 것으로 구성된다. 예술과 인문학이 죽음과 실패와 고통의 인간 경험을 다루기 때문에, 그들은 임상의료에서 침묵된 한계와 현실을 다룰 수 있는 학습을 허용한다고 생각된다.

Firstly, the arts and humanities are constructed as having power to make medicine more ‘human’ by helping doctors become more in touch with their own humanity and by creating space for the ‘human side’ of medicine. As the arts and humanities address the human experiences of death, failure and suffering, they are thought to allow learning that can deal with the silenced limitations and realities of clinical practice.

둘째, 예술과 인문학은 '힐링'으로 구성되는데, 의료인문학은 의학 교육에서 지배적이고 전통적인 권력 구조를 비판하고, 과학기술-과학 성공 서사 안에서 억압된 문제에 대해 [대안과 대조constrasting를 제공]하고, [목소리를 줌으로써] 의학과 의학 교육을 심화시킬 수 있기 때문이다. 

Secondly, the arts and humanities are constructed as ‘healing’ and as furthering medicine and medical education by critiquing dominant and traditional power structures in medical education, and by providing alternatives and contrasting and giving voice to issues suppressed within a technico-scientific success narrative. 

예를 들어 예술은 

• 의료 훈련을 'revitalise'할 수 있는 것이다.

• 의학적인 일에 의미와 인본주의적인 가치관을 보존하고, 되돌리도록 한다.

• 위계적인 의과대학의 전통과 결별하는 것이다.

• 과도하게 '팩트와 숫자'에 기반한 교육에 '숨쉬는 삶'을 가져오는 것이다.

Art is, for instance, 

• described as able to ‘revitalise’ medical training, 

• ‘preserving’ and ‘bringing back’ meaning and humanistic values into medical work,59,70 

• ‘breaking with’ hierarchical medical school conventions, and 

• ‘breathing life’ into learning that is overwhelmingly devoted to a ‘facts and figures’-based education.61

이 담론에서 지적하는 의학과 의학 교육의 '잘못'과 '질환'은 다음과 같다.

• 잠재 교육과정, 39,71,72 

• 의사가 되는 과정의 위험(예: 공감, 소모, 우울증 감소) 

• 비인간적이거나 비인간적인 노동 조건, 

• 현 의학교육의 비평과 단점

Authorities and reference points in this discourse are the ‘wrongs’ and ‘ills’ of medicine and medical education, such as 

• the hidden curriculum,39,71,72 

• the risks of being a physician (e.g. decreasing empathy, burnout, depression),59,70,73 

• the inhumane or dehumanising working conditions,59 and 

• the critiques and shortcomings of current medical education.61,74 

이 담론에서, 예술과 인문학은 의학과 의학문화를 '개선하는better' 데 사용될 가치를 부각시키고, 현저한 기술-과학적 교육을 '반대'하며, 전통적 권력구조를 비평하는 것도 이러한 '잘못된 것'을 분명히 하고, 가시화시키는 수단이 될 수 있다.

In this discourse, highlighting the value of using the arts and humanities to ‘better’ medicine and medical culture, ‘countering’ a prominent technical–scientific education, and critiquing traditional power structures may also be a means of articulating these ‘wrongs’ and of making them visible.

예술과 인문학이 치료적 지위를 갖는 것은 [(내부로부터의) 비평의 자세와 변화의 의제]에서 출발한다. 그것은 인문학을 종종 암묵적인 문제에 대한 치료와 해결책으로 바라보며, 그리고 변혁적인 정치적 잠재력을 가지고 있는 것으로 구성한다. 종종, 예술과 인문학은 기술 중심 과학 의학과 의학 교육의 우위에 대항할 수 있는 반대로 자리 잡는다. 이 담론은 현재의 의학에 대한 비평으로서, 그리고 예술과 인문학의 강점을 입증하기 위해 의학과 의학 교육에 대한 '부족 관점deficit perspective'을 취하기 때문에, 이러한 결손을 형성하는 다른  조건들에 대한 주의를 흐리게 할 수 있다.

Positioning the arts and humanities as curative starts from a position of critique (from within) and an agenda of change. It constructs the humanities as a remedy and solution to (fight) an often implied problem and as having transformative political potential. Often, the arts and humanities are positioned as an opposite that can counteract the dominance of techno-scientific medicine and medical education. Because this discourse takes a ‘deficit perspective’ on medicine and medical education to demonstrate the strength of the arts and humanities and as a critique of current medicine, it may obscure attention paid to other conditions that frame these deficits.

예술에 대한 지나친 강조는 의료와 의료 교육의 광범위한 맥락을 형성하거나 기여하는 다른 힘을 모호하게 할 수 있다.

overemphasis on the arts as a ‘solution’ may obscure other forces that form or contribute to the broader contexts of health care and medical education.

고찰

DISCUSSION

우리의 범위 지정 검토 결과 의대 인문학 수업의 형태와 측정의 양 측면에서 현저한 차이를 발견했다.

Our scoping review found striking variety in both the form and the measurement of medical humanities teaching.

우리는 의학 인문학 교육에 대한 검토가 카테고리화를 통한 일련의 전통적인 접근방식을 취했을 때, 마스킹이나 균질화가 생기는 것에 대해 신중해야 한다고 주장할 것이다.

We would argue that reviews of medical humanities teaching should be cautious about masking or homogenising the array of conventional approaches through descriptive categorisation.

우리의 개념적이고 변칙적인 분석적 결과의 추구는 [의료인문학 교육이 효과적인가] 하는 질문에서 벗어나, [의료인문학의 가르침은 무엇에 대하여, 왜 효과를 내고자 하는가]라는 무엇인가 하는 질문을 향해야 함을 보여준다.

The thrust of our conceptual and discursive analytical results indicates that we should turn away from the question of whether medical humanities teaching is effective5,6 to the question of what medical humanities teaching is trying to effect, and why.

우리는 의학교육에서 예술과 인문학의 인식론적 기능을 다음과 같이 정의하기를 제안한다: 

예술과 인문학으로부터, 예술과 인문학과 함께, 그리고 예술과 인문학을 통해(from, with, through) 배우는 방법에 대한 가정, 가치, 믿음이다. 다음과 관련이 있다.

• 어떤 교육은 예술과 인문학의 어떤 기능을 적용invoke 시키는지, 

• 어떤 종류의 지식이 생성되고 학습되어야 하는지, 

• 주요 교육 및 학습 주안점(내용 또는 프로세스 지향)이 어디에 있는지

We propose to define the epistemic functions of the arts and humanities in medical education as: 

the assumptions, values and beliefs about how learning from, with and through the arts and humanities occurs in terms of 

• which functions of the arts and humanities the teaching invokes, 

• which types of knowledge are to be generated and learned, and 

• where the main teaching and learning focus lies (content- or process- oriented).

이 연속체는 흥미롭게도 후기실증주의, 사회 구성론자, 비판론 연구 방법론의 연속적인 연구 방법론과 병행된다(그림 3.75).  두 연속체 사이의 대응은 왜 지배적인 연구 방법론이 의학 인문학 교육의 일부 기능을 가시화시키지만 다른 것들은 보이지 않게 만드는지를 설명할 수 있다.

This continuum, interestingly, runs parallel with the continuum of research methodologies from post-positivist, social constructivist and critical theory research methodologies (Fig. 3).75 The correspondence between the two continua may explain why dominant research methodologies make some functions of medical humanities teaching visible, but render others invisible.

예를 들어, 예술과 인문학의 [프로세스 지향적 사용](연속자의 오른쪽)은 학습자와 지식 사이에 대화적이고 상호작용적이며 변형적인 과정을 유발하는 것을 추구한다. 이러한 접근방식은 지식, 학습 과정 및 결과가 학습자와 분리되지 않는다고 가정한다. 학습 성과를 가능한 한 개인으로부터 객관적이고 독립적으로 측정하는 것을 목표로 하고, 학습자를 표준화하고 계량화할 수 있는 결과를 측정하고자 하는 지배적인 포스트 실증 연구 방법론은 프로세스 지향 의학 인문학 강의의 기본적인 인식론적 가정과 상충한다.

For example, process-oriented uses of the arts and humanities (the right side of the continuum) seek to invoke a dialogical, interactive and transformative process between the learner and the knowledge. These approaches assume that the knowledge, the learning process and the outcomes are not separate from the learner. Dominant post-positivist research methodologies, which aim to measure learning outcomes as objectively and independently from the individual as possible, and which seek to standardise learners and measure quantifiable outcomes, conflict with basic epistemological assumptions of process-oriented medical humanities teaching.

이와는 대조적으로, 예술과 인문학의 [내용 지향적 사용](연속체의 왼쪽)은 (동일한 인식론적 토대에 기반한) 전통적인 후기 실증주의적 체계적 검토 방법론의 측정 요건을 보다 쉽게 충족시킬 것이다. 우리의 샘플에서, '더 높은 수준의 증거'(예: RCTs)를 전달하는 것으로 일반적으로 간주되는 결과 연구는 일반적으로 특정 기술을 향상시키기 위해 예술이 사용되는 연속체의 왼쪽에 있었다.

By contrast, content-oriented uses of the arts and humanities (the left side of the continuum) will meet the measurement requirements of traditional post-positivist systematic review methodologies more readily because they are based on the same epistemological foundations. In our sample, outcome studies that are commonly considered to deliver a ‘higher level of evidence’ (such as RCTs), typically fell on the left side of the continuum in which art is used to improve a particular skill set.

검토된 문헌에서 우리의 세 가지 담론적 위치 - 본질적, 부가적 또는 치료적 위치 - 에 대한 연구 결과는 '효과성 질문'에 추가적인 빛을 비추어준다. 비에스타가 말했듯이 '무엇을 효과적인 것으로 간주할 것인가는 교육적으로 바람직한 것이 무엇인가에 대한 판단에 결정적으로 달려 있다.'76 이 scoping review는 [의학 교육에서 교육적으로 바람직한 것은 가치중립적이지 않으며, 의학이라는 학문에서 보다 광범위하게 중요하다고 여겨지는 것에 의해 추진되고 형성된다]는 것을 시사한다. 따라서 의학과 예술과 인문학의 관계가 어떻게 형성되는지가 중요하다.

Our findings of three discursive positions in the reviewed literature – medical humanities teaching as intrinsic, additive or curative – shine additional light on the ‘effectiveness question’. As Biesta states, ‘What counts as ‘effective’ crucially depends on judgements about what is educationally desirable.’76 This scoping review suggests that what is educationally desirable in medical education is not value-free and neutral, but is driven and shaped by what is considered important to the discipline of medicine more broadly. Therefore, it matters how the relationship between medicine and the arts and humanities is constructed.

우리가 파악한 세 가지 입장은 각각 의학을 위한 의학 인문학 가치에 대한 다른 생각을 구성하며, 다른 조치를 취해야 한다고 요구한다. 잃어버린 뿌리를 되찾아야 하는가, 현대 의학의 사회정치적 맥락에 대응할 수 있는 의학인문학의 잠재력을 부각시켜야 하는가, 아니면 의학인문학을 교과과정에 접목시켜 의료문화 내부의 근본적인 변화를 창출하는 것을 목표로 삼아야 하는가? 이처럼 서로 다른 가치적 위치value position를 명시한다면 '효과성 질문'이 가치 중립적이고, 맥락의존적이지 않다는 가식을 피할 것이다. 그리고 이것이야말로 이 영역에서 '효과적인' 탐구에 대한 생산적 논쟁을 촉진하기 위한 필수 전제 조건이다.

Each of the three possible positions we identified constructs different ideas about the value of medical humanities for medicine and calls for different actions to be taken. Should we reclaim lost roots, highlight the potential of the medical humanities to respond to contemporary medicine’s socio-political contexts, or aim to integrate the medical humanities into the curriculum to create fundamental change within medical culture? Making these different value positions explicit will avoid the pretence that effectiveness questions are value- and context-free – a necessary precursor to fostering productive debate about the ‘effectiveness’ quest in this domain.

의학 인문학사를 검토하며, Bleakley 는 최근 의료 인문학 가치에 대한 서로 다른 아이디어와 입장들의 존재(그리고 이들 사이의 경쟁)에 대한 우리의 발견에 반향을 일으키는 분야 발전 내의 다른 파장을 개념화했다.3 예를 들어, Bleakley 는 제2의 물결로서, 의학 인문학이 현재 부상하고 있다고 본다. Bleakley에 따르면 의료인문학은 '중요한 교육적 개입으로... 환원적인 생의학적 과학의 대척점으로서' 존재하며, 이는 이번 연구에서 추적한 의료인문학의 '치료적' 위치와 부합한다.

Reviewing the history of medical humanities, Bleakley recently conceptualised different waves within the field’s development which resonate with our findings of the existence of – and competition among – different ideas and positions about the value of medical humanities.3 For instance, Bleakley sees a second wave of medical humanities as currently emerging, which promotes ‘the medical humanities as a critical educational intervention... as a counterpoint to reductive biomedical science’,3 which resonates with the ‘curative’ position traced in our selected sample.

결론

CONCLUSIONS

의학 인문학 교육은 효과와 효용 면에서 그 자체를 설명해야 한다는 목소리가 높아지고 있다. 우리는 성과에 기반한 의학 교육의 시대에 이 소명의 힘을 인정한다. 그러나 우리는 의료인문학이 무엇이고 무엇을 하려고 하는지에 대한 이해가 없는 상태로 의학 인문학 교육이 효과적인지 질문하는 것에 대한 의문을 제기하였다. 

Medical humanities teaching is increasingly called to account for itself in terms of effectiveness and utility. We acknowledge the power of this call in an era of outcomes-based medical education. We do, however, call into question the relevance of asking whether medical humanities teaching is effective before first understanding what medical humanities teaching is and what it is trying to do.

9. Wilkinson TJ, Wade WB, Knock LD. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84: 551–558. https://doi.org/10.1097/ACM.0b013e31819fbaa2 PMID: 19704185

19. Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach. 2013; 35: e952–956. https://doi.org/10.3109/0142159X.2012.714888 PMID: 22938675

© 2016 John Wiley & Sons Ltd.

아무도 보지 않은 문제: 의학교육의 철학적 탐험(Teach Learn Med, 2020)

Problems No One Looked For: Philosophical Expeditions into Medical Education

Mario Veena,b and Anna T. Ciancioloa

의학교육에는 또한 진흙투성이의 실천 영역, 그 자체의 비정형적인 발표, 의도하지 않은 결과, 그리고 설명해야 할 구조적 이상이 있다. 복잡성과 불확실성의 이러한 영역은 우리 중 많은 이들에게 친숙하게 느껴질 것이다.

Medical education also has its muddy zones of practice, its own atypical presentations, unintended outcomes, and structural abnormalities for which to account. These areas of complexity and uncertainty likely feel familiar to many of us:

의사의 전문적 판단을 분석해보면, 수행능력과 환자 결과가 최적이 되려면, 의사들이 상황을 인지하고 당면한 문제를 재구성하고 그에 따라 조치를 취해야 하는 ["복잡한 실천 영역"의 인식 및 "속도 늦추기" 능력]에 달려 있음을 시사한다.1 외과의사들 사이에서는 수술실에서 배경음악을 끄고, 수다를 잠재우고, 재집결하기 위해 잠시 멈추는 등의 느린 조짐이 나타나고 있다.2 또한 속도를 늦추는 것은 시술 및 환자 특유의 복잡성과 불확실성에 대한 의사의 예상에 의해 촉발된 능동적인 계획일 수 있다.2

Analysis of physicians’ expert judgment suggests that optimal performance and patient outcomes depend on physicians’ ability to recognize “muddy zones of practice,”2(p.1019) and “slow down” to attend to the situation, reframe the problem at hand, and take action accordingly.1 Among surgeons, signs of slowing down include turning off background music in the operating room, silencing chatter, and pausing to regroup.2 Slowing down also may be proactively planned, prompted by the surgeon’s anticipation of procedure- and patient-specific complexities and uncertainty.2

하지만 의학 교육에서 "필요시 속도를 늦추는 것"은 어떤 모습일까?

But what does “slowing down when we should”1 look like in medical education?

철학은 우리가 [새로운 방식으로 사물을 보고(그리고) 할 수 있도록] [겉보기에는 명백해 보이는 실천에 대한 기본적인 질문을 하기 위해] [복잡하고 불확실한 시기에 잠시 멈추는 근본적인 접근법]이라고 볼 수 있다. 우리가 그것을 알고 있든 몰랐든 간에, 우리가 의학 교육에 사용하는 기본 개념은 철학으로 추적될 수 있다.

Philosophy can be seen as the fundamental approach to pausing at times of complexity and uncertainty to ask basic questions about seemingly obvious practices so that we can see (and do) things in new ways. Whether we are aware of it or not, basic concepts we use in medical education can be traced to philosophy.

예를 들어, 

• 의학이나 교육에서 우리가 하는 일은 '원인'과 '효과'가 확인되는 체계적인 경험적 연구에 기초해야 한다는 생각은 흄과 로크.5로 거슬러 올라갈 수 있다. 

• 지식, 기술, 태도 면에서 학습자에 대해 생각하는 것은 플라톤과 아리스토텔레스로 거슬러 올라갈 수 있다. 

• Kolb's,6과 같은 성찰 모델들은 그의 연구를 헤겔의 철학에 기초했던 7세의 John Dewey로 거슬러 올라갈 수 있다.

For example, 

• the idea that what we do – in medicine or in education – should be based on systematic empirical research whereby ‘causes’ and ‘effects’ are identified can be traced back to Hume and Locke.5 

• Thinking about learners in terms of knowledge, skills, and attitudes can be traced back to Plato and Aristotle. 

• Models of reflection, such as Kolb’s,6 can be traced back to John Dewey,7 who in turn based his work on Hegel’s philosophy.

이 글에서는 의학 교육의 속도를 늦추는 철학적 접근법을 설명하며, 철학적으로 상황을 보는 것이 어떻게 우리의 주의를 집중시키기 위해 잠시 멈추고, 당면한 문제를 재구성하고, 그에 따른 조치를 취하는 데 도움이 되는지 보여 준다.

In this article, we illustrate a philosophical approach to slowing down in medical education, demonstrating how viewing a situation philosophically helps us pause to focus our attention, reframe the problem at hand, and take action accordingly.

레지던트 문제에 대한 철학적인 접근은 반격한다.

A philosophical approach to the problem of resident teach back

내과 레지던트 프로그램 책임자가 문제에 직면했다고 상상해보라: 관찰에 근거한 평가를 해보니, 검사실을 떠나기 전에 전공의들은 계속해서 "teach back"에 실패한다. 즉, 자기가 맡은 환자가 [자신의 상태 또는 다음 치료단계]에 대한 이해 수준을 가늠하지 못한다.

Imagine an internal medicine residency program director faced with a problem: observation-based assessments reveal that before leaving the examination room, residents consistently fail to “teach back,” or gauge their patients’ understanding of their condition and what the next steps in their treatment plan will be.8

프로그램 감독이 개입하기로 결정한다.

the program director decides to intervene.

프로그램 감독이 선택하는 개입은 그들이 당면한 문제를 어떻게 공식화formulate했느냐에 달려 있다.

The intervention the program director chooses depends on how they have formulated problem at hand.

그 개입은 티치백 방법에 레지던트 컨퍼런스에 할애하는 것과 공식적으로 티치백 기술을 개발하기 위한 모의 환자 만남을 관리하는 것으로 구성된다고 하자. 이 경우 문제는 지식격차로 진단되었다: 'Trainee는 어떻게 하는지를 모르기 때문에 못 하는 것이다.' 그러나 그 개입이 성공적이지 못하고, 주민들은 여전히 반성을 하지 않으며, 프로그램 디렉터는 그 문제를 동기부여적 결함으로 재구성한다: 'Trainee들이 방법은 알고 있지만, 그들은 그것을 하도록 동기부여가 되지 않는다; 그들은 그것이 왜 중요한지 이해하지 못한다.'

Let us say that the intervention comprises dedicating a resident conference to the teach back method and administering a simulated patient encounter to formally develop teach back skills. In this case, the problem has been diagnosed as a knowledge gap: ‘Trainees do not know how.’ But imagine that the intervention is not successful, residents still do not teach back, and the program director re-formulates the problem as a motivational deficit: ‘Trainees know how, but they are not motivated to do it; they do not understand why it is important.’

지금까지 본 예에서 프로그램 디렉터는 전공의들이 의사-환자 커뮤니케이션을 제대로 하지 못하는 것은 지식, 기술, 태도의 부족 때문이라고 보았다. 이것은 명백해 보인다. 하지만 철학적인 것은 명백한 것에 의문을 제기하는 것이니까, 여기서 함께 그렇게 해서 무슨 일이 일어나는지 봅시다. 레지던트들은 어떻게 teach back이라는 업무를 경험하고 있는가? 그들은 문제를 인식하고 있는가? 만약 그렇다면, 어떻게 정의내리고 있는가? 

In our example so far, the program director has seen residents’ failure to enact satisfactory doctor-patient communication as a lack of requisite knowledge, skills, and attitudes. This seems obvious. But being philosophical is about questioning the obvious, so let us do that together here and see what happens: How does the resident experience the task of teaching back? Do they see a problem, and if so, how do they define it? 

레지던트는 학습자이자 실무자로서 잠재적으로 상충할 수 있는 여러 역할을 갖는 시험실에 들어가는 것으로 보일 수 있다. 환자에 대한 그들의 관계와 이것이 다시 가르치는 데 도움이 되는지 여부는 그들이 이러한 역할을 어떻게 탐색하느냐에 따라 달라질 수 있다. 예를 들어, teach back을 하려면, 전공의는 환자의 치료에 대한 주인의식을 느낄 필요가 있을 수 있다. 하지만 전공의들은 실제로는 궁극적으로 책임을 지는 주치의에게 무엇을 해야할지 확인받아야 한다는 것을 알고 있다. 게다가, 주치의는 더 경험이 많은 의사로서, 전공의의 계획에 동의하지 않을 수도 있다. 

The resident may be seen as entering the exam room embodying multiple, potentially conflicting roles: learner and practitioner. Their relationship to the patient and whether this is conducive to teach back may depend on how they navigate these roles. For instance, in order to teach back, the resident may need to feel ownership of the patient’s care,11 yet residents know they must verify what they do with the attending, who is ultimately responsible. Moreover, the attending is the more experienced practitioner, who may disagree with the resident’s plan. 

이런 맥락에서, 특히 나중에 계획이 수정될 필요가 있다면, teaching back은 역할의 경계를 위반하는 것으로 구성될 수 있다: 실제로는 연습생인데, 책임질 의사처럼 행동하는 것이다. 만약 teaching back 문제가 [역할 갈등]의 하나라면, 그것은 [역할 경계를 명확히 하고 탐색하는 것]을 목표로 하는 개입을 요구한다; 지식이나 동기를 목적으로 하는 개입은 효과가 없을 것이다.

In this context, teaching back, especially if the plan later needs correcting, may constitute a breach of role boundaries: acting like a practitioner when one is in fact a trainee. If the problem of teach back is one of role conflict, it calls for an intervention aimed at clarifying and navigating role boundaries; intervention aimed at knowledge or motivation would not work.

이 문제에 접근하는 방식은 고전적인 철학적 움직임인 프로그램 디렉터의 참조 프레임을 교란시킨다는 점에서 이전과는 다르다. 레지던트를 더 이상 지식, 기술, 태도의 집합체로서가 아니라, 사고하고 행동하는 존재로서 접근하며, 다음에 무엇을 해야 할지를 함의해준다. '우리는 개입이 필요하다'는 결론을 내리는 대신 프로그램 책임자는 한발 물러서서 '왜 전공의들은 teach back을 하지 않을까', 더 일반적으로는 '어떻게 하면 전공의가 양질의 환자 소통을 할 수 있도록 도울 수 있을까'라는 의문을 제기하며 문제를 재조명할 수도 있다.

This way of approaching the problem differs from the previous one in that it disrupts the program director’s frame of reference, a classic philosophical move. The resident is no longer approached as an assemblage of knowledge, skills, and attitudes, but as a thinking, acting being, which has implications for what to do next. Instead of concluding ‘We need an intervention,’ the program director may step back and reimagine the problem, wondering ‘Why don’t residents teach back?’ and, more generally, ‘How can we help residents achieve high quality patient communication?’

우리는 왜 전공의들에게 기대되는 행동이 일어나지 않는지에 대해 세 가지 가능한 설명을 가지고 있다. 이러한 각각의 설명은 의사소통 지식/기술의 결핍, 동기부여 문제, 역할 갈등 등 특정한 방식으로 문제를 정의한다. 우리는 이러한 정의들 중 어느 것도 반드시 다른 정의보다 더 진실하지 않다는 것을 알 수 있다; 문제를 봄에 있어서, 명백하고 명료해보이는 문제에 의문을 갖고, 철학자들은 '올바른' 렌즈나 틀을 찾으려는 생각을 재빨리 부인하거나, 렌즈나 틀 없이 '있는 그대로' 세상을 볼 수 있는 것처럼 행동한다.

We now have three possible explanations for why a behavior expected of residents does not take place. Each of these explanations defines the problem in a certain way: as a communication knowledge/skill deficit, a motivational issue, and a role conflict. We may note that none of these definitions is necessarily truer than the other; after questioning the obvious and disentangling a problem from how it is viewed, philosophers are quick to disown the idea of finding the ‘right’ lens or framework, or to pretend that we can see the world ‘as it is’ without a lens or framework.

아무도 찾지 못한 새로운 문제들

(Some) new problems no one looked for

teach back의 장벽을 식별하고 이를 해결하기 위한 대응을 형성함에도 불구하고 전공의에 대한 관찰적 평가는 그들의 행동이 여전히 기대에 미치지 못한다는 것을 보여준다고 (아마도 쉽게) 상상해 보자.

Let us imagine (perhaps readily) that despite identifying barriers to teach back and forming a response to address them, observational assessment of residents shows that their behavior still fails to meet expectations.

언어를 통해 지식은 힘을 제공한다.

Through language, knowledge serves power

푸카울디안 렌즈15,16은 당면한 문제를 볼 수 있는 권위에 대한 두 가지 새로운 관점을 도입할 것이다. 

• 첫 번째 관점은 누가 무엇을 말할 수 있는지, 누가 진단과 치료 계획과 같은 의사와 환자 관계의 핵심 요소를 정의할 수 있는지를 구속하는 것으로서 [언어적 용어로서의 권위]를 보는 것을 포함한다. 

• 두 번째 관점은 권위를 [(누군가가 가진 것이 아니라) 누군가가 하는 것]으로 보는 것이다. 그리고 이것은 그가 사용할 수 있는 지식과 정보의 종류에 달려있다. 

이러한 관점에서 우리는 전공의, 환자, 주치의를 권력지식 네트워크 내에 위치해 있다고 본다; 지식은 [말해질 수 있는 것과 말할 수 있는 사람]에 의해 제정되는 것이다.

A Foucauldian lens15,16 would introduce two new perspectives on authority from which to view the problem at hand. 

• The first perspective involves viewing authority in linguistic terms, as something that constrains who gets to say what and who can define key elements of the doctor-patient relationship, such as the diagnosis and the treatment plan. 

• The second perspective involves viewing authority not as something one has, but something one does, and this depends on the kind of knowledge and information one can use. 

From this perspective we see the resident, patient, and attending as situated within a power-knowledge network;15 knowledge is power enacted through what can be said and by whom.

공유 의사결정 프레임워크는 의료 서비스를 의사와 환자의 공유 프로젝트로 정의하지만, 예시한 전공의의 상황에서는 주치의도 참여한다. 이 그룹의 커뮤니케이션을 들여다보면 환자-전공의-주치의가 모두가 방에 있을 때 주치의가 상호작용을 주도하는 사람임을 알 수 있다. 주치의는 교류의 지속 기간(예: "안녕"을 처음으로 말하는 사람)과 교류의 대상이 되는 주제(예: 질문을 하는 사람)를 정의하는 사람이다. 이러한 상호작용을 푸콜디안적 관점에서 보면 프로그램 책임자가 현 문제의 프레임을 '전공의가 teach back을 하려면 우리가 어떻게 개입할 수 있을까' 또는 '전공의는 왜 teach back 하지 않는가?'에서 '전공의는 권력power이 없는데, 이런 상황에서 teach back주지 않는 것이 정말 문제일까?'로 전환시킬 수도 있다.

the Shared Decision-Making framework,17,18 defines health care as a shared project of doctor and patient, but in the resident’s situation the attending also participates. Examination of this group’s communication may reveal that the attending physician is the one who leads the interaction when all three parties are in the room, defining how long the exchange lasts (e.g., by being the first person to say “goodbye”) and what topics it covers (e.g., by being the one to ask questions). Viewing these interactions from the Foucauldian perspective may prompt the program director to shift the problem frame from ‘How can we intervene to make residents teach back?’ or ‘Why does the resident not teach back?’ to ‘Why is it even a problem that residents, who lack power in this situation, do not teach back?’

평가 또는 학습?

Assessment or learning?

철학적 입장을 취하면서 프로그램 책임자는 '우리는 전공의의 teach back을 평가할 것인가?'라는 질문도 할 수 있다. 왜냐하면 teach back은

(1) 그것은 질 높은 환자 진료를 보장하고, 

(2) 환자-소통 역량 개발을 촉진시키며

(3) 이용 가능한 도구로 쉽게 평가할 수 있는 주민 행동을 보여주기 때문이다.

Taking a philosophical stance, the program director also may ask: ‘Do we assess residents’ teach back because it 

(1) ensures quality patient care; 

(2) facilitates the development of patient-communication competency; or 

(3) describes a resident behavior that we can evaluate readily with available instruments?’ 

이 질문은 전공의가 단순히 공감적이라고(이 경우 효과적인 의사 소통자라고 보기에) 충분하지 않을 수 있음을 암시한다. 그러나 전공의는 그렇게 보여야 하며, 그렇게 '보이기' 위해서 전공의는 평가자가 관찰할 수 있는 방식으로 행동할 경우에만 그렇게 보일 수 있다. 심지어 그것조차도 충분하지 않다; 평가자는 관찰한 바를 평가 양식의 미리 정의된 구조로 번역해야 한다.20 이 점에서 우리는 의사와 환자의 의사소통 (전공의가 배우기를 원하는 것)과 그것에 대한 평가(전공의가 그것을 배웠다고 어떻게 알 수 있는지)의 두 담론 사이의 경쟁을 본다.

This question implies that it may not be enough for residents to be empathetic doctors,19 or, in this case, effective communicators. They have to be seen as such, and this can only occur if they act in a way that is observable to the assessor. And even that is not enough; the assessor must translate their observations into the predefined structure of an assessment form.20 In this, we see the competition between two discourses, that of doctor-patient communication (what we want the resident to learn) and that of assessment (how we know the resident learned it).

'도구적 사고' 21,22의 철학적인 개념은 여기서도 관련이 있다. 철학자들은 크게 두 가지 주요 사고방식을 구분했다: 도구적 합리성과 가치적 합리성. 

• 도구적 합리성은 가능한 한 효율적으로 달성되어야 할 목적의 관점에서 세상을 볼 것을 요구한다. 

• 가치적 합리성은 우리를 좀 더 총체적인 의미에서 세계와 관련지을 것을 요구한다. 이러한 사고방식은 우리가 어떻게 생각하는지뿐만 아니라 어떻게 느끼고 행동하는지 결정하면서 근본적으로 다른 세상과의 관계 접근방식을 나타낸다

The philosophical concept of ‘instrumental thinking’21,22 is relevant here. Philosophers have broadly distinguished two main ways of thinking: instrumental (or technical) rationality and value rationality. 

• Instrumental rationality calls us to see the world in terms of ends that should be achieved as efficiently as possible. 

• Value rationality, by contrast, calls us to relate to the world in a more holistic sense. These ways of thinking represent fundamentally different approaches of relating to the world, determining not just how we think but also how we feel and act. 

우리의 프로그램 디렉터의 질문은 어떻게 도구적 사고와 가치적 합리성이 충돌할 수 있는지를 보여준다; teach back은 [환자 치료에 대한 보다 전체적인 개념을 반영]할 수 있지만, teach back의 평가는 [연습생을 효율적으로 평가하기에 적합한 teach back의 구성요소]에 제약을 가할 수 있다.

Our program director’s question illustrates how instrumental thinking and value rationality may clash; teach back may reflect a more holistic notion of patient care, but its assessment may impose constraints on what constitutes teach back in order to evaluate trainees efficiently.

우리는 평가 렌즈가 평가 기구에 의해 포착된 관찰 가능하고 측정 가능한 행동이 아니기 때문에, [환자와의 의사소통]과 [기술 개발] 사이에서 균형을 잡게 되는 전공의의 행동practice이 걸러지는filter 것을 발견할 수 있다.23 가치적 합리성의 관점에서 teach back을 바라본다면, 프로그램 책임자에게 'teach back의 궁극적인 목적은 무엇인가, 그리고 훈련 중인 의사들이 이 목표를 달성하기 위해 사용할 수 있는 다른 연습이 있는가?' '우리 전공의들이 이미 teach back을 하고 있지만, 다만 평가도구를 사용하여 그것을 보지 못하는 것인가?' 라는 새로운 질문을 숙고하게 할 수 있다.

We may discover that an assessment lens filters out resident practices that balance patient communication and skill development because they are not observable, measurable behaviors captured by assessment instruments.23 Approaching teach back from a value rationality perspective may prompt the program director to ponder new questions: ‘What is the ultimate purpose of teach back, and are there other practices that doctors in training can use to accomplish this goal?’‘Are our residents already doing these practices, but we fail to see it using our assessment instruments?’

철학하기

Doing philosophy

의학 교육에는 모호성을 (훈련 시스템이 작동하지 않는다는 징후가 아니라) 의사가 되는 것의 일부로서 받아들이도록 격려하는 움직임이 있다.24,25 드 보부아르와 같은 현대 철학자들은 모호성을 [인간 존재의 잠재적으로 본질적인 긍정적인 자질]로서 받아들였다.26

There is a movement in medical education encouraging us to accept ambiguity as a part of becoming a doctor, rather than a sign that our training system is not working.24,25 Modern philosophers like De Beauvoir have embraced ambiguity as a positive quality, potentially fundamental to human existence.26

실제로 의학교육에서 애매모호함을 다루지 않는 순간은 드물고, 이를 용인하는 능력이 심리적인 안녕과 긍정적으로 관련이 있다고 의심할 만한 이유가 있다.27

Indeed, in medical education there is rarely a moment when we do not deal with ambiguity, and there is reason to suspect that one’s ability to tolerate it is positively related to psychological well-being.27

왜 의학교육이 그대로인가.

why medical education is the way it is

우리가 제안하는 첫 번째 철학적 실천은 어떤 일이 일어나고 있는지에 주의를 기울이고 설사 경험이 있다 하더라도 초심자의 마음을 상정하는 것이다. 이것은 잘 알려진 속담(흔히 소크라테스에게 잘못 인용된 말)에서 예시된다. "내가 아는 것은 아무것도 모른다는 것뿐입니다." 이 첫 번째 실천은 숙달하기 보다는, 전문지식의 특징인 복잡성이나 불확실성 앞에서 "속도를 낮추어야 함"을 촉구하기 위한 것이다.1 우리의 예에서 관찰평가로부터, 개입에도 불구하고 전공의들이 teach back을 제대로 하지 못하고 있다는 것을 계속 보여주었을 때, 프로그램 디렉터는 이것이 [사실 지식, 기술, 동기부여의 결손에 기인하는 것인지]에 대해 의문을 잠시 멈추고, [무엇이 이 '문제'를 애초에 문제가 되게 하였는지]에 대한 의문을 제기하게 되었다. 또 다른 예로, '이 새로운 프로그램을 어떻게 평가할 것인가?'라는 질문을 하기 전에, (초심자처럼 생각하자는) 이 철학적인 움직임은 우리에게 '이 프로그램을 평가하기를 원하는가, 그리고 만약 그렇다면 왜인가?'라고 물을 수 있는 공간을 제공한다.

The first philosophical practice we suggest is to pay attention to what is happening and assume a beginner’s mind, even if one is experienced. This is exemplified in the well-known saying (often misattributed to Socrates) “All I know is that I know nothing.” Rather than achieving mastery, this first practice is aimed at the urge to “slow down” in the face of complexity or uncertainty, a hallmark of expertise.1 In our example, when observational assessments continued to show, despite intervention, that residents were failing to teach back, the program director paused to question whether this was in fact attributable to knowledge, skill, or motivational deficits, and later, to question what made this ‘problem’ a problem in the first place. As another example, before asking the question ‘How will we assess this new program?’ this philosophical move—thinking like a beginner—gives us the space to ask ‘Do we want to assess this program, and, if so – why?’19

두 번째 철학적 관행은 [문제를 가장 근본적인 설명으로 돌려서] 가정assumption들이 스스로를 드러내도록 유도하는 것이다. 만약 우리의 프로그램 책임자가 지식, 기술, 태도 면에서 계속해서 학습자들을 봐왔다면, 그들은 전공의들이 주치의-전공의 관계에서 환자 관리의 소유권을 갖지 못하게 할 수도 있는 힘의 역학을 발견하지 못했을 것이다. 이 실천의 지침서는 델루제(Deleuze)와 과타리(Guattari)가 철학의 제1원칙이라고 부르는 것이다: "우주는 아무것도 설명하지 않는다. 스스로 설명되어야 한다."28(p.6) 만일 개입하는 이유가 그저 그것이 '좋기' 때문이라면, 그것이 '증거에 기반한다'거나 학생들이 '배운다'는 식으로 철학을 하는 것은 다음과 같은 질문을 수반한다. '좋은 것', '증거' 또는 '배움'이 무슨 뜻인가? 이렇게 해서 우리가 의학교육에서 가지고 있는 가장 분명하고 기본적인 개념은 그 자체로 분석의 대상이 될 수 있다. 이 [기본으로 돌아가자getting back to the basics]라는 철학적 관행은, '질문을 하는 사람으로서, [나를 포괄하는involve 어떤 질문]이 만들어질formulated 수 있을까?'라는 질문으로 제정될 수도 있다. 예를 들어, '어떻게 하면 연습생들을 배우게 할 수 있을까?'라는 질문을 철학적으로 바꾼다면 '나는 교육자로서 나를 어떻게 보고있는가? 그리고 배움에 대한 나의 관점이 갖는 함의는 무엇인가?'

A second philosophical practice is to lead a problem back to its most fundamental description, prompting assumptions to reveal themselves. If our program director kept seeing learners in terms of knowledge, skills, and attitudes, they would not have discovered the power dynamics in attending-resident relationships that might prevent residents from taking ownership of patient care. A guide in this practice is what Deleuze and Guattari call the first principle of philosophy: “Universals explain nothing, but must themselves be explained.”28 (p.6) If a reason for intervening is because it is ‘good,’ because it is ‘evidence-based,’ or because that is how students ‘learn,’ doing philosophy involves asking: What do you mean by ‘good,’ by ‘evidence,’ or by ‘learning?’ In this way, the most obvious and basic concepts we have in medical education can become objects of analysis in themselves. This philosophical practice—getting back to the basics—could also be enacted by asking: ‘What question can be formulated that involves me, the questioner?’ For instance, the question ‘How can I get my trainees to learn?’ if asked philosophically could become: ‘How do I see myself as an educator and what are the implications of my perspective for what learning is?’

앞의 두 사람이 섬기는 세 번째 관행은 frame of reference를 교란하는 것이다. (다른 사람의 눈을 통해 문제가 어떻게 생겼는지 상상하든, 전혀 다른 시력을 가진 사람과 대화하든 간에) 관점을 달리 해서 어떤 것을 보는 것은 자신의 가정이나 기본 렌즈를 드러낼 수 있다. 예를 들어 플라톤이 묘사한 소크라테스 대화 중 하나에서 소크라테스는 아버지를 기소하려고 하는 에우티프로와 이야기를 나눈다. 에우티프로가 자신의 사례를 당연한 것으로 제시하지만, 일련의 질문을 통해 소크라테스는 [무지의 태도]를 가정하고 "모든 문제에 대한 정확한 지식"을 주장하는 에우티프로로 하여금 소크라테스를 "가르치게끔" 유도한다.29(p.6) 이것은 에우티프로의 frame of reference을 교란시켜 정의와 같은 가치관을 설명하는 것에 문제가 없다는 식의 일상적인 태도에서 전환할 수밖에 없게 하였다. 우리의 teach back 사례에서 프로그램 디렉터가 관점을 바꿔보고, 전공의의 관점을 찾아내고, 마지막으로 커뮤니케이션을 직접 관찰하도록 유도할 수 있었던 것은 문제가 해결되지 않고 지속되었기 때문이다. 그 결과, PD의 참조 틀은 여러 번 붕괴되었다: 

• 전공의를 객체로 보는 것에서 주체로 보는 것으로, 

• 권위를 어떤 사람이 가진 것에서 어떤 사람이 하는 것으로

• teach back의 문제를 PD가 멀리 떨어져 관조하는 것에서, 관점에 따라 달라지는 것으로

The third practice, served by the preceding two, is to disrupt frames of reference. Viewing something from a different perspective—whether by imagining what a problem looks like through someone else’s eyes or by talking to someone with completely different sight—can reveal one’s own assumptions or default lens. For example, in one of the Socratic Dialogs described by Plato, Socrates speaks with Euthypro, who is about to prosecute his father. Euthypro presents his case as obvious, but through a series of questions Socrates assumes an attitude of ignorance and invites Eurthypro, who claims “accurate knowledge of all such matters,” to “teach” him.29(p.6) This disrupts Euthypro’s frame of reference, forcing him to switch from a routine attitude in which values such as justice are taken as unproblematic to having to explain them. In our teach back example, it is the persistence of a problem that prompts the program director to take on different perspectives, to seek out residents’ points of view, and finally to observe communication directly. Consequently, frames of reference were disrupted multiple times: 

• from the resident as an object to a subject; 

• from authority as something one has to something one does; and finally, 

• from teach back as a problem the program director observes from a distance, to one that is shaped by their own views.

철학적이기 

Being philosophical

"문제에 대한 철학자의 치료는 마치 병에 대한 치료와 같다."30(제255조)

“The philosopher’s treatment of a question is like the treatment of an illness.”30 (§255)

철학은 자신에게 중요한 것을 이해하려는 욕망과 현재의 사고방식에 대한 불만족이나 심지어 좌절감에서 시작된다. 이와 같이 철학은 과학과 기술 발전의 근원이기도 한 그러한 인간성human qualities의 연장선상에 있다. 그러나 철학은 물음에 가까운 상태로 남아, 격렬하고 어린아이 같은 호기심과 이해하고자 하는 열망으로 살아 있게 한다. 예를 들어, '좋은 교육이란 무엇인가?'라는 질문에 대해서 철학자는 교육적, 심리적, 신경학적 관점을 발동하여 교육적, 심리학적, 신경학적 관점을 연구할 수도 있지만, 나아가 'good'과 'educational'이라는 용어를 정치적, 역사적, 언어적, 논리적, 그리고 심지어 영적 관점으로 고찰할 수도 있다. 철학은 어떤 렌즈나 규율에도 얽매이지 않는 일종의 탐구라고 볼 수 있다. 그런 의미에서 철학은 우리가 의학 교육에 수입해 온 다른 관점들 사이에서 중개자 또는 협상자 역할을 할 수 있으며, 우리를 다시 기본적인 가정으로 이끌며, 반대되는 견해들 간의 논쟁을 부추기기 보다는 생각의 공통점을 제공한다.

Philosophy begins with the desire to understand something that is important to oneself, and with a dissatisfaction or even frustration with current ways of thinking. In this way, philosophy is an extension of those human qualities that are also at the root of scientific and technical advancement. However, philosophy remains close to questions, keeping them alive with intense, childlike curiosity and desire to understand. For example, in addressing a question such as ‘What is good education?’ a philosopher might invoke educational, psychological, neurological perspectives to consider instructional strategies, but then also go on to examine the terms ‘good’ and ‘educational’ from political, historical, linguistic, logical, and even spiritual perspectives. Philosophy can be seen as a form of inquiry that is not bound to any one lens or discipline. In this sense, it can act as a broker or negotiator between the different perspectives we have imported to medical education, leading us back to basic assumptions, providing common ground to think from rather than fueling debate between opposing views.

플라톤의 동굴의 알레고리는 우리의 가정들의 사슬chains of our assumptions로부터 해방되는 것이 어떻게 중요한 역할을 할 수 있는지를 보여준다.31 이 우화에서 죄수들은 동굴 벽에서 세상적인 형태가 춤추는 것을 보면서 평생 동안 동굴 안에서 사슬로 묶여 있었다. 죄수들은 자신이 투영하는 것을 보고 있다는 것, 뒤에 있는 불 앞에서 운반되는 물체의 그림자를 보고 있다는 것을 깨닫지 못한다. 그들에게 그림자는 물건이다. 죄수들은 그들이 쇠사슬에서 풀려나 불을 발견하기 위해 돌아설 때, 그리고 그들이 본 그림자의 세계를 볼 때만이 환상이라는 것을 배운다.31 철학적 의학 교육자가 되기 위해서 우리는 일어서고, 돌아서고, 우리가 교육으로 새로운 목표를 달성하려고 하는 것을 보게 해야 한다.

Plato’s Allegory of the Cave illustrates how being liberated from the chains of our assumptions can be instrumental.31 In this allegory, prisoners have been chained inside a cave for their entire lives, watching worldly forms dance on the cave wall. The prisoners do not realize that they are watching a projection, that they are seeing the shadows of objects being carried in front of a fire behind them. For them, the shadows are the objects. The prisoners learn that the world of shadows is an illusion only when they are released from their chains, turn around to discover the fire, and see the actual objects whose shadows they watched.31 Being philosophical medical educators should prompt us to stand up, turn around, and see what objective we are trying to accomplish with education anew.

철학적 존재가 되는 목적은 이론이나 윤리적 체계와 같은 '철학'을 생각해 내는 것이 아니다. 철학은 [문제를 창조하는 접근법]이며, 철학의 방법은 분석이어서, 우리가 세상을 보는 렌즈를 통해 [프레임을 바꾸거나] [(나 자신을) 분석의 대상으로 변화시키는] 끊임없는 과정이다. 철학적이 된다는 것은 [대답할 수 없는 질문]을 하고 [그것에 대답하기 위한 방법을 탐구하는 것]을 포함한다. 이 과정이 '해답'에 도달하는 순간 프로젝트는 또 다른 학문의 책임이 된다.

The aim of being philosophical is not to come up with ‘a philosophy,’ such as a theory or an ethical system to live by. If anything, philosophy is a problem creation approach, and its method is analysis, a constant process of shifting frames and turning into objects of analysis the lenses through which we see the world. Being philosophical involves asking unanswerable questions and exploring ways in which one might go about answering them. The moment this process arrives at ‘an answer,’ the project becomes the charge of another discipline.

많은 사상가들은 철학이 어떻게 생각의 "통로"인가를 상상하는데 일생을 바쳤다. 철학은 한 가지 이론적 또는 개념적 틀에서 생각이 "중단되지 않는" 것을 의미한다.

Many thinkers have devoted their life to imagining how philosophy is a “pathway”21(p.445) for thinking, thinking that “does not come to a halt”22(p.278) in a theoretical or conceptual framework.

그러나 끊임없는 질문도 함정이 될 수 있다. 우리는 끊임없이 철학적 태도를 취할 수 없고 동시에 실용적일 수 없다. 니체 자신이 썼듯이, "내가 숨을 쉴 때마다 숨쉬는 가장 깊은 이유를 공식화해야 한다면 나는 죽을 것이다."32(p.21)

However, constant questioning also is a pitfall. We cannot constantly assume a philosophical attitude and be practical at the same time. As Nietzsche himself wrote: “I would die if I had to formulate the deepest reason for breathing before each breath I take.”32(p.21)

앞으로 

Moving forward

현재 5개의 테마가 향후 논의를 위해 계획되어 있다.

Five themes are currently planned for future discussion.

결론

Conclusion

의학 교육은 오랫동안 철학과 관계가 있었다. 철학적 접근법은 복잡성과 불확실성 앞에서 속도를 늦추고, 오래된 문제를 새로운 방식으로 보고, 생산적인 행동을 취하도록 도와줌으로써 오늘날 의학 교육을 진전시킬 수 있다. 철학을 하는 것은 초심자처럼 생각하고, 기본을 되찾고, 참고의 틀을 깨는 것을 포함한다. 철학은 '철학'을 창조하는 것, 즉 세상을 정리할 수 있는 유용한 개념적 틀에 안주하는 것이 아니다. 오히려 '쉬지 않고' 생각하는 길이다. 

Medical education has long had a relationship with philosophy. A philosophical approach can advance medical education today by helping us slow down in the face of complexities and uncertainty, see old problems in new ways, and take productive action. Doing philosophy involves thinking like a beginner, getting back to the basics, and disrupting frames of reference. Philosophy is not about creating ‘a philosophy,’ i.e., settling on a useful conceptual frame with which to organize the world. Rather, it is a “pathway” for thinking that “does not come to rest.” 

그러나 의학 교육의 철학은 단순히 질문을 위해 끊임없이 질문하는 것이 아니다. 대신에, 철학과 함께 하는 것은 도움이 될 것이다; 그것은 진보를 하지 못하는 불만족스럽거나 심지어 좌절감을 주는 습관적인 사고 방식과 가정으로부터의 해방에 관한 것이다. 궁극적으로 철학적 존재가 되는 것은 경이로움과 강렬함, 아이 같은 호기심, 우리 모두가 공유하는 인간의 자질에 관한 것이다. 아무도 찾지 못한 문제를 파악하는데 있어서 철학은 우리에게 2천 5백 년 동안 우리 자신을 탐색할 수 있는 힘을 주었다.

Yet, philosophy in medical education is not meant to question constantly simply for the sake of questioning. Instead, engaging with philosophy is meant to be helpful; it is about liberation from habitual ways of thinking and assumptions that underlie dissatisfying or even frustrating inability to progress. Ultimately, being philosophical is about wonder and intense, childlike curiosity, human qualities we all share. In identifying problems no one looked for, philosophy has empowered us for two and a half millennia to search ourselves.

24. Tonelli MR, Upshur R. A philosophical approach to addressing uncertainty in medical education. Acad Med. 2019;94(4):507–511.

27. Hancock J, Mattick K. Tolerance of ambiguity and psychological well-being in medical training: A systematic review. Med Educ. 2020;54(2):125–137. Febdoi:10.1111/medu.14031.

어떻게 시스템 공학이 보건의료전문직교육(HPE)에서 프로그램 평가 방법에 도움이 될 것인가? (Med Educ, 2018)

How can systems engineering inform the methods of programme evaluation in health professions education?

David Rojas,1,2 Lawrence Grierson,3 Maria Mylopoulos,1,4 Patricia Trbovich,5 Darius Bagli6&Ryan Brydges1,2

도입 

INTRODUCTION

프로그램 평가에는 데이터 수집 및 분석에 대한 체계적인 접근방식이 포함되며, 일반적으로 프로그램의 효과와 관련된 질문을 다루는 데 사용된다.1 보건직 교육(HPE) 평가는 고품질 프로그램 보장의 핵심 요소로 인식된다.2-4 그러나 HPE의 전통적인 프로그램 평가 프레임워크는 [학생과 교직원 참여의 수준과 같이] 교육 프로그램과 관련된 프로세스와 결과에 영향을 미치는 여러 요인을 다루지 못할 수 있다. 모든 관련 요소들 간의 상호작용을 평가하기 위해, HPE의 학자들은 프로그램 평가를 다시 개념화하여 다음과 같은 질문에 답하였다: 프로그램이 어떻게 그리고 왜 작동하고 있는가? 프로그램 내에서 또 무슨 일이 일어나고 있는가?5

Programme evaluation involves a systematic approach to data collection and analysis, and is generally used to address questions relating to a programme’s effectiveness.1 Evaluation in health professions education (HPE) is recognised as a key element of assuring high-quality programmes.2–4 However, traditional programme evaluation frameworks in HPE may not address the multiple factors affecting the processes and outcomes associated with educational programmes, such as differing levels of student and faculty member engagement. To evaluate the interplay between all relevant factors, scholars in HPE have re- conceptualised programme evaluation to answer questions such as: How and why is the programme working? What else is happening within a programme?.5

HPE의 전통적인 프로그램 평가 프레임워크는 환원주의6부터 시스템 이론, 복잡성 이론에 이르기까지 다양한 시대의 두드러진 이론에 의해 영향을 받아왔다. 복잡한 프로그램을 평가할 때, 현재 표준은 발달적developmental 평가로, [사회적 상호작용과 연관된 불확실성의 난해함]을 해결하기 위해 시스템 사고의 복잡성 이론과 개념을 사용한다.

Traditional programme evaluation frameworks in HPE have been influenced by the prominent theories of different eras, from reductionism6 to systems theory7–9 to complexity theory.10,11 When evaluating complex programmes, the current standard is developmental evaluation,12 which uses complexity theory and concepts of systems thinking to address the messiness of social interactions and associated uncertainties.

발달적 평가 모델에는 [프로그램 및 이해관계자가 환경 특성에 적응하여 발생하는 것]으로 생각되는 출현emergence이라는 구인construct이 포함된다.13 HPE에서 하지 외 연구진은 '창발emergence'을 분석의 핵심 영역으로 꼽았으며, 교육 프로그램이 [계획된 프로세스, 계획된 결과, 창발적 프로세스와 창발적 결과]를 포함하고 있음을 제안하였다. 그들은 평가자들에게 네 가지 유형의 모든 데이터를 수집하고 분석하도록 조언하고, 프로그램이 어떻게 그리고 왜 작동하는지, 프로그램 내에서 그리고 프로그램 때문에 일어나는 다른 일들을 식별하도록 조언한다.

The developmental evaluation model includes the construct of emergence, which is thought to result from a programme and its stakeholders adapting to environmental characteristics.13 In HPE, Haji et al.5 also note emergence as a key dimension of analysis, suggesting that educational programmes contain planned processes, planned outcomes, emergent processes and emergent outcomes. They advise evaluators to collect and analyse all four types of data, to discern how and why the programme is working, as well as what else happens within and because of the programme.

시스템 엔지니어링 원칙을 사용하여 창발emergence을 개념화하는 방법과 계획된 프로세스, 계획된 결과, 새로운 프로세스 및 새로운 결과를 포착하는 방법을 식별하는 방법을 세분화할 것을 제안한다.

We propose using systems engineering principles to refine how to conceptualise emergence, and how to identify methods for capturing planned processes, planned outcomes, emergent processes and emergent outcomes.

개념적 프레임워크 

CONCEPTUAL FRAMEWORK

시스템 엔지니어링

Systems engineering

문제 해결에 대한 공학적인 접근법은 전형적으로 기초 과학을 사용하여 손에 잡히는tangible 해결책을 만드는 것을 포함한다.14,15 대부분의 공학 하위 학문은 과학 영역의 특정 문제에만 초점을 맞춘다. 예를 들어 토목 공학자들은 주로 도로, 교량, 운하 및 건물과 같은 자연적으로 건설된 물리적 환경의 설계, 건설 및 유지관리에 힘쓴다.

Engineering approaches to problem-solving typically involve using basic sciences to create a tangible solution.14,15 Most engineering subdisciplines focus only on specific problems in the spectrum of science. Civil engineers, for example, work primarily on the design, construction and maintenance of physical and naturally built environments, such as roads, bridges, canals and buildings.

대조적으로, 시스템 엔지니어들은 특정 분야에 초점을 맞추지 않고, 대신에 여러 엔지니어링 하위 학문이 함께 일해야 하는 복잡한 문제를 해결한다.16,17 시스템 엔지니어들은 각 엔지니어링 하위 학문의 고유한 전문지식을 이해해야 하며, 그들은 각각의 학문분야가 문제 해결 접근법에 어떤 정보를 제공할 것인지 분석해야 하며, 그들은 서로 다른 팀 구성원들이 시스템 관점을 이용한 협업이 필요하다는 것을 이해하도록 해야 한다. 시스템 공학의 경우, 게스탈트 원칙이 시사하는 바와 같이 [전체는 부분의 합보다 크다].18 유명한 예는 아폴로 13 프로젝트인데, 이 프로젝트에서는 여러 하위 학문의 엔지니어들이 우주비행사를 지구로 데려오는 고도로 복잡한 문제를 해결하기 위해 함께 일했다.

By contrast, systems engineers do not focus on a specific area, and instead address complex problems requiring multiple engineering subdisciplines to work together.16,17 Systems engineers must understand the unique expertise of each engineering subdiscipline, they must analyse how each will inform the problem-solving approach, and they must ensure the different team members understand the need to collaborate using a systems perspective. For systems engineering, as the Gestalt principle suggests, the whole is greater than the sum of the parts.18 A famous example is the Apollo 13 Project, wherein engineers from multiple subdisciplines worked together to solve the highly complex problem of bringing astronauts back to earth.

인지시스템공학

Cognitive systems engineering

시스템 엔지니어링의 한 종류인 인지 시스템 엔지니어링은 엔지니어가 종종 [사회-기술 시스템]이라고 불리는 [이해관계자-리소스 동맹]으로서 시스템을 개념화하도록 촉구한다.20–22 

• 기술적 요소는 시스템을 구속하는 조직 구조 및 프로세스뿐만 아니라 가용 자원(예: 물리적 재료)을 가리킨다. 

• 사회적 요소는 기술적 요인과 상호작용하거나 기술적 요인에 의해 형성되는 모든 이해당사자를 의미한다.23,24 

인지 시스템 엔지니어는 시스템의 행동을 더 잘 이해하기 위해 [기술적 요인과 사회적 요인 사이의 상호작용]을 연구한다.20 그러한 시스템은 사회적 요인과 기술적 요인이 상호작용을 하여 기대하지 않은 행동을 나타낼 때 '복잡complex'하다고 정의된다.

Cognitive systems engineering, a type of systems engineering, prompts engineers to conceptualise systems as a stakeholder–resources alliance, often called a socio-technical system.20–22 

• The technical factor refers to the available resources (e.g. physical materials), as well as the organisational structures and processes binding the system. 

• The societal factor refers to all stakeholders who interact with or get shaped by the technical factors.23,24 

Cognitive systems engineers study the interaction between the technical and the societal factors to better understand a system’s behaviour.20 Such systems are defined as complex when the societal and technical factors interact to exhibit unexpected behaviours.25

엔지니어링 복합 사회 기술 시스템

Engineering complex socio-technical systems

그림 1은 사회 기술 시스템 엔지니어링을 위한 공통적인 5단계 프레임워크를 보여준다.26

Figure 1 illustrates a common five-stage framework for engineering socio-technical systems.26

우리는 초기 '준비 및 프레임' 단계를 건너뛰고, 엔지니어들이 시스템 요소에 대한 강력한 설명을 생산하기 위해 일하는 '지식 도출' 단계에 초점을 맞추었다. 인지 시스템 엔지니어링에 사용되는 많은 지식 도출 도구knowledge elicitation tools가 있지만, 인지 작업 분석cognitive work analysis에는 사회-기술 시스템을 분석하기 위한 이상적인 도구 상자가 포함될 것을 제안한다.27

Thus, we moved past the initial ‘preparation and framing’ stage to focus on the ‘knowledge elicitation’ stage, in which engineers work to produce a robust description of system elements. Although there are many knowledge elicitation tools employed in cognitive systems engineering, we suggest that cognitive work analysis includes an ideal toolbox for analysing socio-technical systems.27

엔지니어는 인지 작업 분석CWA을 사용하여 각 시스템의 특정 특성을 검사하고 표현함으로써 복잡한 사회-기술 시스템을 모델링하고, 결과 모델을 작업 영역work domain으로 참조refer to한다.27 작업 영역은 주어진 사회기술 시스템의 자원, 정책, 공간 및 사회적 특성을 강조한다.28–30

Engineers use cognitive work analysis to model complex socio-technical systems by inspecting and representing each system’s specific characteristics, and refer to the resulting model as a work domain.27 A work domain highlights the resources, policies and spatial and societal characteristics of a given socio-technical system.28–30

인지 작업 분석CWA을 수행할 때 엔지니어는 사회적 요인에 의해 수행되는 작업의 유형에 관계없이 [시스템의 기술적 특성이 대체로 일정하게 유지될 것]으로 가정한다. 예를 들어, 교육 프로그램에서 [자원, 위치, 정책 및 지원 인력]은 학생들이 목표를 달성하기 위해 선택할 수 있는 다른 선택에도 불구하고 그대로 유지될 것이다.24,31

When conducting a cognitive work analysis, engineers assume that the system’s technical characteristics will largely remain constant no matter the type of task performed by the societal factors. For example, in an educational programme, the resources, location, policies and support personnel will remain the same despite the different choices students may make to achieve their goals.24,31

엔지니어는 작업영역이 '이벤트-독립적'인 경우 강건한robust 것으로 판단하며, 이는 사회적 요인의 작용이 작업영역에 의미 있게 영향을 미치지 않는다는 것을 의미하며, 따라서 시스템 특성이 포괄적으로 명시되었다. 정확한 작업 영역work domain은 시스템 내에서 수행될 수 있는 [가능한 행동과 사건(계획적이거나 창발적인)]을 분석할 수 있는 플랫폼을 제공한다.27

Engineers judge a work domain as robust if it is ‘event independent’, meaning actions of the societal factor do not influence the work domain meaningfully, and therefore, the system characteristics have been specified comprehensively. Accurate work domains provide a platform to analyse the possible behaviours and events (planned and emergent) that might be carried out within the system.27

추상 분해 공간

Abstract decomposition space

작업영역 분석을 실시할 때, 시스템 엔지니어는 추상 분해 공간(ADS)을 데이터 수집 도구로 사용한다. ADS는 작업영역의 다양한 특성을 시스템의 목표에 관련시키고, 그러한 특성이 서로 다른 목표를 지원하는지 검토하기 위해 사용된다.32 ADS를 개발할 때 엔지니어는 [추상적 차원] 및 [분해 차원]이라는 두 가지 직교적 차원을 따라 데이터를 나타낸다.30,33 표 1

When conducting a work domain analysis, system engineers use the abstract decomposition space (ADS) as their data collection instrument. The ADS is used to relate a work domain’s various characteristics to the system’s goals, and to examine whether those characteristics support the different goals.32 When developing the ADS, engineers represent data along two orthogonal dimensions: the abstract dimension and the decomposition dimension.30,33 Table 1

ADS의 [추상적 차원]은 그 안에 존재하는 수단-목적 관계에 따라 시스템을 분할할 것을 요구한다.32

The abstract dimension of the ADS requires dividing a system according to the means–ends relationships that exist within it.32

이 수준들은 결코 엄격하거나 의무적이지 않다. ADS의 추상적 차원을 개발하기 위해서는 시스템의 목표 식별부터 시작하는 하향식 접근법을 시스템 자원 식별부터 시작하는 상향식 접근법과 혼합하는 것이 필요하다.32 따라서, 목적은 [시스템을 탐색하고 ADS를 세분화하여], 추상화 수준이 특정 시스템에 최적화되도록 하는 것이다. 이는 결국 [시스템에서 사용할 수 있는 리소스가 시스템 목표 달성을 지원하는지 여부]를 분석하는 데 사용된다.

These levels are by no means rigid or mandatory. Developing the abstract dimension of an ADS requires mixing a top-down approach starting with identifying goals of the system with a bottom-up approach starting with identifying system resources.32 Thus, the aim is to explore the system and refine the ADS so that the abstraction levels are optimised for that specific system, which informs the analysis of whether the resources available in the system support achieving the system goals.

[분해 수준]을 통한 작업(표 1 참조)은 시스템의 '줌 인, 줌 아웃'에 비유할 수 있으며, 여기서 포커스는 전체 시스템에서 하위 시스템 또는 시스템을 구성하는 요인에 따라 달라진다. [분해 차원]은 시스템 내에서 [이해관계자가 절절하게 기능하기 위하여 필요한 주의 범위attention span]를 반영하는 것으로 설명할 수 있다.

Working through the decomposition levels (see Table 1), can be likened to ‘zooming in and out’ of the system, where the focus varies from the whole system to the sub-systems or factors that constitute the system.30,32 The decomposition dimension can be described as reflecting the attention span required of stakeholders as they function in the system.

학생들은 일반적으로 그들의 임상실습에서 좋은 점수를 얻는 것에 초점을 맞출 수 있지만, 그들이 다른 회전을 하는 동안, 그들의 주의 범위는 개별 로테이션을 성공적으로 완료하는 데 필요한 모듈이나 특정한 활동(확대)으로 옮겨갈 가능성이 있다.

The students may focus generally on achieving a good mark in their clerkship, but while they are going through the different rotations, their attention span will likely shift to the modules or specific activities that are required to successfully complete the individual rotation (i.e. zooming in).

프로그램 평가를 위한 인지 시스템 엔지니어링 개념 적용

APPLYING COGNITIVE SYSTEMS ENGINEERING CONCEPTS TO CONDUCT A PROGRAMME EVALUATION

우리는 교육 프로그램을 복잡한 사회-기술적 시스템으로 개념화하기 위해 위의 시스템 엔지니어링 원칙을 사용할 것을 제안한다.20 필요 조건을 충족하는 교육 프로그램은 다음의 것을 포함한다. 

• 사회적 요소(예: 교육생, 교사, 프로그램 감독 및 기타 이해관계자) 

• 기술적 요소(즉, 교육 리소스, 학습 리소스, 기술 및 커리큘럼 정책) 

더욱이 교육 프로그램을 복잡한 사회-기술적 시스템으로 구성한다는 것은 주로 이해관계자 사이의 상호작용(즉, 사회적 요인), 자원(즉, 기술적 요인) 및 프로그램을 지배하는 정책(즉, 맥락)에 의존하는 창발적 특성을 나타낼 것임을 의미한다.

We propose using the systems engineering principles above to conceptualise educational programmes as complex socio-technical systems.20 

Educational programmes satisfy the necessary conditions: they include 

• a societal factor (i.e. trainees, teachers, programme directors and any other stakeholders) and 

• a technical factor (i.e. teaching resources, learning resources, technologies and curriculum policies). 

Moreover, framing educational programmes as complex socio-technical systems implies they will exhibit emergent properties that will depend primarily on interactions between the stakeholders (i.e. societal factor), resources (i.e. technical factor) and policies that govern the programme (i.e. context).

우리의 시스템 엔지니어링 프레임워크는 프로그램-특이적 ADS를 만들기 위한 [작업영역 분석]을 실시하는 것으로 시작한다. 우리는 강력한 프로그램-특이적 ADS를 통해 평가자가 프로그램의 특정 특성이 이해관계자의 행동을 어떻게 형성하는지, 그리고 프로그램 자원이 프로그램 목표 달성을 지원하는지 여부를 연구할 수 있도록 할 것을 제안한다.

Our systems engineering framework begins with conducting a work domain analysis to produce a programme-specific ADS. We propose that a robust programme-specific ADS will allow evaluators to study how the programme’s specific characteristics shape the behaviours of the stakeholders, and whether programme resources support achieving programme goals.

케네스 버크가 말했듯이, '모든 보는 방법은 보지 않는 방법이다.'34

As Kenneth Burke stated: ‘Every way of seeing is also a way of not seeing’.34

창발 및 창발적 요소의 조작화

Operationalising emergence and emergent elements

각기 다른 분야의 연구자들은 창발의 개념을 다르게 정의하고 측정한다. 

Researchers from different fields define and measure the concept of emergence differently. 

HPE에서 Christancho 외 연구진 al.35는 외과의사와 그들의 맥락이 분리될 수 없어 [모든 임상적 결정이 외과의사와 다른 시스템 요소들 사이의 지속적인 교환을 통해 발생하는 경우 '창발적인 것'으로 특징지어질 수 있음]을 제안하면서 외과적 의사결정에서 출현을 연구했다. 이런 시각은 새로운 전략이 '의도가 완전한 결여'된 전략이라는 민츠버그의 입장과도 일치한다.36

In HPE, Cristancho et al.35 have studied emergence in surgical decision making, suggesting surgeons and their context are so inseparable that all clinical decisions can be characterised as emergent, given they arise via the constant exchange between the surgeon and other system elements. This view resonates strongly with Mintzberg’s position that emergent strategies are those with a ‘total absence of intention’.36

엔지니어들은 시스템 내에서 두 가지 형태의 새로운 요소를 설명하면서 다른 관점을 제공한다. 

• 첫째, 시스템 내의 다른 요소들이 상호작용을 할 때 출현한다. 예를 들어, trainee가 새로운 오더 세트 사용자 인터페이스를 만났을 때 잘못된 약물 복용 오더가 발생할 수 있다. 

• 둘째로, 'whole' 시스템이 그것의 환경과 상호작용을 할 때 출현한다. 예를 들어, 병원이 새로운 임상교육 단위를 조직 구조에 도입할 때 예상치 못한 관행과 과정이 발생할 수 있다.

Engineers offer a different view, describing two forms of emergent elements within systems. 

• First, emergence arises when different elements within a system interact. For example, incorrect drug dosage orders may arise when trainees interact with a new order-set user interface. 

• Second, emergence arises when the ‘whole’ system interacts with its environment. For example, unexpected practices and processes may arise when a hospital introduces a new clinical teaching unit into its organisational structure.

우리는 '창발'을 식별하는 것은 계획된 것과 관찰된 것 사이의 차이를 이해해야 한다고 제안한다. 이러한 산술적 접근방식은 두 가지 주요 아이디어와 일치한다. 즉, 창발적 요소는 의도하지 않은 것이며, 창발적이든 아니든 시스템 요소, 프로세스 및 상호작용은 관찰되고 기록될 수 있다. 이를 운용할 때, 프로그램 설계자 및 기타 이해관계자의 의도가 없는 경우 프로그램 특정 ADS에서 관찰된 모든 요소와 함께 모든 계획 요소를 고려한 후 발견된 시스템에서 발생하는 요소를 창발적인 것으로 정의할 수 있음을 제안한다. 

we propose that identifying emergence requires understanding the difference between what was planned and what is observed. This arithmetic approach aligns with two main ideas: that emergent elements are unintentional; and that systemelements, processes and interactions, emergent or otherwise, can be observed and documented. In operationalising this, we propose that elements arising in a system, found after considering all the planned elements alongside all observed elements in the programme-specific ADS, can be defined as emergent, given the absence of the programme designer’s and other stakeholders’ intentions

시스템 엔지니어링에서 제공하는 프로그램 평가의 예비 방법

Preliminary methods of programme evaluation informed by system engineering

공학에서 교육으로 지식 번역을 용이하게 하기 위한 기초 교육 ADS(그림 2)

a basic educational ADS (Fig. 2) to facilitate knowledge translation from engineering to education.

우리가 제안한 프레임워크는 평가자가 [기본적인 교육적 ADS(그림 2)로 시작하고 프로그램별 ADS를 개발하기 위해 여러 개의 데이터를 수집할 것]을 요구한다. 우리가 제안한 데이터 수집 방법에는 문서 분석, 구조화된 관찰 및 준구조화된 인터뷰가 포함되지만, 추가적인 형태의 데이터도 활용될 수 있다.

Our proposed framework requires that the evaluator starts with a basic educational ADS (Fig. 2) and collects several iterations of data to develop a programme-specific ADS. Our proposed methods of data collection include document analysis, structured observations and semi-structured interviews, although additional forms of data could be utilised.

• 평가자는 프로그램과 관련된 모든 기존 문서(예: 강의록, 서면 자료, 보고서 및 이전 평가)를 분석하는 것으로 시작한다. 

• 그런 다음 평가자는 프로그램의 모든 차원(예: 계획된 프로세스, 계획된 결과, 새로운 프로세스 및 새로운 결과)을 탐색하기 위해 일련의 관찰을 수행한다. 

• 가능한 경우(예: 여러 코호트와 함께 반복되는 과정) 평가자는 프로그램을 여러 번 반복하는 동안 관찰을 수행하여 매번 프로그램별 ADS를 업데이트하고 다듬는다. 

• 관찰 결과와 동시에, 평가자는 모든 관련 프로그램 이해관계자(예: 교육생, 교수진, 과정 감독 등)의 표본과 함께 반구조화된 인터뷰를 실시하도록 권고한다.

• An evaluator begins by analysing all the existing documentation related to the programme (e.g. syllabus, written materials, reports and previous evaluations). 

• The evaluator then conducts a series of observations to explore all the dimensions of the programme (i.e. planned processes, planned outcomes, emergent processes and emergent outcomes). 

• Where possible (e.g. in courses that are repeated with several cohorts), the evaluator conducts observations during several iterations of the programme, updating and refining the programme-specific ADS each time. 

• Concurrent with the observations, we recommend that the evaluator should also conduct semi-structured interviews with a sample of all relevant programme stakeholders (i.e. trainees, faculty members, course directors, and so on).

데이터 수집의 모든 단계에서, ADS는 프로그램 요소뿐만 아니라 프로그램을 더 잘 표현하도록 조정되고 업데이트된다. 이러한 미세화 과정에는 [연역적 데이터 분석과 귀납적 데이터 분석]의 조합이 필요하다. 평가자는 먼저 수집된 모든 데이터를 연역적으로 분석하여 수집된 데이터가 ADS와 어느 정도 일치하는지 검증한다. 평가자가 불일치를 감지하는 경우, ADS는 이전 연역 분석에 수집된 모든 데이터에 대한 귀납적 분석을 추가함으로써 프로그램의 세부사항을 보다 잘 다루도록 개선된다. 평가자는 추가적인 관찰 및 인터뷰 데이터가 프로그램 특이적 ADS(즉, 정보 포화도에 도달)에 [의미 있는 변화를 초래하지 않을 때까지 모든 데이터 수집 반복 동안 연역적 분석에서 귀납적 분석에 이르기까지 이 주기를 반복]한다.

Throughout all phases of data collection, the ADS is refined and updated to better represent the programme as well as its elements. This refinement process requires a combination of deductive and inductive data analyses. An evaluator first analyses all collected data deductively, seeking factors from the basic educational ADS, to verify the degree to which the collected data align with the ADS. Where the evaluator detects misalignment, the ADS is refined to better address the specifics of the programme by adding an inductive analysis of all collected data to the previous deductive analysis. The evaluator repeats this cycle, from deductive to inductive analyses, during every data collection iteration until additional observation and interview data do not result in meaningful changes to the programme-specific ADS (i.e. information saturation is reached).

그런 다음 평가 팀은 Eqn 1을 사용하여 [어떤 프로그램 요소가 계획되어 있고 어떤 것이 창발적인 것인지 판단]할 목적으로 수집되고 추상적 차원의 각 범주에 [할당된 데이터를 검사]한다. 다양한 요소의 예상치 못한 존재 외에도, 그들은 요소들의 일관된 부재를 문서화해야 한다. 즉, 평가팀이 데이터 수집 및 분석 중에 '계획된 요소'와 관련된 데이터를 관찰하지 못했을 경우, 해당 요소의 부재를 창발적인 것으로 간주할 수 있다.

The evaluation team then inspects the data collected and assigned to each category of the abstract dimension, with the aim of judging which programme elements are planned and which are emergent, using Eqn 1. In addition to the unexpected presence of various elements, they must document consistent absence of elements. That is, if the team does not observe data related to a planned element during data collection and analysis, then they would consider its absence as emergent.

시스템의 계획적 요소와 창발적 요소를 정의한 후, 각 범주 내에서뿐만 아니라 범주 간의 모든 요소 사이의 관계를 매핑할 것을 요구한다. 이렇게 철저한 자료수집과 분석과정은 평가단이 교육프로그램에서 '지금 일어나고 있는 일'에 대한 종합지도를 개발할 수 있도록 설계됐다.

After defining the planned and emergent elements of the system, our analysis requires mapping the relationships between all elements within each category as well as between categories. Such a thorough data collection and analysis process is designed to allow the evaluation team to develop a comprehensive map of ‘what is happening’ in the educational programme.

가상 시스템 엔지니어링 정보 프로그램 평가

HYPOTHETICAL SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION

예를 단순하게 유지하기 위해, 그림 3은 ADS 추상적 차원에 대한 세 가지 수준만을 보여준다: 과정 목표, 자원이 제공하는 교육 및 학습, 그리고 과정 자원.

To keep the example simple, Figure 3 only illustrates three levels on the ADS abstract dimension: course goals, teaching and learning afforded by resources, and course resources.

따라서 프로그램-특이적 ADS를 생산하면 추상적 차원 수준이 다소 낮아질 수 있으며, 평가자는 분석에 대한 경험에 따라 이러한 수준을 자체적으로 명명할 수도 있다(예: '잠재적 목표potential object'라는 수준을 산출할 수 있다). 레벨이 정의되면 특정 방법을 사용하여 요소를 채운다. 예를 들어 문서 분석, 관찰 및 인터뷰의 결과로 계획된 요소가 작성된다.

Thus, producing a programme-specific ADS might result in more or fewer abstract dimension levels, and evaluators might produce their own labels for these levels, depending on their experience in the analysis (e.g. one might produce a level of ‘potential objectives’). Once levels are defined, the elements are populated using specific methods; for example, planned elements result from document analysis, observations and interviews.

코스 리소스 수준의 분석을 통해 모든 요소가 계획되어 있음을 알 수 있으며, 이는 잘 계획된 프로그램에서 자원이 등장할 가능성이 낮기 때문에 예상할 수 있다. 특히 프로그램 자원은 유형적이고 물질적인 요소일 뿐만 아니라 강사, 교육생, 지원 인력 등 인적 요소도 포함하고 있다. 이 수준에 대한 추가 분석은 일부 요소가 자원 수준에 의해 제공되는 교육 및 학습의 요소와 연결되지 않음을 보여줄 것이다. 이 경우에 평가자는 프로그램에 이러한 연결되지 않은 [자원이 필요하지 않을 수도 있고], 또는 [이들의 존재를 정당화하기 위해 향후 반복에서 연결을 형성할 필요가 있다고 판단]할 수 있다.

An analysis of the course resources level shows that all elements are planned, which might be expected because it is unlikely that resources would emerge in a well-planned programme. Notably, programme resources are not only tangible, material elements, but also include human elements such as instructors, trainees and support personnel. Further analysis of this level would show some elements are not connected to elements in the teaching and learning afforded by resources level. An evaluator might judge that such unconnected resources might not be needed in the programme, or that connections need to be formed in future iterations to justify their presence.

자원 레벨이 제공하는 교육 및 학습을 분석하면, 과정 설계에서 명시적으로 계획되지 않은 두 가지 새로운 교육 및 학습 프로세스(자체 규제 및 피어 투 피어 학습)가 나타난다. 이러한 새로운 요소들의 출현을 통해 교육생들이 코스 목표의 일부를 달성하기 위해 작업하면서 다른 프로세스를 사용하고 있음을 알 수 있다. 평가자와 과정 설계자는 향후 프로그램을 반복할 때, 예를 들어, 이러한 프로세스를 지원할 수 있는 충분한 자원이 있는지 확인함으로써 이러한 프로세스를 설계의 일부로 설명할 수 있다.

Analysing the teaching and learning afforded by resources level reveals two emergent teaching and learning processes (self-regulated and peer-to-peer learning) that were not planned explicitly in the course design. The appearance of these emergent elements shows that trainees are using different processes as they work to reach some of the course goals. Evaluators and course designers, in future iterations of the programme, would account for these processes as part of the design by, for example, ensuring there are enough resources to support them.

'거꾸로 교실' 과정은 다른 요소와 연결되지 않는다.

the ‘flipped classroom’ process is not connected to any other element,

이러한 단절은 중요하다. 왜냐하면 과정 설계자가 다른 기초underpinning 교육 프로세스(연결되지 않은 프로세스와 관련된 간접 자원)로 프로그램을 재설계하거나, 적어도 하나의 프로그램 목표를 달성하는 데 도움이 되는 프로세스와 지원 자원 사이의 연결을 개발할 수 있기 때문이다.

This disconnect is important because course designers could either redesign the programme with different underpinning educational processes (redirect resources associated with the disconnected process) or develop connections between that process and supportive resources that help achieve at least one programme goal.

코스 목표 수준을 분석하면 두 가지 중요한 결과가 나타난다. 첫 번째 발견은 [새로운 목표]인데, 그것은 연습생들이 그들의 또래들과 강한 관계를 형성하는 것을 목표로 했다는 것이다. 비록 이 목표가 초기 코스 설계에서는 고려되지 않았지만, 코스 설계자와 이해관계자는 코스가 진행됨에 따라 개발될 수 있다는 것을 알게 되었고, 그들은 향후 코스 반복에서 그 목표를 공식화하고 지원할 것인지를 결정할 수 있다. 두 번째 발견은 [계획된 '모르면 말하라' 목표]가 ADS에 연관성이 없다는 것으로, 이는 이 과정 반복에서 달성되지 않고 있음을 시사한다. 평가자와 과정 설계자는 이 목표가 달성되지 않는 이유를 분석하고, 이 목표를 달성하도록 과정을 세분화하거나 코스의 목표를 변경하고자 할 수 있다.

Analysing the course goals level reveals two important findings. The first finding is the emergent goal, which is that trainees aimed to create strong relationships with their peers. Although this goal was not considered in the initial course design, course designers and stakeholders would now be aware that it may develop as the course unfolds, and they can decide whether to formalise and support that goal in future course iterations. The second finding is that the planned ‘speak up when you don’t know’ goal has no connections in the ADS, suggesting it is not being achieved in this course iteration. Evaluators and course designers may wish to analyse why this goal is not being achieved, and either refine the course to achieve this goal or change the goals of the course.

본 예에서 제시하는 소규모 과정을 넘어, 평가자는 전체 프로그램과 커리큘럼을 평가하기 위해 우리의 프레임워크를 사용할 수 있으며, 여기서 '프로그램별' ADS는 추상적 및 분해 차원 모두에서 더 많은 수준을 포함할 수 있다고 주장한다.

Beyond the small-scale course we present in our example, we argue that evaluators can use our framework to evaluate full programmes and curricula, wherein the ‘programme-specific’ ADS would contain more levels in both the abstract and decomposition dimensions.

시스템 엔지니어링 정보 프로그램 평가 프레임워크와 대체 프로그램 평가 프레임워크 비교

COMPARING OUR SYSTEMS ENGINEERING INFORMED PROGRAMME EVALUATION FRAMEWORK WITH ALTERNATIVE PROGRAMME EVALUATION FRAMEWORKS

우리는 우리의 프레임워크를 HPE에 공통적인 특정 평가 대안들과 대조한다(표 2 참조).

we contrast our framework with specific evaluation alternatives common in HPE (see Table 2).

결론 

CONCLUSION

우리는 평가자가 Haji et al.5에 의해 기술된 계획적, 창발적 요소를 포착할 수 있도록 돕기 위해 제안된 시스템 엔지니어링 프로그램 평가 프레임워크를 설계했다. 우리는 평가자가 프로그램-특이적 ADS를 만들기 전에 평가자의 출발점이 되도록 기초 교육용 ADS(basic educational ADS)를 개발했다. ADS를 반복적으로 사용하여 프로그램을 지정함으로써 평가자는 시스템의 강건한 표상robust representation of the system을 만들게 되는데, 이는 평가 매개변수가 미리 정의된 HPE에서 사용되는 다른 프로그램 평가 프레임워크와 구별하는데 핵심이다(예: CIPP는 매우 구체적인 초점을 가지고 있다).

We designed our proposed systems engineering programme evaluation framework to help evaluators capture the planned and emergent elements described by Haji et al.5 We developed a basic educational ADS to serve as the starting point for evaluators before they create a programme-specific ADS. By specifying the programme iteratively using the ADS, evaluators create a robust representation of the system, which is key in distinguishing it from the other programme evaluation frameworks used in HPE, where evaluation parameters are predefined (e.g. CIPP has a very specific focus).

교육 프로그램을 [복잡한 사회-기술적 시스템]으로 개념화함으로써, 우리의 프레임워크는 평가자들로 하여금 [프로그램에서 발생가능한 상호작용이 어떻게 새로운 요소들로 이어질 수 있는지]에 주의를 기울이도록 도울 것이다.

by conceptualising educational programmes as complex socio-technical systems, our framework will help evaluators attend to how possible interactions in a programme may lead to emergent elements.

우리는 평가자들이 그들의 평가 문제를 해결하기 위한 원칙, 도구 및 방법을 선택하면서 혼합된 접근법에 사용할 두 개 이상의 프레임워크를 선택할 수 있을 것으로 기대한다. 우리는 우리의 프레임워크가 그러한 혼합된 접근법에 새로운 요소의 독특하고 보완적인 개념화를 추가한다고 믿는다.

We expect that evaluators might choose two or more frameworks to use in a blended approach, selecting principles, tools and methods to address their evaluation question. We believe our framework adds a unique and complementary conceptualisation of emergent elements to such a blended approach.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

혁신의 연속체: UME의 교육과정 개편 전략 2010-2018 (Acad Med, 2019)

A Continuum of Innovation: Curricular Renewal Strategies in Undergraduate Medical Education, 2010–2018

Daniel A. Novak, PhD, Ronan Hallowell, EdD, Ron Ben-Ari, MD, and Donna Elliott, MD, EdD

Flexner Report 100주년 기념일인 2010년 이후, 여러 의과대학은 학부 의료 커리큘럼을 위해 커리큘럼 개정과 갱신이라는 새로운 사이클을 시행하고 있다.

Since 2010, a date that coincided with the 100th anniversary of the Flexner Report,1 schools have engaged in a new cycle of curricular revision and renewal for their undergraduate medical curricula.

이러한 갱신 주기 동안, 카네기 재단의 2010년 의사 교육에 관한 보고서2는 많은 학부 의료 프로그램에 영향을 미쳐서 교육과정 설계의 일관적인 접근법에 초점을 맞추었다. 여기에는 능동적인 학습 전략, 전문적 정체성 형성, 임상 경험과의 교실 기반 교육의 통합 등이 있다. 또한, 미국 의학 협회의 2013년 의료 교육 가속화 이니셔티브는 교육 및 학습에 대한 혁신적이고 기술적으로 강화된 접근 방식을 촉진했고, 오랫동안 기초과학 내용과 임상경험에 대한 학부 교육과정이 집중해 온 것을 보완하기 위하여 보건 시스템 과학이라는 주제에 대한 더 큰 관심을 갖기 시작했다.

During this renewal cycle, the Carnegie Foundation’s 2010 report2 on physician education influenced many undergraduate medical programs to focus on consistent approaches to curricular design, active learning strategies, professional identity formation, and the integration of classroom-based education with clinical experiences. Further, the American Medical Association’s (AMA’s) 2013 Accelerating Change in Medical Education initiative has promoted innovative, technologically augmented approaches to teaching and learning and greater attention to health systems science topics as a complement to undergraduate medical programs’ long-standing focus on basic science content and clinical experiences.3

이 논문에서는 미국의 의과대학들이 커리큘럼을 renew하는 문제에 있어서 학생들의 의료행위의 복잡성 증가에 대비하는 방법에 대한 분석을 제시한다.

In this article, we present an analysis of the ways that medical schools in the United States have approached the problem of renewing their curricula to prepare their students for the growing complexity of medical practice.

배경

Background

커리큘럼 갱신renewal 주기는 의료 교육 혁신의 단면 이상의 예다. 이 기간들은 도널드 숄4가 학생들의 독립적 실습을 적절히 준비하기 위한 전문 분야의 능력에 있어서 "자신감의 위기crisis of confidence"라고 명명한 현상에 관심을 갖게 하였다. 션의 패러다임에 따르면, 의료행위의 조건에는 (기술, 정책, 규제, 문화의 변화에 따른) 일정한 흐름flux이 존재하는데, 이로 인해 새로운 의사를 만드는 과정에서 끊임없는 변화가 필요하다. 나아가 의학교육 자체의 진화는 갱신과 변화의 필요성도 견인할 수 있다. 쿡 외 연구진은 "분명한 것은 한 시대의 문제를 해결하는 바로 그 행위가 종종 다음 세대의 딜레마에 기여했다는 것이다."2(pvi)라고 지적했다.

Curricular renewal cycles are more than examples of the churn of innovation in medical education. These periods bring into focus a phenomenon identified by Donald Schon4 as a “crisis of confidence” in the ability of professional disciplines to adequately prepare their students for independent practice. In Schon’s paradigm, the constant flux within the conditions of medical practice (as a result of changes in technology, policy, regulations, and culture) requires constant changes in the process of creating new physicians. Further, the evolution of medical education itself can also drive the need for renewal and change. Cooke et al note that “what is also clear is that the very act of resolving one era’s problems often contributed to the dilemmas of the next generation.”2(pvi)

학부 교육과정이 의료행위와 학습 욕구의 변화를 예측하고 계획할 수 있도록 더 잘 갖춰진다면 "자신감의 위기"가 발생할 필요는 없다. Mcleod와 Steinert5는 보건과학 커리큘럼이 "변화에 영구적으로 반응해야 한다"고 지적하고 "교육 리더, 교사, 학습자가 정기적인 증거 기반 리뉴얼을 받아들이고 평가해야 한다"고 말했다. Mcleod와 Steinert는 [커리큘럼 변경과 지속적인 리뉴얼에 대한 이유를 명확히] 하고, [교육 방법과 교육 전략을 비판적으로 검토]하고, [커리큘럼에서 적절한 내용과 순서를 보장해야 하는 것] 등 이러한 응답성responsiveness을 달성하기 위한 몇 가지 중요한 원칙들을 개략적으로 설명한다.

Crises of confidence need not occur if undergraduate medical programs are better equipped to anticipate and plan for changes in practice and learning needs. Mcleod and Steinert5 note that health sciences curricula “should be perpetually responsive to change” and that “regular evidence-based renewal must be accepted and valued by educational leaders, teachers, and learners.” Mcleod and Steinert outline several important principles for achieving this responsiveness, such as the imperative to 

• articulate reasons for curricular change and ongoing renewal, 

• critically review the teaching methods and educational strategies, and 

• ensure appropriate content and sequencing in the curriculum.

출판된 문헌의 주요 특징들은 세 가지 차원의 통합을 주제로 한 현재의 갱신 주기(2010년 이후)의 시작에 수반된다.

The key features in the published literature accompanying the beginning of this current cycle of renewal (2010 onward) center on the theme of integration along 3 dimensions.

첫째, 여러 저자들이 기초과학을 학제 간 경계를 넘어 더욱 긴밀하게 통합하는 것을 장려했다.10,11 기초과학 교육을 조직하기 위한 오늘날의 [유비쿼터스 기관-시스템 기반 접근법]이 이전 접근법인 1980년대와 1990년대에 등장한 이중경로적(2-pass) 일반 생리-질병 생리 순서에 대한 설계 대안으로 떠올랐다.12 2000년대 중반, 의료 교육자들은 기관-시스템 기반 접근법에 의해 만들어진 [인위적인 경계]에 대해 좌절감을 표명했다. 이 논리는 필연적으로 가르침에 있어서 고립silo과 중복을 야기했기 때문이다,11

First, several authors have promoted the tighter integration of basic sciences across disciplinary lines.10,11 Today’s ubiquitous organ-systems-based approach to organizing basic science education emerged as a designed alternative to the previous approach, a 2-pass, normal physiology/disease physiology sequence that emerged in the 1980s and 1990s.12 In the mid-2000s, medical educators expressed frustration with the artificial boundaries created by the organ- systems-based approach, as this logic necessarily created silos and redundancies in teaching,11

둘째, 의료 교육자들은 기초과학과 임상과학에 걸쳐 보다 긴밀한 통합을 촉진하는 시책을 폭넓게 지지해왔다. 13,14 이러한 관점에서, 전 임상과 임상 활동 사이의 경계를 명확히 가르는 것bright line은 학생 학습에 역-효과적이다. 학생들이 일상적으로 그들의 생물의학 내용 지식의 측정에서 우수한 점수를 얻는 동안, 증가하는 근거에 따르면 임상실습과 전공의 수련 상황에서 이 지식을 적재적소에 활용하는 데 어려움을 겪고 있다는 것을 나타낸다.15,16 일부 저자들은 [알아야 하는 기초 과학 정보]를 [임상 실습]과 통합하면 더 나은 결과를 도출할 것이라고 제안한다.17 이와 같이, 몇몇 학교들은 그들의 프로그램을 근본적으로 재구성하는 방법으로 임상 활동을 전임상 기초과학 활동에 통합했다.18 

Second, medical educators have broadly supported initiatives that promote the tighter integration across basic and clinical sciences.13,14 In this view, the bright line between preclinical and clinical activities is counterproductive to student learning. While students routinely attain excellent scores in measures of their biomedical content knowledge, a growing body of evidence indicates that they are having difficulty deploying this knowledge in the clerkship and residency contexts.15,16 Some authors suggest that integrating need-to-know foundational science information with clinical practices could produce better outcomes.17 As such, several schools have integrated clinical activities into preclerkship basic science activities in ways that fundamentally restructure their programs.18 

셋째, 의료 교육자들은 기초과학과 임상과학을 [사회과학적 접근법과 폭넓은 대인관계 기술 세트]에 통합하는 것에 끊임없는 어려움을 겪고 있다. 보건 시스템 과학 분야의 발전으로 학자들은 사회 과학에서 중요한 개념을 UME로 통합하는 방법을 모색하게 되었다. 2010년 Sales와 Schlaff19는 이 점에서 의학 교육이 부족함을 보여주는 5가지 방법을 찾아냈다. 여기에는 증거 기반 의학과 인구 의학의 통합 부족, 보건 정책의 적용 범위 부족, 휴리스틱 학습의 불충분한 통합 등이 포함된다. 궁극적으로, Sales와 Schlaff는 의과학 커리큘럼에 [사회과학적 접근법과 내용]을 더 크게 통합할 것을 요구한다.

Third, medical educators continue to grapple with the integration of both basic and clinical sciences with social science approaches and broader interpersonal skill sets. Developments in the field of health systems science have led scholars to look for ways to integrate important concepts from social sciences into UME. In 2010, Sales and Schlaff19 identified 5 ways that the literature has shown medical education to come up short in this regard. These include 

• a lack of integration of evidence-based medicine and population medicine, 

• a lack of coverage of health policy, and 

• poor integration of heuristic learning. 

Ultimately, Sales and Schlaff call for a greater integration of social science approaches and content into the medical science curricula.

2010년 이후 의도적인 커리큘럼 재설계 노력의 결과로 미국 의과대학에서 어떤 구조, 특징, 트렌드가 나타났는가?

What structures, features, and trends have emerged in American medical schools as a result of deliberate curricular redesign efforts since 2010?

연구 질문의 조작화를 위한 프레임워크를 제공하기 위해, 2010년 카네기 의료 교육 현황 보고서인 Educating Physicians를 참조했다. 카네기 재단은 의료 교육 개혁의 4대 핵심 축을 다른 교육 분야의 트렌드를 반영하는 것으로 파악했다. 이러한 기둥에는 다음이 포함된다.

To provide a framework for the operationalization of the research question, we turned to Educating Physicians,2 the 2010 Carnegie report on the state of medical education. The Carnegie Foundation identified 4 key pillars of medical education reform that reflect trends in other educational domains. These pillars include the following:

1. 학습 성과의 표준화 및 학습 과정의 개별화,

2. 형식적 지식과 임상경험의 통합,

3. 탐구 및 혁신의 습관의 발달과

4. 직업적 정체성 형성에 초점을 맞춘다.

1. Standardization of learning outcomes and the individualization of learning processes,

2. Integration of formal knowledge and clinical experience,

3. Development of habits of inquiry and innovation, and

4. Focus on professional identity formation.

• RQ1: 학생들은 교육과정을 통해 어떻게 진척되는가?

• RQ2: 학교는 교과과정 내에서 기초과학 콘텐츠를 어떻게 구성할까?

• RQ3: 프로그램은 미국 의료면허시험(USMLE) 1단계 시험을 어디에 배치하는가?

• RQ4: 학생들은 언제 점원 생활을 시작하나?

• RQ1: How do students progress through the curriculum?

• RQ2: How do schools organize the basic science content within the curriculum?

• RQ3: Where do the programs place the United States Medical Licensing Examination (USMLE) Step 1 exam?

• RQ4: When do students begin their clerkship experiences?

방법 

Method

샘플링 전략 및 데이터 소스

Sampling strategy and data sources

본 연구에서는 미국 뉴스앤월드 리포트(USNWR)25 2018~2019년 미국 내 상위 100위 학부 의료프로그램에서 총 40개의 MD 부여 프로그램을 도출했다. USNWR의 학교 목록은 전국적으로 인정되고 있으며, 광범위한 공공 및 민간 의료 프로그램을 포함할 가능성이 가장 높다고 판단되었다. 우리 풀의 처음 30개 학교는 순위에 오른 상위 50개 의과대학에서 무작위로 뽑았고, 나머지 10개 학교는 다음 50개 학교에서 무작위로 뽑았다. 우리는 상위 50위 안에 든 학교들이 이 순환에서 조기에 갱신 과정을 거치고 시행하는 데 필요한 인적, 자본적 자원을 보유했을 가능성이 더 높다고 이론화했기 때문에 이러한 계층화 선발 전략을 사용했다. 그러나 우리는 혁신적 갱신 전략을 만들 수 있었을지도 모르는 하위 50개 학교의 학교를 배제하고 싶지 않았다. 따라서, 우리는 3:1 샘플링 접근법을 채택했다.

This study drew a total pool of 40 MD- granting programs from U.S. News & World Report’s (USNWR’s)25 2018–2019 top 100 ranked undergraduate medical programs in the United States. USNWR’s list of schools is nationally recognized and was judged most likely to contain a broad range of public and private medical programs. The first 30 schools in our pool were drawn randomly from the top 50 medical schools in the rankings, with the remaining 10 drawn randomly from the next 50 schools. We used this tiered selection strategy because we theorized that schools ranked in the top 50 of the list would be more likely to have had the human and capital resources necessary to undergo and implement a renewal process early in this cycle. However, we did not want to exclude schools in the bottom 50 schools, which may have been able to produce an innovative renewal strategy. Thus, we adopted a 3:1 sampling approach.

포함 기준을 충족하기 위해, 이 분석을 위해, 각 프로그램은 

(1) 2006년 이후 (2010년 첫 졸업반과 함께) 어떤 형태의 커리큘럼 갱신을 거쳤으며, 

(2) 자신의 웹사이트를 통해 분석에 적합한 정보를 제공하고, 

(3) 미국의 의과대학으로서 완전한 LCME(의무교육 연락 위원회) 인가를 취득해야 한다.

(4) 4년제 교육과정을 특징으로 한다. 

To meet inclusion criteria, for this analysis, each program must 

(1) have undergone some form of curriculum renewal since 2006 (with a first graduating class of 2010) and mention it in their public materials, 

(2) provide suitable information for analysis via their websites, 

(3) have obtained full Liaison Committee on Medical Education (LCME) accreditation as a medical school in the United States, and 

(4) feature a 4-year curriculum. 

총 40개의 커리큘럼 중 25개가 연구의 포함 기준을 충족했다. 분석 과정에서 15개 미갱신 학교를 비교표본으로 활용했다.

Of the total pool of 40 curricula, 25 met the inclusion criteria for the study. During the analysis, we used the 15 unrenewed schools as a comparative sample.

정성 분석 프로세스

Qualitative analysis process

분석하는 동안, 우리는 질적 분석을 개발하기 위해 베이스 오픈 축-테마틱 코딩 프로세스을 이용했다. 첫 번째 단계에서는 분석을 준비하기 위해 추론이 낮은 사실 정보로 MD 프로그램 데이터를 다운로드, 정렬, 명명 및 베이스 코딩했다. 그런 다음, 리뉴얼을 거친 10개 학교의 표본을 기초로 한 초기 코드 세트를 생성하기 위해 개방형 코드 방식을 사용했다. 말뭉치에 프로그램을 더 추가함에 따라, 우리는 우리의 코드가 사례에 걸쳐 일관되게 적용되도록 지속적인 사례 비교를 실시하였다. 축상에서는 생성된 코드를 축약하여 범주로 분류하고 표 1에 나타낸 형태로 통합하였다.

During the analysis, we used a base-open-axial-thematic coding process26,27 to develop our qualitative analysis. In the first step, we downloaded, sorted, named, and base-coded our MD program data with low-inference, factual information in preparation for the analysis. We then used an open-coding approach to generate an initial set of codes based on a sample of 10 schools that had undergone renewal. As we added more programs to the corpus, we engaged in constant case comparison to ensure that our codes were consistently applied across cases. In the axial phase, we condensed and grouped the generated codes into categories and consolidated them into the form represented in Table 1.

결과

Results

양적 소견

Quantitative findings

표 2는 포함 대상으로 선정된 25개 학교와 연구 질문을 바탕으로 각 학교에 적용된 코드를 나열한 것이다.

Table 2 lists the 25 schools that were selected for inclusion and the codes applied to each of them based on the research questions.

RQ1: 학생들은 교육과정을 통해 어떻게 발전하는가?

RQ1: How do students progress through the curriculum?

본 연구에서 검토한 갱신된 커리큘럼 중 96%는 개별화된 커리큘럼에 대한 4년차 기회가 있는 코호트 기반의 선형 경로를 포함했다.

Ninety-six percent of the renewed curricula that we reviewed in this study featured cohort-based, linear pathways with fourth-year opportunities for individualized curricula.

우리는 거의 모든 학교가 다음의 요인으로 인한 요구의 결과로 선형 경로 전략을 선택했다고 가정한다. 

• (1) LCME 프로그램 길이 요구사항, 

• (2) 국가 및 주 이사회의 임상실습 요건, 

• (3) 4년차 레지던트 면접 과정

인증 및 기타 기관에 의해 부과되는 제약과 자료 및 인적 자원의 한계 때문에 [완전히 adaptive한 커리큘럼]은 많은 학교에서 가능하지 않을 수 있다.

We posit that nearly all schools have selected a linear pathway strategy as a result of the demands placed on their curricula by (1) LCME program length requirements, (2) clerkship requirements of national and state boards, and (3) the fourth-year residency interviewing processes. A completely adaptive curriculum may not be possible at many schools because of the constraints imposed by accreditation and other agencies and limitations of material and human resources.

RQ2: 학교들은 어떻게 교육과정 내에서 선점 내용을 구성할까?

RQ2: How do schools organize the preclerkship content within the curriculum?

갱신된 커리큘럼의 80%는 새로운 커리큘럼 구조에 주제적이고 통합된 블록을 포함한다. 많은 경우에, 이러한 새로운 구조는 갱신 노력 이전에 사용되었던 기초 과학 커리큘럼에 대한 시스템 기반 접근방식을 대체한다.

Eighty percent of renewed curricula include thematic, integrated blocks in the new curricular structure. In many cases, this new structure replaces the systems-based approaches to basic science curricula that were in use before the renewal effort.

RQ3: 프로그램은 USMLE 1단계 시험을 어디에 배치하는가?

RQ3: Where do the programs place the USMLE Step 1 exams?

표본에서 48퍼센트의 커리큘럼이 USMLE Step 1을 프로그램 2년말 이외의 다른 곳에 배치했다.

Forty-eight percent of curricula in the sample have placed USMLE Step 1 somewhere other than at the end of the second year of their program.

RQ4: 학생들은 언제 점원 생활을 시작하니?

RQ4: When do students begin their clerkship experiences?

이 연구에서 표본으로 추출한 프로그램 중 68%가 3학년에서 2학년 중 어느 때로 임상실습 경험을 옮겼다. 대부분의 경우, 임상실습 배치는 단축된 기초과학 기간이 이후에 이루어졌다. 많은 경우, 학교는 약 24개월에서 16개월 또는 18개월로 전임상 기간을 단축했다. 임상실습 경험을 2학년 중반으로 이동함으로써 일부 프로그램은 보다 긴 3년/4년 경계 기간을 농축enrichment, 연구 또는 전문화 기간으로 활용할 수 있었다.

Sixty-eight percent of programs sampled in this study moved their clerkship experiences from year 3 to sometime in year 2. In most cases, the placement of clerkships followed a shortened basic science period. In many cases, schools reduced their preclerkship period from roughly 24 months to 16 or 18 months. The movement of the clerkship experiences to the middle of the second year enabled some programs to take advantage of the longer third-year/fourth-year boundary periods for enrichment, research, or professionalization periods.

정성적 소견

Qualitative findings

우리가 "혁신의 연속체"이라고 불렀던 이 분석적 프레임워크는 학교를 분류하는 데 사용될 수 있는 4가지 커리큘럼 재설계의 주요 영역을 기술한다. 많은 의과대학이 이러한 경향 중 하나 이상을 채용한 반면, 우리는 4개의 주요 클러스터로 구분가능한 커리큘럼 재설계 전략을 관찰했다(그림 1에 요약).

This analytic framework, which we termed the “Continuum of Innovation,” describes 4 major zones of curricular redesign that could be used to categorize the schools, ranging from mild to radical redesigns of their curricula. While many medical schools have employed 1 or more of these trends, we have observed 4 major clusters of curriculum redesign strategies in play (summarized in Figure 1):

• 전통적 설계는 1995년과 2005년 사이의 이전 리뉴얼의 산물이며, 학생이 코호트로 진척되고, 커리큘럼이 생리적 시스템에 기초하여 구성되며, USMLE 1단계가 2년 말에 발생하며, 임상 경험이 3년차에 시작되는 선형 경로였다. 이것들은 우리의 포함 기준을 충족하지 못했기 때문에 표 2에 포함되지 않는다.

• Conventional designs were the product of the prior renewal cycle between 1995 and 2005, with linear pathways where students progress as a cohort, the curricula are organized based on physiological systems, USMLE Step 1 occurs at the end of the second year, and clinical experience begins in the third year. These are not included in Table 2 because they did not meet our inclusion criteria.

• 약한 재설계는 선형 경로를 사용하지만 교육 내용은 약 2년간 지속되는 통합된 주제 블록으로 재구성했다. 임상실습은 3학년 때 발생했으며 USMLE 1단계는 2학년 말에 유지되었다.

• Mild redesigns use linear pathways but have reorganized their content into integrated thematic blocks that last approximately 2 years. Clerkships occurred in the third year, and USMLE Step 1 remained at the end of year 2.

• 중간 수준의 재설계에서는 선형 경로와 주제 블록을 사용하지만, 기초과학 구성요소를 약 1.5년 후에 종료하도록 재설계했으며, 임상실습은 2학년도에 시작한다. USMLE Step 1은 3학년 때 취해진다.

• Moderate redesigns use linear pathways and thematic blocks but have redesigned the basic science component to end in approximately 1.5 years, with the clerkships beginning in the second year. USMLE Step 1 is taken sometime in the third year.

• 급진적인 재설계에서는 커리큘럼을 통과하는 적응형 역량 기반 경로를 사용하며, 자신의 역량과 직접 관련된 주제 블록, 가변적인 임상실습 타이밍 및 가변적 USMLE 타이밍을 사용한다.

• Radical redesigns use adaptive, competency-based pathways through the curriculum, with thematic blocks that are directly related to their competencies, variable clerkship timing, and variable USMLE timing.

표 3은 연속체의 각 구역에 있는 표본 학교 수 총계수와 학교 이름을 나타낸다.

Table 3 presents the total counts of the number of sampled schools in each zone of the continuum, along with the names of the schools.

Mild(Examples)

• https://www.feinberg.northwestern.edu/md-education/curriculum/phases/phase1/modules-faculty.html

• https://www.rosalindfranklin.edu/academics/chicago-medical-school/degree-programs/allopathic-medicine-md/curriculum/

Moderate(Examples)

• https://meded.ucsf.edu/md-program/current-students/curriculum/foundations-1/foundational-sciences-blocks

• https://www.med.wisc.edu/education/md-program/curriculum/

고찰 

Discussion

우리의 혁신의 연속체 프레임워크를 적용하여 검토된 학교를 전통적인, 온건한, 온건한, 그리고 급진적인 재설계 범주로 구성하면 존슨28이 말하는 "도달 가능한 인접지"를 쉽게 시각화할 수 있다. 이 경우에 [도달 가능한 인접지adjacent possible]이란 현재 상태에 근거한 시스템에서 상상하고 구현할 수 있는 가장 다른 가능한 혁신이다.

Applying our Continuum of Innovation framework to organize the schools examined into categories of conventional, mild, moderate, and radical redesigns provides an easy visualization of what Johnson28 calls “the adjacent possible.” In this case, adjacent possibilities are the most different possible innovations that can be imagined and implemented in a system based on its current state.

이 경우, 이러한 갱신 주기에서 연속체의 재래식 설계 부분에 존재하는 학교가 [상당한 점진적 변경을 먼저 시행하지 않는다면] 급진적인 재설계를 통해 격상시키려는 변화는 제대로 작동하지 않을 것이다.

In this case, schools that exist in the conventional design part of the continuum in this cycle of renewal would not be well served by changes that catapult them into radical redesign territory without first implementing substantial incremental changes.

메지카노와 범스테드는 오리건 보건과학대학의 프로그레스소프에 관한 기사에서 단지 그런 이슈에 관한 보고서9를 발표했다. 이들은 교육과정을 획기적으로 혁신하고 학습자의 능력에 맞게 하려고 노력하다, 정해진 타임프레임 이내로 학습요건coursework requirements을 단축하지 못하는 [LCME 제약]에 부딪혔다고 한다.

In their article on the progressof Oregon Health & Science University, Mejicano and Bumsted report9 just such an issue. In trying to radically innovate their curricula and make it adaptable to learners’ abilities, they reportedly encountered LCME limitations that prevented them from shortening their coursework requirements beyond a fixed time frame.

그러나 [전통적 설계]에서 [온화한 재설계]로 이전한 학교(Northwest University 등)들은 기존 구조 내에서 이러한 이니셔티브를 개발하고 그러한 성공을 활용하여 미래의 장기적 변화를 위한 입지를 다지는 데 성공했다고 보고했다.

However, schools that moved from conventional designs to mild redesigns (such as Northwestern University18) reported success in developing these initiatives within existing structures and using those successes to position themselves for future long-term changes.

한계 Limitations

curriculum maps은 instructional territory과 같지 않으며, 커리큘럼 변화의 미묘한 뉘앙스는 본 연구에서 사용된 공개 자료에서 분명하지 않았을 수 있다. 학교들은 그들의 커리큘럼 내에서 많은 혁신을 이루었다. 예를 들어, 일부 학교는 2단계 선점/점원 설계에서 3단계 선점/점원/진로 시작 접근방식으로 전환하여 학생들이 전공의 수련과 실습의 도전에 대비할 수 있도록 하였다.

Curricular maps are not the same as the instructional territory, and nuances of curricular changes made may not have been evident in the publicly available materials used in this study. Schools have made many innovations within their curricula; for example, some schools have transitioned from a 2-phase preclerkship/ clerkship design to a 3-phase preclerkship/ clerkship/career launch approach that aims to prepare students for the challenges of residency and practice.

둘째로, 우리가 연구 질문을 통해 조사한 4가지 특징 외에도, 학교들은 학생들의 학습 경험을 향상시키는 새로운 전략들을 재설계하는데 도입했다. 여기에는 이 분석의 범위에 포함되지 않았던 멘토링 및 과외 프로그램, 학생 연구 프로그램, 리더십 기회 등이 포함된다.

Second, aside from the 4 features that we examined via our research questions, schools have instituted a range of novel strategies in their redesigns that improve the student learning experience. These include mentorship and tutoring programs, student research programs, and leadership opportunities that were not in the scope of this analysis.

미래 연구

Future research

결론 Conclusions

이 기사는 3가지 방법으로 UME의 주기적인 갱신과 변화에 대한 연구에 기여한다. 

• 첫째, 혁신의 연속성 전략의 정의는 학부 의료 프로그램이 현장에서 새롭게 대두되는 요구에 부합하는 의도적인 커리큘럼 변경을 촉진하는 방법으로 그들의 커리큘럼을 정기적으로 그리고 더 광범위하게 갱신할 수 있게 할 수 있다. 

• 둘째, 본 연구와 향후 연구는 교육과정 갱신을 위한 모범 사례의 도구상자의 개발로 이어질 수 있다. 이는 특히 제한된 자원을 가진 학부 의료 프로그램에 가장 잘 제공하는 방법으로 교육과정 변경을 계획할 수 있는 도구를 제공함으로써 유용할 수 있다. 

• 셋째, 향후 커리큘럼 설계 연구는 커리큘럼 갱신 여파와 관련된 구현 과제를 조명하기 위해 적절한 관리자와의 질적 인터뷰에 초점을 맞출 수 있다.

This article contributes to the study of UME’s periodic renewal and change in 3 ways. 

• First, the definition of Continuum of Innovation strategies may better enable undergraduate medical programs to periodically and more extensively renew their curricula in ways that promote deliberate curricular changes consistent with the emerging needs in the field. 

• Second, this study and future research may lead to the development of a toolbox of best practices for curriculum renewal. This may be especially useful for undergraduate medical programs with limited resources by providing them with tools to deliberately plan their curricular changes in ways that best serve their institutions. 

• Third, future curricular design research can focus on qualitative interviews with appropriate administrators to illuminate the implementation challenges associated with the aftermath of curricular renewal.

19 Sales CS, Schlaff AL. Reforming medical education: A review and synthesis of five critiques of medical practice. Soc Sci Med. 2010;70:1665–1668. XXX

10 Vergel J, Stentoft D, Montoya J. Extending the theoretical framework for curriculum integration in pre-clinical medical education. Perspect Med Educ. 2017;6:246–255.

3 Skochelak SE, Hawkins RE, Lawson LE, et al. Health Systems Science. New York, NY: Elsevier Health Sciences; 2016. XXX

맥락특이성 (When I say ...) (Med Educ, 2014)

When I say … context specificity

Cees P M van der Vleuten

사람들은, 특히 다른 사람들의 행동은 안정적인 성향에 의해 지배된다고 생각하는 경향이 있다. 특성trait은 [안정된 잠재된 실체]로서, 만약 성장이 경험의 결과로 일어난다고 한다면, 이것은 시간이 지남에 따라 지속적으로 일어난다.

People are inclined to think that behaviour, that of others in particular, is governed by stable dispositions. Traits are stable latent entities and if growth happens as a result of experience, this happens continuously over time.

그러나, 성격 심리학 연구자들이 반세기 넘게 특성을 측정하려고 노력한 후, 행동에 주된 영향을 미치는 것은 특성이 아니라 상황이라는 것을 깨닫기 시작하였다. 이것은 사람-상황 상호작용으로 패러다임을 급진적으로 바꿔놓았으며, 특성 역시 맥락-의존적 상태로 재구성되었다.

However, after researchers in personality psychology had been trying to measure traits for over half a century, the realisation dawned that it was not traits but the situation that was the dominant influence on behaviour. This sparked a radical shift to a paradigm of person-by-situation interaction, with traits re-cast as context-dependent states.1

의학 교육에서 맥락이 새롭게 중심으로 등장하면서 상당한 파문을 일으켰다. 문제 해결 능력은 더 이상 안정된 실체로 개념화되지 않았다. 사실 정반대로, 그것은 전문가와 학습자들의 독특한 경험에 따라 극단적으로 특정한 맥락이었다.

In medical education, the new centrality of context caused quite a stir. Problem-solving ability was no longer conceptualised as a stable entity. Quite the opposite in fact, it was context specific in the extreme, depending crucially on experts’ and learners’ idiosyncratic experiences.

평가에서 중요한 발견은 1960년대의 환자 관리 문제라는 한 가지 문제 해결 연습의 수행은 다른 연습에서의 수행에 대한 예측이 거의 없었다는 점이었으며, 이는 평가 방법에 걸쳐 공유된 것으로 판명된 지속적인 발견이었다. 분산 성분을 따로 떼어서 분석했을 때, 일반적으로 [측정 목적과 관련된 분산]보다 [사람-문항 상호작용]이 훨씬 커서 분산의 가장 지배적인 근원으로 식별했다.

The seminal discovery in assessment was that performance on one problem-solving exercise – the Patient Management Problem of the 1960s – was hardly predictive of performance on another exercise, a persistent finding that turned out to be shared across assessment methods. In teasing out variance components, research typically identified person-by-item interaction as the most dominant source of the greatest variance, much greater than the variance associated with the purpose of the measurement,

이것은 [일반화가능한 추론]을 하기 위해서는 표본이 (종종 불가능할 정도로) 커야 한다는 것을 암시했다.

This implied that to make generalisable inferences, samples had to be large, often unfeasibly so.

전문지식 연구와 심리측정학에서 나온 연구 결과는 사실상 모든 의학 교육 분야로 복제되었다. 심지어 프로페셔널리즘, 커뮤니케이션, 팀 성과, 리더십과 같은 일반적인 기술도 맥락 특이적인 것으로 증명되었다. Eva2는 적절한 결론을 내렸다: '맥락 특이성은 심오하게 일반적인 현상'이다.

The findings from expertise research and psychometrics were replicated in virtually all areas of medical education. Even generic skills, such as professionalism, communication, team performance and leadership proved context specific. Eva2 aptly concluded: ‘context specificity is a profoundly general phenomenon’.

심리학적 이론에서 맥락 특이성은 '소음'으로 치부된다. 하지만 과연 그럴까? 의사가 환자나 환경에 자신의 행동을 적합시킬 때 '소음'이라고 확신할 수 있는가. 만약 이것이 의사의 전문적 전문지식의 표시라면?

In psychometric theory, context specificity is dismissed as ‘noise’. But is it? Can we be sure it is ‘noise’ when a doctor fits his actions to the patient or the environment (a hectic emergency department, being on call at night)? What if this is a sign of the doctor’s professional expertise?

평가계는 복잡한 성과를 포착하기 위해서는 전문적인 판단에 의존하는 것이 안전하다는 견해를 지지하기 시작하고 있다

The assessment community is beginning to endorse the notion that it is safe to rely on professional judgement for capturing complex performances.

우리가 현재 문서화하고 있는 새로운 이해는 [평가자들이 수동적이고 완벽하게 보정된 측정기기]가 아니라 [상황적 요인과 개인적 경험의 정보를 이용하여 판단을 내리는 능동적 행위자agent]이라는 것이다.4

The new understanding that we are currently documenting is that assessors are not passive, perfectly calibrated measurement instruments, but active agents constructing judgements using information from situational factors and personal experiences.4

이러한 관점에서, 서로 다른 평가자들이 서로 유사한 판단을 내릴 것으로 예상되지 않으며, 이것은 실제로 바람직할 수도 있다! 사실, 학습의 측면에서 보자면 성과에 대한 다양한 관점이 이로운 것일 수도 있다. 또한, 우리는 숫자에 의한 채점scoring으로부터 멀어지고 있다. 복잡한 기술과 수행은 이해하기 어렵고 서술만이 제공할 수 있는 풍부한 정보가 필요하다.

From this perspective, different assessors are not expected to make similar judgements, and this may actually be desirable! Indeed, from a learning orientation, different perspectives on performance may be beneficial. Also, we are moving away from scoring by numbers. Complex skills and performances are elusive and need the wealth of information that only narrative can provide.

어쩌면 우리의 해석에 의미를 부여하기 위해 질적인 방법론을 도입해야 할지도 모른다. 목적적합한 샘플링, 회원 확인, 삼각측량 및 포화도는 복잡한 성능을 바탕으로 예측하기 위한 건전한 전략일 수 있다. 말로 점수를 대체해야 할까? 그렇다면 심리학 이론을 해석적 이론으로 대체해야 할까?

Perhaps we should invoke qualitative methodologies to give meaning to our interpretations. Purposeful sampling, member checking, triangulation and saturation may be sound strategies for making predictions based on complex performances. Should we replace scores by words? So, should we replace psychometric theories with an interpretative theory?

3 Durning S, Artino AR Jr, Pangaro L, van der Vleuten CPM, Schuwirth L. Context and clinical reasoning: understanding the perspective of the Med Educ 2011;45:927–38.

When I say … context specificity

• PMID: 24528457
 
• DOI: 10.1111/medu.12263

유럽과 미국의 의학교육역사: 시간과 숙달에 관하여 (Acad Med, 2018)

The History of Medical Education in Europe and the United States, With Respect to Time and Proficiency

Eugène J.F.M. Custers, PhD, and Olle ten Cate, PhD

CBME(역량 기반 의료 교육)의 도입으로 교육자와 규제 기관은 [의사가 면허를 받고 감독받지 않은 실습을 시작하기 위해 훈련해야 하는 시간]에 대한 근거부족을 인식하고, 습득한 역량에 따라 [훈련 시간 변동]을 허가해줄 것을 제안했다.1–5g 교육과 훈련의 길이는 역사적으로 결정되었고, 의료행위에 대한 준비성도는 적절하게 검사되었다기보다는, 그저 충족된 것으로 가정되었다.6 의학 학위medical degree의 성격도 시간이 지남에 따라 극적으로 변했고, 많은 나라에서 감독 없이 의료행위를 할 수 있는 자격증으로서의 지위를 잃었다.7

With the introduction of competency-based medical education (CBME), educators and regulatory bodies have recognized the lack of a rationale for the time physicians must be in training to receive a license and start unsupervised practice, and they have suggested allowances for variations in training time, dependent on acquired competence.1–5 Training length has been determined historically, and the readiness of residents for practice has been assumed rather than adequately tested.6 The nature of the medical degree also has dramatically changed over time and has lost its status in many countries as a license to practice without supervision.7

의학 교육의 역사를 현대 발전의 선구자적 관점에서 해석하는 것은 항상 시대착오적 사고를 초래할 위험을 수반한다. 대부분의 역사에서 '역량competency'이라는 개념 전체가 존재하지 않았거나 암묵적으로만 존재했기 때문에 졸업생들이 '의학을 실천할 역량이 충분'하였는지에 대한 문제는 명확하게 답할 수 없다. 공식적인 기술 테스트나 심지어 어떤 종류의 인증도 없을 때, 의사의 평판은 그의 능력을 대신하는 것으로 사용되었다. 마찬가지로, 공식적인 커리큘럼이나 면허 규정이 없는 경우, 수세기 동안 "변동적인 시간"은 사실 당연한 것이었다. 만일 그렇게 할 이유가 없었다면, 훈련 시간을 "고정"하게 만드는 일이란 절대 일어나지 않았을 것이다.

Interpreting the history of medical education in terms of precursors of contemporary developments always entails the risk of constructing an anachronism. For most of history, the question of whether graduating students were “competent to practice medicine” cannot clearly be answered, as the whole concept of “competency” did not exist or existed only implicitly. In the absence of formal skills testing or even any kind of certification, the reputation of a physician was used as a proxy for his competence. Similarly, in the absence of formal curricula or licensing regulations, for many centuries, “variable time” has had a matter-of-fact status; it would not have occurred to anyone to make training time “fixed” if only because there was no reason to do so.

유럽의 의료 교육, 1100–1800

Medical Education in Europe, 1100–1800

유럽의 공식적인 의료 교육 시스템은 중세 말기에 시작되었고, 현재 북이탈리아에 있는 대학들의 부상과 함께 시작되었다. 대략 1100년경부터 19세기 중반까지, 두 단계의 의학전문가가 존재했다: (1) 학술의사와 (2) 실질적으로 훈련된 외과의사들(이발사-서스턴, 여행의사, 배의사, 치아추출기 등을 포함한 의사들의 잡동사니 모음으로 구성되었다).

Europe’s formal medical education system started in the late Middle Ages, with the rise of the universities in what is now Northern Italy. From approximately ad 1100 until the mid-19th century, two tiers of medical practitioners existed: 

• (1) academic doctors and 

• (2) practically trained surgeons (which consisted of a motley collection of practitioners, including barber–surgeons, traveling practitioners, ship’s surgeons, tooth extractors, etc.).

학술의사들은 학식 있는 신사들이었고, 그들의 훈련은 약물 준비의 기술을 배우는 것 외에는 전적으로 이론적이었다. 학술 의료 교육에는 정해진 시간표가 없었다. 대학들은 고정 강좌보다는 강의 프로그램을 제공했다. 레이든 대학(네덜란드 1575년 설립)에서 학생들은 약 2년간의 준비 공부를 했고, 그 후 2년간의 의학적 연구를 거쳐 이 프로그램을 완성했다. 졸업식은 지원자의 이론지식을 평가하는 박사시험과 히포크라테스나 갤런의 작품을 바탕으로 한 이론적 지식을 디펜스해야 하는 공개적 의식public ceremony의 두 부분으로 구성되었다. 18세기에 들어서면서 (소)논문을 디펜스하는 절차가 점점 더 일반화되었는데, 이는 후보자가 수행한 연구의 보고였다.

Academic doctors were learned gentlemen, and their training was exclusively theoretical, except maybe for learning the skill of drug preparation. There was no fixed time schedule for academic medical education: Universities offered programs of lectures rather than fixed courses. At Leiden University (established in 1575 in the Netherlands), students took approximately two years of preparatory study, followed by two years of medical study to complete the program. The graduation ceremony consisted of two parts: a doctoral examination, in which the theoretical knowledge of the candidate was assessed; followed by a public ceremony in which the candidate had to defend theorems, often based on the works of Hippocrates or Galen. In the 18th century, it became increasingly more common to defend a (small) dissertation, which was a report of a study performed by the candidate.

1815년이 되자 (비록 응시자가 여전히 12개의 이론들을 디펜스해야 하지만) 의사 학위를 취득하기 위해 이러한 유형의 논문을 준비하는 것이 의무화되었다.9,10 다른 시험은 없었다. 시험의 압박은 배우고 가르치는 자유의 학문적 개념이나, teacher보다는 educator의 교수역할과 상충되는 것으로 느껴졌기 때문이다.

By 1815, it became mandatory to prepare this type of dissertation to acquire the degree of medical doctor, though the candidate was still required to defend 12 theorems.9,10 There were no other examinations, for the pressure of examinations was felt to be in conflict with the academic concepts of freedom to learn and teach and the role of professors as educators, rather than teachers.11,12

어떤 특정한 수행 요건이나 학습 목표의 부재와 학생들의 enculturation에 대한 강조는 학업 교육academic education의 특징이었다. 이는 (19세기 초까지)의학 교육을 묘사하는 "차 우려내기"에 잘 맞는다. 학식 있는 신사가 되기 위해 학생들은 단지 학문적인 맥락에서 시간을 보내야만 했다. 많은 학생들이 잠시 강의를 듣고 나서 졸업하지 못하고 대학을 나왔다. 학위증서는 대부분 외국에 나가려는 학생들에게나 유용했고 그들의 교육에 대한 증거가 필요했다; 일반적으로, 그들의 실무자들에게 학위증서를 소지하라고 요구하는 직업들은 거의 없었다.

The absence of any specific performance requirements or learning objectives and the emphasis on students’ enculturation were the hallmarks of academic education (until the early 19th century), which fits the description of medical education as “tea steeping.”13 To become a learned gentleman (the essence of an academic physician), students just had to spend time in an academic context. Many students attended lectures for a while, and then left the university without graduating. Academic certificates were mostly useful for students who wanted to go abroad and needed evidence of their education; in general, few professions required their practitioners to possess academic diplomas at all.

2급 외과의들의 훈련은 대부분 실습 중심적이었고, 이론적 교육은 그 수준이 다양했다. 일부 프로그램은 엄격하게 운영되어서, 마스터 외과의들을 사용하여 견습생을 감독하고 이론적 교훈을 제공했다. 예를 들어 암스테르담 외과의 길드에서는 5년 동안 훈련을 계속하여 견습생이 랜싯을 제작하고 혈소판과 두개골 트레패닝의 기술을 입증해야 하는 시험으로 끝을 맺었다.14 실기시험에 합격하기 위해서는 응시자가 먼저 이론적인 시험을 통과해야 하는데, 이 시험은 학술적 의사academic physician이 통과해야 하는 것과 유사했다. 레이든에서 후보 외과의는 이사회 앞에서 여러 논문(학술 교수, 길드 학장, 그리고 두 명의 명장 외과의사 포함)에 대해 심문을 받았다.

The training of second-tier surgeons was predominantly practical, with variable levels of academic training, although some programs were rigorous, using master surgeons to supervise apprenticeships and provide theoretical lessons. In the Amsterdam Guild of Surgeons, for example, the training lasted five years and concluded with an examination for which the apprentice had to construct lancets and demonstrate the skills of bloodletting and skull trepanation.14 To be admitted to the practical examination, the candidate first had to pass a theoretical examination, similar to the academic physician: In Leiden, the candidate surgeon was interrogated about several theses in front of a board (including an academic professor, the dean of the guild, and two master surgeons).

길드는 교육 기관이 아닌 관련 장인의 이익을 위해 봉사하는 전문적 트러스트였다. 따라서 시험 요건뿐만 아니라 견습 시간도 상당히 다양했다. 교육 요건보다는 경제적, 실용적인 관심이 중심이었다. 역량 면에서는 길드의 정식 회원이 되고자 하는 선진 견습생들은 학문의사들보다 훨씬 까다로운 시험에 합격해야 했다. 일반적인 믿음과는 대조적으로, 외과의사들은 그들의 장인 정신의 한계를 알고 있었다; 대부분의 활동은 비교적 안전한 외부 치료(예: 골절, 붕대, 연고 투여)에 관한 것이었다. 절단, 석회암, 종양 제거와 같은 주요 외과수술은 거의 다른 의사들이 기피하는 위험을 기꺼이 감수할 수 있는 마스터 외과의사master suegeons에 의해서만 독점적으로 수행되었다.15

The guilds were professional trusts that served the interests of the associated craftsmen, rather than educational organizations; as such, apprenticeship time as well as examination requirements varied considerably. Economic and practical concerns outweighed educational requirements. In terms of competencies, advanced apprentices who wanted to become full members of the guild had to pass a much more demanding examination than academic physicians. In contrast to common beliefs, surgeons were aware of the limits of their craftsmanship; most activities concerned relatively safe external treatments (e.g., setting fractures, bandaging, and administering ointments). Major surgical operations, such as amputations, lithotomies, and removing tumors, were performed almost exclusively by master surgeons, who were willing to take risks other physicians avoided.15

유럽의 의료 교육, 1800–1950

Medical Education in Europe, 1800–1950

19세기 전반의 의학 교육 체계는 점차적으로 그러나 크게 변화하였다. 프랑스 혁명은 길드의 해체로 이어졌고, 몇 가지 예외를 제외하고는 의학교육은 독점적으로 학술적 업무exclusively academic affair가 되었다. 주 당국은 의사 교육의 품질 관리를 담당했는데, 주 당국은 의사의 이익을 위해 봉사하기보다는 공공 보건의 보장 및 개선을 주요 목표로 삼았다. 예를 들어 네덜란드는 1815년 법령으로 학술의학 교육과정의 구조를 정립하고 포함되어야 할 학문을 열거했지만, 과목의 내용에 대해 규정되어 있는 것은 하나도 없었고, 내용은 개별 교수들이 교사이자 평가자로서 결정하였다.

In the first half of the 19th century, the medical education system gradually but profoundly changed. The French Revolution led to the dissolution of the guilds, and medical education, with a few exceptions, became an exclusively academic affair. Quality control of physician education was taken over by state authorities, whose primary aim was to ensure and improve public health rather than to serve the interests of physicians. In the Netherlands, for example, an 1815 decree established the structure of the academic medical curriculum and listed the disciplines to be included,16 but nothing was stipulated about their content, which was determined by individual professors, being both teacher and examiner.

학생들이 학식이 있는 신사가 될 수 있도록 교육하고 교육하는 이상은 선도적인 원칙으로 남아 있었다. 실질적인 임상과정은 필요없었고, 의학을 실천하는 데는 학문적 학위만이 필요충분조건이었다. 20세기까지 의료행위medical practice를 위하여 학생들을 준비시키는 것은 학문적인 책임으로 여겨지지 않았다.17 반면에 과학 의학을 위한 학생들을 준비하는 것은 점점 더 중요해졌고 관찰과 같은 과학 기술은 점점 더 커리큘럼에서 강조되었다. 점차 심리학, 정신의학, 사회 의학 등의 학문적 학문이 실무적 훈련practical training의 대체물로 도입되었으나, 여전히 실제 환자와의 접촉은 없는 상황이었다.19 의과대학medical faculties은 clerkship 중 병원과 가정의학과 의사에게 실무적 훈련을 남겨주는 것에 만족하고 있었다.

The ideal of educating and cultivating students to become learned gentlemen remained a leading principle. No practical clinical courses were required, and the academic degree was both necessary and sufficient to practice medicine. Preparing students for medical practice was not considered an academic responsibility until well into the 20th century.17 Preparing students for scientific medicine, on the other hand, became increasingly more important, and scientific skills, such as observation,18 were emphasized in curricula more and more. Gradually, academic disciplines, such as psychology, psychiatry, and social medicine, were introduced as substitutes for practical training, but they remained without real patient contact.19 Medical faculties were happy to leave practical training to hospitals and family physicians during clerkships.

1865년 네덜란드의 새로운 법률은 학생들이 의료행위를 하기 위해서는 국가가 관리하는 실제 시험에 합격하도록 요구하였다. 이것은 네덜란드의 의학 교육에 역량의 개념을 도입했다. 신체 검사를 수행하고 특정 사소한 수술 절차를 시연하는 것은 면허 검사의 일부가 되었다.20 당국은 학생이 자신의 지식과 기술을 [어떻게 어디서 습득하는지에 관심이 없었기 때문에], 원칙적으로 학업이나 실기 국가고시 준비를 위한 정해진 시간에 대한 필수 사항은 없었다.21,22

New legislation in the Netherlands in 1865 required students to pass a state-controlled, practical examination to practice. This introduced the idea of competence into Dutch medical education. Performing a physical examination and demonstrating certain minor surgical procedures became part of licensing examinations.20 As the authorities were not interested in how and where the student acquired his (or her) knowledge and skills, there were, in principle, no fixed time requirements, either for academic studies or for preparation for the practical state examination.21,22

요약하자면, 1865년부터 1965년까지 네덜란드 의학 교육의 시간적 변동성은 대부분 엄격한 학문적 규제가 없었던 것의 결과였다. 예를 들어, 1920년대까지는 필수과목이 거의 없었고 임상 전 교육과정이 일부만 등급이 매겨져 있었기 때문에, 학생들은 그들 자신의 속도로 커리큘럼을 통해 진보하는데 큰 관용을 허용받았다. 빠듯한 예산에 시달리던 학생들은 이 유연성latitude를 이용하여 그들의 과정을 가속화시켰는데, 1년이라는 기간 동안 2, 3년의 요구 조건을 충족시키는 학생들에 대한 일화가 보고되기도 한다. 그러나, 이 학생들은 예외였다. 그리고 1920년대에 네덜란드의 의대를 방문한 아브라함 플렉스너는 학생들은 선택과목의 기회가 없이, 모두 동일한 강의를 들어야 했고, 따라서 그는 "개개인성individuality은 전혀 찾아볼 수 없었다"고 결론지었다.

In short, time variability in Dutch medical education from 1865 to 1965 was largely a consequence of a lack of strict academic regulations. For example, because there were few mandatory courses and the preclinical curriculum until the 1920s was only partially graded, students were allowed great latitude in advancing through the curriculum at their own speed. Students who were on a tight budget took advantage of this latitude to accelerate through their courses, with anecdotal reports about students fulfilling the requirements of their second and third years in the time span of one year.23 However, these students were exceptions,24 and Abraham Flexner,25 who visited Dutch medical schools in the 1920s, noted that students were expected to attend the same lectures, with no opportunity for electives, and hence he concluded that “individuality [did] not disclose itself.”

시간 변동성은 주로 반대 방향으로 작동했다. 특히나 해로웠던 것은 학생들이 실패하면 끝없이 시험을 반복할 수 있는 자유였다. 수십 년간의 지속적인 의료 교육과정 내용 확장과 함께, 1950년대 후반과 1960년대 초반의 중위권 의대생들은 졸업하는데 약 8.5년이 걸렸고, 약 30%는 졸업하지 못했다. 20세기 초와 비교했을 때, 이것은 평균 학생에게 1.5년의 증가를 의미했다.31 공식적인 커리큘럼 길이는 아니지만 커리큘럼 부하가 몇 년 동안 상당히 증가했기 때문에 뒤처지는 것lagging behind는 흔히 발생하는 일endemic이 되었다.32

On the other hand, time variability worked mostly in the opposite direction of accelerated advancement. Particularly harmful was students’ freedom to endlessly repeat examinations if they failed. Together with decades of continuous expansion of the content of the medical curriculum, it took the median medical student in the late 1950s and early 1960s about 8.5 years to graduate, and approximately 30% never did.26–30 Compared with the first decades of the 20th century, this represented an increase of 1.5 years for the average student.31 Lagging behind became endemic because the curricular load, but not the formal curricular length, increased considerably over the years.32

1865년 졸업생들의 역량을 보장하기 위해 도입된 실기 국가시험은 로지스틱적으로 까다로운 것으로 밝혀졌으며, 1960년까지 [완성된 필수 사무원 자격증 모음]을 작성하는 것 이상이 없었다. 이 상황은 본질적으로 변하지 않았다. 네덜란드 학부 의학 교육은 아직도 국가 시험이 없다. 오랫동안 임상실습은 명확한 교육목표와 시험이 부족했고, '고정된 시간 원칙'에 기초하고 있었다. 학생들은 "한 진료 과목에서 다른 진료 과목으로 뛰어드는" 것으로 묘사되는 시스템에서 "그들의 시간을 제공했다served"33. 교직원들은 임상실습 중에 일어난 일에 거의 관심을 보이지 않았고, 학생들은 종종 구경꾼에 불과했다. 실제 경험은 대개 "쓸모없는 일"이었다: 환자 섭취 또는 일상적인 랩 테스트.

The practical state examinations, introduced in 1865 to guarantee graduates’ competence, turned out to be logistically demanding and, by 1960, involved little more than compiling a collection of certificates of completed mandatory clerkships. This situation has essentially not changed—Dutch undergraduate medical education still has no national exams. For a long time, clerkships lacked clear educational objectives and examinations, and they were based on a fixed-time principle: Students “served their time” in a system that was described as “jumping from one clinic to the other.”33 Faculty showed little interest in what happened during clerkships, and students were often mere spectators. Hands-on experience was usually “scut work”: patient intakes or routine laboratory tests.

이 점에서 네덜란드와 독일의 의학교육제도는 비슷했지만, 이 방식은 실제 임상교육이 더 두드러진 영국, 프랑스의 제도와는 확연히 달랐다.34

In this respect, the Dutch and German medical education systems were similar,25 but they differed sharply from the British and French systems, in which practical clinical education was more prominent.34

그럼에도 불구하고, 영국에서는 1968년까지의 의학교육의 명시적 목표는 "의과대학을 졸업하자마자 독립적으로 의학을 실천할 수 있는 졸업생을 배출하는 것"이었다.35 실습이 부족했기 때문에, 졸업생들이 의학을 독립적으로 실천할 수 있는 능력을 보여주는 유일한 것은 그렇다는 "주장" 뿐이었다. "커버라이티스coverities"은 모든 중요한 주제들이 적어도 이론적인 과정에서는 심층적인 연구와 선택과정의 희생으로 교과과정에 의해 다뤄져야 한다는 믿음이다.36 커버라이티스는 19세기 옴니버스 알리피드("모든 것을 조금씩 다") 개념의 자연스러운 계승자였다.37

Nonetheless, in the United Kingdom, the explicit aim of medical education until 1968 was to produce a “graduate fit to practice medicine independently directly upon leaving medical school.”35 As practical training was deficient, medical faculties could only maintain claims about graduates’ ability to independently practice medicine by submitting to “coveritis,” the belief that every topic of importance must be covered by the curriculum, at least in theoretical courses, at the expense of in-depth study and electives.36 Coveritis was the natural successor of the 19th-century notion of omnibus aliquid (“a little bit of everything”).37

미국의 의학교육 발전방향

The Development of Medical Education in the United States

미국의 의학교육은 대학에서 시작된 것도 아니고 길드에 의해 규제된 것도 아니었다. 그것은 항상 유럽의 의학 교육보다 더 많은 과정과 결과의 가변성을 가지고 있었다. 일부 의과대학과 교수진(예: 1766년 설립된 펜실베이니아 대학의 의과대학)이 존재했지만, 19세기 중반까지의 미국 의학교육의 주된 형식은 연장된 견습extended apprenticeship이었다.15,38

Medical education in the United States did not originate at universities, nor was it regulated by guilds. It has always had more process and outcome variability than European medical education. Though some medical schools and faculties existed (e.g., Medical College of the University of Pennsylvania established in 1766), the predominant format of U.S. medical education through the middle of the 19th century was an extended apprenticeship.15,38

이론을 배우는 것은 미미했다; 대부분의 교사들이 교과서를 거의 제공하지 않았고 학생들에게 불규칙적으로 퀴즈를 내었다. 19세기 중반까지 "교육과정이 짧았던 만큼 요구사항이 느슨한" 사립학교가 급증했다.39

Coverage of theoretical material was weak; most teachers provided few current textbooks and quizzed students on an irregular basis. Proprietary (for-profit) schools, “with requirements as lax as their curricula were brief,” proliferated in the first two-thirds of the 19th century.39

시간이 흐르면서 북미와 이후 미국의 영국 식민지에서의 평균 의료 커리큘럼의 길이는 [견습에 기반하든 기관에서 운영하든] 17세기에서 20세기까지 꾸준히 증가했다(1810년까지 미국은 의과대학이 3개밖에 없었다).40 19세기 말, 최고의 의과대학들은 3년제 교육과정을 규정했지만, 대부분의 학교는 여전히 2년밖에 되지 않았다.41 게다가 수준이 더 높은 학교들은 더 까다로운 입학 요건까지 가지고 있었기 때문에 결과의 차이는 훨씬 더 컸다.

Timewise, the length of the average medical curriculum in the British colonies in North America and later in the United States, whether apprenticeship based or institutional, steadily increased from the 17th until the 20th century (until 1810, the United States had but three medical schools).40 At the end of the 19th century, the best medical schools prescribed a three-year curriculum, but most schools still had only two years.41 The differences in outcomes were even larger because the better schools also had more demanding admissions requirements.

하지만 학생들은 최단기간에 학위를 수여하는 의과대학에 몰려들었다.42 1847년 미국의학협회(AMA)의 선구자는 학기를 6개월로 표준화하고 졸업생은 2개의 강의를 듣고, 자격을 갖춘 지도교수qualified preceptor로부터 받은 견습생 증명서를 제시하라고 권고했다. 그러나 이것들은 권고사항일 뿐, 20세기까지는 병원에 발을 들여놓지 않고 의대를 졸업하는 것이 가능했다.42

Students, on the other hand, flocked to the medical schools that offered degrees in the shortest period of time.42 In 1847, a precursor of the American Medical Association (AMA) recommended that the academic term be standardized to six months and that graduates be required to take two courses of lectures and present evidence of an apprenticeship with a qualified preceptor. But these were only recommendations, and until the 20th century, it was possible to graduate from medical school without ever setting foot in a hospital.42

19세기 후반까지 주 정부는 의학 교육의 내용이나 기간에는 관심이 없었다.15 윌리엄 오슬러(1849–1919)는 존스 홉킨스 병원에 구조화된 대학원 레지던트 훈련을 최초로 수립했다. 이 모델의 중요한 특징은 피라미드 구조였다: 많은 인턴들, 적은 거주자, 그리고 맨 위에 7~8년 동안 머무를 수 있는 단 한 명의 치프 레지던트. 교직 병원의 의료진은 점점 더 훈련 중인 의사들로 구성되었다. AMA는 1919년까지 인턴십 프로그램에 대한 교육 기준을 정하지 않았는데, 이는 길이가 다를 수 있다. 1930년대 중반에는 대부분 12개월, 4분의 1은 24개월, 몇 개는 36개월이었다.15

Until the late 19th century, state governments were not interested in the content or length of medical education.15 William Osler (1849–1919) was the first to establish structured postgraduate residency training at Johns Hopkins Hospital. An important feature of this model was its pyramidal structure: many interns, fewer residents, and at the top a single chief resident, who could remain for up to seven or eight years. Increasingly, a teaching hospital’s medical staff consisted of doctors in training. The AMA did not establish educational standards for internship programs until 1919, which could vary in length. In the mid-1930s, most were 12 months, one-fourth were 24 months, and a few were 36 months.15

하버드대 졸업생 루이스 토머스(43)는 자신의 직업 생활에 대한 자서전을 수록한 책 '가장 어린 과학'(1983)으로 18개월간의 인턴십(1937–1938)을 마쳤다.

Harvard graduate Lewis Thomas,43 whose book The Youngest Science (1983) includes an autobiography of his professional life, fulfilled an 18-month internship (1937–1938).

그의 인턴십의 두 번째 기간(9개월)은 "첫 번째 9번째 기간에 대한 보상, 즉 주문을 받는 대신 주는 특권"을 포함했다. 그는 지난 3개월 동안 인턴이 가정주치의 역할을 하면서 서열 상위에 머물렀다고 썼다. "15개월의 근무 후에 자동적으로 하원이 되었다." 시험이 없었고, 사고나 질병, 또는 다른 개인적인 상황을 제외하고는 인턴쉽에서 낙제할 수 없었다. 토마스의 인턴십에서 역량 테스트는 다음과 같은 암묵적인 것이었다. "폐렴을 잘 치료했다면, 당신은 미래를 가질 수 있었을 것이다. 그렇지 않다면 그렇지 않을 것이다."43 다시 한번, 인턴은 평가를 받는 것은 아니었지만(not earn a grade), 이 기간 동안 명성을 얻을 수 있었다(또는 잃을 수도 있다).

The second period (nine months) of his internship “contained the reward for the first nine: the privilege of giving … orders instead of taking them.” The last three months, he wrote, the intern spent at the top of the hierarchy in the role of house physician; “one became House automatically after fifteen months of duty.” There was no examination, and one could not fail the internship (except through accidents, diseases, or other personal circumstances). In Thomas’s internship, competency testing was implicit: “[I]f your lobar pneumonia cases were well handled, you were likely to have a future; if not, not.”43 Again, the intern did not earn a grade, but he (or she) could earn a reputation (or lose it) during this time.

오슬러의 대학원 훈련 모델은 점차 전국과 국제적으로 퍼져나갔다. 의대 졸업생들이 졸업 후 수련과정을 밟는 것이 점점 일반화되면서, 이 제도는 제2차 세계대전 이후 표준이 되었다. 로테이션식의 인턴십은 졸업생들이 의사로서 성숙하고, 시야를 넓히고, 전문성을 선택할 수 있도록, 절실히 필요한 일반 훈련의 한 해를 제공했다. 인턴제도는 1970년경 미국에서 폐지되었으며, 이는 새로 졸업한 의사들이 어떤 전공에서 레지던트를 할지 결정하기 전에 추가적인 경험을 쌓는 것을 박탈했다.15

Osler’s postgraduate training model gradually spread around the country and internationally. As it became increasingly common for medical graduates to go on to postgraduate training, this system became the standard after World War II. A rotating internship provided a badly needed year of general training, enabling graduates to mature as physicians, gain breadth in perspective, and choose a specialty. This year was abandoned in the United States around 1970, depriving newly graduated doctors from acquiring additional experience before deciding on which residency to pursue.15

1950년 이후 유럽과 미국의 학부 의학 교육

Undergraduate Medical Education in Europe and the United States After 1950

1950년대와 1960년대에 유럽과 미국에서 의학 교과과정에 대한 불만이 증가했다. 교육과정 과부하가 만연해 수업을 더욱 실용적으로more practical 편성하려는 모든 노력을 막았다. 틀에 박힌lock-step 커리큘럼의 문제, 선택 과목은 거의 없고, 개별적인 표현을 위한 기회가 부족한 문제 등은 이미 플렉스너가 지적한 바 있었고, 좋은 교육에 대한 상식적인 믿음과 점점 더 상충되고 있다. "4년짜리 타임카드에 확인을 받은punched 개인"을 낳은 "프로크루스테스 침대와 같은 의료 훈련"는 더 이상 변호될 수 없었다.

During the 1950s and 1960s, dissatisfaction with the medical curriculum increased in Europe and the United States. Curricular overload was rampant and prevented all efforts to make the course more practical. The problem of the lock-step curriculum,44 almost devoid of any electives and with a lack of opportunity for individual expression, already noticed by Flexner,25,45 increasingly conflicted with commonsense beliefs about good education. “The Procrustean treatment of medical training in the bed of time” which delivered “an individual with a punched four-year time-card”46 could no longer be defended.

[t]행정적으로 결정되었지만 인위적인 상황의 결과로 생화학에 10주가 할당되고 …수술에 15주가 할당될 것이며, 학생들이 우리 프로그램의 하위 프로그램을 떠나는 상황, 그리고 역량은 물론 총체적 교육 프로그램 자체에서 매우 광범위한 부족한 부분을 남기고 상황을 초래하게 된다.…시간을 일정하게 했지만, 성취는 가변적이 되었다. 우리가 지향해야 할 가장 성숙한 교육 프로그램은 목표를 충분히 명확하게 명시하여 성취가 일정하게 이루어질 수 있도록 하며, 이는 결국 시간이 변수가 될 것을 요구한다.

[t]he consequence of our administratively determined but artificial situation that, … ten weeks will be allocated for biochemistry and … fifteen weeks will be allocated for surgery, creates a situation where students leave the sub-parts of our programs and the total professional program itself with a very wide range of deficiencies as well as competencies. … By making time a constant, we make achievement a variable. The most mature educational programs, toward which we should be aiming, specify objectives sufficiently clearly so that achievement can be made a constant, which in turn requires that time be made a variable.

성과를 상수로 만들겠다는 목표는 졸업생들이 '의료행위에 적합하다'는 막연한 주장이 더 이상 받아들여지지 않는다는 것을 암시한다. 오히려 기술, 성격특성, 사회·경제적 문제, 시민으로서의 책임 측면에서 현대 의사의 특성과 자질에 대한 상세한 분석이 필요하다고 여겨졌다.44 그 후 수십 년 동안 선도적인 의료진에 의해 보다 구체적인 교육목표가 구체화되었고, 그 결과 학생 평가에 현대적 심리 측정 기법을 적용한 교육 부서들을 확립하게 되었다. 점차적으로, 최근에 졸업한 의사들을 평가할 수 있는 기준으로서의 [역량]은 학생이 [미리 정해진 연수 기간 중 몇 주 또는 몇 년을 채우는 것 만으로도 졸업할 수 있다]는 기존의 믿음을 대체하였.1 그러나, 「목표를 충분히 명확하게 구체화하는 것」은 말하기는 쉽지만, CBME의 움직임과 함께, 이러한 명확성을 달성하는 방법에 대한 논의는 오늘날에도 계속되고 있다.47

The goal of making achievement a constant implies that vague claims about graduates “being fit to practice” are no longer acceptable. Rather, a detailed analysis of the characteristics and qualifications of the modern physician was deemed necessary, in terms of skills, personality traits, social and economic problems, and responsibility as a citizen.44 In the decades that followed, more concrete educational objectives were specified by leading medical faculties, which also established educational departments that applied modern psychological measurement techniques to student assessment. Gradually, competencies as a standard against which recently graduated physicians could be assessed replaced the earlier belief that a student could graduate just by fulfilling a predetermined number of weeks or years in training.1 However, to “specify objectives sufficiently clearly” is easier said than done, and the discussion on how to achieve this clarity continues today with the CBME movement.47

보다 넓은 시각에서 볼 때, 의학 교과과정의 길이는 시간이 지나면서 꾸준히 증가해왔다. "플렉스너 혁명" 이후, 미국의 학부 의학 교육은 그 동안 거의 그대로 유지되었지만, 입학 요건의 증가는 예비 의학 및 기초 과학의 많은 부분을 준비preparatory 연도로 이동시켰다. 1942년 LCME 의학교육 연락위원회가 만들어지면서 학부 의학교육의 질과 규제에 대한 국가적 통제가 점차 활기를 띠게 되었다.

From a broader perspective, the length of the medical curriculum has steadily increased over time. After the “Flexnerian revolution,” undergraduate medical education in the United States remained approximately the same in duration, but increasing entrance requirements moved much of premedical and basic sciences to the preparatory years. In 1942, when the Liaison Committee on Medical Education was created, national control of the quality and regulation of undergraduate medical education gradually came to life.

유럽에서는 교육과정 개편과 기간억제로 효율성이 높아졌다. 이 이득은 학생들의 학업적 자유를 희생하여 얻은 것이다. 현대의 커리큘럼은 통합되고, 중앙에서 조정되고, 더 많은 문제를 기반으로 하며, 보다 수직적으로 통합되었다. 즉, 초기 임상 경험은 점차적으로 환자 치료에서 의대생들의 책임을 쌓아가지만, 대부분 유럽연합 규칙에 의해 결정되는 고정된 길이로 되어 있었다.49

In Europe, efficiency was gained by restructuring and tightening the curriculum. This gain came at the expense of students’ academic freedom. Modern curricula became integrated, centrally coordinated, more problem based, and more vertically integrated— that is, with early clinical experience gradually building up the responsibilities of medical students in patient care,48 but with a fixed length, largely determined by European Union rules.49

1950년 이후 유럽과 미국의 대학원 의학 교육

Postgraduate Medical Education in Europe and the United States After 1950

2003년에, 그리고 또 다시 2011년에 ACME가 레지던트 근무 시간을 주 80시간 이하로 제한했을 때, 몇몇 프로그램, 특히 외과 전문의가 있는 프로그램들이 레지던트들의 이용가능성availability 저하를 한탄하며, 현재 훈련 시간이 좋은 외과의사를 배출하기에 충분하지 않다는 우려를 제기했다. 최근 미국의 한 비교 연구는 환자의 사망률과 합병증, 전반적인 교육 질에 대한 만족도, 피로와 웰빙에 관하여 수술 훈련의 [고정-기간 체제]와 [다른 길이로 특징지어지는 유연-정책 체제] 사이의 차이점을 거의 보여주지 않았다.55

When the ACGME restricted resident duty hours in 2003, then again in 2011, to no more than 80 hours per week,54 several programs, in particular those in the surgical specialties, lamented the decreasing availability of residents and raised concerns that time in training was now insufficient to produce good surgeons. A recent comparative study in the United States showed little evidence of differences between a standard regime of surgical training and a flexible-policy regime featuring different shift lengths, with regard to patient mortality and complications, satisfaction with overall educational quality, and fatigue and well-being.55

세부전문과목이 만들어지면서 이것은 generalist 훈련 시간의 단축으로 이어졌다. 예를 들어, 1970년대 일반 내과의 전체 훈련 시간을 거의 절반으로 단축시켰으며, 다른 분야에서도 비슷한 추세를 보였다. 또한 이러한 감축의 목적은 더 많은 제너럴리스트를 배출하는 것이었다. 즉, 훈련 시간이 짧으면 일반 내과가 더 매력적일 것이다.15 전문 협회, 관리 기관(예: 의과대학), 의회, 인가 기관 및 궁극적으로 입법자들은 모두 대학원 교육의 기간에 영향을 미치기 위해 그들의 힘을 사용했다. 자기들 이익에 최선을 다하는 거야

The creation of subspecialty training led to a reduction in generalist training time—for example, almost halving the total training time in general internal medicine in the 1970s, with similar trends in other disciplines. A purpose of this reduction was also to produce more generalists—that is, a shorter training time would make general internal medicine more attractive.15 Specialty associations, governing bodies (e.g., medical colleges), councils, accrediting bodies, and ultimately legislators all used their powers to influence the length of postgraduate education to best serve their own interests.

1980년대에 들어서야 미국의 대학원 의료교육 인증위원회(ACGME)가 설립되면서 비로소 미국의 졸업후 의료교육이 길이, 내용, 자격을 결정하는 강력한 국가기구에 의해 지배되기 시작했다. ACME는 캐나다 왕립의과대(Royal College of Canada)와 함께 21세기 초를 전후하여 역량 기반(대학원) 의료 교육의 이동을 시작함으로써 임상 훈련의 시간적 가변성을 현장의 관심에 가져왔다.3

Only in the 1980s, when the Accreditation Council for Graduate Medical Education (ACGME) was established, did postgraduate medical education in United States start to be governed by a powerful national body determining length, content, and qualifications. The ACGME, along with the Royal College of Physicians and Surgeons of Canada, initiated the movement of competency-based (postgraduate) medical education around the turn of the 21st century, bringing time variability in clinical training to the attention of the field.3

2000년 Long은 교육자들이 "교육 연수를 정한 현재의 레지던트 교육에 대한 접근방식을 각 레지던트가 필요한 지식과 기술을 갖추고 독립적으로 적용할 수 있다는 것을 증명할 때까지 훈련하는 역량 기반 훈련으로 대체한다"고 제안하였고, 이러한 요구는 반복적으로 나타났다.

In 2000, Long51 suggested that educators “replace the current approach to residents’ education, which specifies a fixed number of years in training, with competency-based training, in which each resident remains in training until he or she has been shown to have the required knowledge and skills and can apply them independently,” which was echoed by Carraccio, ten Cate, and others.3,4,52,53

오슬러의 졸업후 훈련 프로그램은 매우 선별적이고 과학적으로 지향적인 소수의 졸업생들을 모집한 반면, 20세기 중반에 미국의 의과대학 졸업자라면 누구나 대학원 훈련을 계속할 수 있는 자격이 주어졌다. 이전에는 다양한 길이와 회전 콘텐츠로 이루어진 인턴십이 전공specialty 교육의 원년이 되었다. 전공 선택 시장specialty choice market의 긴장을 해소하기 위해 1951년 졸업생과 병원의 선호도에 따라 배치를 규제하기 위해 미국 국립 인턴 매칭 프로그램이 만들어졌다.50 대학원 교육의 기간은 역사적으로 다소 자의적이었지만, 이제는 더 많은 규제를 받게 되었다.

While Osler’s postgraduate training programs were highly selective and recruited small numbers of scientifically oriented graduates, halfway through the 20th century, any U.S. medical school graduate became eligible to continue with postgraduate training. Internships, previously of varying length and rotational content, became the first year of specialty training. To address tensions in the specialty choice market, the U.S. National Intern Matching Program was created in 1951 to regulate placements based on graduates’ and hospitals’ preferences.50 While the duration of postgraduate education historically was somewhat arbitrary, it now became more regulated.

외과수술 훈련 결과에 대한 국제 비교 연구는 근무 시간의 차이에도 불구하고 상당한 차이를 드러내지 않았다.56 거주자 간의 근무 시간 및 프로그램의 근무 시간 제한을 적용하는 유연성에 대한 논쟁은 향후 몇 년 동안 여전히 중요할 것으로 보인다.

An international comparative study on surgical training outcomes did not reveal substantial differences despite duty hours differences.56 The debate about duty hours among residents and flexibility in applying duty hours restrictions in programs will likely remain vital in the coming years.

유럽에서는 전문인력의 국제시장 확립을 목적으로 1975년 유럽연합(EU) 지침이 졸업후 의료교육 프로그램의 최소 길이와 명칭을 결정하게 되었지만, 의사practitioner의 필수 역량은 명시하지 않았다.

In Europe, the aim of establishing an international market for professionals resulted in a 1975 European Union directive determining the minimum length and nomenclature of postgraduate medical education programs,57,58 but it did not specify the required competencies of practitioners.

네덜란드는 CBME 운동 이후, 개별 시간 변동성은 예외적이라기보다는 규칙에 가까웠다. 그러나 이는 [의대 졸업에 걸리는 차이]와 [레지던트의 시작 기간의 학년간 차이], 의대 졸업생들이 학부와 졸업후수련 사이에서 시간을 보내는 습관 때문이다.

In the Netherlands, following the CBME movement,61 individual time variability has been more rule than exception, if only because of varying moments of graduation from medical school and commencement of residency across the academic year and the habit of medical graduates to take time between undergraduate and postgraduate training.62

그러나 최근 전반적인 건강관리 비용을 줄이기 위한 시도로 대학원 의료훈련 비용의 대부분을 부담하는 네덜란드 정부는 훈련 기간을 유럽연합 최소 기간에 가깝게 줄이기 위한 프로그램을 강제하기로 결정했다. 이는 의료전문가연맹이 일반적으로 훈련시간을 단축하기보다는 위탁 가능한 전문활동의 개념을 이용하여 개별화된 역량 기반의 가변성을 구현하는 계기가 되었다4.63

Recently, however, in an attempt to reduce the overall cost of health care, the Dutch government, which pays most of the costs of postgraduate medical training, decided to force programs to reduce training length to closer to European Union minimum durations. This caused the Federation of Medical Specialists to implement individualized, competency-based variability using the concept of entrustable professional activities4 rather than to generally cut time in training.63

결론

Conclusion

중세 길드부터 오늘날까지 의학적 훈련은 항상 학문적 접근과 실제적 접근 사이의 긴장을 경험해 왔다. 유럽에서는, 19세기에 이르기까지, 학문적으로 훈련된 "학습된 신사"와 실제적으로 훈련된 외과의사들 사이에 뚜렷한 차이가 있었다. 결국 학술의학은 '2급'의 외과의사들을 폐지하는 데 성공했지만 대가는 치렀다. 실제 기술practical skills의 중요성이 증가했지만, 대학들은 대체로 학생에게 이 skill을 훈련시키는 것을 의무사항의 일부로 고려하기를 거부했다. 임상 훈련의 내용은 교육보다는 환자 진료를 주된 목적으로 하는 병원에 오랫동안 맡겨져 있었다.

Medical training, from the medieval guilds to today’s residencies, has always experienced a tension between academic and practical approaches. In Europe, until well into the 19th century, there was a sharp distinction between academically trained “learned gentlemen” and practically trained surgeons. In the end, academic medicine succeeded in abolishing the “second tier” surgeon practitioners, but at a cost. Whereas the importance of practical skills increased, universities largely refused to consider training students in these skills to be part of their mandate. The content of clinical training was long left to hospitals that had a primary aim of patient care rather than education.

처음에 단독 의과대학에 의해 주로 의학교육이 실시되었던 미국에서, AMA는 레지던트를 위한 공식적인 규정을 개발했지만, 여전히 실제 병원 현장의 일에 대한 영향력은 제한적이었다. 환자 진료가 우선순위가 높고 훈련 내용이 기관의 재량에 맡겨지는 이런 맥락 속에서, 훈련생이 정해진 기준을 언제 충족하는지 판단하기 위한 면밀한 모니터링은 수월하지 않다.

In the United States, where medical education initially was predominantly provided by stand-alone medical schools, the AMA developed formal regulations for residency but still had limited influence on what actually happened in the hospitals. Such a context in which patient care has high priority and the content of training is left to an institution’s discretion is not conducive to the close monitoring of trainees to determine when they meet set standards.

이러한 상황에서는 역량 기반의 유연한 시간 접근법이 쉽게 작동하지 않을 수 있다. 그 때문에 최소한의 훈련 기간(예: "일반 내과 3년 경험")이 '역량있음'의 대리 역할을 해 왔다. 또한 의료행위의 복잡성 증가, 입원기간 단축, 관리형 환자진료 등의 경제적 압박은 일반적으로 역량개발에 대한 최적의 지침 없이 하위 전문화를 통한 연수기간을 가중시켰다. 이러한 발전은 미국과 네덜란드에서 모두 안전한 치료를 위해 훈련을 최적화하기 위해 훈련 시간과 면허 트랙을 제한, 재구성 및 개별화하는 노력이 필요한 현재의 시스템을 초래했다.

In such circumstances, a competency-based, flexible-time approach may not easily work. For that reason, a minimum time span for training (e.g., “three years’ experience in general internal medicine”) has served as a proxy for “being competent.” In addition, the increased complexity of medical practice, shorter hospital stays, and the economic pressure of managed patient care, has generally added to the length of training time through subspecialization, without optimal guidance on developing competence. These developments have resulted in our current system, in which efforts are needed to constrain, restructure, and individualize training time and licensing tracks to optimize training for safe care, both in the United States and the Netherlands.

소셜미디어 가이드라인: 보건의료 전문직 대상(Clin Teach, 2019)

Social media guidelines: a review for health professionals and faculty members

Catherine M Hennessy1 , Claire F Smith1, Sue Greener2 and Gordon Ferns1

1Brighton and Sussex Medical School, Falmer, Brighton, UK

2Brighton Business School, University of Brighton, UK

도입

Introduction

소셜 미디어의 사용 증가는 eHealth의 현상과 유사하다. 세계보건기구(WHO)는 eHealth를 다음과 같이 정의했다. 

'건강을 위한 정보통신기술(SNS 포함) 활용'이며, '전자적 수단을 통해, 보건 서비스 전달과 보건 시스템 관리를 지원하기 위한 정보의 흐름을 개선하는 것'이다.

The increasing use of social media has been paralleled by the phenomenon of eHealth, defined by the World Health Organization as the ‘use of information and communication technologies (including social media) for health’ and ‘is about improving the flow of information, through electronic means, to support the delivery of health services and the management of health systems’.1 

건강 전문가들은 eHealth 도구를 사용하여 환자와 접촉할 것을 권장하고 있다. 특히 소셜 미디어는 사용자가 쉽게 접근할 수 있도록 한다.2 'ePatients'로 알려진 일부 환자들은 이미 소셜 미디어를 [더 나은 건강 관리가 가능하도록 조언과 지원을 구하기 위해 동료 환자와 교감하기 위한 목적]으로 사용하고 있다.

Health professionals are being encouraged to use eHealth tools to engage with patients, particularly social media because of the ease of communication that it offers and the broad online community that it allows users to reach.2 Some patients, known as ‘ePatients’, are already taking advantage of social media to communicate with fellow patients to seek advice and support to enable better health care.3

e환자(ePatients)는 '의료 제공업체와의 상호 협력의 결과가 우리가 협력하지 않을 때보다 훨씬 낫다'는 점을 인정하면서, 의료 전문가들이 소셜 미디어에 그들과 함께 참여할 것을 요구해 왔다.4 일부 의료 전문가들은 이미 소셜 미디어를 환자 관리에 통합하기 시작했다. 예를 들어, 페이스북 페이지는 당뇨병 환자들의 혈당 수치를 관리하는데 도움을 주기 위해 사용되었다. 건강한 레시피, 지역 걷기 또는 달리기 행사, 운동 프로그램, 혈압을 낮추는 방법에 대한 팁을 보급하기 위해 체중 관리가 필요한 환자들에게 페이스북 페이지도 제안되었다.

ePatients have called for health professionals to engage with them on social media, acknowledging that ‘the results of mutual partnership with our healthcare providers are far better than if we don’t collaborate’.4 Some health professionals have already started to incorporate social media into patient management: for example, a Facebook page has been used to help patients with diabetes manage their blood glucose levels.6 Facebook pages have also been suggested for patients who require weight management, in order to disseminate healthy recipes, local walking or running events, exercise programmes and tips on how to keep blood pressure low.2

일부 보건 전문가들은 대중과의 소통과 상호작용을 개선할 수 있는 소셜 미디어의 잠재력을 보고 있지만, 많은 사람들은 전문성에 대한 도전과 그 함의 때문에 소셜 미디어에서 환자와 관계를 맺는 것을 극도로 경계하고 있다. 소셜 미디어에 대한 비전문적 행동의 결과로 규제 기관에 의해 미국과 영국의 의사들이 의사면허를 정지당하고 심지어 취소당했다는 보고에 비추어 볼 때 이러한 경계는 정당화될 수 있다.

Although some health professionals have reported seeing the potential of social media to improve communication and interaction with the public, many remain extremely wary of engaging with patients on social media because of the challenges and implications for professionalism.7 This wariness may be justified given reports of doctors in both the USA and the UK having their licence to practice suspended, and even revoked, by regulatory bodies as a result of unprofessional behaviour on social media.8,9

방법

METHODS

주요 국제 영어 사용 국가의 의료 관리 기구가 발행한 9건의 지침 문서를 검토했다(표 110–18).

Nine guidance documents published by medical governing bodies in major international Englishspeaking countries were reviewed (Table 110–18).

결과

RESULTS

그림 1은 각 지침 문서에서 확인된 5가지 공통 주제와 각 주제에 기여하는 하위 주제를 보여준다. 모든 문서에 각 하위 항목이 포함된 것은 아니다(그림 1 참조).

Figure 1 illustrates the five common themes that were identified in each of the guidance documents and the sub-themes that contribute to each theme. Not all documents contain each subtheme (as indicated in Figure 1),

다섯 가지 주제 중 네 가지는 보건 전문가로서 소셜 미디어를 사용하는 것의 잠재적인 위험에 대한 경고와 관련이 있고, 이것은 소셜 미디어 사용에 대한 확장적인 접근보다는 더 조심스러운 접근을 야기시킬 가능성이 있다. 마지막 주제는 소셜 미디어 이용의 잠재적인 이점에 대해 탐구한다. 이 메시지는 모든 안내문서에 수록되어 있지만, 진압subdue되어 있다.

Four of the five themes relate to warnings about the potential risks of using social media as a health professional, and this is likely to engender a more guarded, rather than an expansive, approach to social media use. The final theme explores the potential benefits of using social media. Although this message is contained within all of the guidance documents, it is subdued.

가이드라인이 실제로 의미하는 바는 무엇인가?

What do the guidelines mean in practice?

환자 기밀을 유지한다고 해서 환자 사례로부터 학습을 공유하는데 소셜 미디어가 사용될 수 없다는 뜻은 아니다. 소셜미디어의 장점 중 하나는 보건전문가가 동료나 환자와 지식을 공유할 수 있게 해 교육적인 환자 사례를 포함해야 한다는 점이다. 주의를 기울인다면, 환자 신원은 성별과 나이와 같은 세부사항을 의도적으로 변경하거나, 상담 날짜와 아마도 질병의 해부학적 부위에 대해 비특정적이 됨으로써 기밀로 유지될 수 있다.19 문서 9개 중 6개는 익명화에도 불구하고 환자로부터 서명된 동의를 얻을 것을 권고하며, 우리는 이것을 제안한다. 환자의 질병 이미지를 포함한 경우에 특히 중요하며, 이는 환자가 확인될 가능성을 증가시킬 수 있다.

Maintaining patient confidentiality does not mean that social media cannot be used to share learning from patient cases. One of the advantages of social media is that it allows health professionals to share knowledge with colleagues and patients, which should include educational patient cases. With care, patient identity can be kept confidential by deliberately changing details such as gender and age, or by being nonspecific about the date of consultation and perhaps the anatomical site of the ailment.19 Six of the nine documents recommend that signed consent is obtained from the patient despite anonymisation, and we suggest that this is particularly important if the case includes images of the patient’s ailment, which may increase the likelihood of the patient being identified.

명예훼손은 환자든 동료든 상품이든 용납할 수 없다. 건강 전문가가 소셜 미디어를 어떻게, 왜 사용하려고 하는지, 그리고 그들이 전달하고 있는 온라인 존재감이나 정체성에 대해 되돌아보는 시간을 가져야 한다. 소셜 미디어에서 누구를 팔로우하고 싶은지 또는 누구를 팔로우하도록 허용받고 싶은지에 대한 선호도를 고려하십시오. 연구 관련 글을 자주 올리면 연구 활동적인 동료들을 더 많이 끌어들이기 쉽다. 건강 전문가의 온라인 정체성은 종종 환자, 동료, 조직에 대한 첫인상이며, 프로필 사진을 포함한 소셜 미디어 프로필을 개발할 때 고려해야 한다. 온라인 청중이 게시물에 영향을 줄 수 있는 요소를 인지할 수 있도록 프로필에 이해관계가 있거나 이해관계가 상충되는 부분을 명확히 표시해야 한다.

Defamation is clearly unacceptable, whether it be of patients, colleagues or products. Time should be taken to reflect on how and why a health professional intends to use social media, and the online presence or identity that they are conveying. Consider your preference for who you would like to follow you on social media or who you would like to be allowed to follow. If you post frequently about research, you are likely to attract more researchactive colleagues. The online identity of a health professional is often the first impression made to patients, colleagues and organisations, and this should be a consideration when developing a social media profile, including the profile picture. Any affiliations or conflicts of interest should be clearly stated in the profile so that the online audience is aware of factors that may influence postings.

소셜 미디어에서는 프라이버시를 보장할 수 없으며, 따라서 프라이버시를 보장하기 위해 가이드라인은 건강 전문가들이 보수적인 프라이버시 설정을 사용하여 개인 및 전문 소셜 미디어 계정을 별도로 설정할 것을 권고한다. 그러나 개인 전문 계정private professional account을 갖는 것은 게시물의 범위와 건강 관련 정보를 공유할 수 있는 능력이나 공개적으로 동료들과 소통할 능력을 제한할 것이다. 전문적인 트위터와 인스타그램 계정의 경우, 그들을 공개하고 공공 행사에서 건강 관련 정보를 유포하는 것과 같은 방식으로 이러한 공간을 사용하기로 결정하는 것은 가치 있는 일일 수 있다. 그러나 건강 전문가들은 일부 소셜 미디어 계정을 비공개로 유지하기를 원할 수 있으며 개인 정보 보호 설정은 다음과 같이 정기적인 점검을 수행하여 테스트해야 한다: '친구'나 '팔로워'가 아닌 신뢰할 수 있는 동료에게 (대중 임의의 멤버를 복제하기 위해) 사용자의 구글 검색을 수행하도록 요청하십시오(아마 당신의 이름을 사용하여). 소셜 미디어 프로필과 정보에 접근할 수 있다. 이것은 프라이버시 설정이 적절한지 확인하는 매우 유용한 실습일 수 있다.

Privacy cannot be guaranteed on social media, and so to ensure privacy the guidelines recommend that health professionals set up separate personal and professional social media accounts using conservative privacy settings; however, having a private professional account will limit the reach of posts and the ability to share healthrelated information and openly communicate with colleagues. For professional Twitter and Instagram accounts, it may be worthwhile keeping them public and deciding to use these spaces in the same way as if disseminating healthrelated information at a public event. Health professionals might want to keep some social media accounts private, however, and the privacy settings should be tested by conducting regular checks as follows: ask a trusted colleague who is not a ‘friend’ or ‘follower’ (to replicate a random member of the public) to perform a Google search of you (probably using your name) to ascertain what access they have to your social media profiles and information. This can be an extremely informative practical exercise to ensure that the privacy settings are appropriate.

보건 전문가들은 대중의 신뢰를 유지할 책임이 있다. 비록 좋은 평판을 유지하는 것이 통치 기구governing body의 주요 관심사일지라도, 이것은 의료 전문가들이 일과 관련된 문제에 대한 그들의 이해를 향상시키기 위해 대화에 참여하는 것을 방해해서는 안 된다. 보건 전문가가 지식의 부족이 환자 관리의 부실로 이어졌을 수도 있다고 밝히는 것은 아마도 부적절할 것이다. 하지만 만약 의사가 수술 후 유방암 환자의 지원시스템에 대한 정보를 요청한다면, 예를 들어, 그들은 유용한 정보를 얻을 수 있을 것이다. 여기에는 지역 자발적인 암 지원 단체들이 제공할 수 있는 환자 지원이 포함될 수 있다. 

Health professionals have a responsibility to maintain public trust. Although maintaining a good reputation is a primary concern for governing bodies, this should not inhibit health professionals from engaging in dialogue to improve their understanding of workrelated issues. It is probably inappropriate for a health professional to reveal that a lack of knowledge may have led to poor patient management, but if a doctor tweets asking for information about breast cancer support following surgery, for example, they are likely to receive useful information, including perhaps what patient support can be provided by local voluntary cancer support groups. 

일부 사람들은 의사가 이러한 지원을 알고 있어야 한다고 주장할 수 있지만, (다른 보건 전문가와 마찬가지로) 이러한 모습은 의사도 환자에게 제공될 수 있는 다른 지원 방법을 모색하고 지속적인 학습과 정보 수집을 보여줄 수 있는지를 보여준다. 나아가 보건전문가들은 소셜미디어에서 건강관리 문제에 대한 논의를 시작할 수 있다고 느껴야 하며, 가이드라인에 따르면 [소셜미디어가 변화를 구현하는 통로]로 활용될 수 있음을 시사한다.

Although some may argue that the doctor should have been aware of this support, it illustrates how a doctor, like any other health professional, may explore other avenues of support to offer patients, and demonstrates continued learning and information gathering. Furthermore, health professionals should feel that they can start a discussion about health care issues on social media, and the guidelines indicate that social media can be used as a conduit to implement change.

소셜미디어를 사용하는 이유는 다양하며, 가이드라인은 보건전문가들이 동료들과의 네트워킹과 같은 혜택과 최신 모범사례 공유 및 토론에 대해 소셜미디어를 사용하도록 인정하고 장려하지만, 보건전문가들이 소셜미디어를 어떻게 사용할 수 있는지에 대한 실질적인 사례와 아이디어가 부족하다. '#colorectalthcorration'이라는 제목의 한 연구 기사는 이 트위터 해시태그가 어떻게 국제 대장내과 의사들이 연습 공동체를 형성하고 다른 수술 기법을 사용한 경험을 공유할 수 있게 했는지에 대한 설명을 제공한다.20 소셜 미디어에 게재하는 것은 학자들과 보건 전문가들 모두 자주 사용된다. 공유: 연구의 범위와 가독성을 높이기 위한 방법으로 전체 기사에 접근할 수 있는 웹 링크를 포함한 소셜 미디어에 대한 연구 데이터가 인용 부수를 증가시킬 수 있다.

There are many reasons to use social media, and the guidelines acknowledge and encourage health professionals to use social media for benefits such as networking with colleagues, and for sharing and discussing latest best practice; however, there is a lack of practical examples and ideas for how health professionals can use social media. One research article entitled: ‘#colorectalsurgery’ gives an account of how this Twitter hashtag allowed international colorectal surgeons to form a community of practice and share their experiences of using different surgical techniques.20 Posting publications on social media is frequently used by academics and health professionals alike: sharing research data on social media including a weblink to access the full article (where publication rules allow) as a way of increasing the reach and readability of the research may lead to increased citations.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

성격, 직업, 선발의 미래: 신화와 오해와 측정과 제안(Adv in Health Sci Educ, 2017)

Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions

Eamonn Ferguson1 • Filip Lievens2

도입

Introduction

의학 선택에서 인성에 대한 전통적인 접근법은 보통, 

• (1) 미래 결과를 예측하는 능력에 기초하여 특성을 식별하고 

• (2) 이러한 특성에 대해 사람을 선택하는 것으로, 일반적으로 더 높은 점수를 선발한다(Ferguson et al. 2002). 

그러나, 최근의 성격 이론의 발전은 의학에서의 선발 관행에 대한 분명한 함축적 의미를 지닌 이 전통의 타당성에 의문을 제기한다.

the traditional approach to personality in medical selection. That is: 

• (1) to identify traits based on their ability to predict a future outcome and 

• (2) to select people on these traits, usually selecting higher scores (Ferguson et al. 2002). 

However, recent advances in personality theory question the validity of this tradition with clear implications for medical selection practices.

인격의 개념화 발전

Developments in the conceptualization of personality

신화/오해 1: 안정적인 결정론적 예측 변수로서의 특성

Myth/misunderstanding 1: traits as stable deterministic predictors

특성이 행동의 안정적인 결정론적 예측 변수라는 것이 널리 알려진 믿음인 반면(개요는 로버츠 2009, 개요는 로버츠 참조), 생태학(Dingemanse et al. 2010), 경제학(Fergusson et al. 2011), 성격 심리학(Roberts and Jackson 2008)은 그 반대 의견을 제시한다(=즉, 특성trait은 행동의 안정적 결정론적 예측인자가 아니다). 특성은 맥락 및 생물학과 역동적으로 연결되어, 여러 맥락에 걸친 행동(trait expression)의 표현에 영향을 줄 뿐 아니라 변화할 수 있도록 한다.

Whereas it is a widely held belief that traits are stable deterministic predictors of behaviour (see Roberts 2009, for an overview), current thinking from ecology (Dingemanse et al. 2010), economics (Ferguson et al. 2011) and personality psychology (Roberts and Jackson 2008) suggests the opposite. Traits are conceived as dynamically linked to context and biology, allowing for traits not only to change but also to influence the expression of behaviour (trait expression) across contexts.

변화와 안정성

Change and stability

근거에 따르면, 시간적으로 가까운 사건 뿐만 아니라 (Twenge 2000, 2009) 세대와 라이프 코스에 따라서도 특성이 변화한다는 것을 증명한다. 

• (1) 대학, 직장, 실업과 같은 환경 노출 (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015), 

• (2) 훈련 (Jackson et al. 2012) 및 

• (3) 변화를 촉진하기 위한 치료적, 심리적 개입(Tang et al. 2009; 허드슨과 프랄리 2015). 

Evidence demonstrates that traits change across generations (Twenge 2000, 2009), and the life course (Roberts et al. 2006; Caspi et al. 2005; Roberts and Mroczek 2008 for reviews) as well as a function of proximal events: 

• (1) environmental exposure such as university, work, unemployment (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015), 

• (2) training (Jackson et al. 2012), and 

• (3) therapeutic and psychological interventions to promote change (Tang et al. 2009; Hudson and Fraley 2015). 

이러한 변화의 규모는 상당할 수 있다. 그것은 소득과 부와 같은 변화의 경제 지표의 크기와 같다(Boyce et al. 2013). 성격변화의 정도는 그 자체로 개인의 차이(Ludtke et al. 2011)를 따르며 신념의 영향을 받는다(예: 성격변화의 가능성에 관한 것, Robins et al. 2005).

The size of these changes can be substantial. It is of the same magnitude of economic markers of change like income and wealth (Boyce et al. 2013). The degree of personality change is itself subject to individual differences (Ludtke et al. 2011) and influenced by beliefs (e.g., about the changeability of personality, Robins et al. 2005).

인간 성격의 사회유전적 모델과 같은 모델은 [생물학, 환경, 상태(감정, 인지, 신념)]와 [특성] 사이의 역동적인 상호작용을 강조함으로써 세대 내 성격 변화를 설명하는 것을 목표로 한다. 이 모델에 따르면, 성격 변화는 다음의 두 가지 모두에 영향을 받는다.

(1) 생물체의 생물학에 대한 환경뿐만 아니라 

(2) [생물학과 특성 변화] 사이의 관계를 중재하기 위해 행동하는 상태 

Models such as the socio-genomic model of human personality aim to explain personality change within generations by highlighting the dynamic interaction between biology, environment, states (emotions, cognition, and beliefs), and traits (Roberts and Jackson 2008). According to this model, personality change is brought about by the influence of both 

(1) the environment on the organism’s biology as well as 

(2) states acting to mediate the link between biology and trait change.

마찬가지로, evo-devo 모델(진화 및 발달 생물학의 합성, 경우에 따라 표현형의 적응적 품질: Laland et al. 2011, 페이지 1514 및 Toth and Robinson 2007 참조)과 Niche 건설 이론(생물이 '생태공학자'로 활동하며 그러한 환경에서 적응하고 환경을 변화시킨다. 진화적 이득이 전달되는 방법: Odling-Smee et al. 2013 참조)는 특성이 세대 내에서, 그리고 여러 세대에 걸쳐 모두 변화한다는 것을 나타낸다(Laland et al. 2011). 이 모델들은 특성이 환경을 변화시키거나 변형시킬 뿐만 아니라, 한 유기체로 하여금 특정한 환경을 선택하게 한다는 것을 시사한다. 이 모든 것이 특성 변화를 이끈다.

Similarly, both evo-devo models (a synthesis of evolutionary and developmental biology, whereby in some cases developmental ‘biases’ the adaptive quality of a phenotype: see Laland et al. 2011, p. 1514 and Toth and Robinson 2007) and niche construction theories (whereby organisms act as ‘ecoengineers’ and adapt and change their environments in such a way that the evolutionary gains are passed on: see Odling-Smee et al. 2013) indicate that traits change both within and across generations (Laland et al. 2011). These models suggest that traits lead organisms to both select environments to operate in as well as to change/shape these environments. All of which leads to trait change.

또한 [특정 환경을 선택하게 유도하는 특성은, 그렇게 선택된 환경으로부터 가장 많이 변하는 특성]이라는 '상응 원리corresponsive principle'에 대한 증거도 있다(Roberts et al. 2013). 카스피 등은 다음과 같이 간결하게 표현하였다.

…인격발달에 대한 인생경험의 가장 가능성이 높은 효과는 애초에 사람들을 그러한 경험으로 이끄는 특성을 심화시키는 것이다. 예를 들어, 만약 사람들이 지배적이기 때문에 더 많은 지도자 자리를 차지한다면, 그들은 지도자로서의 경험을 통해 더 지배적이 될 것이다.

There is also evidence for the ‘‘corresponsive principle’’, whereby the trait that drives selection into an environment is the trait that changes the most from the selected environment (Roberts et al. 2013). As Caspi et al. (2005) succinctly put it 

‘‘…the most likely effect of life experience on personality development is to deepen the characteristics that lead people to those experiences in the first place …For example, if people assume more leadership positions because they are more dominant, then they will become more dominant through their experience as leaders.’’ (p. 470).

이러한 접근법을 결합한 하이브리드 모델(그림 1)은 '특성'이 생물학적으로 환경에 의해 영향을 받을 뿐만 아니라 발달 기간 전반에 걸쳐 환경에도 영향을 미친다는 것을 나타낸다. 즉, 우리는 우리가 운영하는 환경을 선택하고, 환경을 변화시키며, 결과적으로 이러한 경험의 함수로 우리의 특성은 변화한다. 건강을 증진시키는 특정한 특성 변화는 다음 세대를 위해 선택되고 살아남을 수 있다.

A hybrid model, combining these approaches (Fig. 1), indicates that traits, as well as being influenced by the environment via biology, also influence environments across developmental time—we choose the environments we operate in, change them and our traits consequently change as a function of these experiences. Certain trait changes that increase fitness may be selected for and survive to the next generation.

컨텍스트별 예측

Context specific prediction

위의 발전은 수명에 걸쳐, 세대에 걸쳐 그리고 여러 맥락에 걸쳐 사람들의 성격 특성의 변화를 다루는 반면에, 다른 발전은 특성(trait expression)과 관련된 행동의 표현이 상황에 따라 [개인 내에서] 어떻게 변화하는지 강조한다. 로버츠(2009)는 특성이 특정 맥락에서 주어진 특정 방식으로 행동할 확률을 결정하는 함수를 나타낸다고 제안한다. 이는 생태학에서 개성을 개념화하는 데 사용되는 행동 반응 규범(BRN)과 공명한다(Dingemanse et al. 2010). BRN은 등급화된 매개변수(예: 스트레스: 상황별 그라데이션)에 따라 변화하는 상황에 걸쳐 여러 시점에서 특성 관련 행동을 평가한다. 여러 맥락에 걸친 평균값은 유기체가 전형적으로 어떻게 행동하는지(성격)를 보여주고, 문맥에 걸친 분산/공분산은 유기체가 어떻게 적응하고 변화하는지(가소성)를 나타낸다.1

Whereas the developments above deal with changes in people’s personality traits across the life span, within generations and to context, other developments emphasize how the expression of behaviours associated with traits (trait expression) changes within individuals across situations. Roberts (2009) suggests that traits represent a function that determines the probability that a person will act in a particular way given a particular context. This resonates with behavioural reaction norms (BRNs) used to conceptualize personality in ecology (Dingemanse et al. 2010). A BRN assesses trait relevant behaviours at multiple time points across a context that varies along some graded parameter (e.g., stress: contextual gradient). The mean value across context indicates how the organism typically behaves (personality) and variance/covariance across context denotes how the organism adapts and changes (plasticity).1

Fleeson 외 연구진(Fleeson 2004; Fleeson and Law 2015 참조)은 인간의 성격에 유사한 접근방식인 밀도 분포 접근법을 적용했다. 여기서 특성 관련 행동(예: '성실성: 지난 30분 동안, 얼마나 열심히 일했는가?')에 대한 여러 평가가 여러 맥락에 걸쳐 수집된다. 성격과 가소성이 모두 관찰되었다(그림 2 참조). 또한, 1일차의 일반적인 행동은 다음 날의 전형적인 행동을 예측하였다(안정성). 전통적인 성격 척도와의 평가와 관련하여, Fleeson 등은 표준 성격 척도(-1 SD)에서 낮은 점수(-1 SD)에 비해 높은 점수(+1 SD)를 획득한 사람에 대해 분포가 오른쪽으로 이동한다는 것을 보여주었다(그림 3 참조). 그래서 예를 들어, 높은 성실성을 지닌 사람들도 여전히 때때로 낮은 성실성을 보일 것이다.

Fleeson et al. (see Fleeson 2004; Fleeson and Law 2015) applied a similar approach to human personality: the density-distribution approach. Here multiple assessments of trait relevant behaviours (e.g., for conscientiousness: ‘During the last half hour, how hardworking have you been?) are collected across contexts. Both personality and plasticity were observed (see Fig. 2). Furthermore, typical behaviour on 1 day predicted typical behaviour the next day (stability). In relation to assessment with traditional personality scales, Fleeson et al. showed that the distribution shifts to the right for those who score high (?1 SD), compared to low (-1 SD), on a standard personality scale (see Fig. 3). So, for example, high conscientious people will still express some low conscientiousness at times.

요컨대, 성격은 여러 맥락에 걸친 전형적인 행동, 안정성과 가소성을 모두 반영하는데, 전통적인 성격자료는 가소성이 아닌 전형적인 행동적 경향만을 취한다.

In sum, personality reflects both typical behaviour, stability and plasticity across contexts, and traditional personality inventories pick up only typical behavioural tendencies but not plasticity.

의료 선택 연구에 대한 시사점

Implications for medical selection research

현재 의료훈련의 기능으로서 인성이 어떻게 변하는지 등에 대한 자료는 없다. 이러한 검사는 의대생과 내과의사의 의학적 직업에 대한 적응성을 예측하는 데 중요하다. 예를 들어 의료 훈련이 성실성 수준을 변화시킨다면, 그것은 훈련병/의사들을 더 성실하게 만들 것인가 아니면 덜 성실하게 만들 것인가?

At present, there are no data on how personality changes as a function of medical training. Such an examination is important for predicting adaptability of medical students and physicians to a career in medicine. If medical training changes levels of conscientiousness for example, does it make the trainee/physician more or less conscientious?

전통적인 접근방식은 성격 변화를 고려하지 않지만(퍼거슨 2013), 성격 변화가 예측 모델의 일부가 될 필요가 있다는 것은 분명하다.

The traditional approach does not consider personality change (Ferguson 2013), but it is clear that personality change needs to be part of any predictive model.

특성 표현과 특징으로부터의 맥락별 예측은 또한 맥락에 따라 - 성실성과 같은 특징이 높은 사람들이, 그러한 행동을 표현하기 더 쉽거나 덜 가능성이 있다는 것을 암시한다.

Trait expression and the context specific prediction from traits also implies that depending on context—people high on a trait, such as conscientiousness, may be more or less likely to express that behaviour.

따라서 trait의 예측 타당성은 맥락에 따라 달라지며, 우리는 의료 경력 전반에 걸친 차이 예측뿐만 아니라 이것이 성격 변화에 어떻게 영향을 미치고 영향을 받는지 알 필요가 있다.

Thus, the predictive validity of the trait is context dependent and we need to not only know about differential prediction across the medical career but also how this influences and is influenced by personality change.

신화/오해 2: 어둡고 밝은 면

Myth/misunderstanding 2: the dark and bright sides

어떤 특성은 '좋은'(양심적인) 것이고, 어떤 특성은 '나쁜'(신경학적)이라는 가정이 있다. 그러나 최근의 연구 결과는 '좋은' 특성도 '어두운 측면'을, '나쁜' 특성도 ''밝은 측면'''을 가지고 있다는 것을 보여준다(Boyce et al. 2010; Ferguson et al. 2014). 예를 들어, 신경증에는 불안감이 그 측면의 하나로서, 위험에 대한 경계심 강화라는 측면에서 이익을 가져오지만, 비용: 스트레스에 대한 부정적인 반응(진화적 설명은 쐐기 2006 참조)이 수반된다.

There is an assumption that some traits are ‘‘good’’ (conscientiousness) and others are ‘‘bad’’ (neuroticism). However, recent findings show that ‘‘good’’ traits have a ‘‘dark-side’’ and ‘‘bad’’ traits a ‘‘bright-side’’ (Boyce et al. 2010; Ferguson et al. 2014). For example, neuroticism has anxiety as a one of its facets, which brings benefits in terms of increased vigilance to danger, but carries a cost: negative reactions to stress (see Nettle 2006 for an evolutionary explanation).

위디거와 멀린스위트(2008)는 이 아이디어를 더 발전시키면서 빅5 특성은 적응력이 부족하거나 정상적인 행동과 관련이 있을 수 있으며, 이러한 특성은 높은high 행동과 낮은low 행동으로 더 세분화되어야 한다고 제안한다. 따라서 

• 부적응적 높은 성실성(근본적이고, 단일한 마음), 

• 부적응적 낮은 성실성(관심 없고, 엉성하고), 

• 정상적인 낮은 성실성(구체적이고, 지략적인)은 모두 좋은 성과를 억제하는 반면, 

• 정상적인 높은 성실성(조직적이고, 지략적인)은 성과를 높일 것이다.

Developing this idea further, Widiger and Mullins-Sweatt (2008) suggest the Big 5 traits may be related to behaviours that are associated with being either maladaptive or normal, with these further divided into high and low. Thus, 

• maladaptive high conscientiousness (ridged, single minded), 

• maladaptive low conscientiousness (careless, sloppy) and 

• normal low conscientiousness (disorganized) would all hinder good performance, 

• whereas normal high conscientiousness (organized, resourceful) would enhance it.

이는 곡선 함수가 특성을 성과와 연결한다는 것을 시사한다. 예를 들어, 너무 적은 성실함과 너무 많은 성실함은 문제가 될 수 있는 반면, 단지 충분한 양의 양심('골디락스의 가설')이 최적의 해결책이다(Martin and Keyes 2015).

This suggests that a curvilinear function links the trait to performance. For example, too little conscientiousness and too much conscientiousness may be problematic, whereas just enough conscientiousness (the ‘‘Goldilocks’ hypothesis’’) is the optimal solution (Martin and Keyes 2015).

의료 선택 연구에 대한 시사점

Implications for medical selection research

그 의미는, 의학에서 전형적으로 선발의 핵심으로 여겨지는 "좋은" 특성들이, 성실성과 마찬가지로, 어두운 면을 지니고 있을지도 모른다는 것이다. 실제로 의료 분야에서는 이에 대한 증거가 있다(Ferguson et al. 2003, 2014). 퍼거슨 외 연구진(2014년)은 양심성이 임상 지식의 부정적인 예측 변수지만 약간의 불안이 임상 기술 발달에 도움이 된다는 것을 보여주었다. 이러한 생각은 공감과 같은 특징으로 확장될 수 있다. 다만, 정신질환에 대한 민감성, 통증 문턱 감소, 정신이상학 측면에서 공감과 관련된 비용이 있다(퍼거슨 2016 참조).

The implication is that ‘‘good’’ traits that are typically seen as key to select in medicine, like conscientiousness, may carry a dark-side. Indeed, there is evidence for this in medicine (Ferguson et al. 2003, 2014). Ferguson et al. (2014) showed that conscientiousness was a negative predictor of clinical knowledge, but that a little anxiety aided clinical skills development. This idea can be extended to a trait like empathy, However, there are costs associated with empathy in terms of susceptibility to psychological illness, reduced pain thresholds, and psychopathology (see Ferguson 2016).

그러므로 의심할 여지 없이 미덕과 가치는 돌봄적caring 의료 시스템의 핵심이지만, 공감의 잠재적인 어두운 면을 고려하거나 테스트를 하지 않고, 무조건적으로 그러한 '좋은' 특성을 선택하는 것은 너무 단순하고 심지어 역효과적일 수도 있다. 실제로 최근의 증거는 보호자에 대한 감정이입이 비용을 수반할 수 있다는 것을 보여준다(Manczak et al. 2016 참조). 게다가 골디락스의 가설은 선택이 최적의 특성 수준에 초점을 맞춰야 한다는 것을 암시한다. 문제는 그 최적의 수준을 어떻게 식별하느냐 하는 것이다.2

Thus, while undoubtedly virtue and values, are key to a caring medical system, without considering the potential dark-side of empathy, and testing for it, selecting such a ‘good’ trait may be too simplistic and even counterproductive. Indeed, recent evidence shows that empathy in carers may carry costs (see Manczak et al. 2016). Furthermore, the Goldilocks’ hypothesis suggests that selection should focus on the optimal level of trait. The issue is how to identify that optimal level.2

성격 측정의 발전: 의료 선택 관행을 위한 몇 가지 해결책

Developments in personality measurement: some solutions for medical selection practice

위와 같은 우리의 검토는 성격평가가 '맥락적 민감성' 또는 '특성 표현trait expression'에 대한 일부 평가에 대해 최소한 허용해야 한다는 것을 시사한다. 또한 성격적 특성의 밝고 어두운 면에 모두 주의를 기울여야 한다.

Our review above suggests that personality assessment should allow at the very least for some assessment of ‘contextual sensitivities’ or ‘trait expression’. In addition, there should be attention to both bright and dark sides of personality traits.

맥락화된 성격 측정

Contextualized measures of personality

맥락화된 성격측정 도구는 일반적으로 기존의 일반 품목에 '태그'를 추가한다. 그러한 태그의 예는 "직장에서" 또는 "학교에서"이다(Lievens et al. 2008). 고용 영역의 최근 메타 분석(Shaffer and Postlethwaite 2012)은 이러한 단순한 태그를 일반적인 성격 척도에 추가하는 것이 직무 성과 예측을 위한 성격 점수의 타당도를 실질적으로 높인다고 밝혔다.

Contextualized personality inventories typically add a tag to existing generic items. Examples of such tags are ‘‘at-work’’ or ‘‘at-school’’ (Lievens et al. 2008). A recent metaanalysis in the employment domain (Shaffer and Postlethwaite 2012) revealed that adding such simple tags to a generic personality scale substantially raised the validity of the personality scores for predicting job performance.

또 다른 접근방식은 특성과 연관된 맥락특이적 동기에 초점을 맞추는 것이다. 맥락화에 대한 이러한 접근방식은 '5가지 개별 반응 규범'에 의해 예시되는데, 이 규범에서는 재고(FIRNI)가 5-요인 모델 치수를 한정된 등급의 환경 자극에 대한 사람들의 동기적 반응에서 안정적인 개인 차이로 개념화한다."(Denissen과 Penke 2008: 페이지 1297).

Another approach is to focus on context specific motivations linked to a trait. This approach to contextualization is exemplified by the Five Individual Reaction Norms ‘‘…which Inventory (FIRNI) conceptualizes the Five-Factor Model dimensions as stable individual differences in people’s motivational reactions to circumscribed classes of environmental stimuli’’ (Denissen and Penke 2008: p. 1297).

예를 들어 FIRNI 항목 

• '내가 계획을 실행할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않는다'는 것을 

• '환자들을 대할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않을 것이다'라고 다시 쓸 수 있다.

For example the FIRNI item 

• ‘‘When I am acting on a plan I do not easily let myself be distracted by short-term needs’’ could be re-written as 

• ‘‘When dealing with patients I would not easily let myself be distracted by short-term needs.’’

의료 선택 연구에 대한 시사점

Implications for medical selection research

성실성과 같은 특징에 "환자를 대할 때"와 같은 맥락화된 태그를 추가하는 것은 간단해 보일 수 있다(Jackson et al. 2010). 그러나 이러한 태그는 신중하게 고려할 필요가 있다. 예를 들어, 

• 어떤 맥락을 태그로 달아야 하는가? 

• 또한 지원자들은 (다양한 업무 경험을 가지고 있지 않은 한) 그러한 맥락에서 그들이 전형적으로 어떻게 반응할 것인지 말할 수 없을 것이다('환자들을 대할 때 나는 매우 유능한 사람이다'). 

• 마지막으로, 사용된 태그의 특수성은 아마도 예측하고자 하는 결과 측정치를 반영해야 한다는 점에 유의해야 한다. 즉, 일반적 general 결과 측정(생활만족도, 웰빙)은 전통적인 일반적 성격 재고를 통해 가장 잘 예측되는 반면, 보다 좁고 세분화된 narrow and fine-grained 결과 측정은 그 반대다.

It may seem straightforward to add contextualized tags such as ‘‘when dealing with patients’’ to traits like conscientiousness (Jackson et al. 2010). However, these tags need to be carefully considered. For example, 

• what contexts should be tagged? 

• Also applicants (unless having had extensive work experience) would not be able to say how they would typically react in such a context (‘‘When dealing with patients I am a very competent person’’). 

• Last, it should be noted that the specificity of the tags used should probably mirror the outcome measures that one wants to predict. That is, general outcome measures (life satisfaction, well-being) are best predicted with traditional generic personality inventories, whereas the opposite is true for more narrow and fine-grained outcome measures.

특성표현

Trait expression

상황판단시험(SJT)은 상황과 관련하여 성격을 측정할 수 있는 훨씬 더 많은 가능성을 제공한다.

Situational judgment tests (SJTs) offer even more possibilities for measuring personality in relation to situations.

새로운 개발은 사람들의 성격에 대한 지위를 유추하도록 설계된 SJT를 사용하는 것으로 구성된다(Motowidlo et al. 2006; Lievens and Motowidlo 2015). 그러한 SJT는 특정 성격 특성(예: 원만성)을 활성화한 다음, 그 만족도 면에서 다른 대응 옵션을 나열하는 상황을 제시한다. SJT의 기본 논리는 원만성에 높은 점수를 받은 사람일수록 주어진 상황에서 효과적인 (원만성) 반응이 무엇인지에 대해 보다 정확한 믿음(묵시적 특성 정책, Motowidlo et al. 2006)을 가지고 있기 때문에 다양한 옵션을 더 잘 구별할 수 있을 것이라는 것이다. 그러므로 암묵적 특성 정책은 그 맥락에서 효과적일 특성과 연결된 행동에 대한 절차적 지식을 포착한다.

A new development consists of using SJTs designed to infer people’s standing on personality (Motowidlo et al. 2006; Lievens and Motowidlo 2015). Such SJTs present a situation that activates a specific personality trait (e.g., agreeableness) and then lists response options that differ in terms of their level of agreeableness. The underlying logic is that people who score high on agreeableness will be better able to discriminate between the different options because they posses more accurate beliefs (referred to as implicit trait policies, Motowidlo et al. 2006), of what an effective agreeable reaction is in that given situation. Thus, implicit trait policies capture procedural knowledge about the behaviour linked to the trait that would be effective in that context.

의료 선택 연구에 대한 시사점

Implications for medical selection research

성격에 대한 타인-보고 및 암시적 성격 측정

Other-reports and implicit personality measures

다양한 상황에 걸쳐 목표물에 잘 아는 사람에 의해 누군가의 성격에 대한 타인의 보고들은 누군가의 명성을 밝혀준다. (호건과 셸턴 1998) 타인의 성격 보고는 일반적으로 자체 보고와 동일한 인벤토리를 통해서 얻어지며, 두 개의 메타 분석은 타인의 성격 보고가 유효하며 자기 보고의 예측 타당성를 실질적으로 더 높여준다는 것을 보여주었다(Connelly and Ones 2010; Oh et al. 2011). 위에서 검토한 증거는 스스로 보고된 성격이 환경적 우발상황과 사건에 대응하여 변할 수 있다는 것을 보여준다. 만약 개인의 자기 보고된 성격이 환경적 요인(예: 인생 사건, 시험 스트레스)과 관련하여 변화한다면, 문제는 잘 아는 동료들이 이것을 포착하여 목표 성격에 유사한 변화를 나타낼 수 있는지 또는 관찰자들에게 반드시 명백하지 않은 변화인지에 관한 것이다. 어떤 사람들은 그들의 성격과 관련된 행동의 변화를 관리할 수 있기 때문에 지인들은 그것을 이해하지 못하는 반면 다른 사람들은 그렇지 않을 수도 있다. 변화와 관련하여 개인에 대한 동료와 자기 보고 사이의 차이는 평판 및/또는 인상 관리 지표를 제공할 수 있다.

Other-reports of someone’s personality, by a person well acquainted to the target across a diversity of situations, sheds light on someone’s reputation (Hogan and Shelton 1998). Other-reports are typically obtained with the same inventories as self-reports and two meta-analyses showed that other-reports of personality are valid and substantially add incremental predictive validity over self-reports (Connelly and Ones 2010; Oh et al. 2011). The evidence reviewed above shows that self-reported personality can change in response to environmental contingencies and events. If an individual’s self-reported personality changes with respect to environmental factors (e.g., life events, exam stress), the question is whether their well acquainted peers are able to pick this up and indicate similar changes in the targets personality, or is the change not necessarily apparent to observers. It may be that some people are able to manage their expression of personality relevant behaviour change so acquaintances do not pick it up whereas others do not. Difference between peer and self-reports of personality, with respect to change, may provide an index of reputation and/or impression management.

성격에 대한 암묵적 척도와 명시적 척도의 중요한 차이점은 명시적 척도의 검사도구(예: NEO-PI)는 자신의 성격을 직접적으로 설명하도록 요구하는 반면, 전자는 누군가의 성격을 유추한다는 것이다. 예를 들어, 사람들은 연관성을 만들거나 문장을 완성하거나 그림을 배열하도록 요구 받고, 그들의 반응은 그들의 성격을 추론하는 데 사용된다(Uhlmann et al. 2012). 이중 시스템 프레임워크 내에서, 암묵적 측정은 직관적이고 빠른 처리를 하는 반면, 전통적인 명시적 측정은 느리고 숙의적인 처리를 평가한다(Strack and Deutsch 2004). 이처럼 암묵적·명확한 인성 대책이 서로 다른 과정을 두드리고 있다. 실제로 빅5의 암묵적 조치와 명시적 조치 사이의 연관성은 낮지만 일반적으로 신경증, 외향적 조치, 성실성 조치에 대해서는 가장 강력하다(그림과 폰 콜라니 2007; 슈무클 외 2008; 스테펜스와 코닉 2006; 비아넬로 외 2013 참조). 암묵적 성격 측정은 명시적 성격 측정치 이상에 추가적인 정보를 제공할 가능성이 있고, 자발적인 행동을 예측하며, 꾸며진 좋은 모습에 덜 취약하다.

The key difference between implicit and explicit measures of personality is that the latter inventories (e.g., NEO-PI) ask someone directly to describe their personality, whereas the former infer someone’s personality. For example, people are asked to make associations, complete sentences or arrange pictures and their responses are used to infer their personality (Uhlmann et al. 2012). Within a dual-system framework, implicit measures tap intuitive and fast processing, whereas traditional explicit measures assess slow and deliberative processing (Strack and Deutsch 2004). As such, implicit and explicit personality measures are tapping different processes. Indeed, the association between implicit and explicit measures of the Big 5 are low, but generally strongest for neuroticism, extraversion, and conscientiousness (see Grimm and von Collani 2007; Schmukle et al. 2008; Steffens and Konig 2006; Vianello et al. 2013). Implicit personality measurement has the potential to add extra information over and above explicit personality measures (Back et al. 2007; Lang et al. 2012; Uhlmann et al. 2012), predict spontaneous behaviours (Steffens and Konig 2006), and are less susceptible to faking good (Vecchione et al. 2014).

의료 선택 연구에 대한 시사점

Implications for medical selection research