Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)
Process and outcome evaluation of a CBME intervention guided by program theory
Deena M. Hamza PhD1 | Shelley Ross PhD2 | Ivy Oandasan MD, MHSc, CCFP, FCFP3,4

1 소개
1 INTRODUCTION

의료 시스템은 많은 요인의 산물이며, 최근 몇 년 동안 의료 교육은 중점 분야였다. 일부 증거는 현재의 훈련 방법이 복잡하고 다양하며 끊임없이 발전하는 지역사회의 요구를 충족시키는 치료를 제공할 수 있는 의사의 개발을 지원하기 위해 개선이 필요하다는 것을 시사한다. [1978년에 처음 도입된 역량 기반 의료 교육(CBME)]은 지난 10년 동안 의료 서비스 제공자의 교육 방식을 변형함으로써 의료 시스템의 현재 문제 중 일부를 해결할 수 있는 교육 접근법으로 다시 추진력을 되찾았다. CBME에 대한 많은 정의와 해석이 문헌에서 확인되었지만, CBME에 대한 우리의 논의는 다음과 같이 정의된다.

Health care systems are a product of many factors, and in recent years, medical education has been an area of focus.1-4 Some evidence suggests current training methods need improvement to support the development of physicians who are able to provide care that meets the needs of complex, diverse, and ever-evolving communities.1-4 Competency-based medical education (CBME), originally introduced in 1978, has regained momentum over the past decade as an educational approach that can address some of the current issues in health care systems by transforming the way that health care providers are trained.5, 6 While many definitions and interpretations of CBME have been identified in the literature, our discussion of CBME is defined as:

전 세계의 여러 보건 전문 교육 규제 기관이 CBME로의 전환을 의무화했지만, CBME가 모든 이해관계자에게 받아들여지는 것은 아니다. CBME의 가정은 증거를 뒷받침하는 확립된 교육 이론에 기초하지만, 보건 전문가 훈련 문헌에서 이러한 교육 전환의 잠재적 영향에 대한 비판적인 논쟁이 있었다. 핵심 논의 중 하나는 성과에 집중한다: CBME가 개선된 결과를 가져올지 여부를 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없을 때 CBME로의 전환과 관련된 인적 및 재정적 비용을 정당화할 수 있는가?
Although multiple health professions education regulatory bodies around the world have mandated a shift to CBME,6, 8 CBME is not accepted across all stakeholders.8-11 While the assumptions of CBME are based on established educational theory with supporting evidence,5, 12-15 there have been critical debates in the health professions training literature regarding the potential impact of this education transformation. One of the key debates centres on outcomes: how can we know whether CBME will result in improved outcomes, and can we justify the human and financial costs associated with a transition to CBME when there is no certainty of a better outcome?16-18

1.1 CBME와 같은 복잡한 교육 개입을 어떻게 평가할 수 있는가?
1.1 How can we evaluate a complex education intervention, such as CBME?

[구현implementation]은 [집단 행동의 새로운 패턴을 의도적으로 도입하거나, 기존의 패턴을 수정하는 것]으로 정의된다. 이러한 [집단행동의 패턴]은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되고, 변화된 결과로 이어지도록 의도된다. 새로운 교육 모델의 구현은 복잡하다. 왜냐하면 사람들이 [집단 행동을 촉진하고 원하는 결과를 이끌어내기] 위해, [자신과 타인을 어떻게 생각하고, 행동하고, 구성하는지]가 수정되어야 하기 때문이다. 여러 저자들은 CBME 채택에 영향을 미치는 장애물을 만드는 여러 수준의 승인과 함께 관련되어야 하는 다수의 이해관계자와 설정을 고려할 때 CBME 구현에 관련된 복잡성을 강조해왔다. 비평가들은 너무 자주 [변화 구현에 관련된 복잡성]이 단지 [CBME를 엄격하게 평가할 수 없는 이유]를 설명하는 [핑계]로 사용된다고 주장했다. 우리는 CBME의 프로세스와 결과 모두에 대한 신중한 평가가 필요하고 엄격하게 수행될 수 있으며, 지속적인 CBME 구현과 개선을 지원하는 유용한 정보를 산출할 수 있다고 제안한다.

Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action.19 These patterns of collective action are institutionally sanctioned, formally defined, consciously planned, and intended to lead to a changed outcome.19 Implementation of new education models is complex as it involves modifying how people think, act, and organize themselves and others to promote collective action, leading to desired outcomes.19 Several authors have highlighted the complexity involved in implementing CBME, given the multiple stakeholders and settings that must be involved, along with multiple levels of approvals creating obstacles affecting adoption of CBME.20-23 Critics have argued that all too often, the complexity involved in implementing change is used as an excuse to justify why CBME cannot be rigorously evaluated.6, 11, 24-26 We propose that deliberate evaluation of both the process and outcome of CBME is needed and can be done rigorously, yielding useful information in support of ongoing CBME implementation and improvement.

CBME가 '향상된' 졸업생을 낳는지에 대한 문헌 내 비판은 성과 평가를 통해 답할 수 있다. 성과 평가는 [프로그램의 진행 상황]과 [원하는 결과 달성 상태]를 살펴보고, 의도하지 않은 결과, 투자 수익률, 지식, 태도, 행동의 변화 등의 질문에 답한다. CBME에 대한 문학적인 대화는 주로 졸업생들의 개별 역량 형태의 성과에 초점을 맞추었지만, CBME의 구현을 제정하는 데 있어 [모범 사례best practice를 이해하는 것]은 결과를 측정하는 것만큼 중요하다. 즉, CBME가 구현되는 상황을 이해하고, CBME가 구현되는 방법을 평가하면 결과가 나타나는 이유에 대한 보다 완전한 이해를 제공할 것이다.

Criticism in the literature about whether CBME results in “improved” graduates can be answered through use of outcome evaluation.8-11, 16-18 Outcome evaluation examines the progress of the program and the status of accomplishing desired results and answers the questions such as unintended outcomes, return on investment, and changes in knowledge, attitudes, and behaviours.27, 28 While literary conversations about CBME have predominantly focused on outcomes in the form of the individual competence of graduates, understanding best practices in enacting the implementation of CBME is equally as important as measuring its outcomes. In other words, evaluating how CBME is implemented with an understanding of the context within which it is implemented will provide a more a fulsome understanding of why an outcome emerges.

[프로세스 평가]는 조직 변혁을 구현하는 과정에서의 [사회적 프로세스와 메커니즘]을 탐색하고, 전향적으로prospectively 변화와 관련된 [성과 평가에 대한 다리]를 이끌어낸다. 프로세스 평가 질문은 CBME 구현 전반에 걸쳐 다음과 같은 질문과 함께 질문할 수 있다:

• CBME 활동을 구현하기 위한 장벽/촉진자는 무엇인가,
• 달성된 것은 무엇인가,
• CBME 변환의 영향을 받는 사람은 누구인가.

긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 미래에 사용하기 위해 더 많은 정보를 도출할 수 있다.

Process evaluation explores social processes and mechanisms during the implementation of an organizational transformation and prospectively draws a bridge to the evaluation of outcomes associated with the change.29, 30 Process evaluation questions can be asked throughout the implementation of CBME with questions such as the following:

• what are the barriers/facilitators to implementing CBME activities;
• what has been accomplished; and
• who is being impacted by the CBME transformation.27 

By understanding factors that influence outcomes, whether positive or negative, more information can be derived for use in the future.

CBME의 구현은 상황에 따라 매우 다르다. 한 컨텍스트에서 작동한 CBME 개입을 적용하는 것은 다른 컨텍스트에서 실행 가능하거나 실행 가능하지 않을 수 있습니다. 그러나, [프로세스와 성과] 모두의 평가가 구현과 함께 계획된다면, 다른 사람들에 의한 기술혁신의 성공적인 채택이 더 가능성이 높을 수 있다. 이런 유형의 평가가 없다면, 상황별 메커니즘과 프로세스에 대한 정보가 부족하다. 이에 따른 리스크는 미래의 구현자가 조직 변혁의 "종교적 컬트" 문제에 빠질 수 있다는 것이다. 즉, 구현 프로세스가 "실행" 프로토콜을 준수하도록 축소되는 것이다. 하지만 [원래의 맥락에서 관찰된 결과를 뒷받침하는 필수적인 메커니즘과 프로세스]가 결여되어있기에, 구체성은 결여된 표면적인 모방만을 초래한다. 구현과 관련된 "방법"과 "이유" 질문을 알지 못하면, 구현자는 예상 결과에 영향을 미치는 필수 가능 요소 또는 장벽에 대한 유용한 정보에 접근할 수 없을 수 있다. 또한 영향 요인이 항목별 프로토콜에 포함되지 않는 경우 자체 컨텍스트에서 구현을 수행하는 방법을 모를 수 있다.

The implementation of CBME is very context dependent. Adapting a CBME intervention that worked in one context may or may not be feasible in another. However, successful uptake of an innovation by others may be more likely if evaluation of both processes and outcomes are planned alongside implementation.29, 31 Without this type of evaluation, information about contextual mechanisms and processes are lacking, and therefore, the risk is that future implementers may fall into the “cargo cult” problem of organizational transformation whereby the process of implementation is reduced to adherence to a “checklist” protocol, but essential mechanisms and processes that supported the outcomes observed in the original context are lacking, resulting in a superficial imitation lacking specificity.32 Without knowing the “how” and “why” questions related to implementation, implementers may not have access to useful information about the necessary enablers or barriers that impact anticipated outcomes. They also may not know how to carry out implementation in their own contexts if influencing factors are not included within itemized protocols.29, 31, 33

1.2 이론 기반 평가
1.2 Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 의료 이니셔티브를 평가하는 데 사용되는 것과 같은 [이론 기반 평가 접근법]이 CBME에 사용될 수 있다고 제안한다. [이론 기반 평가]는 [프로그램 이론(변화 이론이라고도 함)의 개발]에서 시작되며, 프로그램 이론(변화 이론)은 [변환 또는 개입이 해결할 것으로 예상되는 문제]와 [이 변화(이 경우 CBME로의 전환)가 어떤 식으로 성공할 것인지에 대한 예상]을 명확하게 정의한다. 프로그램 이론은 [변화나 개입의 의도된 영향]을 정의한 다음, 영향을 미칠 것으로 예상되는 [단기 및 장기 성과의 연쇄]에 기여하는 요소들을 체계적으로 매핑한다. [프로그램 이론]과 함께 [단기 및 장기 성과에 대한 설명]을 포함하여 [CBME 구현과 관련된 활동을 설명하는 논리 모델]이 있어야 한다. 프로세스와 구현 결과에 영향을 미치는 기여 요인은 CBME 결과의 가정/가설을 포함한 논리 모델에서 식별되어야 한다. 
This paper proposes that theory-based evaluation approaches, such as those used in evaluating complex community-based social and health care initiatives,34-38 can be used for CBME. Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 The program theory defines intended impacts of a change or intervention and then systematically maps factors that contribute to a chain of short- and long-term outcomes that are expected to have impact.41, 43-45 Accompanying the program theory should be a logic model, illustrating the activities involved in CBME implementation including a description of short- and long-term outcomes.46-49 Contributory factors that influence the process and the outcome of implementation should be identified in the logic model including assumptions/hypotheses of the results of CBME.50, 51

[프로그램 이론]은 [입력, 프로세스, 결과 및 영향]을 의도적으로 탐색할 수 있는 [프로그램 평가 계획의 개발을 위한 지침]역할을 한다. 본 논문에서 정의된 바와 같이 [프로세스 및 결과 평가]에서 도출된 findings는 [지속적인 개선을 위한 주기적인 기회]를 설정하며, [예상anticipated 프로그램 이론과 프로세스 및 결과를 향상]시킨다. CBME와 관련된 사람들의 경우, 여기에는 다음 두 가지의 평가에 영향을 미치는 요소를 이해하는 것이 포함된다. 

• 구현의 충실도 (즉, [제정된 프로그램]이 [구상된 프로그램]과 유사합니까?)
• 구현의 완결성 (예: WBA가 상세하고 실행 가능한 품질 피드백을 제공합니까?)

이러한 유형의 평가에서 얻은 결과는 최상의 CBME 구현 접근법에 대한 이해를 높이고 성공을 저해하거나 촉진할 수 있는 고려 요소를 강조할 수 있다.

The program theory acts as a guide for the development of a program evaluation plan that can intentionally explore inputs, processes, outcomes, and impact. The findings from a process and outcome evaluation, as defined in this paper, sets up a cyclical opportunity for ongoing improvement, enhancing the anticipated program theory and its process and outcomes.52-54 For those involved in CBME, this includes understanding elements influencing the process of evaluating the 

• fidelity (ie, does the program as enacted look like the program as conceived?) of implementation, as well as its 
• integrity (eg, do workplace-based assessments provide quality feedback that are detailed and actionable?).29, 54-56 

Findings from this type of evaluation can enhance our understanding of the best CBME implementation approaches and highlight factors for consideration that may impede or facilitate its success.

1.3 작업 예: 트리플 C 역량 기반 커리큘럼(트리플 C)
1.3 Worked example: Triple C Competency-based Curriculum (Triple C)

[프로세스 및 결과 평가]와 [명확하게 정의된 프로그램 이론] 사이의 연결고리는 [작업 사례worked example]를 통해 가장 잘 이해할 수 있을 것이다. 실행된 예는 결과와 프로세스 모두에 초점을 맞춘 최종적인 해결책에 도달하기 위한 문제와 문제 해결 접근 방식을 설명합니다. 프로세스 지향 작업 예제는 특정 단계를 "어떻게" 및 "왜"했는지에 대한 명시적인 설명을 제공하는 데 중점을 두고 있으며, 이러한 단계가 관찰된 솔루션에 어떻게 기여했는지 설명하는 데 도움이 될 수 있습니다. 여기, 우리는 구현과 동시에 수행된 이론 기반 프로그램 평가의 캐나다 가정의학 상주 훈련의 작업 예를 제시한다. 프로그램 이론과 평가 사이의 연관성을 설명하는 것 외에도, 이 작업 예는 프로그램 이론의 정기적인 업데이트를 지원하기 위한 발견을 발견하는 것이 어떻게 지속적인 프로그램 개선을 촉진할 수 있는지를 보여준다. 마지막으로, 이 작업 예는 CBME 혁신 또는 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하려는 개인을 위한 템플릿으로 작용할 수 있다. 

The links between process and outcome evaluation and a clearly defined program theory can best be understood by looking at a worked example. Worked examples describe a problem and the problem-solving approach to arrive at a final solution with a focus on both the outcome and the process.57-61 Process-oriented worked examples centre on providing an explicit explanation of “how” and “why” certain steps were taken and/or can help explain how they may have contributed to an observed solution.57-61 Here, we present a worked example from Canadian family medicine residency training of a theory-based program evaluation carried out concurrently with implementation. In addition to illustrating the connections between program theory and evaluation, this worked example shows how uncovering findings to support regular updating of a program theory can facilitate ongoing continuous program improvement. Finally, this worked example can act as a template for individuals looking to design program evaluation for their CBME innovations or other curriculum reforms.

1.4 배경
1.4 Background

캐나다 가정의학회(CFPC)는 캐나다의 가정의학을 인증하는 학회이다. 2010년, CFPC는 CBME의 핵심 구성요소와 일치하도록 국가 가정의학 레지던트 교육 커리큘럼과 평가 지침을 변경했다.62 CFPC의 CBME 버전은 트리플 C 역량 기반 커리큘럼(Triple C)이라고 불린다. 트리플 C에 대한 자세한 설명은 트리플 C 역량 기반 커리큘럼 보고서 1과 2에서 확인할 수 있습니다. 
The College of Family Physicians of Canada (CFPC) is the accrediting and certifying body for the discipline of family medicine in Canada. In 2010, the CFPC transformed their national family medicine residency education curriculum and assessment guidelines to align with the core components of CBME.62 The CFPC's version of CBME is called the Triple C Competency-based Curriculum (Triple C). A detailed description of Triple C can be found in the Triple C Competency-based Curriculum Reports 1 and 2.63, 64

1.5 프로그램 평가 접근방식 요약
1.5 Summary of program evaluation approach

트리플 C의 프로그램 이론의 개발은 처음에 다음과 같은 사회적 책임 접근법을 사용하여 가정의학과 레지던트 교육을 어떻게 개선해야 하는지를 확인하는 데 초점을 맞췄다. "커뮤니티, 지역 및/또는 국가(캐나다)의 우선적인 건강 문제를 해결합니다." CFPC는 서로 다른 이해관계자들과 상의하여 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 2010년부터 캐나다에서 전국적으로 시행될 가정의학 레지던트 교육 개혁을 정의하기 위해 학계와 합의된 구축 접근법을 사용했다. CFPC는 아직 트리플 C를 인증 표준에 통합하지 않았기 때문에, 전공의 프로그램에 대한 가이드로 트리플 C를 제공했다. 63 프로그램 평가 계획에 포착된 프로그램 이론을 알릴 수 있는 적응이 발생하고 학습이 생성될 것으로 예상되었으며, 이는 가정의학의 교육과정 개편을 더욱 촉진시킬 것이다. 그림 1은 트리플 C의 원래 [프로그램 이론]을 보여준다. 트리플 C는 가정의사가 제공하는 의료 서비스의 접근성 및 품질 개선이라는 장기적 목표에 도달하기 위해 의료 교육의 질을 개선하는 데 중점을 둔다.

The development of the program theory of Triple C initially focused on identifying how family medicine residency education should be improved by using a social accountability approach to: “address the priority health concerns of the community, region, and/or nation (Canada).”65 The CFPC consulted with different stakeholders conducted data reviews, and through expert working groups, used a consensus building approach with the academic community to define the family medicine residency education reform to be implemented nationally in Canada from 2010 onwards.63 CFPC offered Triple C as a guide for use by residency programs as the CFPC had not yet incorporated Triple C into accreditation standards.63 It was anticipated that adaptation would occur and learnings would be generated that could inform the program theory captured in the program evaluation plan, which would further enhance family medicine's curriculum reform. Figure 1 illustrates the original program theory of Triple C, which is centred on improving the quality of medical education to reach a long-term goal of increased access to and improved quality of care provided by family physicians.

이론 기반 평가는 논리 모델을 사용하여 주요 활동을 설명하고 다양한 CBME 이해관계자에게 특정한 예상 장단기 결과를 포함한다. 그림 2는 가정의학과 거주자, 졸업생, 교수진, 전반적인 학문 분야 및 인증 기관으로서의 CFPC에 대해 가정한 결과를 가진 CFPC의 [논리 모델]을 설명한다. (그림 2)
Theory-based evaluations use a logic model to describe key activities and include anticipated short- and long-term outcomes specific to various CBME stakeholders. Figure 2 describes the CFPC's logic model with outcomes hypothesized for family medicine residents, graduates, faculty, the overall discipline, and the CFPC as the accrediting body. (Figure 2)

[논리 모델(그림 2)]은 [데이터 수집 기회를 식별하기 위한 지도] 역할을 했으며, 이는 프로세스와 예상 결과 모두를 평가하는 8개 영역을 포함하는 평가 계획에 통합되었다(그림 3). 연구 결과는 CFPC의 다음 반복적인 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었다. 학습된 교훈은 실제 경험을 바탕으로 한 독창적인 프로그램 이론을 강화한다.
The logic model (Figure 2) acted as a map to identify opportunities for data collection, which would be incorporated into the evaluation plan that included eight areas of focus evaluating both process and anticipated outcomes (Figure 3). Findings have been used to refine and revise the CFPC's next iterative cycle of curriculum renewal. Learned lessons enhance the original program theory based upon lived experience.

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 Program evaluation: Testing assumptions and revising the original program theory

표 1에서, 우리는 [원래의 트리플 C 프로그램 이론]을 사용한 [이론 주도의 프로그램 평가 계획]과 수집된 데이터를 기반으로 한 후속 업데이트의 과정을 설명한다. 데이터 원본은 추가 정보에 관심이 있는 사람들을 위해 공유된 참조와 함께 나열됩니다. 이러한 가정들의 프로그램 평가를 위한 원래의 프로그램 이론과 데이터 소스의 가정은 평가 결과의 몇 가지 예와 결과적인 원래의 프로그램 이론에 대한 후속 개선사항과 함께 아래에 제시되어 있다. 우리는 이것이 트리플 C의 전체 평가에 포함된 모든 평가 영역의 완전한 목록이 아니라 특정 단기 결과에 초점을 맞춘 예시적인 사례라는 것을 강조하고 싶다.

In Table 1, we illustrate the process of a theory-led program evaluation plan using the original Triple C program theory and subsequent updating based on data collected. The data sources are listed with references shared for those interested in more information. Assumptions from the original program theory and the data source(s) for program evaluation of those assumptions are presented below, along with some examples of evaluation findings and the subsequent refinements to the original program theory that resulted. We do wish to emphasize that this is an illustrative example focusing on specific short-term outcomes, and not an exhaustive list of all areas of evaluation included in the full evaluation of the Triple C.

• 가정 1.CFPC가
  [정책(인정 및 인증 기준)을 통한 가정의학과 레지던트 교육에 대한 CBME 접근방식의 발전]과,
  [레지던트 프로그램에 제공되는 변화 관리 지원]을 통해
  [캐나다 전역에서 트리플 C의 성공적인 채택]을 가능하게 할 것이다.
  
• Assumption 1.The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

전공의 프로그램 구현 프로파일(RPIP, 프로그램 감독에 의한 자체 보고서 조사 완료)의 결과, 모든 프로그램이 트리플 C를 구현했지만 시기는 다양했습니다. 일부 얼리 어답터들은 이 훈련 모델을 도입한 지 1~2년 이내에 트리플 C의 대부분의 핵심 요소를 갖추었고, 다른 프로그램들은 트리플 C를 구현하는 데 몇 년이 더 걸렸다. 트리플 C의 질적 이해와 평가 연구에서 나온 연구 결과는 트리플 C의 흡수에 영향을 준 요인과 관련된 더 많은 정보를 발견했다. 트리플 C의 초기 채택자들은 CFPC가 가이드 제공을 통해 트리플 C에 대한 지원을 제공하고 프로그램 경험과 교훈을 공유할 수 있는 기회를 제공하는 데 도움이 되었다고 보고하였다. CFPC가 2000년부터 2010년까지 가정의학과 프로그램 이사 및 의장과 협업한 [공동 창작co-creation 접근 방식]도 수용도를 높이는 데 도움이 되었다. 초기 채택자들은 CFPC가 적절한 지원을 제공했다고 느꼈지만, 후기 채택자들은 특히 트리플 C의 공동 제작에 관여하지 않은 새로운 프로그램 리더들과 함께 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 생각했다.

Findings from the Residency Program Implementation Profile (RPIP, self-report survey completed by program directors) indicated that all had implemented Triple C across their programs but timing varied.66 Some early adopters had most core elements of Triple C in place within a year or two of the introduction of this training model, while other programs took several more years to implement Triple C.66 Findings from the Qualitative Understanding and Evaluation Study of Triple C (QUEST, qualitative study carried out in 2016 examining experiences of Program Directors, Department Chairs, administrative support personnel, postgraduate Deans, and residents through semi-structured interviews and focus groups) uncovered more information related to factors that influenced uptake of Triple C.67 Early adopters of Triple C reported that the CFPC was helpful in providing support for Triple C through the provision of guides, as well as facilitating opportunities for the sharing of program experiences and lessons learned.66, 68 The co-creation approach taken by the CFPC, collaborating with family medicine program directors and chairs from 2000 to 2010,63, 66, 69 also helped increase uptake. While early adopters felt that the CFPC provided adequate support, late adopters, particularly with new program leaders who were not involved in the co-creation of Triple C, felt that the CFPC should have provided more directive and on-going support.66, 68

1.7 원래 프로그램 이론의 업데이트
1.7 Updating the original program theory

가정 1에서는 CFPC 정책과 변경 관리 지원이 트리플 C(Triple C)의 도입을 촉진할 것이라는 가설을 세웠다. 다만 2017년 표준이 발표되기 전부터 인가 변경 예상은 변화를 가능케 하기에 충분했다. 이 연구결과는 [프로그램 개발에 대한 이해관계자의 참여(특히 리더십의 참여)]가 구현을 촉진하는 데 도움이 되었음을 시사한다. CFPC의 가이드와 프로그램 간 초기 공유는 유용했지만, 나중에 CFPC가 더 많은 것을 할 수 있었을 것이라고 생각했다. [리더십 전환shift]을 지원하기 위한 효과적인 커뮤니케이션 및 종방향 변화 관리 전략은 향후 사용을 위한 핵심 학습입니다.

In Assumption 1, it was hypothesized that CFPC policies and change management support would facilitate Triple C uptake. However, the anticipation of accreditation changes even before the standards were released in 2017 was enough to enable change. The findings suggest that stakeholder involvement in the development of Triple C, especially program leadership, helped to facilitate implementation. The CFPC's guides and early sharing across programs were useful, but later adopters who were not as involved felt the CFPC could have done more. Effective communication and longitudinal change management strategies to support leadership shifts are a key learning for future use.

RPIP의 연구 결과는 트리플 C의 시행 시기가 캐나다의 10개 주와 교육 현장에 걸쳐 위치한 17개 대학 기반 프로그램에 걸쳐 크게 다르다는 것을 보여주었다. 결국 흡수가 확인되었지만, 시간 변동성이 관심 포인트였다. 가정의학 종방향 조사의 결과는 대다수의 전공의가 트리플 C에 특화된 역량 기반 프로그램 평가 요소뿐만 아니라 가정의학을 중심으로 한 포괄적이고 지속적인 관리 경험을 경험했다는 것을 확인하였다. (FMLS 2010-2017, 캐나다의 16개 가정의학 프로그램에 걸쳐 레지던트 출입 시 가정의학과 레지던트를 대상으로 실시한 자가 보고서 조사) 

Findings from the RPIP indicated that the timing of Triple C implementation varied greatly across the 17 university-based programs situated across 10 provinces in Canada and across teaching sites.66 Although eventual uptake was identified, the time variability was a point of interest. Findings from the Family Medicine Longitudinal Survey (FMLS 2010-2017, self-report survey administered to family medicine residents at entry to and at exit from residency across 16 family medicine programs in Canada) identified that the majority of residents had experienced comprehensive and continuity of care experiences centred in family medicine as well as competency-based programmatic assessment elements specific to Triple C.66, 70 

QUEST 연구는 지지적 행정 인프라, 효과적인 의사소통 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)과 이해관계자(예: 대학원 학장 및 보건부)와 협의적 접근에 참여한 프로그램이 Triple C 전환이 더 원활하다고 보고했다. 인증 검토 및 훈련 현장의 확장을 동시에 겪고 있는 사람들은 기존의 자금 지원과 리더십 지원을 활용하여 트리플 C로 전환하는 데 필요한 변화 사항을 포함할 수 있었다. 트리플 C의 핵심 구성 요소에 대한 서로 다른 해석이나 정의와 같은 특정 요인들은 구현에 어려움을 유발했다. 트리플 C의 발전에 관련된 모든 사람들 사이의 [일관된 공유 정신 모델]은 관리자, 프로그램 조언자, 커리큘럼 설계자 및 대학원 학장과 같은 이해관계자 간의 지속적인 의사소통과 협력을 통해 개발되었다. 이러한 [공유된 정신 모델]은 구현을 추진하고 지원하며, 수용을 촉진하는 데 도움이 되었습니다. 또한, 가정의학과 레지던트들을 지도하는 모든 지도교사에 대한 교수진 개발은 주의를 요하는 분야로 일방적으로 파악되었다.

The QUEST study reported that programs with supportive administrative infrastructures, effective communication networks, protected resources (eg, human and financial capital and time), and who had engaged in consultative approaches with stakeholders (eg, postgraduate deans and ministries of health) had smoother Triple C transitions.66, 68 Those who were simultaneously undergoing accreditation reviews and/or expansion of training sites were able to include changes needed to transition to Triple C, capitalizing on pre-existing funding and leadership support.66, 68 Certain factors challenged implementation, such as differing interpretations or definitions of the core components of Triple C.66, 68 Consistent shared mental models amongst all those involved in advancing Triple C were developed through ongoing communication and collaboration between stakeholders such as administrators, program advisors, curriculum designers, and postgraduate deans. These shared mental models helped to drive and support implementation66, 68 and facilitated uptake. Additionally, faculty development for all preceptors coaching family medicine residents was identified unilaterally as an area requiring attention.66, 68

1.8 원래 프로그램 이론의 업데이트
1.8 Updating the original program theory

RPIP와 FMLS의 연구 결과는 프로그램이 트리플 C를 구현했음을 확인하였다. 두 번째 가정은 외부 및 내부 요인이 트리플 C의 채택에 영향을 미칠 것이라는 점에 주목했지만 많은 세부 사항을 제공하지 않았다. 모든 프로그램이 트리플 C를 구현했지만, 시간과 관련된 변동성은 QUEST 연구를 통해 더욱 이해되었다. 이에 따라 CFPC는 지방정부와 대외정책이 전공의 교육과 전공의 교육 개혁에 어떤 영향을 미치는지, 또 어떤 방식으로 영향을 미치는지 가장 잘 이해할 수 있는 방법을 고민하게 되었다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에 CFPC는 이러한 [외부 영향]을 보다 완전하게 연구할 수 있는 방법을 적극적으로 모색하고 있다. 도입uptake에 영향을 미치는 [내부 요인] 측면에서는, 기존 개혁 프로세스와 인가 검토, 신규 자원을 활용해 트리플 C를 내장한 프로그램이 어떻게 더 쉽게 전환되는지 들어볼 수 있어 흥미로웠다. 이를 통해 변경 촉진 요인에 대한 새로운 통찰력을 얻을 수 있습니다.

Findings from the RPIP and from the FMLS identified that programs had implemented Triple C. The second assumption noted that both external and internal factors would influence the uptake of Triple C but it did not offer many specifics. Although all programs implemented Triple C, the variability related to time was further understood from the QUEST study. This has prompted the CFPC to consider how best to understand how and if provincial governments and external policies influence residency education and residency education reform. Because of the lack of information that was gathered in the program evaluation about this issue, the CFPC is actively exploring how to study these external influences more fully. In terms of the internal factors influencing uptake, it was interesting to hear how programs that took advantage of existing reform processes, accreditation reviews, and new resources to embed Triple C transitioned more easily. This offers new insight on change facilitators.

FMLS 결과: 교육 프로그램을 마친 후 트리플 C 비전을 반영한 학습 및 실습 경험이 증가했다고 보고했습니다. 또한 연구 결과는 프로그램과 CFPC가 해결해야 할 학습 및 실습 경험의 몇 가지 차이를 나타냈다. 
Findings from the FMLS: Residents reported an increase in learning and practice experiences reflecting the Triple C vision after completing their training program.66 Findings also indicated a few gaps in learning and practice experiences to be addressed by programs and the CFPC.66

National Physician Survey(NPS 2010, 범캐나다 자체 보고서 조사)에서 얻은 연구 결과. 가족 의사의 진료 범위에 특정한 질문이 트리플 C 이전 대조군으로 사용되었다. NPS는 트리플 C 이전 코호트와 트리플 C 이후 코호트를 비교함으로써 여러 임상 영역 및 환경에서 포괄적 치료를 시행하려는 거주자의 의사가 상당히 증가했음을 보여주었다. 거주자의 응답은 또한 특정 임상 영역 및 환경에서 실습하려는 의도의 감소를 보여 주었으며, 이는 이러한 발견을 추진하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 유발했다.

Findings from the National Physician Survey (NPS 2010, Pan-Canadian self-report survey administered to physicians in practice. Questions specific to scope of practice of family physicians were used as pre-Triple C controls): the NPS illustrated a significant increase in residents' intention to practice comprehensive care in multiple clinical domains and settings by comparing pre- and post-Triple C cohorts.66, 70 Responses from residents also illustrated decreased intentions to practice in certain clinical domains and settings,66, 70 which has prompted the need for additional evaluation and research to understand factors that drive these findings.

1.9 원래 프로그램 이론 업데이트
1.9 Updating the original program theory

시간이 지남에 따라 FMLS 결과를 프로그램에 다시 공유하는 것이 트리플 C의 구현에 도움이 된다는 것은 구현과 동시에 실행되어야 하는 프로그램 평가의 필요성을 강화시켰다. 초기 프로그램 평가 계획은 CFPC가 트리플 C에 대해 무엇이 효과가 있고, 무엇이 안 되고, 무엇이 바뀌어야 하는지를 이해하도록 돕기 위해 개발되었지만, 프로그램 평가 데이터는 커리큘럼과 평가의 지역 개선을 수행하는 프로그램에도 매우 유익하다는 것이 일찍부터 분명했다.

The demonstration over time that sharing FMLS results back to programs was helpful in implementation of Triple C reinforced the need for program evaluation to run concurrently with implementation. While the initial program evaluation plan was developed to help the CFPC to understand what worked, what did not, and what needed to be changed about Triple C, it was evident early on that the program evaluation data were also immensely beneficial to programs in carrying out local improvement of their curriculum and assessment.

2 고찰
2 DISCUSSION

CBME 구현의 작업 사례로 트리플 C 역량 기반 커리큘럼을 사용하여 [프로세스와 결과]를 모두 살펴보는 [이론 기반 평가]를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했다.

• 이 과정은 도전이나 문제를 파악하는 것에서 시작한다. 그리고 공동체의 필요와 자산, 도전이나 문제에 대응하기 위한 전략, 전략을 원하는 결과나 결과에 연결하는 가정을 결정한다.
• 사회적 요구와 같은 문제 및 결과에 영향을 미칠 수 있는 영향 요인들은 또한 독창적인 프로그램 이론의 개발에서 확인된다.
• 일단 프로그램 이론이 개발되면, CBME의 구현을 지원하기 위한 입력과 활동, 구현의 제정 과정, 그리고 이러한 초기 투자가 어떻게 장단기적인 결과로 이어질 것으로 예상되는지 등 로직 모델에 포함되어야 할 특징들이 명백해진다.
• 우리는 또한 프로그램 이론과 로직 모델이, 어떻게 의료 교육에서 새로운 훈련 모델을 구현하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해, 평가 방법론과 데이터 수집 방법의 선택을 가이드할 수 있는지 보여주었다.

Using the Triple C Competency-based Curriculum as a worked example of CBME implementation, we have demonstrated how to develop and update a program theory through theory-based evaluation that looks at both processes and outcomes.

• This process begins by
  • identifying the challenge or problem,
  • determining
    • the needs and assets of the community,
    • strategies to counter the challenge or problem, and
    • the assumptions
  • that are held that link the strategies to the desired outcomes or results.
• Influential factors that may impact the problem and outcomes, such as societal needs, are also identified in the development of an original program theory.
• Once the program theory is developed, the features that should be included in a logic model become evident, such as
  • inputs and activities to support implementation of CBME,
  • process of enacting implementation, and
  • how these initial investments are anticipated to lead to short- and long-term outcomes.
• We have also illustrated how a program theory and logic model can guide the selection of evaluation methodologies and data collection methods to effectively answer questions about the process and outcomes of implementing new training models in medical education.

우리는 우리의 작업 예에서 프로그램 평가 과정의 몇 가지 예를 제시했지만, 우리는 또한 우리의 연구에서 나타난 발견들이 어떻게 해석되고 레지던트 프로그램 구현을 위한 추가적인 개선을 위해 사용될 수 있는지 탐구했다. CFPC가 프로그램 평가를 구현과 함께 사용하여 커리큘럼 구현과 개혁을 지속적으로 알리는 "수집과 행동"을 모델링하는 것은 캐나다의 가정의학과 레지던트 프로그램에 여러 가지 이점을 가져왔다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 지속적인 거주 교육 개선을 추진하는 데 중요한 역할을 할 수 있다는 것은 분명하다. 참여자(즉, 교수, 교사, 관리자 및 주민)가 트리플 C의 성장을 뒷받침하는 실질적인 증거를 가지고 있었기 때문에 모델링 수집과 행동은 평가와 연구에 참여를 장려했다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 추진하는 데 중요한 역할을 했다.

While we have presented some examples of the program evaluation process in our worked example, we have also explored how the findings that emerged from our study could be interpreted and used for further improvements for residency program implementation. The CFPC's use of a program evaluation alongside implementation, modelling “collection and action” that uses data on an ongoing basis to inform curriculum implementation and reform, has had multiple benefits to family medicine residency programs in Canada. It is clear that the process and outcomes of a well-designed evaluation can play a significant role in driving ongoing change and ongoing residency education improvement. Modelling collection and action encouraged engagement in evaluation and research since participants (ie, faculty, teachers, administrators, and residents) had tangible evidence that their efforts supported the growth of Triple C. The outcomes of the program evaluation played a significant role in driving change to improve the future of this discipline.

3 결론
3 CONCLUSION

이러한 CBME 교육 혁신에서 수행된 것과 같이 의도적으로 변화와 평가를 결합하면 새로운 혁신을 구현하고 경험한 사람들의 경험에서 귀중한 정보를 얻을 수 있습니다. "현장에서 나온from the field" 연구 결과는 [사회적 프로세스와 메커니즘이 프로그램이 경험되고 구현되는 방식]과 이러한 [숨겨진 요인의 결과로 결과가 어떻게 다를 수 있는지]에 중요한 역할을 한다는 개념을 강화한다. 또한 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 수 있을 뿐만 아니라 학습된 교훈을 조명하고 자원의 효과적이고 효율적인 사용을 지원함으로써 향후 구현을 안내할 수 있다. 평가와 업데이트된 프로그램 이론의 개발은 또한 발견을 기반으로 하는 [새로운 변화와 이론]의 도입을 촉진하는데, 이는 '바퀴의 재창조'가 아닌 [누적적 과학cumulative science]에 기여하려는 소기의 목표를 뒷받침한다.

Deliberately pairing evaluation alongside change—such as was done in this CBME education transformation—yields invaluable information from the experiences of those implementing and experiencing a new innovation. Findings “from the field” reinforce the notion that social processes and mechanisms play a significant role in the ways in which a program is experienced and implemented and in how outcomes may differ as a result of these otherwise hidden factors. In addition, findings from program evaluation can support the improvement of current processes, as well as guide future implementation by shedding light on lessons learned and supporting effective and efficient use of resources. Evaluation and the development of an updated program theory also facilitate the introduction of new changes and theories that build on findings, which supports the desired goal of contributing to cumulative science rather than “reinventing the wheel.”

향후 연구는 시간에 따른 변화를 주도, 지지 및 도전하는 요인의 추세를 식별하기 위해 진행 중인 종적 평가의 이점을 얻을 수 있으며, 이러한 요인들이 시간에 따라 변화하는지 여부, 방법 및 이유를 파악할 수 있다.

Future studies may benefit from ongoing longitudinal evaluation to identify trends in factors that drive, support, and/or challenge change over time and if, how, and why these factors shift over time.

Process and outcome evaluation of a CBME intervention guided by program theory

PMID: 31927788

PMCID: PMC7496603

DOI: 10.1111/jep.13344

Abstract

© 2020 The Authors. Journal of Evaluation in Clinical Practice published by John Wiley & Sons Ltd.

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

• (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
• 이어서 실제 구현에 대한 정보를 수집합니다.
• 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
• 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
• 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

• the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
• This is followed by collection of information about the actual implementation.
• These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
• Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
• The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.

중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

• outcome competencies,
• sequenced progression,
• tailored learning experiences,
• competency-focused instruction, and
• programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.

목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

• CBME 리드 위임(2015년 5월)
• 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
• 학술자문위임 및 교육(2017년 1월 ~ 6월)
• 역량위원회 발전(2017년 9월~2018년 6월 분기별)
• 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
• 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)
  
  
• CBME lead delegation (May 2015)
• Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
• Academic advisors delegation and training (January to June 2017)
• Competence committee development (quarterly September 2017 to June 2018)
• Program administrator training (twice annually September 2015 to May 2017)
• Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

• EM 그랜드 라운드:
  
• EM 부서 회의 프레젠테이션:
  
• 실무 교수진 육성 워크숍(2017년 5월):
  
• 구현 후 교수진 개발:
  
  
• EM grand rounds:
• EM department meeting presentations:
• Practical faculty development workshops (May 2017):
• Post-implementation faculty development:

전공의 전환 Resident transition

• 전공의 CBME 리드 대표단(2017년 1월)
  
• 전공의 실무 훈련교육(2017년 5월):
  
• 구현 후 전공의 교육:
• Resident CBME lead delegation (January 2017)
• Practical resident training sessions (May 2017):
• Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.

우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.

프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

• 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
• 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

• Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change

CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.

유토피아에서 디스토피아까지: CBME의 러닝 애널리틱스에서 과정을 기록하기(Acad Med, 2021)
From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education
Brent Thoma, MD, MA, MSc, Rachel H. Ellaway, PhD, and Teresa M. Chan, MD, MHPE

역량 기반 의료 교육(CBME)으로의 전환은 중요한 과제를 제시할 수 있다. 이러한 전환은 단순히 새로운 용어에 익숙해지는 문제가 아닙니다. CBME는 평가 관행과 절차의 복잡성과 부담을 상당히 증가시킨다. CBME 이전 시대의 평가는 종종 로테이션당 연수생당 1~2개의 평가를 생성하지만, 특히 신뢰할 수 있는 전문 활동(EPA)을 중심으로 구성된 CBME 프로그램은 종종 모든 연수생에 대해 주간 평가를 생성한다. 5

The transition to competency-based medical education (CBME) can present significant challenges. 1–3 This transition is not just a matter of getting used to new terminology. CBME substantially increases the complexity and burden of assessment practices and procedures. 4,5 While assessment in the pre-CBME era often generated 1 or 2 assessments per trainee per rotation, CBME programs, particularly those structured around entrustable professional activities (EPAs), often generate multiple weekly assessments for every trainee. 5

CBME를 성공적으로 구현하려면 평가 데이터 사용에 있어 시스템 수준의 변화가 필요하다. [전자 추적 시스템]이 구축되었고, EPA 기반 평가 데이터의 증가된 양을 검토하기 위한 [역량 위원회]가 구성되었으며, 이러한 이질적이고 종단적인 데이터 세트에 새로운 [프로그램적 평가 이론]이 적용되었으며, 이는 다시 우리가 그것으로부터 [도출하는 추론]을 변화시켰다. 이 접근법은 데이터를 집계하고 연습생 진도를 모델링하기 위해 사용하지만, 실제로 이러한 데이터를 어떻게 통합, 분석 및 시각화해야 하는지 잘 확립되어 있지 않다. 2 [단순한 선형 접근법]으로 디폴트하면, 미묘한 데이터를 환원주의적 경향으로 축소할 위험이 있으며, 서사적 피드백 또는 기타 더 정교한 모델링 및 분석의 장점을 무효화한다. 연수생 성과에 대한 균형 있고 통찰력 있는 관점을 육성하기 위해 CBME 평가의 서술적 데이터와 수치적 데이터를 모두 활용하기 위한 추가 작업이 수행되어야 한다.
The successful implementation of CBME requires a systemic change in the use of assessment data.

• Electronic tracking systems have been established,
• competence committees have been formed to review the increased volume of EPA-based assessment data, 6 and
• new programmatic theories of assessment have been applied to these heterogeneous and longitudinal datasets,
• which, in turn, have changed the inferences that we draw from them. 7,8 

Although this approach is predicated on aggregating data and using them to model trainee progress, how these data should be amalgamated, analyzed, and visualized in practice is not well established. 2 Defaulting to simple linear approaches runs the risk of reducing nuanced data into reductionistic trends 9 and nullifies the advantages of narrative feedback or other more sophisticated modeling and analysis. Further work will need to be done to harness both the narrative and numerical data of CBME assessments to foster a balanced and insightful perspective on trainee performance.

다른 분야의 교훈은 데이터가 집계되고 사용될 수 있는 다양한 방법을 보여주며, 각 방법은 도출될 수 있는 추론의 종류에 영향을 미칩니다. 예를 들어, 비즈니스와 스포츠는 점점 더 정교한 데이터 수집 및 분석 기술을 사용합니다. 고등교육에서의 유사한 노력은 온라인 학습 플랫폼의 출현에서 비롯되었다. 14 이러한 [학습 분석learning analytics]은 "학습과 학습이 발생하는 환경을 이해하고 최적화하기 위한 목적으로, 학습자와 그 맥락에 대한 데이터의 측정, 수집, 분석 및 보고"로 정의할 수 있다. 15 증가를 고려할 때CBME에서 대규모 평가 데이터 세트의 가용성에 따라, 의학 교육 문헌에서 학습 분석이 점점 더 많이 참조되고 있는 것은 놀라운 일이 아니다. CBME 결과 프레임워크 및 연구 어젠다 19는 의학 교육 연구자들이 개념적으로 그리고 실제로 탐구하는 학습 분석과 관련된 다양한 개념을 설명한다. 5,24
Lessons from other fields illustrate the many different ways in which data might be aggregated and used, each of which has implications for the kinds of inferences that might be drawn. 10,11 For example, business 12 and sport 13 use increasingly sophisticated data collection and analysis techniques. Similar efforts in higher education originated with the advent of online learning platforms. 14 These learning analytics can be defined as the “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.” 15 Given the increasing availability of large assessment datasets in CBME, it is not surprising that learning analytics are increasingly being referenced within the medical education literature. CBME outcomes frameworks 16–18 and research agendas 19 describe a range of concepts related to learning analytics that medical education researchers are exploring both conceptually 20–23 and practically. 5,24

언뜻 보기에 학습 분석 도구와 관행은 의료 교육 및 환자 관리를 개선하기 위해 EPA 기반 CBME 교육 프로그램의 광범위한 평가 데이터 세트를 활용할 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 분석 역시 문제가 되었다. 예를 들어, ten Cate 등은 [애널리틱스의 도입]이 [과도한 표준화, 활동 제약, 교육 효율성 및 비용]에 영향을 미치고, [프로그램 및 그 결과의 integrity]를 위협할 것이라고 경고합니다. 교육 프로그램, 교육 프로그램이 채택하는 분석 접근 방식 및 다양한 구현 설계의 여건에 대한 주의 깊고 신중한 탐색과 정렬이 필요하다.
At first glance, learning analytics tools and practices have immense potential to leverage the extensive assessment datasets resulting from EPA-based CBME training programs to improve medical education and patient care. 11,20 However, these analytics have also been problematized. For instance, ten Cate et al warn about analytics implementations that overstandardize, constrain activity, impact educational efficiency and cost, and threaten the integrity of programs and their outcomes. 21 There is need for mindful and deliberate exploration of and alignment between educational programs, the analytics approaches they employ, and the affordances of different implementation designs.

CBME 평가 데이터를 해석하기 위한 학습 분석의 광범위한 활용이 점점 실행 가능해짐에 따라, 이 용감한 새로운 세계 내에서 미래의 경로를 그리는 것이 그 어느 때보다도 중요하다. 25 본 논문에서는 신중한 매핑을 목표로 CBME에서 학습 분석에 대한 유토피아적 및 디스토피아적 관점(상자 1과 2 참조)을 탐구한다. 그러나 보다 광범위한 교육 및 컴퓨터 과학 문헌의 원칙적인 지침을 통합하여 우리 분야에서의 응용을 위한 미래를 결정하였습니다(상자 3 참조).
As the widespread utilization of learning analytics to interpret CBME assessment data becomes increasingly viable, it is more important than ever to chart the future path within this brave new world. 25 In this paper, we explore utopian and dystopian perspectives on learning analytics (see Boxes 1 and 2) in CBME with the goal of mapping a cautious but determined future for its application in our field (see Box 3) by incorporating principled guidance from the broader education and computer science literature.

가능한 유토피아
A Possible Utopia

유토피아에서는 모든 것이 모든 사람에게 가장 유리하게 작용한다. 사람들은 행복하고 그들이 원하는 대로 번창하고 성장할 수 있다. 우리의 유토피아 시나리오(상자 1)는 학습 분석과 관련하여 표현된 희망(혹은 과대광고)의 상당 부분을 반영한다. 모든 것이 효과가 있고, 혜택은 증가하며, 모든 사람이 승리한다. 물론, 이것은 사실이기에는 너무 좋은 일이다. 

In a utopia, everything works to the best advantage of everyone. People are happy and able to thrive and grow as they will. Our utopian scenario (Box 1) reflects much of the hope (or perhaps hype) that has been expressed with regard to learning analytics 11,20,26; everything works, benefits multiply, and everyone wins. Of course, this is too good to be true.

박스 1 역량 기반 의료 교육 시스템에서 분석을 위한 유토피아 시나리오를 설명하는 가상의 사례 연구
Box 1 Fictional Case Study Describing a Utopian Scenario for Learning Analytics in a Competency-Based Medical Education System

Walzar 박사는 그녀의 컴퓨터 화면에서 뒤로 기대어 미소를 지었다. 그녀의 병원의 다른 프로그램 책임자들은 그녀가 역량 기반 평가 시스템의 문제를 해결하기 위한 새로운 소프트웨어를 개발하기 위해 정보 기술 부서와 협력할 것을 제안했을 때 회의적이었습니다. 그들은 그들의 EHR이 시행되기 전에 비슷한 효율성의 약속들을 들었었지만, 그것은 결코 그 과대광고에 부응하지 못했다. 이것은 달랐다. 일단 그녀가 그들에게 작동하는 프로토타입을 보여주자, 그들은 그들의 프로그램을 도입하자고 간청했다. 새로운 데이터 시각화 및 분석 제품군을 설정하고 최적화하는 것은 어려운 일이었지만, 그 결과는 그만한 가치가 있었습니다. 그녀의 프로그램 관리자는 평가 데이터의 스프레드시트 이후 스프레드시트를 정리해야 하는 족쇄에서 해방되어 마침내 휴가를 얻어 여가 시간에 프로그램을 개선하기 위한 새로운 아이디어를 생각해 냈습니다. 역량 위원회 위원들은 그들의 회의가 월별, 하루 종일 열리는 마라톤에서 분기별 한 번씩 한가로운 아침으로 바뀌어 행복했다. 그리고 그녀는 그들이 더 나은 결정을 내리고 있다고 확신했습니다! 그녀의 교육생들조차도 새로운 교수 대시보드를 교수 개발 세션에 통합한 후 받은 향상된 피드백에 깊은 인상을 받았습니다. 그들은 또한 그들의 커리큘럼에 대한 데이터 중심의 변화가 그들이 유능한 의사가 되기 위해 필요한 경험을 얻을 수 있는 충분한 기회를 제공한다는 것을 알아챘다.
Dr. Walzar leaned back from her computer screen and smiled. The other program directors at her hospital had been skeptical when she had proposed working with their information technology department to develop new software to address the challenges of their competency-based assessment system. They had heard similar promises of efficiency before the implementation of their electronic health record, but it had never lived up to the hype. This was different. Once she had shown them a working prototype, they were begging to have their programs brought on board. Setting up and optimizing their new data visualization and analytics suite had been a challenge, but the results were worth it. Her program administrator, unleashed from the shackles of organizing spreadsheet after spreadsheet of assessment data, was finally taking a vacation and, in her spare time, had been coming up with new ideas to improve their program. Her competence committee members were happy as their meetings went from monthly, full-day marathons to leisurely mornings once a quarter. And she was sure that they were making better decisions, too! Even her trainees were impressed with the improved feedback they were receiving after they incorporated their new faculty dashboard into their faculty development sessions. They had also noticed that the data-driven changes to their curriculum were giving them ample opportunity to get the experiences they needed to become competent physicians.

가장 최근에, 그녀는 QI 전공의 몇몇 동료들과 연락했다. 그들은 그녀의 진전에 흥미를 느꼈고 그녀의 교육 데이터와 임상 결과의 통합을 탐구하기를 원했다. 그들은 각 연수생의 임상 치료 품질을 정량화하기 위해 전자 건강 기록의 데이터를 평가 대시보드에 통합하기 시작했다. 그녀는 교육 평가와 함께 임상 측정 기준을 추적하고 어떻게 그것들이 함께 사용될 수 있는지 볼 수 있는 가능성에 대해 흥분했습니다. 이 새로운 대시보드는 교육생들에게 환자의 건강에 직접적인 영향을 미치는 자신의 진료 패턴에 대한 통찰력을 제공할 것이다. Walzar 박사는 이러한 새로운 임상학습 애널리틱스를 만들기 위해 그녀의 임상 운영 팀과 협력하기를 고대했습니다.
Most recently, she had connected with some of her colleagues with backgrounds in quality improvement. They were intrigued by her progress and wanted to explore the integration of clinical outcomes with her educational data. They had begun integrating data from their electronic health record into the assessment dashboard to quantify the quality of each trainee’s clinical care. She was excited about the potential to track clinical metrics alongside educational assessments and see how they could be used together. This new dashboard would provide trainees with insights about their own practice patterns that had direct impact on the health of their patients. Dr. Walzar was looking forward to working with her clinical operations team to create these new clinical learning analytics.

프로그램 감독으로서 그녀에게는 다른 이점도 있었다. 그녀는 교육생들의 데이터에 쉽게 접근할 수 있었고 평가나 평가 패턴과 관련된 것이 발견되었을 때 실시간 경보를 받을 수 있었다. 그녀는 또한 비정상적인 행동을 식별하기 위해 교직원들의 평가 행동을 추적했다. 예를 들어, 그녀는 비센 박사가 수년 동안 성차별적 평가를 제출했다고 생각했지만 컴퓨터가 그것을 확인하기 전까지는, 그녀는 어떤 증거도 가지고 있지 않았다! 무엇보다도, 평가 데이터를 인증 기관에 제출하는 것이 자동화되었습니다. 그들의 분석은 그녀의 프로그램이 그들의 평가의 양과 질에 있어서 전국에서 상위 5퍼센트 안에 들어있다는 것을 보여주었다. 그녀는 올해 말 승진 지원서에서 그 성과를 강조하는 것을 기억해야 할 것이다. 이 모든 "학습 분석 자료"는 결국 완성되었다.
There had also been other benefits for her as a program director. She could readily access her trainees’ data and receive real-time alerts when concerning assessments or assessment patterns were found. She also tracked the assessment behaviors of her faculty members to identify abnormal behavior. For example, she thought that Dr. Bisen had been submitting sexist assessments for years but until the computer had identified it, she did not have any proof! Best of all, the submission of assessment data to their accrediting body was now automated. Their analyses showed that her program was performing in the top 5 percentile in the entire country in terms of the quantity and quality of their assessments. She would have to remember to highlight that accomplishment in her application for promotion later this year. All of this “learning analytics stuff” had panned out after all.

유토피아 시나리오는 형성적 및 총괄적 역량 평가의 맥락에서, 데이터 시각화 및 학습 분석의 잠재적 이점을 보여준다. 특히 데이터 시각화를 통해 교육생은 물론 교사 및 프로그램 책임자가 어려움을 겪고 있거나, 만족하거나, 우수한 수행 패턴을 식별하는 데 도움이 되는 [빈번한 저부담 EPA 기반 평가 데이터]를 [효율적으로 검토]할 수 있다. 이러한 기술은 교수진 개발과 지속적인 품질 개선을 위해 이러한 평가 데이터를 동시에 사용함으로써 조직 개발 프로그램에 기여할 수 있다. 
The utopian scenario demonstrates the potential benefits of data visualization and learning analytics in the context of assessing competence, both formatively and summatively. In particular, data visualization could allow for the efficient review of frequent, low-stakes EPA-based assessment data to help trainees as well as their preceptors and program directors to identify patterns of struggling, satisfactory, or excelling performance. 27–29 These techniques could feed into a program of organizational development through the simultaneous use of these assessment data for faculty development and continuous quality improvement. 22

예를 들어, [서술형 평가 코멘트의 품질]을 평가하기 위해 Quality of Assessment of Learning (QuAL) 점수를 사용할 수 있는 타당성 증거가 있다. 자연어 처리 알고리즘을 사용한 QAL 점수 등급의 자동화는 역량 위원회가 [고품질의 서술적 논평]으로 EPA를 쉽게 식별하도록 하여 총괄 평가 결정을 지원할 수 있다. 이러한 점수는 또한 시간 경과에 따른 서술적 피드백 개선에 초점을 맞춘 개입의 영향을 정량화하기 위해 교수진 및 프로그램 수준에서 통합될 수 있다. 개인 및 그룹 성과에 대한 더 많은 세부 사항이 설정될 수 있기 때문에 개인은 이 정밀도로부터 이익을 얻을 수 있다는 점에서 정밀 의료와 분명한 유사점이 있다. 이 정보는 또한 학습 환경을 개별 교육자의 요구와 궤적에 더 잘 맞추는 데 도움이 될 수 있다. 33 
For example, there is validity evidence to support the use of the Quality of Assessment of Learning (QuAL) score for the evaluation of the quality of narrative assessment comments. 30,31 The automation of QuAL score ratings with natural language processing algorithms could support summative assessment decisions by making it easier for competence committees to identify EPAs with high-quality narrative comments. These scores could also be amalgamated at the faculty member and/or program level to quantify the impact of interventions focused on improving narrative feedback over time. There are clear parallels with precision medicine 32 in that as greater detail of individual and group performance can be established, individuals can benefit from this precision. This information may also help us to better align the learning environment with individual trainees’ needs and trajectories. 33

학습 애널리틱스의 발전은 또한 성차별적이거나 인종 차별적인 평가 관행을 식별하고 정량화함으로써 [형평성 문제]를 해결하는 데 도움이 될 수 있다. 이러한 문제들이 쉽게 식별될 수 있을 때까지, 그것들이 다뤄질 것 같지는 않다. 평가의 성별 편견에 대한 Mueller 등과 Dayal 등의 초기 연구는 개별 교수진, 교육 프로그램, 기관 및 전문 분야의 평가 데이터 내에서 편향을 모니터링하도록 확장 및 자동화될 수 있다. 이 정보는 평가자 편견에 대한 추가 조사를 안내하고 이를 감지하고 완화하기 위한 개입을 개발할 수 있다.
Advances in learning analytics could also help to address equity issues through the identification and quantification of sexist or racist assessment practices. Until these issues can be readily identified, it is unlikely that they will be addressed. Early work by Mueller et al 34 and Dayal et al 35 on gender bias in assessments could be expanded and automated to monitor for biases within the assessment data of individual faculty members, training programs, institutions, and specialties. This information could guide further investigation into rater biases and develop interventions to detect and mitigate them.

또 다른 유토피아적 관점은 [여러 데이터 소스, 특히 임상 결과 데이터를 마이닝하고 통합]하는 데 중점을 둔다. [임상 데이터]와 [교육 평가]의 통합은 물론, 교직원과 실습생의 임상 결과의 상호 의존성을 넘어서서, [전공의-민감 품질 지표]의 식별에 대한 작업이 이미 시작되었다. 앞으로 질 향상과 의료교육에 전문성을 갖춘 의사들 간의 협업이 연수생 평가 데이터와 그동안 보살펴온 환자의 임상 결과를 연계할 것으로 기대한다. 이러한 [임상-교육 통합]을 실현하기 위해서는 학습 분석, 실습 분석 및 환자 결과 간의 연결이 설정되어야 한다. 이상적으로, 이러한 연결은 개인, 프로그램 및 시스템 수준의 변경을 지원하기 위해 의미 있게 해석될 수 있는 통합 분석 및 시각화를 사용하여 치료 품질 및 비용을 최적화하는 데 도움이 될 수 있습니다.

Other utopian perspectives focus on mining and integrating multiple data sources, in particular clinical outcome data. 16,17 Work has already begun on the integration of clinical data and educational assessment 36,37 as well as the identification of resident-sensitive quality metrics 38,39 that move beyond the interdependence of faculty and trainee clinical outcomes. 40,41 In the future, we anticipate that collaboration between physicians with expertise in quality improvement and medical education will link trainee assessment data with the clinical outcomes of the patients that they have cared for. 42 To realize this clinical–educational integration, links will need to be established between learning analytics, practice analytics, and patient outcomes. Ideally, these connections would help to optimize the quality and cost of care using integrated analytics and visualizations that can be meaningfully interpreted to support individual-, program-, and system-level changes.

물론, 이러한 종류의 파놉티시즘이 유토피아인지 아닌지는 논쟁의 여지가 있습니다. 한 사람의 유토피아는 다른 사람의 디스토피아일 수 있기 때문입니다.
Of course, whether panopticism of this kind is utopian is debatable, as one person’s utopia might well be another person’s dystopia.

미래형 디스토피아
A Prospective Dystopia

디스토피아는 이상과는 거리가 멀고 불만이 보통이다. 기술 발전 속도는 소프트웨어 공급업체들이 디지털 전환을 약속하는 우리 기관의 문을 두드리는 날이 머지않을 것으로 보인다. 우리의 인공지능 사용은 계속 개선될 것이며, 그것은 우리의 평가와 임상 데이터 모두에 더 광범위하게 적용될 수밖에 없다. 구현을 안내할 구조가 마련되지 않으면 디스토피아 시나리오(Box 2)가 실현될 수 있습니다.

In a dystopia, things are far from ideal and dissatisfaction is the norm. The pace of technological advancement makes it likely that it will not be long before software vendors are knocking on the doors of our institutions promising digital transformation. Our use of artificial intelligence will continue to improve, and it is inevitable that it will be applied more broadly to both our assessment and clinical data. If we do not have a structure in place to guide its implementation, our dystopian scenario (Box 2) may come to pass.

박스 2 CBME에서 학습 애널리틱스에 대한 디스토피아 시나리오를 설명하는 가상의 사례 연구
Box 2 Fictional Case Study Describing a Dystopian Scenario for Learning Analytics in Competency-Based Medical Education

Walzar 박사는 자신의 데이터 시각화 및 분석 시스템의 완벽한 구현에 대해 학장과 동료 프로그램 감독들로부터 열렬한 피드백을 받고 있었습니다. 다음 순간 그것은 와르르 무너져 내렸다. 연습생 중 한 명 정도를 받았다는 통보로 시작됐다. 제이콥은 프로그램 내에서 호감을 얻고 있었고, 컴퓨터가 그의 최근 평가 패턴에 관한 플래그를 세우기 전까지 잘 지내오고 있었다. 역량 위원회가 과거에 비슷한 깃발을 보았을 때, 그들은 행동하지 않았고, 확실히 몇 달 안에 이 훈련병들이 고군분투하고 있다는 것을 증명했다. 역량위원들은 이번에는 기다리지 않기로 했다. 그들은 월자르 박사가 제이콥을 불러서 진찰을 받으라고 요청했다.
One minute Dr. Walzar had been enjoying glowing feedback from her dean and fellow program directors on the flawless implementation of her data visualization and analytics system. The next minute it had come crashing down. It started with a notification that she received about one of her trainees. Jacob was well liked within the program and had been progressing well until the computer had flagged his recent assessment pattern as concerning. When the competence committee had seen similar flags in the past, they had not acted and, sure enough, within a few months the evidence demonstrated that these trainees were struggling. The competence committee members decided that this time they did not want to wait. They requested that Dr. Walzar call Jacob in for a meeting to check in.

회의에서, 그녀는 알고리즘은 EPA 수행에 플래그를 달았지만, 역량 위원회는 아직 어떤 문제도 발견하지 못했다고 언급했다. Jacob은 눈에 띄게 화가 나서 "이게 무슨 점쟁이 같은 쓰레기야? 정말 미래를 예측할 수 있다는 말인가요?"라고 물었다. 그때부터, 제이콥은 그녀와 평가 시스템, 그리고 훈련 프로그램에 대해 불신하게 되었다. 그의 임상 성적은 악화되었다. 그녀는 컴퓨터가 옳았고 이것이 불가피한 것인지, 아니면 그의 쇠퇴를 촉발시킨 것이 회의 그 자체인지 궁금했다. 그럼에도 불구하고, 문제는 그녀가 그를 프로그램에서 말릴 수 밖에 없을 때까지 계속되었다. 그녀는 바로 다음 주에 그의 제적dismissal과 관련된 소송을 제기했었다.

During the meeting, she mentioned that their algorithm had flagged his EPA performance, but that the competence committee could not identify any problems just yet. He had become visibly upset, asking “What kind of fortune-telling garbage is this? Are you seriously saying you can predict the future?” From then on, Jacob was distrustful of her, the assessment system, and the training program. His clinical performance deteriorated. She wondered if the computer had been right and this was inevitable, or if it was the meeting itself that had set off his decline. Regardless, the problem had festered until she had no choice but to terminate him from the program. She had been served with a lawsuit regarding his dismissal the very next week.

문제는 거기서 끝나지 않았다. 지난 주에 그들의 인증 기관이 해킹을 당했다. 그들의 모든 훈련생들의 평가 자료가 도용되어 온라인에 게재되었다. 그들을 제거하기 위해 그들이 할 수 있는 것은 아무것도 없는 것처럼 보였다. 그녀는 수련생들로부터 주요 병원 그룹이 이러한 데이터에 접근했다는 속삭임을 들었고, 아무런 설명도 없이 훈련 기간 동안 어려움을 겪었던 훈련병들의 인터뷰를 취소했다.
The problems did not end there. Last week their accrediting body had been hacked. All their trainees’ assessment data were stolen and published online. It did not seem like there was anything that they could do to have them removed. She had heard whispers from her trainees that the major hospital groups had gotten access to these data and, without any explanation, had canceled the interviews of the trainees who had struggled during parts of their training.

가장 나쁜 것은, 유출된 평가 중 하나가 현재 그녀의 훈련생, 동료, 그리고 병원을 고소하고 있는 한 환자가 받은 치료에 관한 것이었다는 사실이다. 연습생의 ICU 로테이션 동안, 그들은 central line을 놓으려고 애썼다. 절차에 대한 교수진의 EPA 평가는 낮은 수준의 위탁을 나타냈으며, 기술의 어려움을 강조하는 유용한 형성적 피드백을 제공했다. 불행하게도, 이것은 환자의 중심선 감염에 기여했을 수 있다. 연수생 변호인단은 이 평가가 과실의 증거로 소송에서 인용될 것이라고 확신했다.
Worst of all, one of the leaked assessments referenced the care received by a patient who was currently suing her trainee, colleagues, and hospital. During the trainee’s intensive care rotation, they had struggled to place a central line. The faculty member’s EPA assessment of the procedure indicated a low level of entrustment and provided helpful formative feedback that highlighted difficulties with technique. Unfortunately, this may have contributed to the patient’s development of a central line infection. The trainee’s lawyers were certain that this assessment was going to be cited in the lawsuit as evidence of negligence.

그 승진에 대해서는 잊어버려. 그녀는 의학을 완전히 그만두어야 할까 봐 걱정했다. 그녀는 그녀가 이런 학습 애널리틱스를 시작하지 않았어야고 생각했다.

Forget about that promotion. She was worried that she was going to have to leave academic medicine altogether. She wished that she had never gotten started with this learning analytics stuff.

디스토피아 시나리오는 훈련생의 EPA 데이터를 정밀하게 분석하는 것이 해로울 수 있는 몇 가지 방법만을 보여준다. 앞으로 나아가면서, 우리는 어떻게 하면 그것이 가져올 수 있는 문제에 굴복하지 않고 궁극적으로 환자 결과를 개선할 수 있는 방법으로 집계된 데이터의 시각화 및 분석의 이점을 유지할 수 있는지 고려해야 한다. 학습 애널리틱스를 통합하는 혁신적인 데이터 솔루션을 추진하는 사람들에게 특히 주목할 만한 몇 가지 영역이 있다.

The dystopian scenario illustrates only some of the ways that the sophisticated analysis of trainees’ EPA data could be detrimental. 21 As we move forward, we must consider how we can maintain the benefits of the visualization and analysis of aggregated data in ways that can ultimately lead to improved patient outcomes without succumbing to the problems that it could present. Several areas are deserving of particular attention for those pushing forward innovative data solutions incorporating learning analytics.

데이터 보안
Data security

애널리틱스 접근 방식을 사용하든 사용하지 않든, [교육생 평가 데이터의 보안]은 우려 사항이다. 이 문제가 항상 존재했지만, 현대의 시스템은 수많은 분산 액세스 포인트가 있는 더 큰 데이터베이스에 저장되기 때문에 해킹과 다른 디지털 데이터 보안 침해에 더 취약할 수 있다. 또한, 우리가 수집하는 평가 데이터는 점점 더 상세해지고 민감해집니다. 불행하게도, 이러한 전환이 일어나면서, 우리의 고등 교육 기관들은 점점 더 많은 보안 침해의 대상이 되었습니다. 교육생과 직원들에 대한 대량의 귀중한 데이터, 정보기술 구조의 분산된 조직, 네트워크에 액세스할 수 있는 다수의 개인, 그리고 이러한 위협에 대처하기 위한 상대적으로 부족한 자원 때문에 해커의 표적이 된다는 것이 입증되었습니다.정부와 대기업. 교육 평가 데이터 유출로 인한 잠재적 영향은 고려해야 할 매우 현실적인 위험이다.

Whether or not an analytics approach is used, the security of trainee assessment data is a concern. 43 While this problem has always existed, modern systems may be more prone to hacking and other digital data security breaches because they are stored in larger databases with numerous distributed access points. Additionally, the assessment data that we collect are increasingly detailed and sensitive. Unfortunately, as this transition has occurred, our higher education institutions have been subject to an increasing number of security breaches. 44 They have proven to be targets for hackers due to the large amount of valuable data they store about their trainees and employees, the decentralized organization of their information technology structure, the large number of individuals that are able to access their network, and the comparative lack of resources to combat this threat relative to government and big business. 45 The potential fallout from the leak of educational assessment data is a very real risk that should be considered.

예측적 분석
Predictive analytics

1956년 그의 공상과학 단편소설 "마이너리티 리포트"에서 필립 K. 딕은 "precrime"이라는 개념을 도입했다. 즉, 아직 저지르지 않았지만 명백한 시스템에 의해 예측된 범죄에 대해 체포되어 기소될 수 있다는 것이다. 46 예측 분석은 수습 성과와 같은 미래 사건에 대해 추론하는 기법이다. [예측 분석]을 통합하는 것은 어려움을 겪고 있는 교육생을 식별하고 그들에게 추가적인 지원을 제공하기 위해 압도적 역량 위원회를 지원할 수 있는 잠재력을 가지고 있지만, 교육생을 조기에 [struggling 또는 deficient]으로 분류하는 것은, 연수생 자신 또는 프로그램의 인식을 예상하지 못하거나 잠재적으로 부정적인 방식으로 바꿈으로써, 오히려 교육생의 어려움을 유발하거나 악화시킬 수 있다. 분석적 예측에 기초하여 고위험 결정을 내리는 윤리 및 합법성과 같은 다른 과제들도 고려할 필요가 있다.
In his 1956 science fiction short story The Minority Report, Philip K. Dick introduced the concept of “precrime”—that one could be arrested and charged for a crime that they had not yet committed but that had been predicted by a seemingly infallible system. 46 Predictive analytics are techniques that make inferences about future events such as trainee performance. 10 While the incorporation of predictive analytics has the potential to assist overwhelmed competence committees to identify trainees who may be struggling and provide them with additional support, it is equally possible that prematurely labeling trainees as struggling or otherwise deficient may cause or exacerbate a trainee’s struggles by altering their and their program’s perceptions in unanticipated and potentially negative ways. 47 Other challenges such as the ethics and legality of making high-stakes decisions on the basis of analytical predictions also need to be considered.

데이터 소유 및 사용
Data ownership and use

[데이터의 접근, 소유권 및 거버넌스를 둘러싼 윤리적 문제]는 의료 교육에서 학습 분석의 사용이 증가함에 따라 특히 우려되는 사항으로 식별되었다. 이러한 우려는 다음과 같은 과제를 식별하는 광범위한 교육 문헌 내에서 마찬가지로 나타난다. 예를 들면,

• 단편화되거나 불완전한 데이터에서 고부담 의사 결정을 내린다.
  
• 모집단에서 도출한 통찰력을 개별 교육생에게 적용한다.
  
• 교육생에게 데이터 사용에 대한 동의를 구하는 것이 불충분하거나, 동의를 구하지 않는다.
  
• 고도로 민감한 데이터의 적절한 관리를 보장하지 못한다.
  
• 분석에 의해 전파되는 편견을 고려하지 않는다.

이러한 문제는 (비교적 추상적인 영어단어 점수를 포함하는 다른 분야의 학생들에 대해 더 일상적으로 수집된 데이터와 달리) [개별 환자의 치료에서 전문 역량에 대한 상세한 실제 평가]를 포함하는 EPA 기반 프로그램의 성격을 고려할 때 의료 교육 내에서 특히 고려할 가치가 있다. 
Ethical issues surrounding access, ownership, and governance of data have been identified as particular concerns with the growing use of learning analytics in medical education. 21,43 These concerns are paralleled within the broader educational literature which identifies challenges including

• making high-stakes decisions from fragmented or incomplete data,
• applying insights derived from populations to individual trainees,
• inadequately (or simply not) seeking consent from trainees regarding the use of their data,
• failing to ensure appropriate stewardship of high-sensitivity data, and
• neglecting to consider the biases propagated by analyses. 48 

These issues deserve particular consideration within medical education given the differences between EPA-based programs which contain detailed, real-world assessments of professional competency in the care of individual patients, as opposed to more routinely collected data about students in other fields which contain relatively abstract alphanumerical grades.

또한 분석 엔진이 [독립적 의료행위로의 진전을 결정하는 데 있어 궁극적인 권위]라고 가정되는 선험적인 것인지도 우려된다. 상소권을 포함한 [견제와 균형]이 그러한 시스템에 내장될 필요가 있다. 일반적으로 고등교육을 위해 설계된 광범위한 기관 정책이 연수생-환자 상호작용에 초점을 맞춘 종적 EPA 평가 데이터의 복잡한 감독에 완벽하게 적합하지는 않을 것이다.

It is also a concern if the analytics engine is a priori assumed to be the ultimate authority in determining progress toward independent practice. Checks and balances, including rights of appeal, need to be built into any such system. It is unlikely that broad institutional policies designed for higher education in general will be a perfect fit for the complex oversight of longitudinal EPA assessment data focused on trainee–patient interactions.

임상 통합
Clinical integration

[의학 교육]은 [교육생이 중요한 임상 치료를 제공하는 견습 모델] 내에서 [교육생에 대해 상당한 양의 평가 데이터]가 수집된다는 점에서 비교적 독특하다. 임상 결과와 교육 평가를 연계함으로써 얻을 수 있는 잠재적 이익을 고려할 때, 우리는 교육생이 추가적인 [의료법적 위험]에 과도하게 노출되지 않도록 보장해야 한다. 영국의 Bawa-Garba 사건은, 한 소아과 수련생이, 부분적으로, 그녀의 전자 포트폴리오에서 끌어낸 성찰에 근거하여, 중과실 치사죄로 유죄 판결을 받은 것으로, 이것이 우리가 믿고 싶은 것보다 더 가능하다는 것을 암시합니다. 
Medical education is relatively unique in that a substantive amount of assessment data is collected on trainees within an apprenticeship model wherein trainees provide clinical care of significant consequence. As we consider the potential benefits of linking clinical outcomes with educational assessments, we must ensure that we do not unduly expose trainees to additional medicolegal risk. The Bawa-Garba case in the United Kingdom, wherein a pediatric trainee was convicted of gross negligence manslaughter based, in part, on reflections pulled from her electronic portfolio, suggests that this is more possible than we would like to believe. 49

디스토피아 시나리오는 의학 교육에서 학습 분석과 관련하여 제기된 모든 우려를 설명하지는 않지만, 우리가 이러한 새로운 도구를 사용하기 시작할 때 직면하게 되는 함정에 대해 적나라하게 상기시키는 역할을 해야 한다. 현장의 잠재력을 극대화하는 방식으로 전진하려면 사려 깊고 의도적인 접근이 필요하다.
While the dystopian scenario does not illustrate all of the concerns that have been raised regarding learning analytics in medical education, 21 it should serve as a stark reminder of the pitfalls that we face as we begin to use these new tools. Moving forward in a way that maximizes the potential of the field will require a considered and intentional approach.

과정 차트 작성
Charting a Course

대부분의 관할 구역은 CBME를 지원하기 위한 학습 애널리틱스의 사용이 탐구되고 있는 중요한 벼랑에 있지만, 우리의 교육생과 기관을 통제하고 보호하기 위한 정책과 프로세스는 아직 정비되지 않았다. 우리는 유토피아와 디스토피아 시나리오의 공유가 이 기술의 필요성과 탄력적이고 미묘한 그리고 민첩한 감독 시스템을 구축하는 것의 중요성을 모두 전달했기를 바란다. 이러한 과제에 대처할 수 있다면 세 번째 시나리오(상자 3)에 설명된 결과가 더 가능성이 높습니다.

Most jurisdictions are at an important precipice where the use of learning analytics to support CBME is being explored, but the policies and processes to govern and protect our trainees and institutions have not yet been ironed out. We hope that the sharing of utopian and dystopian scenarios has conveyed both the need for this technology and the importance of building resilient, nuanced, and nimble systems of oversight. If we can rise to this challenge, the outcomes described in our third scenario (Box 3) are more likely.

박스 3 CBME에서 학습 애널리틱스의 안전하고 윤리적인 구현을 설명하는 가상의 사례 연구
Box 3 Fictional Case Study Describing the Safe and Ethical Implementation of Learning Analytics in Competency-Based Medical Education

Walzer 박사가 분석 학습에 대해 더 많이 배우면서, 그녀는 자신의 프로그램이 몇 가지 심각한 결과에 얼마나 가까이 다가왔는지를 깨달았다. 지역 정보 기술 팀과 함께 일하면서, 그녀는 자신의 작업의 윤리적, 기술적 함의를 연구했고 그 문제들을 앞질렀다. Walzar 박사는 자신의 새로운 지식을 바탕으로, [데이터 유형을 구분하고 프로그램 평가 및 연구에 데이터가 어떻게 사용될 것인지를 명확히 하는 데이터 액세스 표준] 개발을 위한 투입input과 리더십을 제공했습니다. 이 계획은 평가 데이터를 인증 기관에 전송하고 저장하는 데 영향을 미쳤다. 전송에 예상보다 시간이 오래 걸렸지만, 익명화된 집계 데이터만 업로드되도록 주요 변경 사항이 적용되었습니다. 인증기관이 (제3자 보안감사 권고사항을 이행했음에도) 해킹을 당했을 때 조차, 교육생들의 평가 자료는 구체적으로 식별되지 않았다.

As Dr. Walzer learned more about learning analytics, she realized just how close her program had come to some serious consequences. Working with her local information technology team, she studied the ethical and technical implications of her work and got ahead of the issues. With her newfound knowledge, Dr. Walzar also provided input and leadership on the development of data access standards that distinguished types of data based upon their sensitivity and clarified how data would be used for program evaluation and research. This planning impacted the transfer and storage of assessment data to their accrediting body. While the transfer took longer than anticipated, major changes were made to ensure that only anonymized, aggregate data were uploaded. When the accrediting body was hacked despite having implemented the recommendations of a third-party security audit, none of their trainees’ assessment data were specifically identifiable.

그녀는 [공동 설계 방법론]을 활용하여 일선 교수진, 현재 교육생 및 심지어 소수의 환자를 포함한 이해 당사자들을 참여시켰습니다. 몇 년 안에, 그녀는 이 수련생들이 병원의 최신 교수진이 될 것이라고 예상했고, 그녀는 그들의 참여를 수련생들에게 이 작품이 받아들여질 수 있도록 하는 방법과 그들의 문화와 시스템의 지속 가능성에 대한 투자로 보았다. 또한 작업에 대한 투명성과 신뢰도를 높였습니다. 이해관계자들이 제안한 변경사항으로 인해 관련성이 높아졌으며 여러 가지 우려사항이 구현되기도 전에 해결되었습니다.
She leveraged a co-design methodology to engage stakeholders including frontline faculty, current trainees, and even a few patients. Within a few years, she anticipated that these trainees would become their hospital’s newest faculty and she saw their involvement as both a way to ensure the work was embraced by the trainees and as an investment in the sustainability of their culture and system. It also increased the transparency and trust in the work. The changes the stakeholders suggested made it more relevant and resulted in multiple concerns being addressed before they were even implemented.

프로그램을 [역량 위원회 결정]에 inform하기 위해 예측 분석을 사용하는 것도 지연되었다. 그 시간에, 그들은 고부담 평가 결정을 지원하는 데 이러한 새로운 방법론을 사용하기 위한 [타당성 증거]를 수집했다. 역량 위원회 위원들은 이것이 그들의 결정을 더 잘 뒷받침하는 더 명확하고 강력한 분석 결과를 가져왔다는 데 동의했다. 이러한 학술적 접근은 또한 그들의 부서 구성원들을 위한 수많은 출판물을 낳았다. 그들은 모든 훈련생들에게 개별화된 학습 계획을 알리기 위해 새로운 방법을 사용하는 방법을 배우는 시간을 가졌습니다. 그녀는 교육생들이 단순히 시스템에 의해 플래그가 지정되는 것을 방치하는 것이 아니라, 교육생들이 데이터를 해석하고 그에 따라 행동할 수 있도록 돕는 데이터 전문 교수진을 구축하기 위해 지역 교육자들과 광범위하게 협력했다.
Her program’s use of predictive analytics to inform their competence committee decisions was also delayed. In that time, they collected validity evidence for the use of these novel methodologies in supporting high-stakes assessment decisions. The competence committee members agreed that this resulted in more clear and robust analytics that better supported their decisions. This scholarly approach also resulted in numerous publications for members of their department. They took the time to learn how to use the new methods to inform the individualized learning plans for every trainee. She worked extensively with local educators to build up a cadre of data-savvy faculty who were comfortable with helping the trainees to interpret and act upon the data, rather than simply leaving trainees to be flagged by the system.

몇 년 안에, Walzer 박사와 그녀의 교육생들, 그리고 그 기관은 학습 애널리틱스를 그들의 프로그램에 통합하는 것이, 부정적인 결과를 방지하면서, 모든 당사자에 대한 이익을 극대화하는 방식으로 이루어졌다는 것을 편안하게 느끼게 되었다. 그들은 또한 계속해서 새로운 계획들을 생각해냈다. 예를 들어, 그들은 교육생을 위한 주요 성과 지표를 취약한 환자 집단의 임상 관리 개선에 매핑하기 시작했다.
Within a few years, Dr. Walzer, her trainees, and the institution became comfortable that the incorporation of learning analytics into their program was done in a way that maximized the benefits to all parties while preventing negative consequences. They also continued to come up with new initiatives. For example, they had begun mapping key performance indicators for their trainees to improvements in the clinical care of vulnerable patient populations.

1942년 단편 'Runaround'에서, Issac Asimov는 로봇 행동의 지배 원리로 로봇 공학의 3가지 법칙을 제안했다. 로봇 기술의 초기에 쓰여졌음에도 불구하고, 이러한 원칙들은 오늘날까지 계속 논의되고 논의되고 있다. 로봇 공학 및 학습 분석은 특정 지침의 장기적 관련성을 제한하면서 신속하고 예측할 수 없는 진화할 수 있는 기술이라는 공통점을 공유한다. 이를 염두에 두고 학습 분석의 개발 및 구현에 대한 유사한 원칙적 접근 방식이 적절하다고 본다. Slade와 Prinslu는 CBME 내에서 광범위하게 적용할 수 있는 [학습 애널리틱스를 위한 6가지 윤리적 원칙]을 제안했다. 48 표 1은 이러한 원칙을 설명하고 CBME 평가 프로그램 내에서 이들의 적용 예를 제공한다.
In his 1942 short story Runaround, Issac Asimov proposed 3 laws of robotics as governing principles for robot behavior. 50 Despite being written in the early days of robotic technology, these principles continue to be discussed and debated to this day. Robotics and learning analytics share the commonality of being technologies that can evolve rapidly and unpredictably, limiting the long-term relevance of specific guidelines. Bearing this in mind, we believe that a similarly principled approach to the development and implementation of learning analytics is appropriate. Slade and Prinsloo have proposed 6 ethical principles for learning analytics that are broadly applicable within CBME. 48Table 1 describes these principles and provides an example of their application within a CBME assessment program.

분석을 배우는 것은 도덕적인 실천이 되어야 한다.
Learning analytics should be a moral practice

학습 분석은 의사 결정에만 사용해서는 안 되며, 의료 시스템 내의 [교육생, 기관 및 환자의 이익]을 위해 [학습에 대한 이해]를 높이는 데 사용되어야 한다. 적절한 [정책, 시스템 및 문화를 구축 및 조정]하여 사용을 가이드하도록 주의를 기울여야 한다. 예를 들어, 예측 분석을 구현할 때, 우리는 우리가 찾고 있는 정보뿐만 아니라 그러한 정보가 이러한 그룹에 어떻게 그리고 왜 도움이 될 것인지를 신중하게 고려해야 합니다. 우리의 결정에 영향을 미칠 수 있도록 허용하는 분석이 우리의 [시스템에 구축된 가정, 목적 및 체계적 편견을 탐구explore하는 [타당성 주장]에 의해 뒷받침되도록 하는 것]이 매우 중요하다. 학습 분석의 사용이 제도적 및 공동체적 가치와 일치하도록 보장하기 위해 PAIR(참여, 접근, 포함 및 표현) 원칙의 의도적인 고려가 제안되었다. 
Learning analytics should not be used solely to drive decisions, but to gain greater understanding of learning for the benefit of the trainees, institutions, and patients within our health care systems. Care should be taken to build and/or adapt appropriate policies, systems, and cultures to guide their use. 43 For example, when implementing predictive analytics, we must carefully consider what we are looking for as well as how and why that information will benefit these groups. It will be crucial to ensure that the analytics which we allow to influence our decisions are supported by validity arguments that explore the assumptions, purpose, and systemic biases that are baked into our systems. The intentional consideration of the PAIR (Participation, Access, Inclusion, and Representation) principles has been proposed to ensure that the use of learning analytics aligns with institutional and community values. 51

에이전트로서의 교육생
Trainees as agents

학습 분석은 "교육생에게" 가해지는 것이 아니라 "교육생과 함께" 하는 것이어야 한다. 시스템 내에서 교육생의 공동 설계와 참여는 필수적이며, 특히 상급 교육생이 후배들을 육성하고 가르치는 데 있어 어텐딩보다 실제 접근 방식을 더 많이 취하는 시스템에서 더욱 중요하다. 교육생은 당사 시스템의 설계 및 운영에 파트너로 참여해야 합니다. 어떤 데이터가 수집되고 어떻게 사용되는지 알려주면 이러한 분석에 참여하고 이익을 얻는 데 도움이 될 것이다. 이는 훈련생의 성과를 모니터링하기 위해 예측 분석을 사용하기 때문에 특히 중요하다. 이러한 분석의 개발에 교육생을 참여시키는 것은 교육생들이 자신에게 중요한 평가 프로그램에 대리점을 제공하는 동시에 그들의 이점과 한계를 이해하는 데 도움이 될 것이다. 성공적인 공동 설계 노력은 또한 미래 교육 리더의 도제 교육을 가능하게 합니다. 그들의 지속적인 기관은 데이터 시스템의 진화와 갱신에 기여하기 때문에 지속 가능성을 향상시킬 것입니다. 데이터 통찰력에서 학습하는 인간의 측면은 지속적인 전문 개발 문헌에 설명되어 있으며 교육생들에게 번역될 수 있다. 최적의 학습 시스템과 발전 지향적인 조직을 만들기 위해 어떤 교육적 지원, 정책, 시스템이 필요한지 이해하기 위해서는 더 많은 연구가 필요하다. 

Learning analytics should not be “done to” trainees but “done with” them. Co-design and involvement of trainees within the systems are imperative, especially in systems where senior trainees take more of a hands-on approach than attendings in nurturing and teaching their junior colleagues. Trainees should be involved as partners in the design and operation of our systems. Making them aware of what data are being collected and how they are being used will help them to engage with and benefit from these analyses. 28,52 This will be particularly important as predictive analytics are used to monitor trainee performance. Involving trainees in the development of these analyses will help them to understand their benefits and limitations while providing agency in an assessment program that matters to them. Successful co-design efforts also allow for the apprenticeship of future educational leaders whose continued agency will enhance sustainability as they contribute to the evolution and renewal of our data systems. 53–55 The human aspect of learning from data insights has been described in the continuing professional development literature and may translate to trainees. 56 More study is needed to understand what educational supports, policies, and systems will be required to create optimal learning systems and developmentally oriented organizations. 22,43

훈련생 신분과 성과는 시간적 역동적 구조이다.
Trainee identity and performance are temporal dynamic constructs

학습 분석을 구현하면서 교육 및 임상 결과가 [교육생의 상황]에 어떻게 영향을 미칠 수 있는지 결정해야 한다. EPA 평가는 [관찰 데이터]로 구성된다. 이러한 관찰은 [팀 기반 의료]의 맥락에서 발생하며, [암묵적 편견의 영향]을 받을 수 있는 교수진에 의해 완료된다. 우리가 이러한 데이터를 해석하기 시작할 때, 이러한 맥락을 기억하고 시간이 지남에 따라 교육생들의 성장을 고려하는 것이 중요할 것이다. 이는 [복잡한 시스템 속의 환자 결과]와 [교육생 주변에 존재하는 팀]을 통합할 때 특히 그렇습니다. 우리는 연습생이 일하는 맥락을 이해하고 성공을 어떻게 귀속시킬지를 결정하는 데 있어 그것을 설명하기 위해 미묘한 과학이 필요할 것이다. [전공의에 민감한 품질 척도]를 조사 및 분리하고, [의료 팀의 상호 의존성]을 분리하는 데 초점을 맞춘 최근 연구는 이 복잡하고 미묘한 데이터의 해석을 안내해야 한다.
As we implement learning analytics, we should seek to determine how educational and clinical outcomes can be and are impacted by our trainees’ contexts. 57 EPA assessments consist of observational data. These observations occur within the context of team-based health care and are completed by faculty members who may be influenced by implicit bias. 58 As we begin to interpret these data, it will be important to remember this context and consider the trainees’ growth over time. 57 This is particularly true when incorporating patient outcomes within the complex systems and teams that exist around our trainees. We will need nuanced science to understand the context in which the trainee works and account for that in determining how to attribute success. Recent work focused on examining and isolating resident-sensitive quality measures 38,39 and teasing apart the interdependence of health care teams 40,41 should guide the interpretation of this complex and nuanced data.

훈련생들의 성공은 복잡하고 다차원적인 현상이다.
Trainee success is a complex and multidimensional phenomenon.

우리는 학습 분석을 해석하고 사용하는 교육자를 교육하여, 학습 애널리틱스가 도출하는 추론에 대해 어느 정도 회의적인 태도를 유지하도록 해야 한다. 21 기계 학습, 자연어 처리 및 기타 고급 예측 도구는 [상관 관계 데이터 기법의 파생물]이므로 [인과관계와 연결되어 있다고 가정할 수 없다]. 임상 의사 결정 지원 도구, 위험 기반 계산기 또는 기타 지침을 임상 진료에서 사용하는 방법과 유사하게, 우리는 교육에 사용하는 [도구의 진단 부정확성]에 대해 경계해야 한다. 도구의 민감도 및 특수성과 같은 속성을 연구하면 도구의 강점과 한계를 이해하고 저위험 및 고위험 평가 결정에 적절하게 기여하고 있는지 확인하는 데 도움이 될 것이다. 무엇보다도, 우리는 [상관관계가 있는 결과]와 [운명fate]을 혼동하지 않도록 해야 한다.

We should train the educators who interpret and use learning analytics to sustain a degree of skepticism with respect to the inferences they draw from them. 21 Machine learning, natural language processing, and other advanced prediction tools are derivative of correlational data techniques and cannot be assumed to be linked to causality. 59 Similar to how we use clinical decision support tools, risk-based calculators, or other guidelines in clinical care, we should remain wary of the diagnostic imprecision of the tools that we use in education. Studying attributes such as the sensitivity and specificity of our tools will help us to understand their strengths and limitations and ensure that they are contributing appropriately to low- and high-stakes assessment decisions. Above all, we must ensure that we do not confuse a correlated outcome with fate.

투명성.
Transparency.

교육생들의 신뢰를 쌓고 유지하기 위해서는 [투명성]이 필수적입니다. EPA 평가 데이터에는 실습생 학습 및 평가에서부터 교수진 개발, 프로그램 평가, 품질 개선, 연구 및 인증에 이르는 수많은 사용 사례가 있다. 연수생의 평가 데이터가 이러한 모든 목적에 사용될 것이 분명하지 않기 때문에, 연수생은 자신의 데이터가 어떻게 사용될 것인지를 알아야 한다. 또한, 투명한 정책은 다양한 유형의 데이터의 [소유권과 민감도]를 분류하고, [누가 어떤 목적으로 각 유형의 데이터에 액세스할 수 있는지] 명확하게 설명해야 한다. 기관들은 그들의 정책과 지역 입법에 기초하여 그들 자신의 지침을 개발할 필요가 있을 것이다. 예를 들어, 내부 프로그램 평가 및 인증 목적을 위해 익명으로 집계된 수습 평가 데이터 세트를 사용하는 것은 오랜 표준 관행이지만 학습자에게 데이터가 이러한 방식으로 사용될 것임을 공식적으로 알리는 것이 중요하다. 한편, 연구 목적으로 식별 가능하거나 잠재적으로 식별 가능한 평가 데이터를 공유하려면 데이터의 민감도에 따라 선택 또는 선택 동의 프로세스가 필요할 수 있다. [[프로그램 평가]와 [연구] 사이의 구분을 명확히 하는 것]은 종종 프로그램 평가 작업으로 확장되는 윤리적 면제 및 감소된 정밀 조사를 고려할 때 매우 중요할 것이다. 훈련생 평가 데이터의 프라이버시를 보장하기 위해 취한 보안 절차의 한계도 투명해야 한다. 

Transparency is essential to develop and maintain the trust of our trainees. 60 There are numerous use cases for EPA assessment data that span from trainee learning and assessment through faculty development, program evaluation, quality improvement, research, and accreditation. 26 As it is not obvious that a trainee’s assessment data would be used for all of these purposes, they should be made aware of how their data will be used. Further, transparent policies should categorize the ownership and sensitivity of various types of data and explicitly outline who has access to each type of data for what purpose. Institutions will need to develop their own guidelines based upon their policies and local legislation. For example, using an anonymized, aggregated dataset of trainee assessments for internal program evaluation and accreditation purposes is a long-standing and standard practice, but it is important to formally inform learners that their data will be used in this way. On the other hand, the sharing of identifiable or potentially identifiable assessment data for research purposes is likely to require opt-out or opt-in consent processes depending upon the sensitivity of the data. Clarifying the division between program evaluation and research will be extremely important given the ethical exemptions and decreased scrutiny that are often extended to program evaluation work. 61 The limitations of the security procedures taken to ensure the privacy of trainee assessment data should also be made transparent. 62

데이터셋 간의 연결을 강화하면 데이터셋 분석을 지원하고 해킹이나 기타 기술적 문제에 더욱 취약해진다.

• 데이터 파티셔닝(즉, 데이터가 저장되는 위치를 분리하고 온디맨드 방식으로 연결), 
  
• 익명화(즉, 교육생이 데이터만으로 식별할 수 없도록 데이터를 코드화된 식별자로 재작성) 
  
• 블록체인 기술(즉, 분산 원장 시스템을 사용하여 데이터 무결성을 보장하고 장애 지점을 최소화함) 및 
  
• 다른 고급 데이터 보안 기술

...은 보안을 강화할 수 있지만 교육 기관의 현재 기술 수준을 넘어설 수 있습니다. 종합하면, 기관 정책은 [다양한 유형의 수습 데이터를 어떻게 사용할 수 있는지]와 [그 보안을 보장하기 위해 어떤 예방 조치가 마련되어 있는지] 투명하게 정의해야 한다. 
Strengthening the connections between datasets supports their analysis and also makes them more vulnerable to hacking or other technical issues. 23 

• Data partitioning (i.e., separating where data are stored and linking on demand),
• anonymization (i.e., redacting data down to only coded identifiers so that trainees cannot be identified by data alone),
• block-chain technology (i.e., using a decentralized ledger system to ensure data integrity and minimize points of failure), and
• other advanced data security techniques

...could increase security but may be beyond the current technological skill set of educational institutions.

Taken together, institutional policies should transparently define

• how various types of trainee data can be used and
• what precautions are in place to ensure its security.

고등교육은 데이터를 사용하지 않을 여유가 없다.
Higher education cannot afford to NOT use data.

마지막으로, 우리는 학습 분석의 사용을 진전시키기 위한 결의와 용기가 필요할 것이다. 이러한 원칙은 복잡하고 진화하는 문제를 제기하는데, 이러한 문제를 안전하고 윤리적으로 해결하기 위해 해결해야 합니다. 그러나 미래의 교육생과 환자의 이익을 위해 교육 시스템을 개선하기 위해 CBME 내에서 수집한 평가 데이터를 사용하지 않는 것도 문제가 될 수 있다. 인력, 프로그램 및 시스템을 지속적으로 개선한다는 목표로 이러한 새로운 도구의 사용에 접근하면 교육생이 제공하는 임상 관리를 개선할 수 있는 방법에 대한 통찰력을 얻을 수 있습니다.
Finally, we will need resolve and courage to move forward with the use of learning analytics. These principles raise complicated and evolving concerns that will need to be addressed to do this safely and ethically. However, not using the assessment data that we collect within CBME to improve our training systems for the benefit of our future trainees and their patients would also be problematic. If we approach the use of these new tools with the goal of constantly improving our people, programs, and systems, 22 then they will provide insight into how we can improve the clinical care provided by our trainees.

결론들
Conclusions

학습 분석은 교육생, 프로그램 및 시스템에 도움이 되는 방식으로 EPA 기반 CBME 평가 시스템에 의해 수집되는 엄청난 양의 평가 데이터를 활용할 수 있는 잠재력을 가지고 있습니다. 그러나 이들의 활용은 새롭고 잠재적으로 위험한 과제를 제시하기도 한다. 안전하게 전진하기 위해, 우리는 교육과 컴퓨터 과학의 더 넓은 분야에서 개발된 학습 분석의 윤리적 원칙을 고려하고 기초할 필요가 있을 것이다.

Learning analytics have the potential to leverage the incredible amount of assessment data that are being collected by our EPA-based CBME assessment systems in ways that will benefit our trainees, programs, and systems. However, their utilization also presents new and potentially dangerous challenges. To move forward safely, we will need to consider and build upon the ethical principles of learning analytics that have been developed in the broader fields of education and computer science.

Copyright © 2021 by the Association of American Medical Colleges.

내리막길로 깡통 차기 - 의과대학이 자기조절에 실패한다면 (NEJM, 2019)
Kicking the Can Down the Road — When Medical Schools Fail to Self-Regulate
Sally A. Santen, M.D., Ph.D., Jennifer Christner, M.D., George Mejicano, M.D., and Robin R. Hemphill, M.D., M.P.H.

매년 봄 미국 의대 졸업식에서는 학생문제와 교과과정이 무대에 올라 졸업생들과 함께 학생들에게 해를 끼치지 않고 두건을 씌우고 악수를 하며 의학박사 학위를 수여한다. 그러는 동안, 그들은 마음속으로 그들이 가족을 돌보는 것을 허락하지 않는 이런 새로운 의사들 중 한 두 명(혹은 그 이상)이 있다는 것을 알고 있다. 이러한 학생들의 학업 한계나 비전문적인 행동을 알고 있는 학장들은 그럼에도 불구하고 그들이 졸업하도록 허용한다. 우리는 부적절하거나 부적절한 후보자들이 의사가 되는 것을 허용하는 것은 용납될 수 없다고 생각하며, 이런 식으로 우리의 책임을 계속 소홀히 할 수 없다. 
Every spring at U.S. medical school commencements, deans of student affairs and curriculum stand on stage, pledge along with the graduating class to do no harm and hood their students, shake their hands, and confer their medical doctorate degrees. All the while, they know in their hearts that there are one or two (or possibly more) of these new doctors whom they would not allow to care for their family. Aware of these students’ academic limitations or unprofessional behavior, the deans nonetheless allow them to graduate. We believe that allowing inadequate or inappropriate candidates to become doctors is unacceptable, and we cannot continue to neglect our responsibility in this way.

물론 일부 학생들이 고군분투하고 의과대학이 학업이나 전문성으로 어려움을 극복하기 위해 그들과 함께 일하는 것은 자연스러운 일이다. 학생에 대한 데이터는 없지만, 의사들이 범하는 일부 비전문적인 행동이 교정될 수 있다는 증거가 있다.1 그러나, 드물게, 비전문적인 행동에도 불구하고 졸업이 허용된 학생들은 파괴적이거나 무능한 임상의가 된다.  
It’s natural, of course, for some students to struggle and for medical schools to work with them to overcome their difficulties with academics or professionalism. Though there are no data on students, there is evidence that some unprofessional behavior on the part of practicing physicians can be remediated.1 In rare cases, however, students who are permitted to graduate despite unprofessional behavior go on to become disruptive or incompetent clinicians.2,3

환자를 돌보는 것은 의사로서 우리의 책임이고, 안전하고 인정 많은 보살핌을 제공할 수 있는 유능한 인력을 개발하는 것은 의료 교육의 지도자로서 우리의 의무입니다. 의료 실수는 지속적으로 저지르고 위해를 초래하며, 대부분은 주로 시스템적 문제에 기인하지만, 일부는 의료진의 시스템 작업 어려움, 의사소통 불능, 지식 부족 또는 전문적이지 못한 행동에서 비롯된다.4 
It is our responsibility as physicians to care for our patients, and our duty as leaders in medical education to develop a competent workforce that will provide safe and compassionate care. Medical errors continue to be committed and to cause harm, and though most are attributable primarily to systemic problems, some result from a physician’s difficulty working in the system, inability to communicate, lack of knowledge, or unprofessional actions.4

게다가, 몇몇 의사들은 범죄나 악의적인 행위를 저지른다; 그러한 사건들은 다른 화이트칼라 분야와 비슷한 비율로 의학에서 발생한다. 이 의사들이 전문적이지 않은 행동을 할 것이라고 더 빨리 예측할 수 있을까요? 증거는 우리가 할 수 있다는 것을 시사한다; 주 의료 위원회에 의해 승인을 받은 의사들은 이전에 그들의 전문성에 대해 질문을 받았고, 승진 위원회에 의해 문제가 있는 것으로 확인되었으며, 시험에서 좋지 않은 성적을 거둔 다른 의사들보다 더 가능성이 높다. 2,3 그러나 의과대학은 계속해서 졸업해야만 하는 학생들을 배출한다. 문제가 있는 학생의 제적을 장려하는 인센티브 혹은 그것을 가로막는 장벽은 무엇인가? 
In addition, a few physicians commit criminal or malicious acts; such incidents occur in medicine at a rate similar to that in other white-collar fields. Could we predict sooner that these doctors will behave unprofessionally? Evidence suggests that we could; physicians who are sanctioned by state medical boards are more likely than other physicians to have had their professionalism questioned previously, to have been identified as problematic by promotions committees, and to have performed poorly on tests.2,3 Yet medical schools continue to graduate students who should not be physicians. What are the incentives for promoting — and the barriers to dismissing — problematic students?

의사들은 일반적으로 사람들을 돕고 학생들에게 유사한 자질을 배양하는 것을 목표로 하는 직업에 들어가는 동정심 많은 치료사이다. 우리가 행정적인 역할을 맡을 때, 우리는 학생들을 돕고자 하는 열망을 간직하고 있다. 그리고 학생들이 힘들어 할 때, 우리의 성향은 그들에게 투자하고 그들이 더 나은 의사가 되도록 돕는 것입니다.
Physicians are generally compassionate healers who enter the profession aiming to help people and to foster similar qualities in students. When we take on administrative roles, we retain the desire to help our students. And when students struggle, our inclination is to invest in them, working to help them become better doctors.

만약 문제의 학생들이 환자의 사생활, 학생들의 사생활, 그리고 장애가 있는 학생들의 권리에 대한 고려를 도입하는 정신 건강 문제를 가지고 있다면 이러한 상황은 더 복잡해질 수 있다. 그러한 학생들에 대한 [우리의 동정심과 존경심] 때문에, 우리는 종종 뒤로 물러서서, [그들이 의사가 되어서는 안 되고, 그들이 그렇게 하도록 우리가 더 이상 도와서는 안 될 때]를 인식하는데 어려움을 겪는다 - 환자들을 보호하는 우리의 주된 역할이 학생들에 대한 우리의 의무를 능가할 때.
These situations may be further complicated if the students in question have mental health problems, which introduce considerations of patient privacy, student privacy, and the rights of students with disabilities. Because of our sympathy and respect for such students, we often have a hard time stepping back and recognizing when they should not become physicians and we should no longer help them do so — when our primary role of protecting patients trumps our duty to students.

우리의 동정심 너머에는 학자금 빚이라는 끈끈한 문제가 있다. 종종 우리가 학생들을 제적시켜야 한다고 말할 수 있을 때쯤, 그들은 의과대학에 잘 들어갔고 수십만 달러의 빚이 있을지도 모른다. 우리는 해고된 학생들이 의사의 수입으로 이어질 의학 학위를 받지 못한다면 어떻게 그 빚을 갚을 수 있을지 궁금하다. 
Beyond our compassion, there is the sticky matter of student debt. Often by the time we can tell that students should be dismissed, they are well into medical school and may be hundreds of thousands of dollars in debt. We wonder how dismissed students can pay off that debt if they don’t come away with a medical degree that will lead to a physician’s income.

외부 요인도 관련되어 있습니다. 부학장들은 의과대학의 지도부가 학생들을 제적시키는 결정에 있어서 그들을 지지할 것이라고 항상 믿지는 않는다. 이러한 결정은 일반적으로 학술 검토 위원회에 의해 이루어지며 부학장에 의해 관리된다; 그것들은 종종 학장, 집행 위원회, 대학 총장 또는 다른 지도자들에게 호소된다. 이 지도자들은 학생 문제의 세부 사항에서 다소 벗어나고, 그들 자신의 압력을 가지고 있기 때문에 해고를 지지하지 않을 수도 있다. 그들은 또한 해고가 학교가 학생들을 지원하지 않는다는 신호로 인식될 것을 두려워할지도 모른다. 
External factors are also involved. Associate deans of education don’t always believe that the leadership of their medical school will support them in decisions to dismiss students. Such decisions are generally made by an academic review committee and managed by associate deans; they are often appealed to the dean, an executive committee, the university president, or other leaders, who may confirm or reverse them. These leaders may be rather removed from the details of student issues and, having their own pressures to contend with, may not endorse dismissal. They may also fear that dismissal will be perceived as a sign of the school’s failure to support its students.

의과대학 인가 과정에서는 학생들의 attrition rate을 보고해야 한다. 전반적으로, 미국의 의과대학은 약 3%의 학생들만이 학문적, 전문적, 개인적, 또는 의학적인 이유로 졸업하지 못할 정도로 낮은 편이다(NEJM.org에서 제공되는 보충 부록 참조). 평균보다 높은 감원 또는 해직률은 인증 및 채용에 영향을 미칠 수 있습니다. 미국 밖의 의과대학에서는 다소 높은 비율(평균 9%)이 학위를 마치지 못하고 있으며, 다른 전문학교의 attrition rate도 상당히 높다. 로스쿨(평균 20% 감소), 간호대(10~50%), 약대(10~14%), 박사과정(최대 50%)의 학생, 교직원, 행정관 등은 전문학교 지원자 선발이 불완전한 과정임을 인식하고 있는 것으로 보인다(보충 부록 참조). 그럼에도 불구하고, 전통적으로 미국 의과대학들의 낮은 attrition rate에 비추어 볼 때, attrition rate가 높은 학교는 스스로 명성을 위협하는 것이 된다.
The medical school accreditation process requires reporting student attrition rates. Overall, the U.S. medical school attrition rate is low, with only about 3% of students failing to graduate for any reason, whether academic, professional, personal, or medical (see the Supplementary Appendix, available at NEJM.org). A higher-than-average rate of attrition or dismissal might raise red flags, affecting accreditation and recruitment. In medical schools outside the United States, a somewhat higher proportion of students (9% on average, internationally) do not finish their degrees, and attrition in other professional schools is quite a bit higher; students, faculty, and administrators of law schools (20% attrition, on average), nursing schools (10 to 50%), pharmacy schools (10 to 14%), and Ph.D. programs (up to 50%) seem to recognize that selection of candidates for professional schools is an imperfect process (see the Supplementary Appendix). Still, in light of the traditionally low attrition in U.S. medical schools, higher rates at a given school could well threaten its reputation.

제적에 대한 추가적인 강한 의욕은 [법적 책임의 문제]이다. 의과대학이 제적 관련 소송에서 패소한 것은 드문 일인데, 일반적으로 법원은 전문직이 학생을 포함한 자신의 구성원들을 제재할 권리와 책임이 있다고 판결했다. 법원이 파면 결정을 지지하지 않은 사건은 학교가 자체적인 적법절차, 회피, 항소 방침에서 벗어난 것과 관련이 있다. 그럼에도 불구하고, 학교가 학생을 해고하는 것을 고려할 때마다, 소송의 위험은 학생들과 그들의 옹호자들이 그들의 법적 선택권을 탐구할 수 있기 때문에, 그 기관의 법률 상담에 의한 개입을 촉발한다. 어떠한 소송도 법적 변호를 위해 학교 비용을 들일 뿐만 아니라 교직원들과 관리자들에게 장기적인 개인 피해를 줄 수 있다.
An additional strong disincentive to dismissal is the question of legal liability. It is rare for a medical school to lose a lawsuit related to dismissal; in general, the courts have decided that professions have the right and responsibility to sanction their own members, including students. The cases in which courts have not upheld dismissal decisions have involved schools’ deviation from their own due-process, recusal, and appeals policies. Nevertheless, each time a school considers dismissing a student, the risk of a lawsuit triggers involvement by the institution’s legal counsel, since students and their advocates may explore their legal options. Any litigation can take a protracted personal toll on faculty members and administrators, in addition to costing the school money for legal defense.

마지막으로, 우리는 측정의 불확실성에 대해 불편함을 피할 수 없다. 학생들을 제적시키는 데 데 있어 가장 어려운 문제 중 하나는 그러한 결정의 기초가 되는 상세한 데이터의 부족과 존재하는 데이터의 논쟁의 여지가 있는 정확성과 타당성이다. 종종, 교수진들은 학생들의 경력을 손상시킬 수 있는 비전문적인 행동을 기록하기를 원하지 않는다. 그들은 비전문적인 행동의 단일 사례가 단지 단일 사례라고 합리화한다. 그들은 그 학생이 다른 곳에서 그러한 행동의 패턴을 보였음을 모를 수도 있다. 동정심에서, 교육자들은 그 행동이 단지 미성숙하거나 평균보다 느린 학생의 성장 궤적을 반영한다고 믿기로 선택할 수도 있다. 교직원들이 발생하는 문제를 문서화하는 것을 자제할 때, 학문적 검토 위원회가 결정을 내릴 수 있도록 충분한 의견을 모으기 어렵다.
Finally, we are inevitably uncomfortable about the degree of uncertainty in measurement. One of the most difficult problems with dismissing students is a lack of detailed data on which to base such decisions and the debatable accuracy and validity of the data that do exist. Often, faculty do not want to document unprofessional behavior that might hurt a student’s career. They rationalize that a single instance of unprofessional behavior is just a single instance. They may not know that the student has exhibited a pattern of such behavior elsewhere. Out of compassion, educators may choose to believe that the behavior merely reflects immaturity or a student’s slower-than-average growth trajectory. When faculty members refrain from documenting the problems that arise, it is difficult to amass adequate input for academic review committees to make decisions.

고군분투하고 재교육을 받는 사람들을 포함하여, 대다수의 미국 의대생들은 성공한다. 하지만 학생들이 의사가 되어서는 안 될 때, 졸업까지 재촉하는 것은 결과를 낳는다. 일부 레지던트 프로그램 담당자들은 의대생들의 학업성취도 평가와 성적표가 학생들의 성적을 정확하게 반영하지 못한다는 것을 알고 의대에 대한 신뢰를 잃었다. 부정적인 코멘트가 포함되지 않을 수 있고, 전문성 문제가 숨겨질 수 있으며, 학생이 교정 조치를 받거나 재수강할 때 과정 실패를 "합격"으로 대체할 수 있기 때문이다.
The vast majority of U.S. medical students succeed, including those who struggle and undergo remediation. But when students clearly should not become doctors, shuttling them through to graduation has consequences. Some residency program directors have lost their trust in medical schools, knowing that their Medical Student Performance Evaluations and academic transcripts don’t accurately reflect students’ performance because negative comments may not be included, professionalism issues may be hidden, and a course failure may be replaced with a “pass” when the student receives remediation or retakes the course.

우리는 의과대학이 인증기관과 협력하고, 학위 수여 오프 램프(Off-ramp)를 만들고, 몇 가지 어려운 결정을 내려야 한다고 믿는다. 만약 의학 교육자들이 그들의 양심을 조사한다면, 그들은 우리가 졸업하는 모든 학생들이 환자와 우리 가족을 돌보는 것을 허락할 수 있는 사람이라는 것을 확실히 할 필요성을 인식하게 될 것이다. 직업으로서, 우리는 우리의 전문적 가치에 더 큰 헌신을 할 수 있고, 전문성의 발전을 지원하고 요구하는 학습 환경을 만들 수 있다. 비록 그것이 학생들이 더 적합한 직업을 찾도록 돕는 것을 의미할지라도, 학생들을 돕는 것은 우리의 책임이다.5 우리가 지망하는 의사들이 그들의 잠재력을 성취하도록 도울지라도, 학생이 우리의 직업적인 가치와 역량에 부응하지 못할 때를 정직하게 인정하는 것은 필수적이다. 그렇게 하는 것은 의료 전문가로서 우리의 사회적 합의를 지지하는 데 필수적이다.

We believe that medical schools will need to partner with accreditation bodies, create degree-granting off-ramps, and make some tough decisions. If medical educators examine their consciences, they will recognize the need to ensure that every student we graduate is someone we would allow to care for patients and our own families. As a profession, we can make a greater commitment to our professional values, and we can create learning environments that support and require the development of professionalism. It is our responsibility to help students, even if that means helping them find a more suitable career.5 Even as we help aspiring physicians achieve their potential, it’s essential to honestly acknowledge when a student will not live up to our professional values and competencies. Doing so is integral to upholding our social compact as medical professionals.

 doi: 10.1056/NEJMp1908940.

Kicking the Can Down the Road - When Medical Schools Fail to Self-Regulate

PMID: 31826338

DOI: 10.1056/NEJMp1908940

의학교육 도구로서 서사의학: 체계적 문헌고찰(Med Teach, 2019)
Narrative medicine as a medical education tool: A systematic review
M. M. Milota, G. J. M. W. van Thiel and J. J. M. van Delden

방법들
Methods

우리의 목표는 서사 기반 의학에 대한 이론적 출판물에서 제안된 교육 전략이 보건 교육 환경에 체계적으로 적용되었는지 여부를 확인하는 것이다. 이러한 이유로, 우리의 건강교육 체계적 검토는 임상적 환경이나 비건강교육 환경에서 서사의학 사용을 설명하는 기사가 아니라 의료교육 또는 의료실무자의 지속적인 전문적 발전에 대한 구체적인 서사의학 개입에 대해 보고하는 기사에 초점을 맞출 것이다. 이 검토는 다음의 세 가지 하위 질문에 답하려고 시도할 것이다: 

• 첫째, 건강 교육에 서술 기반 의학의 구조화된 모델의 증거가 있는가? 그리고 만약 그렇다면, 그것이 일관되게 적용되고 있는가?
• 둘째, 서술 기반 강의실 개입이 측정 가능한 결과를 초래한다는 증거가 있는가?
• 마지막으로 보고된 결과의 품질과 특성은 무엇입니까?

Our goal is to ascertain whether or not the pedagogic strategies proposed in the theoretical publications about narrative-based medicine were systematically applied in health education settings. For this reason, our health education systematic review (Gordon 2018) will focus on articles that report on specific narrative medicine interventions in medical education or in the continuing professional development of medical practitioners, not on articles that describe the use of narrative medicine in clinical settings or in non-health education settings. This review will attempt to answer the following three sub-questions:

• first, is there evidence of a structured model for narrative-based medicine in health education, and if so, is it consistently applied?
• Second, is there evidence that narrative-based classroom interventions result in measurable outcomes?
• Finally, what is the quality and nature of the reported outcomes?

문헌 검색
Literature search

우리의 체계적인 검토는 두 단계로 실행되었다. 첫째, 우리는 전자 데이터베이스를 검색했고, 둘째, 우리는 서술 의학 관련 주요 저자와 기사를 대상으로 반복적인 검색을 실행했다. 첫 번째 단계의 기사는 다음과 같은 전자 데이터베이스에서 얻었다. PubMed, Medline, Psychinfo, EBSCO 학술 검색 프리미어 및 간호 및 관련 건강 문헌 누적 지수(CINAHL)가 포함되어 있습니다. 별도의 검색 문자열 목록은 부록에서 확인할 수 있습니다. 가장 관련성이 높은 출처를 검색하기 위한 수단으로 제목, 추상 또는 키워드에 "의학" 또는 "의학 기반 의학"이 포함된 기사를 검색했습니다. 또한 1999년에 서술 의학 또는 서술 기반 의학을 개념으로 설명하는 첫 번째 이론적 출판물과 잠재적 강의실 개입이 출판됨에 따라 2000년부터 발행된 논문으로 검색을 제한했다. 검색어에 대한 합의가 이루어지자 한 저자(M.M.)가 2017년 11월 6일 초기 검색을 실행했다. 이 검색은 2018년 5월 31일에 반복되었다.

Our systematic review was executed in two phases: first, we searched electronic databases; second, we ran an iterative search targeting key authors and articles related to narrative medicine. Articles in the first phase were obtained from the following electronic databases: PubMed, Medline, Psychinfo, EBSCO Academic Search Premier, and the Cumulative Index to Nursing and Allied Health Literature (CINAHL). A list of the separate search strings can be found in the Supplementary Appendix; as a means of retrieving the most relevant sources, we searched for articles that included “narrative medicine” or “narrative-based medicine” in the title, abstract, or keywords. We also limited our search to articles published from 2000 onwards as the first theoretical publications describing narrative medicine or narrative-based medicine as a concept and potential classroom intervention were published in 1999. Once we had reached consensus about the search terms, one author (M.M.) ran an initial search on November 6, 2017. This search was repeated on May 31, 2018.

두 번째 단계에서는 컬럼비아 대학의 서사의학 프로그램의 공동 설립자인 Rita Charon, Sayantani Das Gupta Craig Irvine 및 Maura Spiegel을 대상으로 서사의학 강의실 개입에 대한 주요 기사를 별도로 검색했다. 그런 다음 관련 출처를 찾기 위해 이러한 기사의 참조 목록을 검토했다. 우리는 또한 우리의 연구 질문과 관련이 있을 수 있는 추가 기사를 식별하기 위해 서사의학, 공감 및 의학 교육의 예술에 대한 체계적인 리뷰에서 인용된 작품들을 조사했다. 중복을 제거한 뒤 378건의 글이 남았다.

For the second phase, we ran a separate search on PubMed by author, in this case for the co-founders of Columbia University’s Narrative Medicine Program—Rita Charon, Sayantani DasGupta Craig Irvine, and Maura Spiegel—in order to identify key articles about narrative medicine classroom interventions. We then examined the reference lists of these articles for further relevant sources. We also examined the works cited in systematic reviews on narrative medicine, empathy, and the arts in medical education to identify any additional articles that could be relevant to our research questions (Kuper 2006; Batt-Rawden et al. 2013; Cowen 2016; Barber and Moreno-Leguizamon 2017; Wieżel et al. 2017). After removing duplicates, 378 articles remained.

 

기사선정
Article selection

두 명의 저자(M.M.과 G.V.T.)는 다음과 같은 자격 기준에 기초하여 제목과 요약본을 스캔하여 Cvidence의 전체 텍스트 검토를 위한 관련 기사를 독립적으로 식별했다.
Two authors (M.M and G.v.T.) independently identified relevant articles for full-text review in Covidence by scanning the titles and abstracts on the basis of the following eligibility criteria.

• 포함 기준: 
  • 학부, 대학원 또는 대학원 수준의 의료 또는 의료 교실 환경에서 서술적 의학 커리큘럼, 과정, 세미나 또는 교수 관행을 설명하는 출판물 
    
  • 의료 서비스 제공자를 위한 교수진 개발 전문 개발 개입을 설명하는 연구 
    
  • 질적 및/또는 정량적 평가를 통해 교육학적 도구로서 서술적 의학의 영향을 시험하려는 출판물.

Inclusion criteria: publications that describe narrative medicine curricula, courses, seminars, or teaching practices in a medical or paramedical classroom setting at the undergraduate, graduate, or postgraduate level; studies describing a faculty development professional development intervention for health care providers; publications that attempt to test the impact of narrative medicine as a pedagogic tool with qualitative and/or quantitative assessment.

• 제외 기준: 
  
  • 임상 환경에서 서술적 의학 사용에 대해 보고하는 출판물 
    
  • 서술 의학에 대해 이론화하지만 특정 강의실 환경에서 그것의 사용을 설명하지 않는 출판물 
    
  • 비의료 환경에서 서술형 의학의 사용을 설명하는 출판물(예: 수의학교) 
    
  • 서술적 의학을 교육학적 도구로 명시적으로 언급하고 사용하지 않는 출판물 
    
  • 비영어 출판물; 체계적인 문학 평론

Exclusion criteria: publications that report on the use of narrative medicine in a clinical setting; publications that theorize about narrative medicine but do not describe its use in a specific classroom setting; publications that describe the use of narrative medicine in a non-medical setting (for example, veterinary school); publications that do not explicitly mention and use narrative medicine as a pedagogic tool; non-English publications; systematic literature reviews.

포함 목록을 비교하기 위해 회의를 하고 갈등을 해결한 후, 한 연구원(M.M.)은 자격에 대한 전문 분석을 실시했다. 서사의학 강의실 개입에 대한 총 36개의 연구가 최종 분석에 포함되었다. 그림 1에는 검색 프로세스의 흐름도가 나와 있습니다.
After meeting to compare inclusion lists and resolving any conflicts, one researcher (M.M.) conducted a full-text analysis for eligibility. In total, 36 studies reporting on a narrative medicine classroom intervention were included in the final analysis. Figure 1 contains a flow diagram of the search process.

데이터 추출
Data extraction

한 저자(M.M.)는 전체 텍스트를 검토하고 다음과 같은 일반 정보를 추출했다: 저자, 출판 연도, 강의실 개입 현장, 연구 유형(개입 보고서, 정성 및/또는 정량적 평가 구성요소), 서술 의학 과정 수준 및 분야, 과정 유형(선택, 필수, 교수 개발), 코스 기간 및 참가자 수(참가자 수 포함)에 대해 설명합니다.

또한, 이 추출물은 보고된 서술 의학 과정 내용의 더 자세한 측면을 기록했습니다. 여기에는 다음이 포함됩니다. 코스 자체에 사용된 공식 및 비공식 평가 도구(예: 동료 피드백 또는 의사-작가 및 전문가와의 글쓰기 워크샵 세션)뿐만 아니라 코스에 사용된 특정 예술 형식 또는 이론적 텍스트, 특정 쓰기 과제, 공식 및 비공식 평가 도구 마지막으로, 추출은 또한 교육학적 개입에 대한 정성적 및/또는 정량적 평가를 포함하는 연구에서 보고된 방법, 목표 및 결과를 기록하였다.

One author (M.M.) reviewed the full texts and extracted the following general information: authors, year of publication, site of classroom intervention, type of study (report of intervention, qualitative and/or quantitative assessment component), the narrative medicine course level and field, type of course (elective, required, faculty development), the duration of course, and the number of participants, if mentioned.

In addition, the extraction recorded more detailed aspects of the reported narrative medicine course content. This included: specific art forms or theoretical texts used in the course, specific writing assignments as well as formal and informal assessment tools used in the course itself (for example, peer feedback or writing workshop sessions with a physician-writer and expert). Finally, the extraction also recorded the methods, objectives, and outcomes reported in the studies that included a qualitative and/or quantitative assessment of a pedagogic intervention.

증거 등급
Evidence grading

 

서술형 의학 강의실 개입의 결과를 평가하려고 시도한 연구는 Kirkpatrick 기반 결과 척도 및 증거 척도를 모두 포함하는 BEME(Best Evidence in Medical Education) 글로벌 평가 척도를 사용하여 평가되었다. Kirkpatrick 모델은 원래 기업 조직의 교육 프로그램을 평가하는 수단으로 고안되었으며, 의료 교육을 포함한 고등 교육(Praslova 2010)에서 프로그램의 효과를 측정하는 표준 도구가 되었다. BEME 글로벌 척도는 표 1에서 확인할 수 있습니다.

Studies that attempted to assess the outcomes of a narrative medicine classroom intervention were rated using the Best Evidence in Medical Education (BEME) Global Rating Scale, which includes both a Kirkpatrick-based outcomes scale and a strength of evidence scale (Hammick et al. 2010). Originally conceived as a means of assessing training programs in business organizations (Kirkpatrick 1959, 1976, 1996), the Kirkpatrick model has become a standard tool for gauging the effectiveness of programs in higher education (Praslova 2010) including medical education (Issenberg et al. 2005; Littlewood et al. 2005; Steinert et al. 2006; Colthart et al. 2008; Tochel et al. 2009; Sullivan 2011). The BEME Global Scale can be found in Table 1.

 

 

데이터 추출을 완료한 후 한 작성자(M.M.)는 BEME Global Scale을 사용하여 포함된 기사를 코드화했습니다. 이 단계가 완료되면 두 번째 작성자(G.V.T.)는 무작위로 선택된 5개의 기사에 대한 독립적인 채점을 완료했다. 그 후 두 저자는 그들의 점수를 비교하고 의견 차이를 해결하기 위해 만났다. 보충 표 2는 증거와 결과 점수의 BEME 강도뿐만 아니라 데이터 추출의 핵심 정보를 제공한다.
After completing the data extraction, one author (M.M.) coded the included articles using the BEME Global Scale. Once this step was completed, a second author (G.v.T.) completed an independent grading of 5 randomly selected articles. The two authors then met to compare their scores and resolve disagreements. Supplementary Table 2 provides key information from the data extraction as well as the BEME strength of evidence and outcome scores.

결과.
Results

서사기반 의료 개입을 위한 구조화된 모델의 증거
Evidence of structured model for narrative-based medicine interventions

보건 교육에서 서술 의학에 대한 이론적 출판물은 일반적으로 세 가지 기본 단계로 구성된 교육학적 전략을 설명한다.

• 첫 번째 단계는 환자 내러니트, 문학 텍스트, 영화 단편, 예술 작품 또는 음악 작품과의 [성찰적 참여]를 포함한다. 컬럼비아의 내러티브 메디컬 프로그램에서 이 단계는 특정 형태의 예술을 [자세히 읽거나 비판적으로 분석하는 것]을 포함하며, 그들의 내러티브 의학 강의실에서 대표적인 방법으로 여겨진다.
• 이 참여 동안 얻은 통찰력은 [관련된 쓰기 과제 또는 개인적인 성찰]을 통해 교육학적 전략의 두 번째 단계에서 강화된다.
• 만남은 세 번째 단계에서 더욱 풍성해지는데, 이것은 이러한 [작은 자기 성찰 행위들을 공유하고 토론하는 것]으로 구성되어 있다. 

Theoretical publications about narrative medicine in health education typically describe a pedagogic strategy consisting of three basic steps.

• The first step involves a reflective engagement with a patient narrative, literary text, film fragment, art work, or piece of music. At Columbia’s Narrative Medicine Program, this step includes a close reading—or critical analysis—of the art form and is considered the signature method in their narrative medicine classrooms (Charon, DasGupta, et al. 2016, p. 181).
• The insights gained during this engagement are reinforced in the second step of the pedagogic strategy by means of a corresponding writing assignment or personal reflection.
• The encounter is further enriched in the third step, which consists of sharing and discussing these small acts of self-reflection (Balmer and Richards 2012, p. 2).

다시 말해서, [서사의학 강의실 개입]은

• 예술 형태나 서사를 만나거나 분석하고,
• 이 만남을 성찰하고,
• 주의 깊게 관찰되고 뒷받침되는 환경에서 자신의 발견을 다른 사람들과 공유하는 것을 포함한다.

In other words, a narrative medicine classroom intervention entails

• encountering and/or analyzing an art form or narrative,
• reflecting upon this encounter, and
• sharing one’s discoveries with others in carefully monitored and supportive environment (Charon, DasGupta, et al. 2016).

본 검토에서 서사의학을 교육학적 도구(N = 36)로 사용하는 것에 대해 보고한 연구들 중, (밀접한) 읽기-반성-응답의 3단계 과정의 증거는 대부분의 기사(N = 22)에서 찾을 수 있다. 소수의 과정에서는 성찰적 글쓰기와 토론만 포함했습니다(N = 12). 극소수는 서면 반영(N = 2)을 포함하지 않았다.

Of the studies in this review that reported on their use of narrative medicine as a pedagogic tool (N = 36), evidence of this three-step process of (close) reading-reflecting-responding could be found in the majority of the articles (N = 22). A minority of courses only included reflective writing and discussion (N = 12). A very small minority did not include written reflection (N = 2).

측정 가능한 결과의 증거
Evidence of measurable outcomes

이 검토에서 23개의 연구는 그들의 서술적 의학 교실 개입의 영향을 평가했다. Kirkpatrick 모델에 따라 분류된 연구 결과의 간략한 요약은 표 2에서 확인할 수 있다. 이러한 연구의 측정 및 결과에 대한 자세한 설명은 부록에서 확인할 수 있다.

In this review, 23 studies assessed the impact of their narrative medicine classroom interventions; a brief summary of the findings categorized according to the Kirkpatrick model can be found in Table 2. A detailed description of the measures and outcomes of these studies can be found in the Supplementary Appendix.

 

1단계: 참여
Level one: participation

대부분의 연구에는 1단계 또는 2단계 평가가 포함되었다. 수준 1 결과 측정치(N = 14)를 포함하는 연구는 성과척도로서 조사 또는 피드백 양식에 압도적으로 의존했지만 서사의학, 개입 자체에 대한 긍정적인 학생 반응과 감사, 희망, 만족 또는 기쁨과 같은 긍정적인 효과를 보고했다.
The majority of the studies included level one or two assessments. Studies that included level one outcome measures (N = 14) overwhelmingly relied on surveys or feedback forms as outcome measures but reported positive student reactions to the narrative medicine interventions themselves (Winkel 2010; Ross 2014) and positive effects, such as a sense of gratitude, hope, satisfaction, or pleasure (DasGupta and Charon 2004; Feigelson and Muller 2005; Garrison 2011; Chretien 2015).

2단계: 태도, 인식, 지식 또는 기술의 수정
Level two: modification of attitudes, perceptions, knowledge, or skills

예를 들어, 참가자들의 태도나 인식의 변화에 대해 보고한 연구들(레벨 2a; N = 16)은 그들의 동료들과 더 넓은 전문 커뮤니티에 대한 정체성 증가, 그들의 일에 대한 더 많은 만족과 웰니스 감각, 또는 문화적 다양성에 대한 더 나은 인식을 발견했다. 임상실습 3학년 학생들을 위한 서사의학 환자 스토리텔링 과정에 대한 크레티엔의(2015) 평가 연구는 예시적인 예를 제공한다. 그 과정 동안, 학생들은 환자를 인터뷰하고, 그들의 인터뷰를 서술형으로 쓰고, 그들의 인터뷰 대상자들과 이 쓰여진 작품을 공유해야 했다. 강의가 끝난 후 포커스 그룹과 학생과 참여 환자 모두를 대상으로 한 인터뷰가 진행됐다. 학생들은 이 연습을 통해 다음을 했다고 보고했다

• 환자로부터 질병 이상의 것을 발견하는데 도움을 주었고,
• 천천히 듣고 들을 수 있는 기회를 갖도록 더 개방적으로 만들었으며,
• 이야기들이 환자 치료에 긍정적인 영향을 미칠 수 있다는 것을 확실히 보여주었다.

Studies that reported on modification of participants’ attitudes or perceptions (level 2a; N = 16) found, for example,

• increased identification with their peers and the broader professional community (Feigelson and Muller 2005; Balmer and Richards 2012; Al-Imari et al. 2016),
• more satisfaction with their work and sense of wellness (Feigelson and Muller 2005; Graham 2009), or
• a better awareness of cultural diversity (DasGupta et al. 2006).

Chretien’s (2015) assessment study of a narrative medicine patient storytelling course for third-year medical clerkship students provides an illustrative example. During the course, students had to interview patients, write up their interview as a narrative, and share this written work with their interviewees. Focus groups and interviews with both students and participating patients were conducted after the course was completed. Students reported that the exercise

• helped them discover that patients are more than their disease,
• made them more open to taking the opportunity to slow down and listen, and
• made clear to them that stories can positively impact patient care.

상당수의 연구는 또한 서사의학 개입의 직접적인 결과로 지식이나 기술의 수정을 평가했다(수준 2b; N = 14). Liben(2012)은 서사의학 워크숍의 교수진 참가자들이 후속 테스트에서 서사적 용어 습득을 입증하고 나중에 이러한 서사의 기술을 교육 및 임상 환경에 적용했다고 보고했다. 마찬가지로, Ross(2014)는 서사의학 과정(평균 점수 51.6–71.5, p < 0.001)을 완료하기 전후에 실시한 서사적 기술 평가에서 유의미한 향상을 기록했다. 커닝햄(2018)은 학생들이 자신의 서술적 성찰에서 다음과 같은 주제를 다루었다는 것을 발견했다: 자기 인식, 공감, 정서적 거리와 연민의 균형. 다른 연구들은 의사소통에 대한 이해와 능력이 향상되었다고 보고했다.
A considerable number of studies also assessed the modification of knowledge or skills as a direct result of the narrative medicine intervention (level 2b; N = 14). Liben (2012) reported that faculty participants in a narrative medicine workshop demonstrated the acquisition of narrative terms in a follow-up test and later applied these narrative skills in teaching and clinical settings. Similarly, Ross (2014) recorded significant improvement in a narrative skills assessment administered before and after the completion of a narrative medicine course (mean scores 51.6–71.5, p < 0.001). Cunningham (2018) found that students addressed the following themes in their written narrative reflections: self-awareness, empathy, and balancing emotional distance and compassion. Other studies reported an enhanced understanding of and capability in communication (Garrison 2011; Arntfield et al. 2013; Welch 2016).

많은 연구들은 학생들이 그들의 환자에 대한 공감과 연결성을 증가시켰다고 보고했다. Sands(2008)는 또한 baseline에 비해서 Interpersonal Reactivity Index를 사용한 개입 후 평가에 따라 공감적 관심empathic concern의 개선을 발견했다. 하지만, 서사의학 개입 전후에 공감 수준을 평가하려는 모든 시도가 긍정적인 결과를 가져온 것은 아니다. 서사의학 세미나 세션에 참석하면 번아웃을 줄이고, 공감 능력을 높이고, 반사 능력을 높이고, 주민들이 업무에서 접하는 다중 스트레스 요인을 처리하는 데 도움이 될 것이라는 윙클 외(2016)의 가설을 Maslach Burnout Inventory, Interpersonal Reactivity Index 및 Self-Care Inventory를 통해 검증하였으며, 참가자가 서술 의학 세미나를 마친 후 1년 후 기준에서 시행하였다. 그 결과에서, 서사의학 개입 이후 공감적 관심이 약간 증가했다고 보고했습니다(+0.76, p = 0.01). 그러나 전체 수준에서 저자들은 번아웃 수준은 높은 수준을 유지했지만 점수에서 큰 차이를 발견하지 못했다.
A number of studies reported that students had an increased sense of empathy for and connection to their patients (DasGupta and Charon 2004; Maurer 2006; Vannatta and Vannatta 2013; McDonald 2015). Sands (2008) also found an improvement in empathic concern (p = 0.056) according to baseline and post-intervention assessments using the Interpersonal Reactivity Index. This being said, not all attempts to assess empathy levels before and after a narrative medicine intervention resulted in positive results. Winkel et al.’s (2016) hypothesis that attending narrative medicine seminar sessions would reduce burnouts, enhance empathy, increase reflective capabilities, and help residents process the multiple stressors the encountered on the job, was tested by means of a Maslach Burnout Inventory, Interpersonal Reactivity Index, and Self-Care Inventory administered at the baseline and one year after participants’ completion of the narrative medicine seminars. The study reported a small increase in empathic concern after the narrative medicine intervention (+0.76, p = 0.01). Yet at the aggregate level, the authors found no significant difference in scores, although burnout levels remained high.

3단계: 행동 변화
Level three: behavioral change

이 검토에 포함된 세 가지 연구는 서술 기반 의학 개입의 결과로 행동 변화를 명시적으로 측정하기 위한 시험을 설계하고 실행했다. 이러한 연구에는 여러 측정 도구가 포함되었으며 세 가지 중 두 가지에는 데이터 삼각측량이 포함되었다. Bhavarju는 서사의학 교수 훈련 개입의 영향을 평가하기 위해 사전 및 사후 리커트 척도 설문지를 사용하여

• 쓰기 및 쓰기 연습 리딩에 대한 자신감 향상(3.1–4.2)과
• 독서토론 리딩에 대한 높아진 자신감(3.7–4.4)을 확인했다. 참가자들은 또한
• 강의에 서사의학 도구를 통합한다(2.0–2.7)고 보고했다. 

Three studies included in this review designed and executed tests to explicitly measure behavioral change as a result of a narrative-based medicine intervention (Balmer and Richards 2012; Arntfield et al. 2013; Bhavaraju and Miller 2014). These studies included multiple measurement tools and two of the three included data triangulation (Balmer and Richards 2012; Arntfield et al. 2013). Using pre- and post-intervention Likert Scale questionnaires to assess the impact of a narrative medicine faculty training intervention, Bhavaraju found an

• increase in participants’ confidence in writing and leading writing exercises (3.1–4.2) and
• increased confidence in leading literary discussions (3.7–4.4). Participants also reported
• integrating narrative medicine tools in their teaching (2.0–2.7).

발머의 교수 교육 프로그램 분석은 전문적 성장(교습 전략 학습, 여러 과정에 이러한 전략 적용), 개인적 성장(관점 수용), 집단적 및 공동적 지원의 증거를 발견했다. (다른 사람, 소속감, 그리고 풍부한 연결감을 봅니다.) Arntfield의 학부 서사의학 선택과목 평가는 3가지 데이터 수집 및 분석 수단을 사용했다. 즉, 개입 전 익명 조사, 포커스 그룹, 개입 후 1.5년 후 추적 조사이다. 따라서 이 연구의 결과는 Kirpatrick 모델의 여러 수준으로 분류될 수 있지만, 참가자들은 커뮤니케이션에 대한 이해와 능력의 향상 형태로 행동 변화를 보고했다.

Balmer’s analysis of a faculty training program found evidence of professional growth (learning teaching strategies, applying these strategies to multiple courses), personal growth (perspective taking), and collective and communal support (seeing the “other,” affiliation, and a sense of rich connectedness). Arntfield’s assessment of an undergraduate narrative medicine elective course used three means of data collection and analysis: an anonymous pre-intervention survey, a focus group, and a follow-up survey 1.5 years after the intervention. The outcomes of this study could thus be categorized on multiple levels of the Kirpatrick model, but participants reported behavioral changes in the form of enhanced understanding of and capability in communication.

레벨 4: 조직 관행 또는 환자 상호 작용의 변화
Level four: change in organizational practice or patient interaction

임상 기술 개발에 대한 서술적 의학 강의실 개입의 장기적인 결과를 측정하기 위한 두 가지 연구가 시도되었다. 조직 관행의 변화와 관련하여, Arntfield의 연구 참가자들은 [(환자의 관점에 대한 개선된 인식이란 형태로) 더 나은 치료 전달]을 보고하였다. 발머의 연구의 목표는 진행 중인 [프로세스-지향 서사의학 교수개발 프로그램]이 참가자들에게 미치는 영향을 탐구하는 것이었다. 그리고 저자들은 그들의 의도가 개인 개입 자체를 평가하는 것이 아니라, [대인 관계와 제도적 관행의 진화하는 변화를 살펴보는 것]이라고 명시적으로 말했다. 이 연구는 교수진 개발 프로그램의 참가자들이 나중에 컬럼비아의 새로운 커리큘럼의 규범과 관행을 형성하는 데 도움을 주었다고 결론지었다. 두 연구 모두 교수세미나의 영향에 대한 분석에서 질적 방법만을 사용했지만, 그럼에도 불구하고 참여자들은 [서사의학적 실천을 더 많이 포함하도록 대학의 의과대학 커리큘럼을 형성]하는 데 결정적이고 측정 가능한 수단hand을 가지고 있다고 확신했다.

Two studies attempted to measure the long-term results of a narrative medicine classroom intervention on clinical skill development (Balmer and Richards 2012; Arntfield et al. 2013). Regarding changes in organizational practice, participants in Arntfield’s study reported better delivery of care in the form of a better awareness of patients’ perspectives. The goal of Balmer’s study was to explore the impact of an ongoing, process-oriented narrative medicine faculty development program on participants, and the authors explicitly stated that their intention was to look at evolving changes in interpersonal relationships and institutional practices, not to assess the individual interventions themselves. The study concluded that the participants in the faculty development program later helped shape the norms and practices in Columbia’s new curriculum. Both studies used solely qualitative methods in their analyses of the impact of the ongoing faculty seminars but were nevertheless confident that those who participated had a decisive and measurable hand in shaping the university’s medical school curriculum to include more narrative medicine practices.

증거품질
Quality of evidence

이 연구에 포함된 소수의 출판물(N = 13)은 개입의 결과를 평가하려고 시도하지 않았으며, 대신 서사의학 수업을 위한 교육 도구 개발에 대한 보고를 선택했다. 예로는 작업장 테마 및 설계(DasGupta 2003) 또는 학생 및 교직원 피드백 가이드에 대한 설명이 있습니다. 이 문서들은 비공식적인 증언 증거나 저자들의 개인적인 의견을 포함하고 있기 때문에, 그들은 오직 1의 BEME 증거 점수만을 수여받을 수 있었다.

A minority of publications included in this study (N = 13) did not attempt to assess the outcomes of their intervention, choosing instead to report on their development of pedagogic tools for the narrative medicine classroom. Examples include descriptions of workshop themes and designs (DasGupta 2003) or student and faculty feedback guides (Wald 2010; 2011; Charon, Hermann, et al. 2016). As these articles included informal testimonial evidence or the authors’ personal opinions, they could only be awarded a BEME strength of evidence score of 1.

나머지 논문의 대부분(N = 16)을 2로 채점했는데, 이는 일반적으로 표본 크기가 작거나 하나의 평가 도구만 사용되었기 때문에 결과가 모호하다는 것을 의미한다. BEME 척도에서 5개의 연구를 3점 만점으로 채점했는데, 이는 이러한 연구의 결론이 결과와 연관될 가능성이 높다는 것을 의미한다. 단 하나의 연구만이 4점을 채점했는데, 이는 결과가 분명하고 사실일 가능성이 높다는 것을 의미한다. 우리의 평가에 따르면, 이 체계적인 검토에 포함된 어떤 연구도 명확한 결과를 제공하지 않았다.

We scored the majority of the remaining articles (N = 16) with a 2, meaning that the results were ambiguous, usually because of the small sample size or the fact that only one assessment tool was used. We scored five studies as a 3 on the BEME scale, meaning that conclusions in these studies could likely be linked to the results; only one study scored a 4, meaning the results were clear and likely to be true. According to our appraisal, none of the studies included in this systematic review provided unequivocal results.

용어집Glossary
내러티브(기반) 의학: 질병의 이야기를 인식하고, 흡수하고, 해석하는 이러한 기술을 가진 의학의 실천; 건강 관리의 새로운 틀로서, 그것은 치료를 받고 있는 사람들을 인식하고 존중하는 것보다 효과적인 건강 관리 시스템을 만드는 것을 목표로 한다.
Narrative-(based) medicine: The practice of medicine with these skills of recognizing, absorbing, interpreting by the stories of illness; as a new frame for health care, it aims to create an effective health-care system than recognizing and respecting the persons undergoing care.
Marini MG. 2015. Narrative medicine: bridging the gap between evidence-based care and medical humanities. eBook: Springer. p. 143.

해부학에 대해서 왜 충분히 알지 못하는가? 내러티브 리뷰(Med Teach, 2011)
Why don’t they know enough about anatomy? A narrative review
E. M. BERGMAN1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER3

해부학 교육의 베스트 프랙티스: 비판적 문헌고찰(Ann Anat, 2016)
Best teaching practices in anatomy education: A critical review

Mohamed Estaia,b,∗, Stuart Buntb

1. 서론
1. Introduction

해부학은 의학 커리큘럼의 초석 중 하나로 여겨지며, 임상의들이 임상 기술을 개발하는 데 있다. 해부학에 대한 깊은 이해는 안전한 임상 실습, 특히 수술 분야에서 필수적이다(Turney, 2007). 인간 해부학의 교육은 여느 과정과 마찬가지로 학습 과정에 가장 적합한 교수 도구와 접근법을 결정하기 위해 끊임없는 수정과 분석이 필요하다(Moxham and Plaisant, 2007). 최근, 통합 및 시스템 기반 커리큘럼으로의 전환으로 인해 전통적인 시체 기반 해부학 교수법이 감소하였다. 종교적 신념, 비용 및 시간적 요인도 이러한 감소에 한몫했다. 이것은 해부학 교육에 할애된 시간의 양이 적절하지 않다는 보고에 의해 뒷받침된다(Lockwood and Roberts, 2007, Drake et al., 2009).

Anatomy is considered one of the cornerstones of medical curricula and it is on that clinicians develop their clinical skills. A deep understanding of anatomy is fundamental for safe clinical practice, particularly in the discipline of surgery (Turney, 2007). The teaching of human anatomy, like that of any course, requires constant revision and analysis to determine the teaching tools and approaches that best suit the learning process (Moxham and Plaisant, 2007). In recent times, there has been a reduction in traditional, cadaver-based, anatomy teaching, in some cases driven by a shift towards an integrated and/or system-based curriculum (Drake et al., 2009, Tibrewal, 2006). Religious belief, cost and time factors have also played a role in this reduction. This is supported by reports that the amount of time devoted to anatomy teaching is not adequate (Lockwood and Roberts, 2007, Drake et al., 2009).

외과적 과실에 대한 의료-법적 소송이 꾸준히 증가하고 있다(Goodwin, 2000). 1995년과 2000년 사이에 영국에서는 의학 방어 연합에 제출된 해부학적 무능력과 관련된 주장이 7배 증가했으며, 이 중 32%는 일반 및 혈관 외과 의사들에 대한 주장이었고, 많은 사람들은 "기초 구조물에 대한 손상"을 언급했다. 케이힐과 동료들은 미국에서 매년 피할 수 있는 80,000명의 죽음 중 상당한 수가 의사 무능뿐만 아니라 해부학적 오류 때문일 수 있다는 것을 보여주었다. 수술에 참여한 신규 거주자의 3분의 1 미만이 적절한 해부학적 지식을 가지고 있다는 보고에도 불구하고(Cottam, 1999), 수많은 의과대학들이 해부학을 가르치는 데 전념하는 수업 시간을 계속해서 줄이고 있으며, 학부생과 대학원생(의학과 치과) 학생들 사이에서 해부학에 대한 지식은 감소하고 있다.

There has been a steady increase in medico-legal litigation for surgical malpractice (Goodwin, 2000). In the UK, between 1995 and 2000, there was a 7-fold increase in claims associated with anatomical incompetence submitted to the Medical Defence Union; 32% of these claims against general and vascular surgeons, and many citing “damage to underlying structures” (Ellis, 2002). Cahill and colleagues showed that a significant number out of the 80,000 avoidable deaths per year in the US may be due to anatomical errors as well as doctor incompetence (Cahill et al., 2000). In spite of a report that less than one-third of new residents in surgery have adequate anatomical knowledge (Cottam, 1999), numerous medical schools continue to reduce the teaching time devoted for teaching anatomy and the knowledge of anatomy amongst undergraduate and graduate (medical and dental) students is in decline (Smith and Mathias, 2011, Moxham and Plaisant, 2007).

이전의 많은 출판물은 해부학 커리큘럼을 조사했으며, 약리학, 생물학, 생화학 또는 생리학 같은 의학 커리큘럼의 다른 측면보다 더 많을 수 있다(Pabst, 2009). Brenner 등은 6가지 교육 도구 범주를 설명합니다. 

• (i) 학생들에 의한 해부, 
  
• (ii) 시험된 시료의 검사, 
  
• (iii) 교육, 
  
• (iv) 모델의 사용, 
  
• (v) 컴퓨터 기반 학습(CBL)과 
  
• (vi) 생물 및 방사선 해부학 교수 

Many previous publications have examined anatomy curricula, may be more than any other aspect of the medical curricula e.g. pharmacology, biology, biochemistry or physiology (Pabst, 2009). Brenner et al. describe six categories of teaching tools:

• (i) dissection by students,
• (ii) inspection of prosected specimens,
• (iii) didactic teaching,
• (iv) use of models,
• (v) computer-based learning (CBL) and
• (vi) teaching of living and radiological anatomy (Brenner et al., 2003).

해부학 커리큘럼의 변화에 비추어 볼 때, 몇몇 연구는 해부학자와 학생들의 다양한 교육 양식에 대한 태도를 탐구했다. 해부학 교육에서 최고의 교수 실습에 대한 권고안을 마련하기 위해 해부학자, 임상의사 및 학생의 관점에서 해부학 교육의 현재 상태와 관련된 증거를 위해 문헌을 비판적으로 검토한다.

In light of the changes in anatomy curriculum, several studies have explored anatomists’ and students’ attitudes towards different teaching modalities (Kerby et al., 2011, Azer and Eizenberg, 2007, Patel and Moxham, 2006). We critically review the literature for evidence relating to the current status of anatomical education from the perspectives of anatomists, clinicians, and students, with the aim of coming up with recommendations for best teaching practice in anatomy education.

2. 토론
2. Discussion

2.1. 시체 해부
2.1. Cadaver dissection

해부Dissection는 400년 이상 동안 주요 해부학 교수법이었다. 인간 시체 해부를 이용한 학습은 능동적이고 심층적인 학습 강화, 임상 실습 준비, 죽음과의 조우 준비, 수동 기술 연습, 환자의 증상과 병리 사이의 관계 이해와 같은 수치화하기가 쉽지 않은 장점이 있다. 또한 팀워크 역량, 스트레스 대처 전략, 공감 등 의료 전문성 발달에도 기여한다. 플라스틱과는 달리, 시체들을 이용한 해부는 [해부학적 변형]의 식별에 놀라움을 제공하고, [더 많은 변형과 더 미세한 디테일]을 보여주며, 학생들이 수술실에 있는 것처럼 느낄 수 있는 살아있는 몸의 수준에 가까운 질감을 보존한다. 시체 해부가 미래의 의사를 배출하는 과정에서 필수적인 역할을 한다는 것에는 의심의 여지가 없다. 따라서, 어떤 사람들은 해부학 지식을 얻기 위해 해부 과정이 여전히 학습자들에게 필수적이라고 믿는다.

Dissection has been the primary anatomy teaching method for over 400 years (Azer and Eizenberg, 2007). Learning using dissection of human cadavers has advantages that are not easy to quantify such as; enhancing active and deep learning, preparing students for clinical practice, preparing students for encounters with death, practice of manual skills and for understanding the relationship between patients’ symptoms and pathology (Azer and Eizenberg, 2007, Fruhstorfer et al., 2011). It also contributes to the development of medical professionalism, including teamwork competency, stress coping strategies and empathy (Bockers et al., 2010). Unlike plastination, dissections using cadavers provide a feeling of surprise at the identification of anatomical variations (Korf et al., 2008), show more variations and finer details, and preserve texture to a level close to those of living body which allow students to feel as if they are in the operating theatre (Mcbride and Drake, 2015). There is no doubt that cadaver dissection plays an integral role in the process of producing future doctors (Netterstrom and Kayser, 2008). Therefore, some believe that dissection courses are still indispensable for learners to achieve anatomical knowledge (Korf et al., 2008).

많은 해부학자들은 여전히 다른 교육 도구보다 해부학의 사용을 선호한다. 파텔과 막스햄(2006)은 인터뷰한 해부학자의 대다수가 해부학을 선택했고(69%) 그 다음이 prosections를 가장 적절한 교수법으로 선택했다는 것을 발견했다. Kerby 외 연구진(2011)은 해부학자와 학생 모두 학습 결과를 충족시키는 데 있어 해부 과정이 가장 "목적에 적합한" 것으로 간주된다고 결론 내렸다. Davis 등은 해부학자와 성병학자 모두 해부학 교수 자원에 대한 해부학자와 의대생의 인식을 탐구했다. 학생들은 해부학 교육에서 시체 해부를 사용하는 것을 강력히 선호했다. 비슷하게, 울름대학교 의과대학의 의대 학생들은 시체 해부를 가르치는 도구로 사용하는 것을 높이 평가했다.

Many anatomists still favour the use of dissection over other teaching tools. Patel and Moxham (2006) found that majority of the anatomists interviewed (69%) selected dissection, followed by prosections as the most appropriate teaching method. Kerby et al. (2011) concluded that dissection courses were viewed by both anatomists and students as most “fit for purpose” in meeting learning outcomes, but no single teaching tool met all aspects of the curriculum. (Davis et al., 2014) explored anatomists’ and medical students’ perceptions towards anatomy teaching resources, both anatomists and students strongly favoured using cadaver dissection in anatomy teaching. Similarly, medical students at the Ulm University Faculty of Medicine highly rated using cadaver dissection as a teaching tool (Bockers et al., 2010).

반면에, 완전한 시체 해부가 여전히 현대 학부 교육에 적합한지에 대한 논쟁이 있었다. 해부를 위해 시체를 사용하는 것은 비용이 많이 들고 시간이 많이 걸리며 시대에 뒤떨어진 것으로 여겨져 왔다. 해부 과정은 영국, 미국, 호주 의과대학에서 더 이상 주요 교수법으로 사용되지 않는다. 전신 해부는 해부학을 가르치는 다른 양식과 함께 해부학 기반 과정으로 대체되었다. 해부학 커리큘럼의 해부 과정을 강조하지 않는 것은 다음에 의해 주도되고 있다.

• 지역 기반 접근 방식에서 시스템 기반 접근 방식으로의 이동,
• 이미 붐비는 커리큘럼의 해부 시간 단축 및 빈소 및 해부 실험실 유지와 관련된 높은 비용,
• 공식 매연 노출과 관련된 건강 문제,
• 카데바의 지속적인 사용을 둘러싼 윤리적 및 의학-법적 문제

졸업과 동시에 외과의사가 될 소수의 의대생들만이 해부가 필요할 수 있다(Lung et al., 2006).

On the other hand, there has been a debate about whether full cadaver dissection is still suitable for modern undergraduate education (Korf et al., 2008). Using cadavers for dissection has been considered costly, time-consuming and outdated (Aziz et al., 2002). Dissection courses are no longer used as the principle method of teaching in a significant number of UK, US, and Australian medical schools (Drake et al., 2009, Sugand et al., 2010, Craig et al., 2010). Full body dissection has been replaced with prosection-based courses in combination with other modalities to teach anatomy (Fruhstorfer et al., 2011, Rizzolo and Stewart, 2006, Sugand et al., 2010). De-emphasizing dissection courses in anatomy curricula has been driven by

• the move from a regional-based to system-based approach,
• reduction of time allocated for dissection in already crowded curricula and high costs associated with maintaining mortuary and dissection labs,
• health concerns related to the exposure to formalin fumes, and
• ethical and medico-legal issues surrounding their continued use (McLachlan, 2004, McMenamin et al., 2014, Sugand et al., 2010).

Only a small number of medical students may need dissection, those that will become surgeons upon graduation (Leung et al., 2006).

2.2. 프로섹션
2.2. Prosections

Prosections는 이미 해부된 표본이며, 때로는 플라스틱으로 된 표본이다. 중세와 르네상스 초기에 해부학을 가르치는데 있어서 시체 해부학은 필수적인 부분이었다. 통합 커리큘럼에서 전체 해부학에 할애되는 시간의 단축과 기증된 신체의 수가 감소함에 따라, 많은 프로그램들이 전신 해부에서 prosections으로 옮겨갔다. 이렇게 하면 접촉 시간이 단축되는 동시에 학습자가 찾기 위해 몇 시간을 소비할 수 있는 구조물에 노출될 수 있습니다. 심장이나 큰 혈관 같은 일부 구조물은 흉부와 복부 깊숙이 위치하기 때문에 부위별 또는 층별로 해부하는 것은 불가능하다. 따라서 해부는 시스템 기반 접근법에 적절하게 맞지 않으며, 이런 부위의 해부학은 [해부의 지역적 접근 방식]보다는 prosections를 사용하여 더 잘 교육된다. 호주와 뉴질랜드 의과대학 내에서, 기증된 시체의 수가 증가함에 따라 시체들을 이용할 수 있음에도 불구하고, 해부학 프로그램이 완전히 해부 기반인 것은 없다. 호주와 뉴질랜드 의과대학에 대한 최근 조사는 19개의 호주와 뉴질랜드 의과대학이 전체 해부학을 가르치는 데 가장 일관되게 사용되는 방법인 체계적이고 통합된 사례 기반 학습 커리큘럼을 사용한다는 것을 보여주었다.

A prosection is an already dissected, sometimes plastinated specimen. Cadaver prosections were an essential part of teaching anatomy in the Middle Ages and early Renaissance (Enke, 2005). With a contraction of the time devoted to gross anatomy in an integrated curriculum and decreasing numbers of donated bodies, many programs have moved from full body dissection to prosections; this reduces the number of contact hours while allowing learners the exposure to structures that they might otherwise spend hours trying to find (Dinsmore et al., 1999). Because some structures like the heart and large vessels are located deep in the thorax and abdomen, dissecting such structures region by region or layer by layer is impossible. Therefore, dissection does not fit appropriately into a system-based approach, here anatomy is better taught using prosections rather than the regional approach of dissection (Leung et al., 2006). Within Australian and New Zealand medical schools, despite the availability of cadavers due to an increasing number of donated bodies, no anatomy program is wholly dissection-based (Craig et al., 2010). A recent survey of Australian and New Zealand medical schools, showed that 19 Australian and New Zealand medical schools use a systemic, integrated, case-based learning curriculum for which prosection was the method most consistently used for teaching gross anatomy (Craig et al., 2010).

prosections은 여러 가지 이점을 제공합니다. prosections기반 과정은 구조와 그 관계가 쉽게 관찰되기 때문에 유연하고 맥락적이며 시간 효율적이며, 둘 이상의 학생 코호트가 프로토섹션을 사용할 수 있기 때문에 더 적은 수의 시체들이 필요하다. 사체를 해부하는 학생보다 투영된 자료에서 배우는 의대생들이 여러 표본에서 더 많은 해부학적 변화를 확인하거나 볼 수 있다. 이러한 장점에도 불구하고, 투영된 검체의 준비는 시간이 많이 걸리고 각 신체 부위의 여러 개의 프로토셀을 만들기 위해 충분한 숙련된 인력이 필요하다. 이전 보고서는 직접 해부하며 해부학을 배우는 학생들과 prosections으로 해부학을 배우는 학생들 사이에 결과에 큰 차이가 없음을 보여주었다(Yeager, 1996). 최근의 연구에 따르면 학생들은 dissection보다 prosections에서 배우는 것을 더 선호한다고 한다. 일부 해부학자들은 해부학을 가르치는데 있어서 prosections이 전신 해부를 대체할 수 있다고 믿는다.

Prosections offer a number of advantages; prosection-based courses are flexible, contextual and time-efficient as structures and their relations are easily observed, and fewer cadavers are needed as more than one student cohort can use the prosections (Nnodim, 1990, Dinsmore et al., 1999, Pather, 2015). Medical students learning from prosected materials may be able to identify or view more anatomical variations in several specimens, than students who dissect cadavers (Topp, 2004). Despite these advantages, preparation of prosected specimens is time-consuming and requires ample skilled personnel to create multiple prosections of each body region. A previous report showed no significant differences in outcomes between students learning anatomy from dissection and those learning it from examining prosected cadavers (Yeager, 1996). Recent studies show that students favour learning from prosections over dissection (Nnodim, 1990, Dinsmore et al., 1999). Some anatomists believe that prosection can replace full body dissection in teaching gross anatomy (Mclachlan and Regan De Bere, 2004).

2.3. 플라스티네이션
2.3. Plastination

플라스티네이션은 단순히 prosections를 보존하는 특별한 방법으로 간주될 수 있지만, 수축, 텍스처 손실, 자연 조직 색상과 미세한 디테일과 같은 몇 가지 한계를 가지고 있다. 또한 플라스틱 시료 준비에 사용되는 다량의 가연성 화학물질과 관련된 건강 및 안전 문제가 있습니다. 플라스티네이션은 1977년 하이델베르크 대학교 해부학 연구소의 군터 폰 하겐스에 의해 처음 개발되었으며, 그 이후 플라스티네이션은 인체의 보존을 위한 최고의 기술 중 하나가 되었다. 많은 해부학자들은 정형화된 고정된 물질보다 플라스틱으로 된 표본을 선호하는데, 그 이유는 그것들이 냄새가 없고 보관하기 편리하며 취급하기 쉽기 때문이다. 플라스틱은 플라스틱 시료의 "반영구성"으로 인해 상대적으로 비용 효율적인 것으로 간주됩니다. 플라스티네이션은 몇 년에 한 번 하는 것이 아니라 10년에 한 번 정도만 하면 됩니다. 냉장 및 흄 추출이 필요하지 않기 때문에 보관 비용이 낮습니다. 플라스티네이션은 대부분의 해부학 부서에서 쉽게 구할 수 있는 저비용 장비를 사용하여 수행할 수 있습니다. 이전 연구는 플라스틱 표본이 학생들에게 유용하고 다양한 수준에서 학생들의 요구를 수용하는 것으로 나타났다. 비록 플라스틱은 수많은 장점을 가지고 있지만, 플라스틱은 가장 일반적인 변형을 보여주지만, 시간이 지남에 따라, 플라스틱 부분은 그들의 참신한 성격을 잃고 결국 학생들은 노출된 변형을 암기한다.

Plastination can be considered simply a specialized way of preserving prosections but it does have some limitations such as shrinkage, loss of texture, natural tissue colour and fine details. In addition, there are health and safety concerns associated with the large amounts of flammable chemicals used in preparation of plastinated specimens. Plastination was first developed by Gunther von Hagens at the Anatomical Institute of Heidelberg University in 1977 and, since its development, plastination has become one of the best techniques for the preservation of the human body (Von Hagens et al., 1987). Many anatomists favour plastinated specimens over simply formalin fixed material, because they are odourless, allow convenient storage, and ease of handling (Latorre et al., 2007, Jones and Whitaker, 2009, Fruhstorfer et al., 2011). Plastination is considered relatively cost-effective due to the “semi-permanence” of the plastinated specimens – prosections only have to be made once every ten years or so instead of every few years; storage costs are lower as refrigeration and fume extraction are not required (Latorre et al., 2007); and plastination can be carried out using low cost equipment which is readily available in most Anatomy departments (O'sullivan and Mitchell, 1995). Previous studies showed that plastinated specimens were deemed useful by students and accommodated student needs at various levels (Latorre et al., 2007, Fruhstorfer et al., 2011). Even though plastination has numerous advantages, plastination shows the most common variations, in time, plastinated sections lose their novel character and eventually students master the exposed variations by heart (Korf et al., 2008).

2.4. 컴퓨터 기반 학습(CBL)
2.4. Computer based learning (CBL)

최근 기술의 발전, 수업 시간의 감소, 수업의 크기 증가, 그리고 시체 기반 수업의 비용 증가로, CBL 자원은 학생 학습을 촉진하기 위한 해부학 커리큘럼에 점점 더 많이 사용되고 있다. 이것의 사용은 해부학 교육을 강화하고, 독립적인 학습, 문제 해결을 강화하며, 유연성을 제공한다(Release, 2002). 비록 CBL이 전통적인 교수법보다 더 나은 접근 방식이라는 명확한 증거는 없지만, CBL을 사용하여 해부학을 배우는 것이 전통적인 교수법을 대체하기 보다는 보충함으로써 학습을 향상시킬 수 있다는 증거가 있다. 학생들은 여전히 해부, 해부, 강의, 교과서와 같은 전통적인 방법을 CBL 자료보다 선호한다. 마찬가지로 많은 해부학자들은 CBL 자원을 사용하더라도 최적의 훈련을 위해 시체 기반 instruction은 여전히 필수 조건이라고 믿는다.
With recent advances in technology, reductions in teaching time, increasing class size and increasing costs of cadaver-based instruction, CBL resources are increasingly used in anatomy curricula to foster student learning (Tam et al., 2010, Azer and Eizenberg, 2007). Its use augments anatomy teaching, enhances independent learning, problem solving, and provides flexibility (Trelease, 2002). Although, there is no clear proof that CBL alone is better approach than traditional teaching methods (Mcnulty et al., 2004, Khot et al., 2013), evidence shows that learning anatomy using CBL can enhance learning by supplementing rather than replacing the traditional teaching methods (Tam et al., 2010, Durosaro et al., 2008). Students still prefer traditional methods such as dissection, prosection, lectures and textbooks over CBL resources (Azer and Eizenberg, 2007, Kerby et al., 2011, Davis et al., 2014). Similarly many anatomists believe that cadaver-based instruction is still a prerequisite for optimal training even with the use of CBL resources (Aziz et al., 2002, Tam et al., 2010).

대부분의 CBL 자원은 해부학적 구조의 3D 표현 개발에 초점을 맞추고 있으며 의료 교육에서의 사용에 대한 연구가 있다. 가상현실(VR)을 통해 학생들은 인공 3D 공간에서 시뮬레이션된 물체를 시각화하고 해부하며 상호작용할 수 있다(Release, 2002). VR 프로그램의 유용성과 비용 효율성은 해부학 수업에서 잘 인정받았고, 학생들의 태도는 가상 해부학 사용에 대해서도 긍정적이었다. 지난 수십 년 동안 가시 인간 프로젝트와 중국 가시 인간 데이터 세트와 같은 인체 해부학 응용의 자원으로 전 세계에서 사용되고 있는 대규모 해부학 데이터 세트가 개발되었다.

Most CBL resources have focused on the development of 3D representations of anatomical structures and there has been research into its use in medical education (Drake et al., 2009, Tam et al., 2010). Virtual reality (VR) allows students to visualize, dissect and to interact with simulated objects in artificial 3D space (Trelease, 2002). The usefulness and cost-effectiveness of VR programs have been well acknowledged in anatomy teaching, students’ attitudes have also been positive towards the use of virtual anatomy (McNulty et al., 2009, Rizzolo and Stewart, 2006). Over the last few decades, large-scale anatomical data sets have been developed that are being used all over the world as a resource for human anatomy applications such as the Visible Human Project and the Chinese Visible Human dataset (Spitzer and Whitlock, 1998, Zhang et al., 2004).

최근, 해부학 테이블은 인간의 시체들을 대체하기 위해 커틴 대학의 건강 과학에서 사용되고 있다. 아나토마지 테이블은 가상 3D 해부 플랫폼으로 디지털 이미지를 대화식으로 활용해 전신의 해부학적 구조를 탐색하는 실물 크기의 '아이패드 같은' 경험을 제공하는 멀티 터치 스크린이 탑재됐다. 바이오디지털 휴먼과 접합체 본체는 3D 그래픽스를 위한 프로그래밍 인터페이스를 제공하는 임베디드 시스템용 오픈 그래픽 라이브러리 2.0을 기반으로 웹GL 기술을 사용하는 인터랙티브 웹 기반 프로그램인 3D 시각화의 예이다. 3D 시각화 기술을 통해 학생들은 다양한 시스템을 뒤틀고 임상 주제를 설명하면서 인체의 전신을 탐색할 수 있다. 세컨드라이프는 2003년 린든랩이 개발한 VR의 또 다른 예이다. 학생들이 콘텐츠를 탐색할 수 있을 뿐만 아니라 동일한 가상 방에서 동일한 콘텐츠를 볼 수 있어 사용자 간의 상호 작용이 가능하기 때문에 온라인 학습에 고유한 확장을 도입한다.

Recently, Anatomage tables have been used in health sciences at Curtin University to replace human cadavers (Fyfe et al., 2013). The Anatomage table is a virtual 3D dissection platform, with a multi-touch screen that provides a life-size “iPad-like” experience that uses digital images in an interactive way to explore the anatomy of the whole body (Fyfe et al., 2013). The BioDigital Human and Zygote Body are examples of 3D visualization, interactive web-based programs that use WebGL technology, based on the Open Graphics Library for Embedded Systems 2.0, which provides a programmatic interface for 3D graphics (Kelc, 2012, Qualter et al., 2011). The 3D visualization technology allows students to explore a whole human body, toggling various systems and explaining clinical topics. Second Life is another example of VR, developed by Linden Lab in 2003. It introduces a unique extension to online learning, as students are not only able to explore the content but also allow interactions between users as they view the same content in the same virtual room (Richardson et al., 2011).

오큘러스 리프트와 유사한 3D 시각화 "고글"은 의료 훈련 및 교육 목적에 엄청난 영향을 미친다. 사용자는 오큘러스 리프트 "헤드 마운트 디스플레이"를 착용하고 투어를 만들거나 인체를 통해 가상으로 비행할 수 있는 핸드 컨트롤러를 가지고 있다. Oculus left는 또한 학생들이 단순하고 복잡한 일련의 작업을 수행해야 하는 가상 환경에서 운동 기술과 손 움직임을 사용하여 배울 수 있도록 한다(Mathur, 2015). 증강현실(AR)은 또 다른 새로운 도구로서, AR의 새로운 측면은 실제 환경의 관점과 추가 가상 콘텐츠를 결합하는 것이다. AR은 컴퓨터 생성 물체를 실제 세계에 통합하여 사용자의 현실 인식을 향상시킨다는 점에서 가상 현실과 다르다. AR은 "현실에 대한 증대로 물리적 세계를 볼 수 있고 이 창에서 가상 구성 요소가 보일 수 있는 창을 제공합니다." 사용자의 몸에 해부학적 구조를 표시할 수 있는 착각을 일으킬 수 있기 때문에 보다 복잡한 해부학을 시각화하는 것도 유용할 수 있다. 햅틱(촉각) 기술은 인간과 수의 임상 교육에 점점 더 많이 사용되고 있는 또 다른 가상 시뮬레이션 기술로 촉각에 의존하는 검사를 시뮬레이션하는 데 특히 유용하다(Kinnison et al., 2009). 햅틱은 VR에 촉각과 힘 피드백을 모두 더하고, 실제와 같은 내부 해부학적 느낌을 제공한다.

Oculus rift and similar 3D visualization “goggles” have tremendous implications for medical training and instruction purposes. The user wears the Oculus Rift “head mounted display” and holds hand controllers which allow him/her to create a tour or virtually fly through the human body. Oculus rift also enables students to learn using their motor skills and hand movement in a virtual environment where they are required to perform a mixed set of simple and complex tasks (Mathur, 2015). Augmented reality (AR) is another emerging tool, the novel aspect of AR is to combine the view of the real environment with additional virtual content (Kamphuis et al., 2014). AR differs from virtual reality in that it integrates computer-generated objects into the real world to enhance the user's perception of reality (Hugues et al., 2011). AR “provides a window through which the physical world can be seen and for the virtual components to become visible in this window, as an augmentation to reality” (Kamphuis et al., 2014). It has uses in anatomy education in that as it can create an illusion allowing display of anatomical structures on the user's body, it could also be useful to visualize more complex anatomy (Thomas et al., 2010). Haptic (touch) technology is another virtual simulation technology that has been increasingly used in human and veterinary clinical training and is particularly useful for simulating examinations that rely on the sense of touch (Kinnison et al., 2009). Haptic adds both tactile and force feedback to VR and provides a life-like feel of internal anatomy (Kinnison et al., 2009).

3D 프린팅 또는 빠른 프로토타이핑은 해부학을 가르칠 가능성이 큰 급속하게 확장되고 있는 기술입니다. 수술 계획, 이식 가능한 보철물을 만드는 것, 생물학적인 조직 공학이 있습니다. 이 기술의 원리는 재료를 층층이 추가하는 과정을 통해 3D 물리적 모델을 재구성하는 데 3D CAD(Computer-Aided Design)를 사용하는 것이다. 적층 제작을 통해 기계는 CAD 도면으로부터 데이터를 읽고 액체, 분말 또는 시트 재료의 연속적인 층을 깔고, 이러한 방식으로 일련의 단면으로부터 모델을 구축합니다. 이 기술은 구조 및 관계에 대한 시각적 공간 및 3D 이해를 강화하기 위해 해부학 교육 목적에 유용한 매우 정확한 모델을 저렴한 비용으로 더 짧은 시간에 제작할 수 있다. 최근, 폴 맥메나민 교수가 이끄는 모나시 대학의 한 그룹은 3D 프린팅 해부학 시리즈를 만들기 위해 레이저 휴대용 스캐너, MRI 영상 및 CT 스캔을 만들었습니다. 이 키트에는 인체 조직이 포함되어 있지 않지만, 팔다리, 가슴, 복부, 머리, 목의 해부학을 가르치는 데 필요한 신체의 모든 주요 부위를 제공한다. McMenamin과 동료들이 수행한 최근 파일럿 연구는 이 혁신이 해부학 학습에 특정 이점을 제공하고 시체 기반 교육의 보충물로 사용 및 지속적인 평가를 지원한다는 것을 시사한다.

3D printing or rapid prototyping is a rapidly expanding technology with great promise for teaching anatomy; surgical planning; creating implantable prosthetics; and biological tissue engineering (Gibson et al., 2010). The principle of this technology is to use 3D computer-aided design (CAD) for the reconstruction of 3D physical models through a process of adding layer upon layer of materials (Gibson et al., 2010). With additive fabrication, the machine reads in data from a CAD drawing and lays down successive layers of liquid, powder, or the sheet material, and in this way builds up the model from a series of cross sections (Gibson et al., 2010). This technology is able to produce highly accurate models, at a low cost and in less time, useful for anatomy education purposes to enhance visuospatial and 3D understanding of structures and relationships (McMenamin et al., 2014). Recently, a group at the Monash University led by Professor Paul McMenamin put together laser hand-held scanners, MRI imaging and CT scans to create a 3D Printed Anatomy Series. The kit contains no human tissue, yet it provides all the major parts of the body required to teach anatomy of the limbs, chest, abdomen, head and neck. A recent pilot study done by McMenamin and colleagues suggest that this innovation offers certain benefits to anatomy learning and supports their use and ongoing evaluation as supplements to cadaver-based instruction (Lim et al., 2015).

시체 사용을 지지하는 사람들은 해부만이 조직의 촉각 조작, 3D 상호 작용 및 다중 감각의 관여를 제공할 수 있으며, VR 도구는 이러한 장점을 제공하지 않는다고 주장한다. 시체들의 사용은 또한 공간 정보와 관계에 대한 이해와 보존을 증진시키는 것으로 생각된다. 또한, 소프트웨어의 탐색과 VR 프로그램의 풍부한 옵션은 학생들의 인지 기능을 저해하고 결과적으로 학생들의 학습을 방해할 수 있다. AR과 3D 프린팅은 해부학의 시각적 및 촉각적 표현을 제공할 수 있지만, 시체 해부가 할 수 있는 모든 감각을 재현할 수는 없습니다. 시체 해부에 반대하는 사람들은 CBL과 VR 자원이 저장, 인공호흡 인프라 또는 방부 처리를 필요로 하지 않고 전체적인 해부학을 배울 수 있는 기회를 제공하기 때문에 시체 실체에 비해 상당한 이점을 제공한다고 주장한다. VR은 학생들에게 다양한 시각과 각도를 선택할 수 있는 더 많은 자율성을 제공하고, 시체로는 불가능한 휴대성, 수명, 표준화, 다양성을 제공한다.
Supporters for the use of cadavers argue that only dissection can provide tactile manipulation of tissue, 3D interaction and engagement of multiple senses, VR tools do not offer these advantages. Use of cadavers is also thought to enhance understanding and retention of spatial information and relationships (Rizzolo and Stewart, 2006, Dehoff et al., 2011). In addition, the software's navigation and the plentiful options of the VR programs may hinder student cognitive function and, as a result, impair student learning. Although AR and 3D printing can offer visual and tactile representations of anatomy, they cannot reproduce all of the sensations that cadaveric dissection can. Opponents of cadaveric dissection, argue that CBL and VR resources present significant advantages over the reality of a cadaver as they provide the opportunity to learn gross anatomy without requiring storage, ventilation infrastructure or embalming. VR provides students more autonomy in choosing different views and angles, offers portability, longevity, standardization, and diversity that is not possible with a cadaver (Spitzer and Whitlock, 1998).

2.5. 의료 영상촬영
2.5. Medical imaging

해부학 교육에 의료 영상을 사용하면 해부학적 구조와 생리의 생체 내 시각화는 물론 병리학적 프로세스에 대한 통찰력을 제공한다. 컴퓨터 단층촬영(CT), 자기공명영상(MRI), 초음파의 등장으로 2차원 및 3D 재구성으로 내부 해부학의 매우 상세한 영상을 표시할 수 있게 되었다. 정보기술의 폭발적 증가로 인해 의과대학들은 이미징 기술을 그들의 의학 커리큘럼에 통합하도록 요구되어 왔다. 의학 이미지를 해부학 커리큘럼에 통합하면 학생들에게 기본적인 해부학적 지식을 2차원 단면 CT 및 MRI 스캔의 해석에 적용하고 임상적 관련성을 해부학적 지식과 상관시킬 수 있는 능력을 제공한다. 의료 영상은 해부학적 공간 관계에 대한 더 나은 이해를 촉진하고, 학생들의 해부 시간의 효율성을 향상시키며, 전체 해부학에 대한 관심을 높일 수 있기 때문에 해부 기반 교육에 귀중한 추가 요소로 간주된다.
The use of medical imaging in anatomy education provides in vivo visualization of anatomical structure and physiology as well as insight into pathological processes (Gunderman and Wilson, 2005). With the advent of computed tomography (CT), magnetic resonance imaging (MRI) and ultrasound, it has become possible to display highly detailed images of internal anatomy in two-dimensions and 3D reconstructions (Gunderman and Wilson, 2005). As a result of the explosion in information technology, medical schools have been required to integrate imaging techniques into their medical curricula (Gregory et al., 2009). Integration of medical images into anatomy curricula offers students the ability to apply basic anatomical knowledge to the interpretation of two-dimensional sectional CT and MRI scans and to correlate clinical relevance with anatomical knowledge (Lufler et al., 2010, Miles, 2005). Medical imaging is considered a valuable addition to dissection-based instruction as it can promote better understanding of anatomical spatial relationships, enhance the efficiency of students’ dissection time and increas their interest in gross anatomy (Pabst et al., 2005, Reeves et al., 2004).

의료 영상은 기존의 해부의 이점을 대체할 수 없으며, 독립적 접근방식으로서 중요한 한계를 가지고 있다. 복잡한 과정을 가진 수많은 해부학적 구조들은 현재의 영상 양식으로는 적절하게 보기 어렵다. 또한 해부는 의료 영상으로는 달성할 수 없는 조직의 "느낌"에 대한 이해를 제공한다. 또한 의료 이미지를 검사하는 것은 인간 카데바를 직접 경험하는 것에 비해 어느 정도 추상화 된 것이다. 학생들에게 해부할 기회를 주지 않음으로써 "시신과 환자의 사망률의 즉시성은 해소될 것 같다."

Medical imaging cannot substitute for the benefits of conventional dissection (Gunderman and Wilson, 2005, Howe et al., 2004, Aziz et al., 2002), it has important limitations as a stand-alone approach (Howe et al., 2004, Aziz et al., 2002). Numerous anatomical structures with complex courses are difficult to view adequately with current imaging modalities; dissection also provides an appreciation of the “feel” of tissues which cannot be achieved by medical imaging (Miles, 2005). Inspecting medical images also introduces a level of abstraction compared to the face-to-face experience with the human cadaver (Gunderman and Wilson, 2005). By denying students the opportunity to dissect, “the immediacy of the mortality of cadavers and patients is likely to be dissolved” (Gunderman and Wilson, 2005).

2.6. 생체 해부학
2.6. Living anatomy

예술가들과 미술사학자들은 항상 살아있는 신체에 큰 관심을 보여 왔다. 살아있는 해부학은 시체들의 색깔, 질감, 냄새가 실제 생활과 같지 않고, 촉진을 하거나 청취를 하거나 위치를 바꾸도록 유용하게 요청할 수 없다는 점에서 시체들에 비해 장점이 있다. 생체 해부학은 동료 신체 검사(PPE), 초음파 및 보디 페인팅을 사용하여 학생들에게 가르칠 수 있다. PPE는 학생들이 서로를 신체적으로 검사하는 것을 포함한다. 신체 민감한 부위를 검사하는 데 불편함이나 반대가 있지만 학생들은 PPE에 기꺼이 참여한다(Rees et al., 2005). 그럼에도 불구하고 PPE는 생명모델의 사용보다 더 유익한 것으로 밝혀졌다. PPE는 학생들에게 환자 접견 전에 임상 기술을 안전하게 연습하고 습득할 수 있는 기회를 제공하며, 공감 능력의 개발과 의사소통 능력의 향상을 제공한다. 환자 이송에 따른 추가 비용 요건이나 표준형 환자 수수료가 없어 비용 대비 효과도 높은 것으로 평가된다. 또는 신체 검사 기술을 가르치기 위해 전문가 또는 시뮬레이션 환자(SP)를 사용하는 것이 의료 교육에 널리 사용되어 왔다. 골반 부위 및 유방과 같은 신체 특정 부위의 교육에 SP를 사용하는 것은 윤리적 문제를 해결하고, 불안감을 줄이고, 당황을 피하고, 학생의 성과를 향상시키고, 학생들에게 귀중한 피드백을 제공할 수 있는 잠재력을 가지고 있다.
Artists and art historians have always shown a great interest in the living body (Griksaitis et al., 2011). Living anatomy has advantages over cadavers in that cadavers’ colour, texture, and smell are not like real life, and they cannot be palpated, auscultated, or usefully asked to change position (McLachlan, 2004). Living anatomy can be taught to the students using peer physical examination (PPE), ultrasound and body painting. PPE involves students physically examining each other (Rees et al., 2004). Students are willing to participate in PPE, although there is discomfort or opposition to examining sensitive areas of the body (Rees et al., 2005). Nevertheless, PPE has been found to be more beneficial than the use of life models (Metcalf et al., 1982). PPE provides students an opportunity to safely practice and master clinical skills prior to the patient encounter as well as development of empathy and improving communication skills (Patten, 2007, Wearn and Bhoopatkar, 2006). It is also considered cost-effective as there are no additional cost requirements for transportation of patients or fees for standard model patients (Wearn and Bhoopatkar, 2006). Alternatively, the use of professionals or simulated patients (SP) for teaching physical examination skills has been widely used in medical education (Wanggren et al., 2005). The use of SP for teaching examinations of certain parts of body such as the pelvic region and breast has the potential to address ethical concerns, reduce anxiety, avoid embarrassment, improve student performance and provide valuable feedback to the student (Wanggren et al., 2005).

초음파는 현대 해부학 교육에서 더 자주 사용되며, 총 해부학을 가르치는 전통적인 방법에 추가될 때 유용한 부가물 역할을 할 수 있다. 초음파는 신체 구조의 생체 내 시각화를 2차원으로 허용하고 학습자가 임상적으로 관련된 맥락에서 해부학적 지식을 얻을 수 있도록 한다. 그러나 초음파 사용에 대한 공식적인 가르침이 부족하기 때문에 의대생과 새로운 의사들 사이에 초음파에 대한 실무 지식이 부족하다. 따라서, 초음파를 해부학 커리큘럼에 통합하기 위한 임상 지도자들의 요청이 있었다. 해부학 교육에서 보디페인팅은 마커펜이나 왁스 크레용을 이용해 신체 표면에 내부 구조를 그리는 것을 말한다(McMenamin, 2008).

Ultrasound is used more often in modern anatomical education, it can act as an useful adjunct when added to the traditional methods used teach gross anatomy (Brown et al., 2012). Ultrasound permits in vivo visualization of body structures in two-dimensions and enables learners to gain anatomical knowledge in a clinically relevant context (Ivanusic et al., 2010). However, there is lack of working knowledge of ultrasound amongst medical students and new doctors due to a lack of formal teaching in ultrasound use (Brown et al., 2012). Therefore, there has been a call from clinical tutors for integrating ultrasound into anatomy curricula (Bahner et al., 2012). Body painting in anatomy education refers to painting internal structures on the surface of the body using marker pens or wax crayons (McMenamin, 2008).

대규모 수업 환경에서 학습 표면 해부학과 기초 해부학을 용이하게 하는 능동적이고 촉감적인 학습 양식으로 설명되었다. 바디 페인팅은 즐겁고 상호작용적인 것 외에도 해부학적 지식의 보존과 기억을 강화한다. McMenamin은 표면 해부학과 임상 기술을 가르치기 위해 보디 페인팅을 보조 자료로 사용할 것을 강력히 권고했다. 보디페인팅은 비교적 저렴한 비용으로 쉽게 도장 재료를 구할 수 있고, 많은 수의 학생들이 직원 시간과 물리적 자원을 덜 요구하면서 동시에 도장에 종사할 수 있어 상대적으로 비용 효율이 높다는 평가를 받고 있다.
It has been described as an active and tactile learning modality facilitating learning surface anatomy and underlying anatomy in large class settings (Op Den Akker et al., 2002). Besides being enjoyable and interactive, body painting enhances retention and recall of anatomical knowledge (Finn and McLachlan, 2009). McMenamin highly recommended the use of body painting as an adjunct resource to teach surface anatomy and clinical skills (McMenamin, 2008). Body painting is considered relatively cost-effective as painting materials are readily available at relatively low cost, and large numbers of students can be simultaneously engaged in painting while requiring less staff time and physical resources (Finn, 2015).

해부학 교육에서 보디페인팅과 PPE의 명백한 이점에도 불구하고, 몇몇 연구들은 성별, 종교적 신념, 검사할 신체 부위의 위치와 같은 더 [민감한 문제]들이 그들의 동료를 검사하고 검사하려는 학생들의 의지에 영향을 미칠 수 있다는 것을 발견했다. 이슬람 국가에서, [문화적 민감성과 종교적 문제]는 심지어 같은 성별 사이에서도 PPE와 보디페인팅을 하는 것을 제한할 수 있다. 맨체스터 대학의 다민족 의대생들 사이에서 오닐과 동료들에 의해 수행된 조사는 그들의 종교가 특히 이슬람 여학생들 사이에서 PPE를 수행하는 것에 반대하는 이유로 주어졌다는 것을 보여주었다. 아랍에미리트 대학 보건과학부에서 실시한 임상 기술 실험실에 대한 인턴과 상급 의대생들의 태도에 관한 또 다른 조사는 대다수의 여학생들이 PPE에 익숙하지 않다는 결론을 내렸다(Das et al., 1998).
Despite the apparent benefits of body painting and PPE in anatomy education, several studies have identified that more sensitive issues such as gender, religious beliefs and location of body region to be examined, may influence students’ willingness to examine their peers and be examined (Reid et al., 2012, Rees et al., 2009). In Islamic states, cultural sensitivities and religious issues may constrain doing PPE and body painting even between the same genders. A survey conducted by O’Neill and colleagues among medical students from multi-ethnic groups in Manchester University showed that their religion was given as a reason against performing PPE particularly among Muslim female students (O’Neill et al., 1998). Another survey done at the Faculty of Health Sciences in United Arab Emirates University regarding the attitudes of interns and senior medical students towards clinical skills labs concluded that the majority of female students were not comfortable with PPE (Das et al., 1998).

2.7. 강의 기반 강의
2.7. Lecture-based teaching

16세기 이래로, 공식적인 강의와 해부는 시체 해부와 함께 해부학 과정의 중요한 부분으로 남아있었지만, 강의는 비효율적이고, 시대에 뒤떨어지고, 수동적인 학습 형태라고 많은 사람들에 의해 비판되어 왔다. 강의실 교육을 포함한 의료 커리큘럼의 모든 측면의 전환은 교육학(시스템 기반 및 수직적 접근 통합으로의 이동)과 자원(대규모 수업, 적은 교수진, 제한된 자금 지원 및 혼잡한 커리큘럼)에 의해 추진되었다. 유망한 대안적 교수 전략은 혼합 학습이다. 혼합 학습은 전통적인 대면 및 온라인 교육 방법의 통합이다. 플립 또는 거꾸로 교실은 혼합된 학습 모델이며, 전통적인 강의와 숙제 요소를 뒤집는 교육적 접근 방식이다. 이러한 교육 모델은 어떤 과목에 대한 오디오와 비디오를 포함한 인터넷 자원의 가용성 때문에 특히 매력적이 되었다. 소셜 미디어(유튜브, 블로그, 위키, 아이튠즈 U 또는 팟캐스트)와 다른 웹 2.0 도구를 사용하여 튜터를 학생들과 연결할 수 있다. 혼합 학습 모델은 비출석 기반 교육과 관련된 문제를 피하면서 능동적인 학습을 촉진하고 학업 성과를 향상시킬 수 있는 잠재력을 가지고 있다. 그러나 이 학습 모델은 학생들의 수업 밖 준비에크게 의존하므로, 학생들이 할당된 수업 전 또는 수업 내 활동에 참여하지 못할 수 있다는 우려가 있다. 또한 강의 자료를 준비하는 데 수반되는 업무량도 증가합니다.
Since the sixteenth century, formal lectures and dissection have remained a key part of any anatomy course along with cadaver dissection (Vázquez et al., 2007), however this approach has been criticized by many as an ineffective, outdated and passive form of learning (Nandi et al., 2000, Pawlina and Lachman, 2004). Transformation of all aspects of the medical curriculum, including classroom instruction has been driven by pedagogy (the move to a system-based and vertically approach integrated) and resources (large classes, less teaching staff, limited funding and a crowded curriculum). One promising alternative teaching strategy is blended learning. Blended learning is the integration of traditional face-to-face and online instructional methods (Graham, 2006). The flipped or inverted classroom is a blended learning model, an educational approach that reverses the traditional lecture and homework elements of a course (Lage et al., 2000). This model of teaching has become particularly attractive because of the availability of internet resources including audio and video on any subject. It can make use of social media (YouTube, blogs, wikis, iTunes U or podcasts) and other Web 2.0 tools, to connect tutors to the students. The blended learning model has the potential to facilitate active learning and improve academic performance while avoiding issues that are associated with non-attendance-based teaching (Pereira et al., 2007). However, this learning model is heavily dependent on students preparing outside of class, therefore there is a concern that students may fail to engage with the assigned pre-class or in-class activities. There is also an increased workload involved in preparing the course materials.

2.8. 통합 커리큘럼
2.8. Integrated curricula

전통적인 학부 의학 커리큘럼에서, 임상 전/초학년은 보통 기초과학에 집중하며, 이후 몇 년은 임상 과학과 임상 훈련에 집중하기 때문에, 학생들은 임상 훈련 동안 해부학에 대한 노출이 매우 제한적이었다. 이러한 교육 방식은 신규 의학 졸업생들 사이에서 관련 해부학적 지식이 부족하기 때문에 임상 지도 교수들로부터 빈번한 비판을 받아왔다. 이로 인해 새로 자격을 갖춘 의사들 사이의 해부학적 지식이 환자의 안전이 훼손될 수 있는 수준에 있을 수 있다는 우려가 제기되었다. 의학 교육 내부의 개혁은 수직 통합 커리큘럼을 개발하려는 노력으로 이어졌다. 이를 통해 임상과학은 초기에 도입되는 반면, 해부학과 기타 기초과학은 커리큘럼 말기에 지속적으로 관심을 기울인다. 이 과정에서 해부학 지식의 특정 영역을 우선할 수 있어 [일반 개업의와 관련된 해부학]만 전 학생에게 가르치고, [해부학에 대한 고급 지식]이 필요한 외과적 또는 기타 전문적 관심사를 가진 교육생은 임상연도와 레지던시 프로그램에서 이를 받게 된다.
Within traditional undergraduate medical curricula, the preclinical/first years usually concentrate on basic science and subsequent years on clinical sciences and clinical training, therefore, students had very limited exposure to anatomy during clinical training. This mode of teaching has led to a frequent criticism by clinical tutors due to a lack of relevant anatomical knowledge among the new medical graduates (Evans and Watt, 2005). This led to concerns that anatomical knowledge amongst newly qualified doctors may be at a level where patient safety could be compromised. Reforms within medical education have led to efforts to develop vertically integrated curricula (Lie, 1995). With this, clinical sciences are introduced in the early years while continued attention is paid to anatomy and other basic sciences in the later years of the curriculum (Bergman et al., 2011). In this process, specific areas of anatomical knowledge can be prioritized such that only anatomy relevant to the general practitioner will be taught to all students in the preclinical years, and trainees with surgical or other specialized interests who need advanced knowledge of anatomy will receive it later in the clinical years and residency programs (Brooks et al., 2015).

에반스와 와트(2005)는 영국 브라이튼 서섹스 의과대학의 학생들이 그들의 규율과 관련된 해부학을 연구하기 위해 전공 로테이션을 하는 동안 어떻게 해부실로 돌아가는지에 대해 설명했다. 이를 통해 핵심 해부학적 지식이 학생의 임상 경험에 비해 가장 적절한 수준에서 확보될 수 있습니다. [전체 커리큘럼에 걸친 수직적 통합]은 졸업생들이 환자를 치료하거나 의료 전략을 계획하는 동안 전체상을 파악하고 전체론적 접근 방식을 채택할 수 있도록 학습된 사실을 종합하는 데 도움이 됩니다. 이것은 기초과학지식의 중요성과 관련성을 더 명확히 할 것이고 학생들이 기초과학지식과 임상 의학 모두에 대한 더 깊은 학습과 이해를 성취하도록 동기를 부여할 것이다. 1학년 때부터의 초기 환자 접촉은 학생들이 의사소통 기술을 개발하고, 의사와 환자의 상호작용의 중요성과 질병이 개인에게 미치는 영향을 깨닫는 데 도움이 된다.

Evans and Watt (2005) described how students at the Brighton and Sussex Medical School in the UK return to the dissection room during specialist rotations to study the anatomy relevant to their discipline. This can ensure that core anatomical knowledge is gained at the most appropriate level relative to a student's clinical experience (Evans and Watt, 2005). The vertical integration throughout the entire curriculum helps graduates to put together the learned facts so as to get the whole picture and adopt a holistic approach while treating a patient or planning a health care strategy (Malik and Malik, 2011). This will make the importance and relevance of basic science knowledge more evident and will motivate the students to achieve deeper learning and understanding of both basic science knowledge and clinical medicine (Dahle et al., 2002). Early patient contact from the first year helps students to develop communication skills, to realize the importance of doctor-patient interaction and the effect of illness on the individual person (Dahle et al., 2002).

전체 커리큘럼에서 해부학을 가르쳐야 한다는 요구에도 불구하고, 커리큘럼 내의 수직적 통합은 종종 단방향이다. 임상 과학은 임상 전 해에 쉽게 통합되지만, 기초 과학은 커리큘럼 말년에 가르치는 것이 훨씬 덜 흔하다. 또한 임상 및 전 임상에 걸친 해부학의 수직적 통합은 계획, 구성 및 실행에 많은 시간과 작업이 필요하다. 교직원들과 행정관들은 적극적으로 참여하고 열정적이어야 하며 부서 경계를 넘어 협력해야 한다. 통합 커리큘럼에서 [해부학에 할당된 총 접촉 시간의 감소]는 학생과 하위 의사들 사이의 [해부학적 지식 부족]을 초래한 것으로 생각된다. 학생들이 임상적인 측면에 집중하고 기초과학을 통합 커리큘럼에서 포기할 것이라는 우려도 상당해, 학생들이 더 이상 전신의 해부학적 구조를 일관성 있고 전체적으로 파악하지 못하고 있다는 주장이다. 

Despite calls for teaching anatomy throughout the entire curriculum, vertical integration within curricula is often unidirectional. Clinical sciences are easily integrated in the preclinical years, however, it is far less common for basic sciences to be taught in the later years of the curriculum (Bergman et al., 2011). In addition, vertical integration of anatomy across clinical and preclinical years needs a lot of time and work in planning, organization and execution. The faculty members and administrators have to be actively involved and enthusiastic and have to cooperate beyond departmental borders (Dahle et al., 2002). The reduction in the number of contact hours allocated to gross anatomy in integrated curricula are thought to have led to insufficient anatomical knowledge amongst students and junior doctors (Fraher and Evans, 2009). There is also a considerable concern that students will concentrate on clinical aspects and abandon the basic sciences in an integrated curriculum, therefore, it is claimed that students no longer gain a coherent and overall picture of the anatomy of the whole body (Bergman et al., 2011).

2.9. 시스템 기반 커리큘럼
2.9. System-based curricula

20세기 초부터, 전체 해부학은 조직학, 생리학, 생화학과 같은 다른 과정과 함께 첫 번째 임상 전 해에 독립적인 과정으로 가르쳐졌다. 단일 해부학적 영역에는 서로 다른 시스템에 속하는 다양한 특성, 기능 및 관계를 가진 구조가 포함되며, 다른 과정에서 학습됩니다. 이것은 학생들이 지역 기반region-based  커리큘럼 내에서 가르치는 많은 양의 분리된 정보를 습득하는 데 어려움을 겪었기 때문에 문제가 있는 것으로 판명되었다. 임상 전 의학 교육의 커리큘럼 패러다임은 [지역 기반region-based , 학문 기반 커리큘럼]이 질병의 정상적인 구조, 정상적인 기능 및 병리생리학이 통합된 [시스템 기반, 학제간 커리큘럼]으로 전환되었다. 시스템 기반 커리큘럼 내에서 학습자는 지역 기반 접근 방식을 추구했을 때보다 후속 시스템의 기초로서 하나의 시스템으로 자료를 마스터할 수 있다. 학습자가 앞으로 나아가면서 서로 다른 시스템에 속하는 구조의 관계, 기능적 유의성 및 임상적 상관관계가 논의되고 여러 차례 연속적으로 재검토된다(Arslan, 2014). 시스템 기반 접근 방식은 습득된 지식의 장기 보존을 강화하여 massed and crammed repetition의 필요성을 감소시킨다. 이를 통해 학습자는 보다 쉽게 사실 정보를 유지하고 해부학적 지식을 의료 실무와 연관시킬 수 있습니다.

Since the early 20th century, gross anatomy has been taught as a stand-alone course during the first preclinical year along with other courses such as histology, physiology and biochemistry (Drake et al., 2009). A single anatomical region contains structures with varied characteristics, functions and relationships that belong to different systems, and are taught in different courses (Arslan, 2014). This proved to be problematic as students had difficulty mastering large amounts of disjointed information taught in within a region-based curriculum (Brooks et al., 2015). The curricular paradigm in preclinical medical education has seen a region-based, discipline-based curricula transformed to system-based, interdisciplinary curricula which integrates normal structure, normal function and pathophysiology of disease (Muller et al., 2008). Within a system-based curriculum, learners can master materials with one system as a foundation to the subsequent systems much easier than if they pursued a region-based approach. As the learner moves further forward, the relationships, functional significance and clinical correlations of structures that belong to different systems are discussed and consecutively revisited several times (Arslan, 2014). A system-based approach enhances long-term retention of acquired knowledge and thus reduces the need for massed and crammed repetition (Arslan, 2014). With this, learners can retain factual information more easily and relate anatomical knowledge to their medical practice.

3. 결론
3. Conclusion

해부학을 가장 효과적인 방법으로 가르치는 방법에 대한 논쟁이 계속되고 있다. 시체 해부는 수백 년 동안 해부학적 지식을 배우는 데 있어 금본위제로 남아 있지만, 그것은 시대에 뒤떨어지고, 비용이 많이 들고, 시간이 많이 걸리며 잠재적으로 위험한 접근법으로 간주된다. 독립형 해부학 강좌에서 통합 및 시스템 기반 커리큘럼으로의 전환과 교직원, 자원 및 연락 교수 시간의 감소로 많은 서구 기관들이 플라스티네이션, CBL, 의료 영상 및 혼합 학습과 같은 비용 효과적이고 시간이 덜 걸리며 최신 교육 대안을 채택하게 되었다. 효율적인 학습자 시간 관리를 최적화하고 미래의 수술 역량을 극대화하고 해부학적 지식을 유지하며 학문적 성공을 높이려면 다음과 같은 교육 관행이 교육 패러다임에 통합되어야 한다고 생각한다.
The debate continues on how to teach anatomy in the most effective way. Although dissection of cadavers has remained the gold standard for learning anatomical knowledge for hundreds of years, it is considered outdated, costly, time-consuming and a potentially hazardous approach. The transition from standalone anatomy courses into integrated and system-based curricula, and the reduction of teaching staff, resources and contact teaching hours have led many Western institutions to adopt cost effective, less time consuming and up-to-date teaching alternatives such as plastination, CBL, medical imaging and blended learning. To optimize efficient learner time management and maximize future surgical competencies, retention of anatomical knowledge and enhance academic success, we think that the following teaching practices should be incorporated into the educational paradigm:

• 어떤 교육적 방법은 특정 전문직에게 더 적합하다. 안전한 수술 절차를 수행하기 위해서는 해부학적 기술을 습득하는 것이 필수적이기 때문에, 전공 로테이션과 레지던트 프로그램 동안 전신 해부는 의료 훈련생들(특히 외과 직업의지를 가진 사람들)에게 가장 적합하다.
• Certain educational methods fit certain professions better than others, Because acquiring anatomical skills is essential to perform safe surgical procedures, full body dissection best fits medical trainees (particularly those with surgical career intentions) during specialist rotations and residency programs (Evans and Watt, 2005, Leung et al., 2006).

• 연합 보건 학교(및 일부 의과 대학)는 해부를 하거나 빈소가 있는 완전한 해부 실험실을 지원할 돈도 시간도 없다. 또한 Allied health 학생들은 또한 필요한 학습 결과를 얻기 위해 해부학에 대한 고급 지식이 필요하지 않다. 따라서 플라스틱은 해부를 대체할 수 있는 주요 교육 방법으로서 치과, 간호사, 그리고 관련 건강 과학 학생들에게 가장 적합한 것으로 보인다.
• Allied health schools (and some medical schools) have neither the money nor time in the curriculum to do dissection or support full dissection labs with a mortuary. Such students also do not need advanced knowledge of anatomy to achieve the required learning outcomes (Mclachlan and Regan De Bere, 2004). Therefore, plastination seems the best fit for dental, nurse and allied health science students as the principle teaching method to substitute for dissection.

• 가능하다면, 해부 기반 지침의 지역적 접근 방식에 대한 의존도를 줄입니다. 더 많은 프로섹션이나 플라스틱을 채택하면 시스템 기반 해부학 커리큘럼으로 전환하는데 도움이 될 것이다.
• Decrease reliance upon the regional approach of dissection-based instruction in favour of prosections whenever possible. Adoption of more prosections or plastination would help the transition to system-based anatomy curricula (Leung et al., 2006).

• 특히 외과적 진로 의도를 가진 교육생과 같이 가장 필요한 사람들을 위해, 임상 교육 및 레지던트 프로그램의 적절한 단계에서 의료 커리큘럼 전반에 걸쳐 해부학을 [수직적으로 통합]한다.
• Vertical integration of anatomy throughout medical curricula at appropriate stages in the clinical training and residency program particularly for those who need it most such as trainees with surgical career intentions (Evans and Watt, 2005).

• 현재까지 모든 커리큘럼 요건을 충족하는 단일 교육 도구는 발견되지 않았습니다. 현대 해부학을 가르치는 가장 좋은 방법은 여러 교육학적 자원(플라스틱, CBL, 생체 해부학, 의료 영상)을 결합하여 서로를 보완하는 것이다. 학생들은 다양하고 시스템 기반 양식이 통합될 때 가장 큰 이익을 얻는 것으로 보인다. 해부학을 가르치는 데 멀티모달 패러다임의 사용은 다른 해부학자들의 지지를 받았다.
• To date, no single teaching tool has been found to achieve all curriculum requirements (Kerby et al., 2011). The best way to teach modern anatomy is by combining multiple pedagogical resources (plastination, CBL, living anatomy, medical imaging) to complement one another, students appear to profit most when diverse and system- based modalities are integrated. The use of a multimodal paradigm in teaching anatomy has received support from other anatomists (Biasutto et al., 2006, Rizzolo et al., 2010).

새로운 커리큘럼 개혁이 해부학적 지식의 보유와 미래의 외과적 역량에 미치는 영향은 여전히 불분명하다. 통합, 시스템 기반 및 멀티모달 교육 패러다임으로의 전통적인 지역 접근 방식에서 벗어나기 위해서는 다양한 교육 양식의 적합성 및 학생 인식, 그리고 학습 결과를 충족하는 이들의 능력을 평가하기 위한 추가 연구가 필요하다.

The impact of new curricular reforms on the retention of anatomical knowledge and future surgical competencies is still unclear. A shift away from the traditional regional approach towards integrated, system-based and multimodal teaching paradigms requires further research to evaluate the suitability and student perceptions of, different teaching modalities, and the ability of these to meet learning outcomes.

학부 의학에서 해부학을 배울 때 카데바가 정말 필요한가? (Med Teach, 2018)
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?
P. G. McMenamina , J. McLachlanb, A. Wilsonc , J. M. McBrided, J. Pickeringe , D. J. R. Evansf and A. Winkelmanng

서론
Introduction

이 심포지엄은 거의 35년 동안 해부학을 가르쳐온 그의 분야에서 인정받는 지도자인 폴 맥메나미나 교수가 의장을 맡았다. 해부학 교수법의 다양하고, 효율적이고, 참신한 방법을 탐구하는 것이 그의 주된 열정 중 하나였다. 맥메나민 교수는 론 하든 교수에 의해 이 토론의 촉진자 역할을 하도록 초대되었다. "프레젠테이션만"하는 일반적인 방법보다는 청중 참여 토론이 더 유익할 것이라는 의견이 제시되었다. 따라서 대화를 자극하기 위해 제안된 제목은 다음과 같습니다.
The symposium was chaired by Prof Paul McMenamin a recognized leader in his field who has been teaching anatomy for nearly 35 years. Exploring different, efficient, and novel methods of anatomy teaching has been one of his main passions. Professor McMenamin was invited by Professor Ron Harden to act as facilitator for this debate. Rather than the usual method of “presentations only”, it was suggested that an audience participated debate would be more informative. Therefore to stimulate the conversation the suggested title of:

"대학 의학부에서 해부학을 배우기 위해 카데바가 더 이상 필요할까요?"
“Do we really need cadavers anymore to learn anatomy in undergraduate medicine?”

청중에게 제안되었습니다. 청중들은 이것을 주의 깊게 읽고 그들 자신의 반응을 되새겨보라는 요청을 받았다. 찬성파와 반대파의 제안을 지지하는 두 팀은 위의 구체적인 토론 논점에 근거해 자신들의 주장을 할 것을 요청받았다.
was proposed to the audience. The audience were asked to read this carefully and reflect on their own individual response. The two teams, those supporting the proposition in the affirmative and the opposing house, were requested to base their argument on the specific debating point above.

맥메나민 교수는 자신을 소개했고, 진행자로서 토론 주제에 대해 개인적인 견해를 밝히지 않았지만, 각각의 발표자들이 그들의 자격증과 함께 청중들에게 개별적으로 소개될 것이라고 설명했다. 그리고 나서 연설자들은 개인적으로 그들의 토론 주장을 발표할 약 15분의 시간을 가졌다. 맥메나민 교수는 토론 이면의 논거를 설명하면서 옥스퍼드 전통에 따라 반대론자들이 '아니오 우리는 하지 않습니다'와 '네 우리는 합니다'라는 두 개의 집단이 존재할 것이라고 말했다. 전통과 마찬가지로, 화자들은 반드시 그들이 토론하도록 요청받았던 견해를 가지고 있지는 않을지 모르지만, 토론 기술의 힘을 이용하여, 그들은 그들의 메시지를 전달하기 위해 약간의 지적인 충돌과 약간의 유머를 섞어서 희망적으로 몇몇 심각한 논쟁을 제공할 수 있었다. 어떤 토론에서도 그렇듯이, 양원이 청중 참여를 허용해야 할 것으로 기대되었다.
Professor McMenamin introduced himself and as facilitator gave no personal views on the topic to be debated, but explained that each speaker would be individually introduced to the audience along with their credentials. The speakers then had approximately 15 minutes to present their debating argument personally. Professor McMenamin explained the reasoning behind the debate and that it would be based on the Oxford tradition where there would be two groups of opposing speakers, the “No we do not” house and the “Yes we do” house. As with tradition, the speakers may not necessarily hold the views that they had been asked to debate on, but using the power of debating techniques they were free to provide some serious arguments hopefully with some intellectual jostling and a bit of humor interspersed, to convey their message. As in any debate, it was hoped that both houses should allow for the inclusion of audience participation.

맥메나민 교수는 청중들의 프로필을 기록하고 시작에 앞서 객관식 질문을 던지며 청중들에게 답변을 등록하기 전에 질문의 표현을 신중하게 생각하라고 지시했습니다.
Noting the audience profile and prior to commencement Professor McMenamin posed a series of multiple choice questions and instructed the audience to think carefully about the wording of the questions before registering their answer.

그 결과는 실제로 해부하는 과정과 해부하지는 않지만 해부하지 않는 과정으로 상당히 긍정적인 경향을 보여주었고 82%의 대다수는 우리가 학부 의학에서 시체들이 필요하다고 믿었다. 토론이 시작되었고 McMenamin 교수는 그들의 자격증과 함께 연사들을 소개했다.
The results indicated quite a strong positive leaning towards courses that actually do dissect cadavers and those that use cadavers but do not dissect and an 82% majority believing we do need cadavers in undergraduate medicine. The debate commenced and Professor McMenamin introduced the speakers along with their credentials.

존 맥래클런 교수는 "아니, 우리는 그렇지 않다"라는 집안의 토론을 시작했다.
Professor John McLachlan opened the debate for the “No, we do not,” house.

 

 

반대측
“No we do not” house

편집된 스크립트 Edited transcript
존 맥라클란 교수 Prof John McLachlan 

이 "카다베릭" 해부학 교사들과 외과의사들은 우리가 문제가 있다고 제안합니다!
This audience of “cadaveric” anatomy teachers and surgeons suggest we have a challenge!

먼저, 저는 사람들이 왜 시체들을 사용하는지 추측할 것입니다. 그리고 나서 왜 제가 시체 없이 해부학을 가르치는 것을 장려했는지에 대해 추측할 것입니다. 그리고 나서 어떻게 우리가 시체 없이 해부학을 가르치는지 그리고 의사로서 학생들에게 미치는 영향에 대해 설명하겠습니다. 왜냐하면 이것이 해부학자를 배출하는 것이 아니라 우리의 목표이기 때문입니다. 마지막으로 외과 교육에 대해 설명하겠습니다.
First, I will speculate on why people use cadavers; then why I have promoted teaching anatomy without cadavers. Then I will describe how we teach anatomy without cadavers, and describe the impact on students as doctors, because this is our aim, rather than producing anatomists. Finally, I will comment on surgical training.

왜 해부학은 전통적으로 시체에게 가르쳐지는가? 이 문화적 현상은 르네상스 시대부터 시작되었다. 유럽의 의학은 점성술, 교감마술, 민속학, 한방학을 포함했다. 이 세상에 비살리우스의 훌륭한 작품이 나왔는데, 그는 이곳 저곳으로 일관되는 무언가를 묘사했고, 이것은 분명 큰 영향을 미쳤을 것이다. 그러나 파라셀수스는 "해부학자를 가르치는 것은 살아있는 몸이다. 그러므로 당신은 살아있는 해부학을 필요로 한다."라고 말했다. 그 논평은 우리의 목표의 중심이다.
Why is anatomy traditionally taught with cadavers? This cultural phenomenon dates from the Renaissance (McLachlan and Patten 2006). European medicine then included astrology, sympathetic magic, folklore and herbal medicine. Into this world came the wonderful work of Vesalius, who described something that was consistent from place to place, and this must have had huge impact. But Paracelsus commented, “It is the living body that teaches the anatomist, you therefore require a living anatomy”. That comment is central to our goals.

페닌슐라에서 새로운 의대를 설립할 때, 우리는 백지 한 장을 가지고 있었다. 우리의 핵심 질문은 무엇을 가르칠 것인가 뿐만 아니라 왜 어떻게 가르칠 것인가 하는 것이었다. GMC에 의해 명시된 우리의 목표는 비전문의 후배 의사들을 양성하는 것이었다. 우리의 직업 분석 결과, 하위 의사들은 주로 살아있는 해부학과 의학 이미지를 통해 해부학을 보는 것으로 나타났다. 이것이 우리가 초점을 맞춘 것입니다. 우리는 또한 그들의 사회적 역할을 고려했는데, 우리는 그들의 경험에 중심적으로 만들고 싶었다.
In setting up a new medical school at Peninsula, we had a blank sheet of paper. Our key questions were not just what to teach, but also why and how. Our aim, specified by the GMC, was to train non-specialist junior doctors. Our job analysis showed that junior doctors see anatomy primarily through living anatomy and medical imaging. So this is what we focused on. We also considered their social role, which we wanted to make central to their experience.

그렇다면, 시체 없이 어떻게 해부학을 가르칠 수 있을까요? 중요한 측면은 임상 기술과의 통합이다. 우리는 또한 살아있는 해부학, 동료 검사, 살아있는 모델 또는 임상 기술 파트너의 사용, 그리고 바디 페인팅을 강조한다. 의료 영상 촬영에 중점을 두고 있다. 의학 방사선 전문의와 방사선사는 해부학 강의의 4분의 1을 담당했다. 우리는 안전하고 비침습적인 휴대용 초음파 기술에 열광했습니다. 적절한 안내가 있으면 학생들이 서로 사용할 수 있어 신체 내부의 실시간 생활 구조를 놀라울 정도로 자세하게 볼 수 있다. 휴대용 초음파는 중앙 정맥 라인의 배치와 같은 향후 일상적인 임상 용도로 사용될 것이기 때문에 이것은 중요하다.

How, then, do we teach anatomy without cadavers? A key aspect is integration with clinical skills. We also emphasize living anatomy, peer examination, use of living models or clinical skills partners, and body painting (McLachlan and Regan 2004; McLachlan 2004). Heavy emphasis is placed on medical imaging. Medical radiologists and radiographers delivered a quarter of the anatomy teaching at Peninsula. We were enthusiastic about portable ultrasound, a safe, noninvasive, technique. With appropriate guidance, students can use it on each other, allowing them to see real-time living structures inside the body, in remarkable detail. This is important, because portable ultrasound will be in routine clinical use in the future, such as during the placement of central venous lines.

살아있는 해부학과 관련하여, 우리는 학생들이 종종 인체에 대해 당황한다는 것을 발견했다. 우리는 그 당혹감을 없애고, 서로를 검사함으로써, 검사받는 것이 어떤 느낌인지 이해하고 싶었습니다. 많은 학교들이 살아있는 해부학을 사용하지만, 우리에게는, 이미징과 함께, 해부학 학습의 중심이었습니다. 학생들은 서로의 동의(핵심 학습 포인트)를 얻었고, 주저하거나 당황하지 않고 표면 랜드마크를 유창하게 식별하는 법을 배웠다. 이것은 이후의 임상 환경에 대한 그들의 자신감을 증가시켰다. 물론 우리가 연구로 개발한 학생들로부터의 참여에는 개인적, 문화적 차이가 있었다.

With regard to living anatomy, we discovered that students are often embarrassed about the human body. We wanted to remove that embarrassment, and through examining each other, understand what it felt like to be examined. Many schools use some living anatomy, but for us it was, with imaging, central to anatomy learning. Students obtained consent from each other (a key learning point), and learnt to identify surface landmarks fluently, without hesitation or embarrassment. This increased their confidence in later clinical settings. There were of course personal and cultural variations in engagement from the students, which we developed as research (Rees et al. 2005).

우리는 보디페인팅이 동료 시험에서 학생들이 느낄 수 있는 당혹감을 해소하는 데 실질적인 도움이 된다는 것을 발견했다(그림 1(A)). 또한 그것은 매우 기억에 남으며 매우 인기가 있다. 특히 시각 학습자에게 적합하며 임상 검사와 잘 통합됩니다. 우리는 학생들이 서로 연습할 수 없는 유방 검사 및 기타 임상 기술을 위해 임상 기술 파트너(CSP)를 사용한다. 학생들이 진짜 유방 검사를 본 적이 없고, 하물며, 심전도 검사를 받은 적이 없으며, 여성에게도 심전도 검사를 한 적이 없다는 것을 알게 된 것은 매우 실망스러운 일이었습니다. 이것은 해부학 교육의 문화적 구성과 함께 오는 사회적 당혹감의 일부이다. CSP는 상대적으로 젊고 마른 경향이 있는 우리 학생들보다 더 넓은 범위의 신체 형태를 가지고 있었다. CSP는 또한 학생 경험에 추가된 방식으로 자발적으로 그들의 인생 경험을 공유했다. 그들은 "손이 시리다" "화장실 다녀왔느냐고 묻지 않으면 누르지 말라"는 말을 서슴지 않았다. 그들은 환자가 아니기 때문에 권한을 박탈당하지 않는다.

We found body painting to be a real help in defuzing the embarrassment students may feel in peer examination (Figure 1(A)) (Finn and McLachlan 2010). It is also highly memorable and very popular. It particularly suits visual learners, and integrates well with clinical examination. We use clinical skills partners (CSPs) for breast examination and other clinical skills, which students cannot practice on each other (Collett et al. 2009). It had been deeply dismaying for me to discover that students were graduating without ever having seen a real breast examination, far less done one, and had never placed ECG leads on a female. This is part of the social embarrassment that comes with the cultural construction of anatomy teaching. The CSPs had a wider range of body morphologies than our students, who tend to be relatively young and lean. CSPs also shared their life experiences spontaneously in ways that added to the student experience. They did not hesitate to say, “Your hands are cold,” or, “Don’t press me there unless you’ve asked if I’ve been to the toilet”. They are not patients, and are therefore not disempowered.

또한 전자 본체(예: VH 디섹터)를 사용하고 학생들에게 이미지를 투사하여 가치를 더했습니다(그림 1(B)). 자원봉사자를 회전시키면서 내부 구조도 회전시킬 수 있다. DR의 시체조차도 이러한 유연성을 제공하지 않습니다. 이 접근법은 특히 임상적으로 관련 있는 횡단 뷰를 나타내는 데 뛰어나다.
We also used electronic bodies (e.g. VH Dissector), and add value by projecting images onto students (Figure 1(B)). One can rotate a volunteer while also rotating their internal structures. Even the cadaver in the DR does not offer this flexibility. This approach is particularly good at indicating clinically relevant transverse views.

특히 흥미로운 것은 3D 인쇄를 사용하는 것입니다. 예를 들어, 인쇄된 '팔로의 지형학'을 학급의 모든 학생들에게 배포하여 처리하고 회전시킬 수 있으며, 병리학적 표본으로도 허용되지 않는 이해를 얻을 수 있습니다.
Particularly exciting is the use of 3D printing, for instance, a printed ‘Tetralogy of Fallot’ can be circulated to all the students in the class, to handle and rotate it, gaining understanding that even a pathological specimen wouldn’t allow.

우리는 학생들이 신체의 모든 측면을 이해하기를 원했고, 그래서 우리는 학생들이 인간적인 맥락에서 신체에 대해 생각하도록 격려하기 위해 인생 그림, 조각, 그리고 시 수업을 통해 예술과 인문학을 포함했습니다. 이것은 웰컴 트러스트로부터 자금을 끌어모았다. 한 프로젝트("Flex + Ply")에는 직물 관련 작업이 포함되었으며, 그림 1(C) (Fleming et al. 2010)에 표시된 피부색 청바지를 특징으로 했습니다. "이거 입으면 내 S3가 커 보이나?"라는 제목이 학생들에게서 나왔다. '절개 가운'은 수술과 생검의 주요 장소를 표시했다. 
We wanted students to understand all aspects of the body, so we included arts and humanities via life drawing, sculpting, and poetry classes, to encourage students to think about the body in a human context (Collett and McLachlan 2005; Collett and McLachlan 2006). This attracted funding from the Wellcome Trust. One project (“Flex + Ply”) included work with textiles, and featured the dermatome jeans shown in Figure 1(C) (Fleming et al. 2010). The title, “Does my S3 look big in this?” came from the students. The ‘Incision Gown’ marked the major sites of operations and biopsies.

이러한 새로운 접근 방식에 맞게 평가를 조정하는 것이 중요합니다. 임상적 맥락이 있는 질문은 더 잘 수행되었고 더 인기가 있었다(Ikah et al. 2015).
It is important to adjust assessment to match these new approaches. Questions with clinical context performed better and were more popular (Ikah et al. 2015).

학생들이 시체들을 사용하지 않음으로써 중요한 것을 놓치나요? 아닐 거예요. 죽음은 호스피스 치료와 같은 현실 세계에서 가장 잘 보인다. 비슷하게, 손재주와 팀워크를 훈련시키는 많은 방법들이 있다. 시체가 "첫 번째 환자"라는 생각은 실망스럽다. 우리는 학생들이 그들의 첫 번째 환자를 분해하기를 원합니까? 오히려, 우리는 학생들이 그들을 살아있는 사람으로 보기를 원한다. 예를 들어, 우리는 1학년 학생들을 임신 중인 산모에게 소개하는데, 산모는 임신 기간 내내 따라다닌다. 우리는 이것이 훨씬 더 나은 "첫 번째 환자"라고 느낍니다. 그리고 그것은 일부 학생들이 시체들과 함께 일하는 것에 대해 느끼는 고통을 피한다.

Do students miss out on anything important by not using cadavers? We believe not. Death is best seen in a real world context, such as in hospice care. Similarly, there are many ways to train for dexterity and team work. The idea of the cadaver as “the first patient” is dismaying: do we want students to disassemble their first patient? Rather, we want students to see them as living people. For instance, we introduce first year students to a pregnant mother, who they follow through her pregnancy, including imaging sessions. We feel this is a much better “first patient”. And it avoids the distress that some students feel with regard to working with cadavers.

이러한 접근법의 학생들에게 미치는 영향은 무엇인가? 우리는 그들이 다른 과목들과 같은 속도로 해부학을 배운다는 것을 보여주었고, 반대편 "팀"의 일원인 아담 윌슨의 메타 분석은 해부학을 가르치기 위해 어떤 양식을 사용하는지를 나타내지 않는다는 것을 보여주었다. 의사로서 학생들에게 미치는 영향은 무엇인가? 우리는 그것이 그들을 더 편안하게 하고 연습에 대비하게 한다는 것을 발견했다(Chinna et al., 2011).
What is the impact on the students of these approaches? We have shown that they learn anatomy at the same rate as other subjects, and a meta-analysis by Adam Wilson, a member of the opposite “team”, has shown that it does not signify which modality you use to teach anatomy (Wilson et al. 2017). What is the impact on students as doctors? We have found that it makes them more relaxed and prepared for practise (Chinnah et al. 2011).

수술의 경우, 외과적 훈련은 보존된 시체들의 연구와 해부를 필요로 할 수 있지만, 그것은 대학원 이후의 활동이어야 한다.
As for surgery, surgical training may well require the study and dissection of preserved cadavers, but that should be a post-graduate activity.

그래서 제가 마지막으로 추천하는 것은, 죽은 자보다 산 자를 선택하는 것입니다.
So my final recommendation is, choose the living over the dead.

반대측
“No we do not” house

대럴 에반스 교수
Prof Darrell Evans

13년 전, 저는 에든버러에서 열린 AMEE 연차총회에서 존 맥라클란의 강연을 들었습니다. "해부학은 삶입니다. 해부학은 죽음이 아니다." 해부를 통한 가르침의 열렬한 지지자로서 나는 확실히 이야기의 추진에 동의하지 않았고 방 뒤에서 야유했다. 그렇다면 제가 왜 이제 대학 의학부에서 해부학을 가르치기 위해 시체들을 더 이상 필요로 하지 않는다고 말할까요? 뭐가 달라진거죠? 첫째, 우리가 이용할 수 있는 더 많은 대안이 있고 둘째, 해부학 교수법에 대한 다른 접근방식을 뒷받침하는 교육학의 효과에 대한 우리의 이해가 발전했다. 이것은 저널에 발표된 수많은 활발한 연구를 통해 촉진되었습니다. 그 중 일부는 에든버러에서 열린 AMEE 회의 당시에는 없었습니다. 이전에 견고하고 질 높은 연구가 부족했던 것은 우리가 학생 학습에 정말로 차이를 만드는 것이 무엇이고 해부학 교육에 대한 이러한 새로운 접근법이 시체 기반 가르침에 비해 어떤 영향을 미치는지를 정의하는 데 초점을 맞추지 않았다는 것을 의미했다. 동시에, 의학 커리큘럼은 [해부학을 단독으로 배우는 것]에서 벗어나, [좋은 의사가 되는 것을 배우기 위해 해부학에 대한 근본적인 이해를 사용하는 것]으로 옮겨가고 있다.
Thirteen years ago, I sat in a session at the AMEE annual meeting in Edinburgh listening to a talk by John McLachlan entitled “Anatomy is life. Anatomy is not death”. As an ardent supporter of teaching through dissection I was certainly not in agreement with the thrust of the talk and heckled from the back of the room. So why would I now be saying we don’t really need cadavers anymore to teach anatomy in undergraduate medicine. What’s changed? Firstly there are many more alternatives available to us and secondly our understanding of the effects of the pedagogy that underpins different approaches to anatomy teaching has developed. This has been promoted through a plethora of active research published in journals, some of which weren’t around at the time of the AMEE meeting in Edinburgh (Pawlina and Drake 2010). The previous lack of robust and high quality research meant that we didn’t focus on defining what was really making a difference in student learning and what effect these new approaches to anatomy teaching were having in comparison to cadaveric based-teaching. At the same time medical curricula have refocused, moving away from learning anatomy in isolation to using a foundational appreciation of anatomy for learning to be a good doctor.

시신들은 확실히 졸업후 의학훈련과 해부학 관련 분야와 전문 분야의 지속적인 전문적 발전을 특징으로 해야 한다. 시신들은 또한 증강현실 프로그램, 3D 모델 등을  포함한 많은 기술 기반 해부학적 도구들을 개발하기 위한 기초를 형성한다. 도전은 또한 어떤 해부학을 배워야 하는지, 어떤 깊이에서 배워야 하는지, 왜 여러분이 해부학의 특정한 요소나 개념을 배우는지에 대한 것이 아닙니다. 그건 다른 논쟁이고, 지금은 우리가 어떻게 우리의 [학부 의대생]을 가르치는지에 대한 논의가 필요하다. 그리고 우리가 여기에 시신이 [진정으로 필요한지]에 대한 것입니다. 그 점을 염두에 두고 나는 우리가 "진짜 필요really needed"와 "학부 의학undergraduate medicine"이라는 단어에 계속 집중하기를 바란다.

Cadavers should certainly feature within postgraduate medical training and ongoing professional development in anatomically related disciplines and specialties. Cadavers also form the basis for developing many of the technology-based anatomical tools including augmented reality programs, 3D models etc. The challenge is also not about what anatomy should be learned, in what depth that anatomy should be learned and why you're learning a particular fact or concept of anatomy. That’s a different debate and instead this is about how we teach our undergraduate medical students and whether we really need cadavers for this. With that in mind I want us to keep focused on the words “really needed” and “undergraduate medicine”.

이 문제는 커리큘럼 디자인으로 귀결됩니다. 그렇다면 어떻게 하면 학생들이 필요로 하는 기초 지식을 발견할 수 있도록 좋은 커리큘럼 설계를 통해 학생들을 도울 수 있을까요? 학습 과정에 포함시키고 기능적으로나 임상적으로나 관련이 있는지 어떻게 확인할 수 있을까요? 우리는 학생들이 해부학을 배우고 이해할 수 있는 다양한 기회를 가질 수 있도록 해부학을 배우는 다면적인 접근 방식을 가져야 한다. 그래서 학생들은 해부학을 다른 관점에서 그리고 다른 맥락에서 볼 수 있다(Evans and Watt 2005). [통합 커리큘럼 내에 해부학을 배치하는 것]은 학생들이 기초 및 임상 지식, 이해 및 추론을 연결할 수 있도록 하는 데 필요한 [표지게시signposting 및 관련성]을 제공한다. 학생들이 제대로 된 학습을 쌓을 수 있도록 표지판signposting이 핵심이다.

This issue for me comes down to curriculum design. So how do we enable students through good curriculum design to discover the foundational knowledge that they’re going to need? How do we make sure it’s embedded within their learning journey and is functionally and clinically relevant? We need to have a multifaceted approach to learning anatomy (that might include cadavers) so that students have different opportunities to learn and understand the anatomy, see it from different perspectives and in different contexts (Evans and Watt 2005). Placing anatomy within an integrated curriculum provides the signposting and relevance necessary to enable students to connect foundational and clinical knowledge, understanding and reasoning. The signposting is key so that the students can build their learning appropriately.

최근의 많은 발전을 통해, 우리는 해부학을 가르치기 위해 테크놀로지를 효과적으로 활용할 수 있다. 우리는 기술을 사용하여 인체 여러 층을 걸어다니면서 해부학의 다른 요소들을 알아낼 수 있습니다. 우리는 컴퓨터 시뮬레이션을 통해 해부할 수 있고, 그리고 나서 우리는 학생들이 어려운 부분에 다시 집중할 수 있도록 해 줄 수 있다. 해부학은 위치 결정과 연관성, 그리고 복잡한 관계를 이해하는 맥락에서 배울 필요가 있다. 3D 모델링의 창조를 통해 학생들은 시체 물질을 사용하지 않고도 이러한 관계를 인식할 수 있습니다. 우리는 다른 수지를 사용하여 생명체와 같은 또는 예시적인 색칠과 느낌을 제공할 수 있습니다. 3D 모델은 시체 내에서 쉽게 해부되거나 명백하지 않은 해부학을 시각화할 수 있습니다. 예를 들어, 시체에서 뇌의 혈관을 해부할 수 있습니까? (그림 2(A)). 
Through many recent advances, we can utilize technology effectively to teach anatomy. We can use technology to walk through the various layers of the human body to uncover different elements of that anatomy. We can dissect via computer simulation and then we can put the body back together again (you can’t do that with a cadaver) allowing students to refocus on difficult areas. Anatomy needs to be learned in the context of positioning and association, and understanding intricate relations. The creation of 3D modeling allows students to recognize these relationships without the need for them to use cadaveric material (McMenamin et al. 2014). We can use different resins to provide life-like or illustrative colorings, and feel. 3D models enable visualization of anatomy not easily dissected or apparent within the cadaver—could you dissect the blood vessels of the brain in a cadaver for instance? (Figure 2(A)).

3D 모델은 생산 비용이 저렴하고, 안전 요소가 제거되었으며, 재료에 대한 접근성이 높아 licensed premises를 사용할 필요가 없습니다. 각 학생은 자신의 시간과 심지어 미니어처 규모에서 검토할 수 있도록 특정 정상 또는 병리 해부학 사본(그림 2(B))을 제공할 수 있으며, 높은 수준의 자원을 보유하지 않은 국가는 이러한 자료를 사용할 수 있다. 해부학을 맥락 안에서 시각화하는 이 능력은 더 깊은 학습을 가능하게 한다. 학생들은 전체적인 그림을 그릴 수 있어야 하지만, 시신이나 접근할 수 없는 구조물의 단면을 볼 때 어려웠습니다. 호주 뉴캐슬대 등 전 세계 동료들이 이런 문제를 해결하기 위해 증강현실(Augmented Reality)을 개발하고 있다. 예를 들어, 뇌의 요소들을 시각화할 때, 여러분은 해부 슬라이드에서는 3D 형태의 모든 요소들을 볼 수 없었을 것이고, 다른 요소들을 제거하거나 추가하는 어떤 방향에서도 볼 수 없었을 것이다. 이러한 새로운 접근방식을 사용하면 해부학적 관계를 매우 다른 방식으로 볼 수 있습니다. 그러나 주의가 필요합니다. 이것은 테크놀로지 그 자체를 위한 테크놀로지에 대한 것이 아니며, 테크놀로지의 사용은 학습 성과를 가능하게 하기 위한 교육학적 기반이 필요하다(Release 2016). 이것은 우리가 이전에 결코 할 수 없었던 무언가를 하거나 우리가 할 수 있는 것보다 더 나은 것을 하는 것에 관한 것입니다.

3D models are cheap to produce, the safety elements are removed and the material is highly accessible—you do not need licensed premises to use them. Each student can be provided with copies of particular normal or pathological anatomy (Figure 2(B)) to review in their own time and even in miniature scale and countries who do not have high levels of resources can use such materials (Smith et al. 2018). This ability to visualize anatomy within its context allows for deeper learning. Students need to be able to build up the whole picture and this has been difficult when looking at sections of cadaveric material or inaccessible structures. Colleagues around the world including at University of Newcastle, Australia are developing Augmented Reality to solve such issues (Jain et al. 2017). For instance, when visualizing the elements of the brain, you wouldn’t have been able to see all the elements in the 3D form from dissection slices and the ability to view from any direction and removing or adding different elements. Using these new approaches, you get to see the anatomical relations in a very different way. However caution is required. This is not about technology for technology’s sake and instead the use of technology needs a pedagogical basis linked to enabling the learning outcomes (Trelease 2016). This is about doing something we could never do before or doing something better than we could do before.

 

시신은 우리가 기대하는 해부학적 변형을 제공하고, 병리학을 보여주는데 아주 좋습니다. 제가 해부학 연구실을 운영했을 때, 저는 어떤 큰 변화나 병리학적 변화가 있기를 바랬습니다. 그리고 몇 년 동안 당신은 성공했고 다른 사람들은 실패했죠. 테크놀로지는 모든 학생들이 볼 수 있는 [공통 및 희귀 변형과 병리학]을 시각화하고, 문제의 해부학적 맥락 안에서 다시 한 번 도움의 손길을 제공하고 있다. 다시 한 번 3D 인쇄를 사용하면 학생들이 검사하고 기능 및 임상 결과(Mahmoud 및 Bennett 2015)와 연계하여 감사할 수 있는 희귀 병리학의 복사본을 제공할 수 있습니다(그림 2(B)).

Cadavers are great for providing the anatomical variation we expect and for showing pathology. When I used to run dissection labs, I used to hope there was going to be some great variation or pathology and some years you were successful and others not. Technology is once again providing a helping hand by providing visualizations of both common and rare variations and pathologies for all students to see and within the context of the anatomy in question. Once again 3D printing can be used to provide copies of rare pathologies for students to examine and to get an appreciation for by linking to function and clinical outcomes (Mahmoud and Bennett 2015) (Figure 2(B)).

그렇다면 우리는 대학 의학에서 해부학을 배우기 위해 더 이상 카데바가 필요할까요? 해부학은 여전히 학부 의학의 기본이다. 그것은 우리가 학생들이 사용할 수 있기를 바라는 언어이며, 복잡한 임상 문제를 해결하는 데 도움이 되는 지식과 이해로 환자에게 최상의 해결책을 제시합니다(Turney 2007). 그렇다면 어떻게 하면 학생들에게 지식과 이해를 가장 잘 할 수 있을까요? 통합 커리큘럼 내에서 다면적인 접근을 통해 이루어질 필요가 있다고 생각합니다. 그리고 시체도 그 일부가 될 수 있을까요? 물론, 그들은 할 수 있지만, 그들이 정말로 학습 결과를 성취하기 위해 필요한가? 저는 가능한 대안들 때문에 그렇게 생각하지 않습니다(그림 2(A,B)). 그래서 오늘 투표하실 때, 토론 질문을 다시 한 번 살펴보도록 하겠습니다. 나는 해부의 팬이지만 우리는 "학부 의학"을 가르치기 위해 "정말로" 카데바가 필요한가? 난 그렇게 생각하지 않습니다.

So do we really need cadavers anymore to learn anatomy in undergraduate medicine? Anatomy is still fundamental to undergraduate medicine. It is the language we want our students to be able to use, the knowledge and understanding that helps solve complex clinical problems resulting in the best solutions for their patients (Turney 2007). So how do we best enable that knowledge and understanding in our students? I certainly think that it needs to happen through a multifaceted approach within an integrated curriculum. And can cadavers be part of that? Yes they can, but are they really needed to achieve the learning outcomes? I don’t think so because of the alternatives available (Figure 2(A,B)). So I’ll just ask you when you vote today, to look at the debate question again. I’m a fan of dissection but do we “really need” cadavers to teach “undergraduate medicine”. I don’t think so.

토론의 요약 및 결론
Summary and conclusion of debate

양원 모두 반대 의견을 제시한 후 퇴임했고 청중들은 현재 제기되는 질문에 대한 답을 등록하기 위해 대화형 시스템을 사용하여 다시 제시된 주장을 바탕으로 의견을 검토하도록 요청받았다.

Both houses, having presented their opposing cases, retired and the audience were asked to review their opinions based on the arguments presented by again using the interactive system to register their answers to the question now being posed.

McMenamin 교수는 우리 팀이 실제 시체 해부에 대한 주장을 많이 했다고 요약했는데, 그것은 실제로 논의되고 있는 질문이 아니었다. 하지만, 분명히 대다수의 청중들은 학부 의학 강좌에서 실제 해부가 필요하다는 것을 확신하지 못했다. 다음 질문은 학생들이 사체 물질에 대한 노출이 여전히 학부 의대생들의 경험으로 중요한지를 알아보기 위해 제시되었다.

Prof McMenamin summarized that the yes we do team had made much of their case about actual dissection of a cadaver, which was not in fact the question being debated. However, clearly the majority of the audience were not convinced that actual dissection was needed in an undergraduate medical course. The next question was posed to see if the audience thought whether exposure to cadaver material was still important as an experience for undergraduate medical students.

분명히 대다수의 청중들은 그것이 중요하다고 생각했다. 이어 맥메나민 교수는 토론 중인 실제 질문의 문구를 강조하며 투표할 때 이를 신중히 고려해 줄 것을 청중에게 당부했다. 이것은 토론이 시작될 때 다루어진 질문을 반복하는 마지막 투표였다.

Clearly a majority of the audience thought yes it was important. Professor McMenamin then emphasized the wording of the actual question being debated and called on the audience to consider this carefully when voting. This was the final vote repeating the question addressed at the commencement of the debate.

결과는 현재 논쟁 중인 문제에 대해 균일한 의견의 분열이 있다는 것을 분명히 보여주었고, 학부 의학에서 시체 사용에 대해 원래 80%의 찬성 의견이 있었기 때문에 McMenamin 교수는 토론에서 '아니오 불필요합니다' 측이 승리했다고 선언하고 그들의 발표에 대해 양원을 축하했다.

The results clearly showed that there was now an even split of views on the matter under debate and since there was originally majority of 80% in favor of the use of cadavers in undergraduate medicine Professor McMenamin declared the ‘No we do not’ house to have won the debate and congratulated both houses for their presentations.

해부학 지식의 영향: 주장의 종합(Clinical Anatomy, 2014)
Influences on Anatomical Knowledge: The Complete Arguments
ESTHER M. BERGMAN,1,2* INGE W.H. VERHEIJEN,3 ALBERT J.J.A. SCHERPBIER,4 CEES P.M. VAN DER VLEUTEN,1 AND ANIQUE B.H. DE BRUIN1

서론
INTRODUCTION

의학교육에서 기초과학의 역할과 지위가 논의되고 있다. 기초과학은 일반적으로 [임상추론과 의학적 실천의 과학적 토대]로 정의된다. 기초과학 지식의 확고한 토대는 좋은 임상적 추론을 위해 필수적인 것으로 간주되며, [정상적인 구조와 기능에 대한 건전한 지식]은 [비정상적인 구조와 기능에 대한 적절한 이해]에 필요한 것으로 간주된다. 예를 들어, [단학제 교육]에서 [통합 학습]으로, [사실과 세부 사항]에 초점을 맞춘 교육에서 [일반적 원칙, 기전, 개념에 초점을 두는 교육으로의 기초 과학의 역할은 극적으로 변화하고 있다(Bergman and de Goeij, 2010).

The role and position of the basic sciences in medical education are under debate (Norman, 2000, 2012; Fincher et al., 2009). Basic sciences are generally defined as the scientific foundations of clinical reasoning and medical practice (Kaufman et al., 2008); a firm foundation of basic science knowledge is considered indispensable for good clinical reasoning, and a sound knowledge of normal structure and function is deemed necessary for a proper understanding of abnormal structure and function (Swanson and Case, 1997). The role of basic sciences in medical education is changing dramatically owing to shifts in educational concepts, for example, from monodisciplinary teaching to integrated learning and from a focus on facts and details to a focus on general principles, mechanisms and concepts (Bergman and de Goeij, 2010).

해부학적 지식에 미치는 영향
INFLUENCES ON ANATOMICAL KNOWLEDGE

오늘날 의대생들 사이에서 해부학적 지식이 감소했다는 경험적 증거는 없지만, 이러한 주장은 다음의 8가지 요인 중 하나 또는 몇 가지에 기인한다고 생각하는 저자들에 의해 문헌에서 지속적으로 강조되고 있다(표 1). 

• (1) 의학적으로 자격이 없는 교사들에 의한 수업, 
  
• (2) 핵심 해부학 커리큘럼의 부재로 인해 
  
• (3) 해부를 가르치는 도구로서 사용하는 것을 줄였습니다. 
  
• (4) 해부학을 맥락에 맞게 가르치는 것의 부족, 
  
• (5) 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼), 
  
• (6) 해부학적 지식에 대한 부적절한 평가, 
  
• (7) 해부학을 가르치는 시간이 줄었고, 
  
• (8) 해부학 교육의 수직적 통합에 대한 무시 

Although there is no empirical evidence that anatomical knowledge has declined among today's medical students, the claim is persistently emphasized in the literature by authors who attribute it to one or several of the following eight factors (Table 1):

• (1) teaching by nonmedically qualified teachers,
• (2) the absence of a core anatomy curriculum,
• (3) decreased use of dissection as a teaching tool,
• (4) lack of teaching anatomy in context,
• (5) integrated curricula (problem-based learning or systems-based curricula),
• (6) inadequate assessment of anatomical knowledge,
• (7) decreased anatomy teaching time, and
• (8) neglect of vertical integration of anatomy teaching.

이 요소들은 32개의 논문(29개의 다른 제1저자)에서 추출되었으며, 그 중 9개는 해부학 부서에서 주요 직책을 맡았다. 2011년에는 의대생들의 해부학적 지식에 미치는 8가지 요인의 영향을 검증할 수 있는 경험적 증거를 찾기 위한 연구를 발표했다. 그러나 기존 문헌 내의 정보의 질은 어떤 주장을 뒷받침하기에 충분하지 않았다(표 1).

These factors were extracted from 32 articles (29 different first authors, nine of whom held their primary posts in anatomy departments (see Bergman et al., 2011). In 2011, we published a study aimed at finding empirical evidence to verify the influences of the eight factors on medical students' anatomical knowledge. However, the quality of information within the existing literature was insufficient to support any of the claims (Table 1).

분명히, 이러한 요인들이 갑자기 나타난 것은 아니다. 몇몇 작가들은 이 공룡들이 영향력이 있다고 언급했고, 그 기원을 설명했다. 각각의 요소 뒤에는 이야기가 있습니다. 이 리뷰를 쓰는 우리의 목적은 이러한 이야기들을 독자와 공유하는 것이다. 문헌에서 찾은 32편의 논문 저자들이 내레이션한 인식과 경험을 바탕으로 한 이야기이기 때문에 주로 인용과 일화를 통해 공유한다. 우리가 "저자"에 대해 말할 때, 우리는 그들 자신을 지칭하는 것이 아니라 그들을 지칭한다. 우리는 그 논문들의 저자들이 그 이야기에 책임이 있다는 것을 강조하고 싶으며, 이 리뷰에서 그 이야기를 서술하는 것은 우리가 그들과 동의한다는 것을 의미하지는 않는다! 그러나, 이 리뷰에서 우리는 이 이야기가 해부학 교육의 추가 연구와 개선을 위한 중요한 소설 추천으로 이어질 수 있다고 느끼기 때문에 이야기를 충분히 탐구하기를 원한다. 비록 우리가 경험적 자료로 그들의 이야기를 뒷받침할 수는 없더라도, 우리는 그 29명의 작가들이 우리에게 말하고 있는 것에 대해 교훈이 있다고 느낀다.
Obviously, these factors did not emerge out of the blue. Several authors have cited them as influential and have described their origins. So behind each factor there is a story. Our aim in writing this review is to share these stories with our readers. Since the stories are based on the perceptions and experiences narrated by the authors of the 32 papers we found in the literature, we share them mainly via quotations and anecdotes. When we speak of “the authors,” we refer to them, not to ourselves. We wish to emphasize that the authors of those papers are responsible for the stories and our narrating them in this review does not imply that we agree with them! However, in this review we want explore the stories fully, as we feel this could lead to important novel recommendations for further research and improvement of anatomy education. We feel there is a lesson in what those 29 authors are telling us, even if we cannot underpin their stories with empirical data (yet)!

요인 1: 의료인 면허가 없는 교수자가 해부학을 가르친다.
Factor 1: Anatomy Is Taught by Nonmedically Qualified Teachers

저자들은 해부학적 지식의 감소에 대한 한 가지 설명은 해부학이 헌신적이고, 잘 훈련되고, 의학적으로 자격을 갖춘 총 해부학자들에 의해 가르쳐지는 것이 극히 드물어지고 있다는 것이라고 생각한다. 해부학 교육은 연구가 주 관심사인 교수진에 의해 제공되며, 이들은 교육을 중요한 책임이라기보다는 성가신 일, 달갑지 않은 일로 간주한다. 저자들은 교수진이 보통 연구 기술과 수입(연구 보조금)을 창출할 수 있는 잠재력을 위해 모집되고 특정 분야의 교수 수요를 충족시키지 않기 때문에 이는 놀라운 일이 아니라고 주장한다.
The authors feel that one explanation for the decline of anatomical knowledge is that it is becoming extremely rare for anatomy to be taught by dedicated, well-trained, medically qualified gross anatomists (Cahill and Leonard, 1999; Older, 2004). It is claimed that anatomy education is provided by faculty whose first interest is research and who look upon teaching as an annoyance, an unwelcome chore, rather than a key responsibility (Fraser, 1991; Halasz, 1999; Monkhouse and Farrell, 1999). The authors argue that this should come as no surprise since faculty are usually recruited for research skills and potential for generating income (research grants), and not to meet teaching needs in particular areas (Cahill and Leonard, 1999; Cahill et al., 2000).

게다가, 저자들은 교육에 전념하는 교수진들은 종종 연구 부서가 나열할 수 있는 연구 출판물의 질보다는 그 수로 측정되는 연구 생산성에 대한 불균형적인 중요성에 의해 전복된다고 말한다. "내거나 죽거나"라는 대학 풍습이 바로 그것이다. 기초과학과 임상과학 양쪽에서 교육은 (학문적 활동으로서 연구보다 가치가 낮기 때문에) 우선순위가 낮다고 한다(Older, 2004).
Moreover, the authors state that faculty who are committed to teaching are subverted by the disproportionate importance placed on productivity in research, often measured by the number rather than the quality of research publications a department can list: the university mores of “publish or perish” (Fraser, 1991; Monkhouse and Farrell, 1999). Teaching in both basic and clinical sciences is said to have low priority because, as an academic activity, it is valued less than research (Older, 2004).

의학적으로 자격을 갖춘 교사들은 무엇보다도 [가르치는 것이 아니라 환자 치료에 관심이 많다는 것]이 저자들의 또 다른 설명이다. 교육에 관심이 있더라도 바쁜 임상 서비스의 업무량과 압력에 제약을 받는 경우가 많습니다. 일부 국가에서, 이 문제는 임상적 자격을 갖춘 모든 사람이 교직을 맡는 것을 지연시키는 눈에 띄게 매력적이지 않은 급여 구조로 인해 더욱 복잡해진다(Older, 2004).
Another explanation given by the authors is that teachers who are medically qualified are first and foremost concerned with patient care and not with teaching. Even if they are interested in teaching, they are often restricted by workloads and pressures from a busy clinical service (Halasz, 1999; Raftery, 2006). In some countries, this problem is compounded by a distinctly unattractive salary structure deterring anyone with clinical qualifications from taking up teaching (Older, 2004).

Halasz (1999)는 다른 유형의 전문학교는 그들이 가르치는 전문직으로서 프랙티스practice를 하지 않는 교수진이 교육하는 커리큘럼의 거의 절반을 차지하지 않는다고 주장한다. [비의학 해부학 교사들]은 [왜 이 과목을 가르치는지] 또는 [왜 그것이 임상적 관점에서 관련이 있는지]에 대한 개념이 없다고 하기 때문에, 의학적으로 자격을 갖춘 해부학 교사의 감소는 학생들의 해부학 지식 숙달의 위협으로 저자들에 의해 저자들은 의학적으로 자격을 갖춘 해부학 교사의 감소를 보고 있다.
Halasz (1999) argues that in no other type of professional school is almost half of the curriculum (i.e., the basic sciences) taught by faculty who do not practice the profession they teach. Since nonmedical anatomy teachers are said to have no notion why the subject is taught or why it is relevant from a clinical perspective, the decline in medically qualified anatomy teachers is viewed by the authors as a threat to students' mastery of anatomical knowledge (Monkhouse, 1992; Pabst, 1992; Monkhouse and Farrell, 1999; Older, 2004; Raftery, 2006).

요인 2: 핵심 해부학 커리큘럼의 부재
Factor 2: The Absence of a Core Anatomy Curriculum

저자는 해부학 교육에 사용하는 시간이 최근 수십 년 동안 감소했다고 지적하고(인자 7 참조), 어떤 경우에는 할당된 시간 내에 해부학을 맞추려는 시도가, 의료전문직과의 연관성에도 불구하고, 해부학의 모든 측면(신체 부위, 기관 시스템 또는 배아학과 같은 주제)을 다소간 제거하도록 이끌었다. 저자들은 이것이 미래의 의사들이 안전하게 의술을 실천하는 능력에 직접적인 영향을 미친다고 느낀다. 기록, 검사, 촉진, 타진, 청진, 영상, 수술은 모두 세포, 조직, 장기 시스템 수준에서 신체가 어떻게 구성되는지에 대한 지식을 요구한다. 시술 직전에 해부학적 사실과 사진을 찾는 것은 해부학에 대한 엄격한 지식을 대체할 수 없습니다(Auer and McDonald, 2003).
The authors indicate that the amount of time available for teaching anatomy has fallen during recent decades (see also factor 7) and, in some cases, attempts to fit anatomy within the allocated time have led to all aspects of anatomy (body regions, organ systems, or topics such as embryology) being pruned to a greater or lesser extent, notwithstanding their relevance for the medical profession (Monkhouse, 1992; Cahill et al., 2000; Older, 2004). The authors feel this directly affects the ability of future doctors to practice medicine safely. History-taking, inspection, palpation, percussion, auscultation, imaging, and surgery all require knowledge of how the body is constructed at the cell, tissue, and organ system levels. Looking up anatomical facts and pictures just before a procedure is no substitute for a rigorous knowledge of anatomy (Auer and McDonald, 2003).

앞의 주장과는 대조적으로, 임상의사들은 종종 해부학자들이 의학 실무와 관련된 해부학적 지식(예를 들어 질 높은 치료를 제공하는 방법)으로 정의하지 않고 너무 많은 세부 사항을 가르친다고 비난한다. 이러한 비판을 설명하기 위해, 학부 교육의 진정한 목적은 잊혀졌다고 주장한다: 학부 의학 교육의 산물은 의사가 "되기 위해" 훈련된 학생이다.
In stark contrast to the preceding arguments, clinicians frequently blame anatomists for teaching too many details and not what they define as the anatomical knowledge relevant to medical practice (such as how to provide high-quality care) (Pabst, 1994; Whitcomb, 2006). To explain this criticism, it is argued that the true purpose of undergraduate education has been forgotten: the product of undergraduate medical education is the student trained “to become” a physician (Fraser, 1991; Drake, 1999; Whitcomb, 2006).

저자들은 이 문제가 (국가) 핵심 해부학 커리큘럼의 부재 또는 재평가/재향성 부족 때문에 발생했다고 주장한다. 그러한 핵심 커리큘럼은 실제 임상 관련 주제를 다루고 학생들이 구조와 기능 사이의 관계를 잘 이해할 수 있도록 할 것이다. 만약 그것이 시행된다면, 교사들(기초과학 및 임상)은 학생들이 무엇을 배우기를 기대하는지 알고 그들이 그 지식을 얻도록 도울 수 있을 것이다(Bergman et al., 2011).

The authors claim this problem has arisen because of the absence, or insufficient re-evaluating/re-orientation, of a (national) core anatomy curriculum (Monkhouse, 1992; Halasz, 1999; Older, 2004; Raftery, 2006). Such a core curriculum would cover topics of real clinical relevance and equip students with a good grasp of the relationship between structure and function (Pabst, 1994; Raftery, 2006). If it were in place, teachers (basic science and clinical) would know what their students were expected to learn and would be able to help them attain that knowledge (Bergman et al., 2011).

요인 3: 해부를 교육 도구로 사용하는 것이 감소
Factor 3: Decreased Use of Dissection as a Teaching Tool

커리큘럼 개혁은 의대생들에게 주어진 해부학적 정보의 양뿐만 아니라 그것이 제시되는 형식도 변화시켰다고 저자들은 생각한다(Drake, 1999). 저자들은 오늘날의 의대생들이 다르다는 것을 인정한다. "우리 학생들의 세계는 멀티모달과 자극에 의존합니다. […] 대다수의 일반 학생들은 더 이상 '자르기', '읽기', '듣기'에만 반응할 수 없습니다." 값비싼 해부실(해부를 위한 것이든 아니든)은 임상 기술 실험실과 컴퓨터실(또는 수익을 창출하는 연구 공간)로 대체되었지만, 저자들이 가장 우려하는 것은 시체 해부라는 오랜 방법에 의한 해부 교육의 감소이다. 그들은 해부학이 이제 해부학 수업을 (기껏해야), 문제 기반 튜토리얼, 특수 학습 모듈 (학생이 선택한 구성 요소), 컴퓨터 보조 교육, 그리고 (최악의) 플라스틱 모델을 통해 배운다고 지적한다. 그들은 모델, 이미지, 그리고 오디오 비주얼의 사용이 학생들에게 실제 조직의 조사적 해부에서 오는 만큼 많은 해부학적 지식을 제공하지 못한다고 생각한다. 그러나 이 주장을 뒷받침할 실질적인 자료가 거의 없다는 것도 인정된다.
Curricular reform is thought by the authors to have altered not only the amount of anatomical information imparted to medical students but also the format in which it is presented (Drake, 1999). The authors acknowledge that today's medical students are different. “The world of our students is multimodal and stimulus dependent. […] the greater majority of average students can no longer solely respond to ‘cut,’ ‘read’ and ‘listen’” (Reidenberg and Laitman, 2002). Expensive anatomy rooms (whether or not for dissection) have been replaced by clinical skills laboratories and computer rooms (or revenue-generating research space) (Monkhouse and Farrell, 1999; Cahill et al., 2000), but what the authors consider most worrying is the increasing decline of anatomy teaching by the time-honored method of cadaveric dissection. They point out that anatomy is now taught via prosections (at best), problem-based tutorials, special study modules (student-selected components), computer-assisted instruction, and plastic models (at worst) (Raftery, 2006). They think that the use of models, images, and audiovisuals fails to provide students with as much anatomical knowledge as comes from the investigative dissection of real tissue. But it is also acknowledged that there are very few substantive data to support this contention (Cahill et al., 2000; Reidenberg and Laitman, 2002; Older, 2004).

요인 4: 해부학을 맥락 속에서 가르치지 않습니다.
Factor 4: Anatomy Is not Taught in Context

저자들의 의견으로는 해부학 교육을 표면 해부학, 살아있는 (방사선) 해부학, 임상 기술까지 확장함으로써 학생들 사이의 해부학 지식이 향상될 수 있다. 해부학은 환자의 신체 검사(예: 청진기, 복부 촉진, 말초 펄스, 인대, 근육 그룹 및 반사)와 영상의 해석(예: X선, CT, MRI, 초음파 및 스코프를 통한 최소 침습적 시각)의 맥락에서 제시되어야 한다고 생각된다. 레이덴버그와 라이트만(2002)은 해부학 프로그램이 "물질의 통합과 학제간 교육과 학습을 위한 집"의 최전선이 되어야 한다고 말하는 반면, 몽크하우스(1992)는 그러한 통합 없이는 "의대생들이 해부학을 연구해야 하는 직업적 필요성에 대한 근거를 발견하는 것"이 불가능하다고 주장한다. 또한, 저자들은 맥락에서의 교육이 임상 문제를 해결하기 위해 해부학적 지식을 사용하는 것을 의미할 수 있다고 제안한다. "학생들이 배우는 개념을 임상적 문제를 이해하고 설명하는 데 적극적으로 적용하지 않는 한, 그 지식은 비활성 상태로 남아 곧 잊혀질 것이다."(Norman, 2007).

Anatomical knowledge among students can, in the opinion of the authors, be enhanced by extending anatomy education to surface anatomy, living (radiological) anatomy, and clinical skills. It is felt that anatomy should be presented in a context of physical examination of patients (e.g., stethoscope, abdominal palpation, peripheral pulses, testing of ligaments, muscle groups, and reflexes) and interpretation of images (e.g. X-rays, CT, MRI, ultrasound, and minimally invasive views through scopes) (Monkhouse, 1992; Pabst, 1992; Reidenberg and Laitman, 2002; Older, 2004; Raftery, 2006). Reidenberg and Laitman (2002) even state that anatomy programs “must be at the forefront of integration of material and a home for interdisciplinary teaching and learning,” while Monkhouse (1992) argues that without such integration it is impossible to “see any grounds for the vocational necessity for medical students to study any anatomy.” Additionally, the authors suggest that teaching in context can mean using anatomical knowledge to solve clinical problems: “unless students actively apply the concepts they are learning to understanding and explaining clinical problems, the knowledge will remain inert and will be soon forgotten” (Norman, 2007).

요인 5: 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼)
Factor 5: Integrated Curricula (Problem-Based Learning or Systems-Based Curricula)

오늘날 일부 의과대학은 기초 의학에 대한 공식적인 교육을 대부분 포기하고 학생들이 문제 기반 학습(PBL) 접근 방식만을 통해 이러한 중요한 영역을 탐색하도록 남겨두었다. 저자들은 이것이 학생들의 해부학적 지식에 두 가지 방식으로 영향을 미칠 것이라고 우려한다.
Some medical schools today have largely abandoned the formal teaching of basic medical sciences, leaving students to explore these crucial areas through the problem based learning (PBL) approach alone (Williams and Lau, 2004). The authors fear this will affect the students' anatomical knowledge in two ways.

첫째, 저자들은 일부 지역에서는 자기 주도 학습이 교수자가 학습자에 대한 책임을 포기하는 단순한 구실이 되었다고 주장한다(Monkhouse and Farrell, 1999). 또한 PBL은 유능한 교사가 촉진자(종종 해부학적으로 훈련되지 않은 비의학 과학자; 요인 1 참조)로 대체될 수 있으므로 학생들이 영감을 주고 지식이 풍부한 멘토와의 접촉을 박탈하여 해부학적 지식을 덜 습득할 수 있다고 여겨진다. 둘째, 저자들은 PBL이, 학생이 해부학적 정보의 수용된 본문을 학습해야 한다는 사실을 무시하기 때문에, 기본적인 과학적 지식을 습득하는 비논리적이고 비효율적인 방법이라고 주장한다 (Williams and Lau, 2004). 학생들이 호기심과 실험을 통해 이러한 지식을 얻도록 요구하는 것은 귀중한 시간과 자원의 낭비이다.

First, the authors argue that in some places, self-directed learning has become a mere excuse for staff to abandon their responsibilities to students (Monkhouse and Farrell, 1999). It is also felt that PBL can lead to competent teachers being replaced by facilitators (often anatomically untrained nonmedical scientists; see also factor 1), thereby depriving students of contact with inspirational and knowledgeable mentors, so they acquire less anatomical knowledge (Cahill et al., 2000; Williams and Lau, 2004; Fasel et al., 2005). Second, the authors argue that PBL is an illogical and inefficient way to acquire basic scientific knowledge (Williams and Lau, 2004) because it ignores the fact that the student must simply learn an accepted body of anatomical information; requiring students to gain this knowledge through curiosity and experiment is a waste of valuable time and resources (Monkhouse and Farrell, 1999).

몽크하우스와 파렐(1999)은 장기계통 기반 교육이 학생들이 전신의 해부학에 대한 일관된 견해를 얻는 것을 막을 수 있다는 위험성을 더욱 지적했다. 시스템 기반 교육에서, 해부학은 전체 유기체와 무관하게 작은 부분으로 가르치기 때문에, 불가피하게 학생들은 그 분야에 대한 단편적인 지식만 갖게 된다. 저자들은 의사들이 인체 해부학에 대한 건전한 실무 지식을 가져야 한다는 것은 자명하다고 생각한다; 최악의 경우, 그들은 신체의 부분, 다른 부분과의 관계, 그리고 신체 표면에 대한 그들의 관계, 그리고 개입이 필요할 때 어떻게 그들이 안전하게 접근할 수 있는지에 대한 지식에 의해 불이익을 받지 않을 것이다.

Monkhouse and Farrell (1999) further point to the danger that systems-based teaching can prevent students from gaining a coherent view of the anatomy of the whole body. In systems-based teaching, anatomy is likely to be taught in small segments with no regard to the whole organism, inevitably leaving students with only fragmented knowledge of the discipline. The authors consider it self-evident that doctors should have a sound working knowledge of human anatomy; at the very worst, they will not be disadvantaged by knowledge of the parts of the body, their relationships to another and to the body surface, and how they can be approached safely when intervention is necessary.

요인 6: 해부학적 지식을 평가하는 방법
Factor 6: The Way Anatomical Knowledge Is Assessed

저자들은 해부학적 지식이 불충분하게 평가되어 잘 유지retained되지 않는다고 반복해서 말한다. 실용성의 이유로 (해부학) 시험에 대한 문제들이 점점 더 다양해지고 있는 것으로 느껴지는데, 이 시험은 오답 보기를 제거하는 전문성 때문에 잘 하는 "시험보기 능력자"들이 종종 잘 보는 경우가 많다. 또한, 저자들은 평가되는 각 분야의 최소 역량에 대한 요구사항이 없어질 것을 우려하고 있다: "[USMLE] Step 1 Examination에서 직접적인 해부학 문제가 몇 개밖에 없는데 왜 학생들이 전체 해부학을 배워야 하는가?" (Cahill and Leonard, 1999) "해부학에서 정말 어려운 시험이 있어야 하며, 이것은 지원자들이 환자들에게 연습을 시작하기 전에 그들의 해부를 확실히 알기 위한 매우 초기 단계여야 합니다." (래터리, 2006)

The authors repeatedly state that anatomical knowledge is assessed inadequately, so it is poorly retained. It is felt that for reasons of practicality, questions on (anatomy) tests are increasingly of the multiple choice variety, in which good “power-test takers” often do well because of their expertise in eliminating distracter items (Cahill and Leonard, 1999; Paalman, 2000; Ellis, 2002; Older, 2004; Raftery, 2006; Turney, 2007). Furthermore, the authors fear the requirement for minimal competence in each of the disciplines tested is being eliminated (Ellis, 2002; Raftery, 2006; Purkayastha et al., 2007): “why should students learn gross anatomy anyway when there are only a few direct anatomy questions on the [USMLE] Step 1 Examination?” (Cahill and Leonard, 1999). “There should be a really tough examination in anatomy and this should be at a very early stage to be certain that candidates know their anatomy before they start practicing on patients” (Raftery, 2006).

요인 7: 해부학 수업 시간 감소
Factor 7: Decrease in Anatomy Teaching Time

저자들은 최근 수십 년 동안 과학 지식의 폭발로 인해 의료 행위와 관련된 잠재적인 과학적 정보의 양이 강사나 학생들이 학습하기에 너무 많아졌다고 말했다. 기초과학과 임상의학의 관련성은 과정 시간의 단축과 의료 교육의 강조의 변화에 직면하여 불가피하게 재평가되고 있다고 한다(Drake, 2002). 이 문제를 다루기 위한 커리큘럼 개정이 모든 수준의 해부학 교육자들에게 계속 도전하고 있다고 주장한다. 해부학 커리큘럼에 포함할 과목에 대한 선택은 분명히 이루어져야 했지만, 저자들은 이러한 선택이 해부학을 너무 많이 또는 너무 적게 가르쳤다고 생각한다.
The authors stated that the explosion of scientific knowledge during recent decades has made the amount of basic scientific information with potential relevance to medical practice too large for instructors to teach or for students to learn. The relevance of basic sciences to clinical medicine is said to be undergoing re-evaluation, inescapable in the face of reduced course hours and the shifting emphases of medical education (Drake, 2002). It is argued that curricular revision to deal with this problem continues to challenge educators in the anatomical sciences at every level (Carmichael et al., 2002). Clearly, choices about which subjects to include in the anatomy curriculum had to be made, but the authors feel that these choices have led to the teaching of either too much or too little anatomy (see Factor 2).

요인 8: 해부학 교육의 수직적 통합의 무시
Factor 8: Neglect of Vertical Integration of Anatomy Teaching

기초과학 교육은 임상 전 커리큘럼의 큰 부분을 차지한다(Norman, 2007). 안타깝게도 수직적 통합이 임상적으로 가치 있는 기초과학만 가르치도록 돕는다고는 하지만, 그것은 흔히 단방향성으로만 존재한다. 임상 주제는 의학 커리큘럼의 초기 단계(전통적으로 기초과학 교육을 위한 시간표)에 정기적으로 통합되지만, 기초과학을 임상실습 학년에 교육하는 것은 훨씬 드물다. 이러한 개혁으로 인해 (일부에서는 25년 동안 50% 이상 감소했다고 주장하지만) 해부학 교육의 내용(요소 2와 7 참조) 둘 다 시간이 단축되었으며, 이는 전통적인 교수법의 실험실 부분에서 가장 급격한 감소로 이어진 것으로 보인다. 저자들은 학부 총 해부학 교수법이 세계적으로 쇠퇴하고 있으며, 진자가 너무 심하게 흔들려 해부학 교수법이 의학 교육에서 완전히 사라질 위기에 처했을 수 있다고 우려한다. 그래서 해부학 교육의 수직적 통합을 소홀히 하는 것은 총 해부학 교육의 감소를 초래하고, 이는 다시 학생들의 해부학 지식 부족을 초래한다.

Basic science teaching takes up a huge proportion of the preclinical curriculum (Norman, 2007). Unfortunately, although vertical integration is said to help ensure that only clinically valuable basic science is taught (Monkhouse and Farrell, 1999), the authors often experience it as unidirectional. While clinical topics are regularly integrated into the early years of medical curricula (traditionally the time slot for basic science teaching), it is much less common for basic sciences to be taught in later years (traditionally clinical teaching time) (McCrorie, 2000). It is felt that this reform has led to reductions in both the time for (some claim reductions of more than 50% over 25 years) and the content of anatomy education (see also Factors 2 and 7), the most drastic cut being in the laboratory parts of traditional teaching (Cahill and Leonard, 1999; Monkhouse, 1992; Older, 2004). The authors state that undergraduate gross anatomy teaching is in decline worldwide, and it is feared that the pendulum could have swung too far, putting anatomy teaching in danger of disappearing completely from medical education (Fasel et al., 2005; Raftery, 2006). So, neglect of vertical integration of anatomy teaching leads to a decline in gross anatomy teaching, which in turn leads to deficiencies in students' anatomical knowledge.

이에 대응하기 위해 저자들은 전체 의학 커리큘럼(교육과정 후반에 통합된 생물의학에서 도출된 내용)에 걸쳐 더 많은 해부학이 통합되어야 한다고 권고한다. 이것은 또한 [학습이란 새로운 지식을 기존 지식에 통합하는 것으로 구성된다(scaffolding)]는 인지심리학의 근본적인 아이디어에 대한 교육을 적응시킬 것이라고 명시되어 있다. 모든 것을 한꺼번에 가르칠 필요는 없다(Norman, 2007). 피츠제럴드(1992)가 말했듯이: "[…] 시간 제약으로 인해 많은 임상 관련 요점들이 해부학 강좌에서 누락되어야 합니다. 이 딜레마에서 벗어날 수 있는 유일한 방법은 수직적 통합을 통해 임상의가 각 해부학적 공을 차례대로 집어내는 것이다."

To counteract this, the authors recommend that more anatomy should be integrated throughout the entire medical curriculum (content drawn from the biomedical sciences integrated into the later years of the curriculum) (Beaty, 1990; Older, 2004; Whitcomb, 2006). It is stated that this will also adapt education to the fundamental idea from cognitive psychology that learning consists in the integration of new knowledge into existing knowledge (scaffolding); there is no need to teach everything all at once (Norman, 2007). As Fitzgerald (1992) puts it: “[…] many clinically relevant points have to be omitted from the anatomy course owing to time constraints. The only way out of this dilemma (it seems to me) is by way of vertical integration, whereby clinicians pick up each anatomical ball in turn”.

토론 및 권장 사항
DISCUSSION AND RECOMMENDATIONS

우리는 8가지 요인(표 1에 나열)이 의대생들 사이의 해부학적 지식의 감소에 기여했다는 여러 저자들의 주장을 설명했다. 우리의 2011년 검토에서는 이러한 주장을 뒷받침할 경험적 증거가 발견되지 않았으며, 우리는 문맥, 수직적 통합 및 평가 전략에서의 교수 구현에 대한 추가 연구를 권고했다(Bergman et al., 2011). 다음과 같은 추가 권장 사항은 요인 뒤에 숨겨진 이야기에 대한 현재 검토 중에 광범위한 탐색에서 비롯된다. 첫 번째와 두 번째 권장 사항 - 교수에 대한 인지도를 높이고 해부학자의 전문적 인지도를 높이는 -은 최근 문헌에서 다른 저자들의 지지를 얻고 있다. 세 번째 권장 사항은 보다 혁신적입니다. 해부학자들이 교육적 연구에 참여하도록 장려하는 것이다.

We have described the arguments of different authors that eight factors (listed in Table 1) have contributed to the decline of anatomical knowledge among medical students. Our 2011 review revealed no empirical evidence to support these claims, and we recommended further research on the implementation of teaching in context, vertical integration, and assessment strategies (Bergman et al., 2011). The following additional recommendations arise from our extensive exploration during the present review of the stories behind the factors. The first and second recommendations—increasing recognition for teaching and enhancing the professional recognition of anatomists—find support from other authors in the recent literature. The third recommendation is more innovative: to encourage anatomists to participate in educational research.

교수에 대한 인정
Recognition for Teaching

만약 교육이 아카데믹한 가치를 더 많이 인정받는다면, 교사들은 다음의 개발 및/또는 구현에 더 많은 시간과 돈을 투자할 수 있을 것이다. 자신의 해부학적, 임상적 지식과 교육적 기술(인자 1), 핵심 해부학 커리큘럼(인자 2), 다양한 교육 방법(인자 3), 맥락적 교육(인자 4), 평가 전략(인자 6), 수직적 통합(인자 8)이 그것이다.

If teaching received more recognition for its academic value, teachers would have more time and money to invest in the development and/or implementation of: their own anatomical and clinical knowledge and didactic skills (Factor 1), a core anatomy curriculum (Factor 2), different teaching methods (Factor 3), teaching in context (Factor 4), assessment strategies (Factor 6), and vertical integration (Factor 8).

[의대생에게 해부학을 가르치는 것]은 [기초 과학자를 위한 연구 활동]이나 [임상의사를 위한 환자 치료 의무(및 연구 과제)]와 떼어둘 수 없다. 의과대학들은 의과대학 학생들이 의사가 되기 위해 더 진지하게 준비할 책임을 지도록 촉구한다. 대부분의 의과대학에서 결정적이지만 불행하게도 잘 발달되지 않은 분야는 [인적 자원 관리와 교수 업적의 보상]이다. 기초과학과 임상과학의 교육은 학문적 활동으로 평가받지 못하고 결과적으로 낮은 우선 순위를 받는다. 보상에 대한 선택(홍보, 공간, 기부 의자 등)은 교육 및 임상 역량이 아닌 출판물 수와 보조금 기금에 거의 전적으로 기초한다.

Teaching (anatomy to) medical students is almost invariably combined with research activities for basic scientists or patient care duties (and research tasks) for clinicians (Ten Cate et al., 2011). Medical schools are urged to take their responsibility for preparing medical students to become doctors more seriously (Fraser, 1991). A crucial but unfortunately poorly developed area in most medical schools is human resource management and the rewarding of teaching accomplishments (Bergman and de Goeij, 2010). For academic staff, there is a strong emphasis on research targets, whereas teaching in both basic and clinical sciences is less valued as an academic activity and consequently receives low priority (Older, 2004). Selection for rewards (promotions, space, endowed chairs, etc.) is almost exclusively based on the number of publications and grant funding, not on teaching and clinical competence (Cahill and Leonard, 1999; Fasel et al., 2005).

학부 및 기관의 문화에 교육이 가치있게 여겨지고, 장려되며, 내면화될 필요가 있다. (해부학) 교육의 미래 발전과 개선은 우수하고 열정적인 교사들과 교육자들이 그들의 기관의 교육의 질을 향상시키기 위해 기꺼이 노력함으로써 성취될 수 있다(Bergman and de Goeij, 2010). "교사는 훈련을 받아야 하고, 좋은 교사는 생산적인 연구원들과 마찬가지로 보상을 받아야 하며, 가난한 교사는 상담을 받아야 한다."

Teaching needs to be valued, encouraged, and internalized into the culture of the department and institution (Ten Cate et al., 2011). Future developments and improvements in (anatomy) education can only be accomplished by rewarding excellent and enthusiastic teachers and educationalists willing to work to improve the quality of education in their institution (Bergman and de Goeij, 2010). “Teachers should be trained; good teachers should be rewarded, as are productive researchers; and poor teachers should be counseled” (Monkhouse, 1992).

교수 성과를 보상하지 못하는 것은 부분적으로 의학 교육자로서 성공하기 위해 필요한 복잡한 기술을 인식하지 못했기 때문일 수 있다. 최근의 문헌에는 교육학 및 기타 학습 관련 활동에 대한 학문을 입증하는 데 초점을 맞춘 교육학에 대한 흥미로운 출판물이 포함되어 있다. 과거 기관들이 개인의 학술적 성취를 평가하는 학술활동의 주요 기준은 연구, 과학적 결과에 대한 동료평가, 새로운 지식의 보급이었다. 그러나 의학교육의 혁신, 발전, 변화는 그들의 연구와 환자 치료 임무 외에도 많은 의과대학에서 [교육적 사명의 중요성]에 대한 인식을 증가시켰다. 결과적으로, 학술활동의 정의가 넓어지면서, 각각의 보상 시스템의 상응하는 변화와 함께 나타났다. 가르치는 것은 학문적인 행위일 수 있지만, 심지어 많은 일류 학술 기관들에서도 모든 가르침이 학문적인 것은 아니다. 

The failure to reward teaching accomplishments could in part be due to failure to recognize the complex skills necessary to succeed as a medical educator. The recent literature contains interesting publications on scholarship in education, focusing on demonstrating scholarship in teaching and other learning-related activities (in contrast to educational research, which can be assessed and rewarded using the same types of evidence as basic science or clinical research) (Turner et al., 2012). In the past, the main criteria for scholarly activities by which institutions evaluated individuals' academic progress were research, peer review of scientific results, and dissemination of new knowledge (Srinivasan et al., 2011; Turner et al., 2012). However, innovation, development, and changes in medical education have entailed a growing appreciation of the importance of the educational mission at a number of medical schools, besides their research and patient care missions (Pawlina and Drake, 2010; Turner et al., 2012). In consequence, broader definitions of scholarship have emerged along with corresponding changes in the respective reward systems (Turner et al., 2012). Teaching can be a scholarly act, but even in many top academic institutions not all teaching is scholarly (Beckman and Cook, 2007).

지속적인 학술활동 기록이 학계에서 발전의 기초가 되기 때문에, 교수학자들의 연구를 구현하고 평가하기 위해 교수에 대한 학술활동 평가 기준을 정의하기 위한 다양한 이니셔티브가 발표되었다. 학술적 가르침은 학생들의 자기지식을 변화시키고 확장시켜야 하며, 대중에게 공개되어야 하며, 검토의 대상이 되어야 하며, 다른 교육자들과 교류할 수 있어야 한다는 데 동의한 것 같다(Beckman and Cook, 2007). [가르치는 것과 배우는 것을 위한 학술활동에 참여하는 것]은 해부학자들이 그들이 제공하는 교육적 제품이 품질을 가지고 있고 학생, 기관, 그리고 전문 커뮤니티에 의해 가치를 인정받는 것을 확실히 하기 위한 바람직한 단계로 보인다. 이 검토의 범위를 넘어 실용성에 대해 더 자세히 논의하지만, 우리는 핀처와 동료들(Turner 등, 2012)과 Simpson 등(2007)을 관심 있는 모든 사람이 더 많이 읽을 수 있는 출발점으로 추천할 것이다.

Since a sustained record of scholarship is the foundation for advancement in academia, various initiatives to define criteria for evaluating scholarship in teaching have been published, in order to implement and assess teaching scholars' work (e.g. (Whitcomb, 2003; Moses et al., 2006; Simpson et al., 2007; Fincher et al., 2009; Turner et al., 2012). There seems to be agreement that scholarly teaching must

• transform and extend students' self-knowledge,
• be open to the public,
• be subjected to review, and
• be accessible for exchange with other educators (Beckman and Cook, 2007).

To engage in scholarship for teaching and learning seems a desirable step for anatomists to ensure that the educational product they deliver has quality and is valued by students, institutions, and professional communities (Srinivasan et al., 2011). It goes beyond the scope of this review to discuss the practicalities further, but we would recommend Fincher and colleagues (Turner et al., 2012) and Simpson et al. (2007) as a start for further reading for anyone interested.

해부학자가 되기 위한 훈련: 전문적 인식 제고
Training to Become an Anatomist: Enhancement of Professional Recognition

해부학자가 되기 위해 공인된 훈련 프로그램을 이수해야 한다면, 전문 그룹으로서 해부학자들은 더 큰 인정을 받게 될 것이다. 그것은 또한 더 넓은 범위의 사람들이 해부학 분야에서 직업을 추구하도록 영감을 줄 가능성이 높으며, 특히 가르치는 것에 주된 관심이 있는 사람들에게도 영감을 줄 것이다. 그것은 또한 해부학자들에게 관리, 교육, 연구에서의 행동과 결정의 질을 향상시켜줄 것이다.
If becoming an anatomist requires completion of an accredited training program, anatomists as a professional group will gain greater recognition. It is also highly likely that it will inspire a wider range of people to pursue careers in anatomy, especially those whose principal interest lies in teaching. It will also give anatomists a much more solid base for, and therefore improve the quality of, actions and decisions in management, education, and research.

많은 나라들은 해부학에서 국가적으로 승인된 훈련 프로그램이 부족하다. 예를 들어, 네덜란드에서, 원하는 사람은 누구나 해부학자라고 부를 수 있다. 이 직함은 일반적으로 해부학 부서에서 자리를 얻자마자 사용됩니다. 영국, 미국, 호주, 뉴질랜드에서도 비슷한 상황이 발생한다. "아나토미스트"라는 직함이 인정된 전문적 자격에 기초하지 않고 결과적으로 존경/명예 또는 매력적인 급여 구조를 가지고 있지 않다는 사실은 여전히 남아 있다. 게다가, 해부학 교육의 현재 상태에서는, 그 과목에 대한 경험이 거의 없는 사람들은 종종 그들에게 실질적으로 알려지지 않은 영역에서 조치를 취하고 결정을 내려야 한다. 
Many countries lack a nationally endorsed training program in anatomy. In the Netherlands, for example, anyone who wishes can call themselves an anatomist. The title is generally used as soon as a position in an anatomy department is acquired. Similar situations obtain in the UK, USA, Australia, and New Zealand. The fact remains that the job title “anatomist” is not founded on an acknowledged professional qualification and consequently carries no regard/prestige or attractive salary structure. Moreover, in the present state of anatomy education, people with little experience of the subject often have to take action and make decisions in areas that are practically unknown to them.

그러나 일부 국가에서는 엄격한 훈련 프로그램을 수료한 사람에게만 해부학자라는 칭호를 수여한다. 예를 들어 독일에서는 (수의학) 의대 졸업자들이 외과나 산부인과 대학원 교육과 비슷하게 "해부학 전문의"가 되기 위해 여러 기관의 훈련 프로그램에 참가할 수 있다. 생물의학 졸업생들을 위해, 독일 해부학 협회는 "전문 해부학자"가 되기 위한 프로그램을 제공한다. 이 프로그램들은 해부학, 배아학, 조직학, 그리고 신체 기증과 시체 보존에 대한 지식을 포함한다. 그들은 시체 해부와 조직학적 고정, 절단, 색칠에 대한 기술 훈련을 제공한다. 훈련을 마쳤다는 것은 봉급이 오르고 해부학부에서 영구적인 지위를 얻을 수 있는 더 좋은 기회를 의미한다. 그러나 앞서 언급한 모든 훈련 프로그램은 [생물의학 연구]에 대한 참여에 초점을 맞추고 있고, [교육 기술]에 대해서는 일반적으로 무시하고 있음을 보여준다.

However, in some countries, the title “anatomist” is only awarded to those who have completed a rigorous training program. In Germany, for example, (veterinary) medical graduates can enter training programs in several institutions to become “medical specialists in anatomy,” similar to postgraduate training in surgery or gynecology. For biomedical graduates, the German Anatomical Society offers a program to become a “professional anatomist.” These programs cover knowledge of (radiological) anatomy, embryology, and histology, and also body donation and cadaver preservation. They offer skills training in cadaver dissection and histological fixation, cutting and coloring. Completion of training means a rise in salary and a better chance of a permanent position in an anatomy department. However, all the aforementioned training programs focus on participation in biomedical research, showing a general neglect of educational skills.

현재 문헌에서는 해부학 분야에서 경력을 쌓기를 원하는 교사들의 전망을 개선하는 데 거의 관심이 없다. 인도와 나이지리아에서의 연구 결과는 [직업적 기회와 적절한 연구 시설의 부족]이 해부학과 같은 비임상 교수 전공을 임상 전공보다 거리어로서 훨씬 덜 매력적인 선택지로 만든다는 것을 보여준다. 해부학자가 되는 것에 관심이 있는 인도 학생들이 공식적인 교수 과정에 대한 소망을 표명한 것은 놀라운 일이다(Anand et al., 2004).

In the current literature, scant attention is paid to improving the prospects of teachers who wish to pursue a career in anatomy. Results from studies in India and Nigeria show that scarcity of job opportunities and of adequate research facilities make nonclinical teaching specialties such as anatomy far less attractive as career options than clinical specialties (Anand et al., 2004; Onakpoya et al., 2009). It is striking that Indian students interested in becoming anatomists expressed a wish for a formal course in teaching (Anand et al., 2004).

우리는 국가 해부학 협회가 자국의 해부학 부서와 협의하여 해부학자들을 위한 공인된 훈련 프로그램을 설치하는 것이 현명하다고 생각한다. 그러한 프로그램은 의학을 전공한 학생들에게 개방되어야 한다. 이상적으로, 훈련은 학생들이 해부학 부서에서 자리를 차지하는 파트타임으로 이루어져야 한다. 프로그램은 최소한 학생들의 해부학적 지식, 해부 및 시체 보존 기술, 그리고 마지막으로 교육 지식과 기술에 초점을 맞추어야 한다. 훈련은 또한 해부학자들이 교육과 연구 모두에서 의료 및 생물의학 직원들과 함께 작업한다는 것을 고려해야 한다. 원하는 경우, 학생들은 생물의학 또는 교육 분야에서 박사 학위를 취득하는 동안 해부학 훈련을 받을 수 있어야 한다.

We feel it would be wise for national anatomical associations, in consultation with the anatomy departments of their countries, to set up accredited training programs for anatomists. Such programs should be open to students with degrees in (bio)medical studies. Ideally, training should be part-time, with students holding a position in an anatomy department. Programs should at least focus on increasing students' anatomical knowledge, on skills in dissection and preservation of cadavers, and last but not least, on educational knowledge and skills. Training should also take into account that anatomists work together with medical and biomedical staff in both education and research. If desired, students should be able to train in anatomy while working toward a PhD in the biomedical or educational field.

교육 업무과 해부학자라는 직업에 대한 더 많은 인정이 있을 때, 해부학 부서는 [연구는 잘하지만, 교육은 잡일로 간주하는 교수진]을 고용할 필요가 없을 것이다. 또한, 그들은 현재 자주 일어나는 것처럼 그 자리를 차지하기 위해 은퇴한 임상의에게 의존할 필요가 없을 것이다. 왜냐하면 구인광고는 상당한 수의 적합한 지원자들을 끌어들일 수 있기 때문이다.

When there is more recognition for teaching and for the profession of anatomist, anatomy departments will be unlikely to have to hire more faculty who are great researchers but regard teaching as a chore. Also, they will not have to rely on retired clinicians to take up those position as often happens at present, because job advertisements might then attract a significant number of suitable applicants.

교육연구 참여
Participation in Educational Research

우리는 각 해부학 부서가 학습 이론과 원칙을 탐색하고, 교육 문헌에 정통하며, 교육 연구에 참여/수행하고, (국제) 교육 회의에 참석할 의향이 있는 (그리고 가능한) 해부학 교사 약 2명을 임명해야 한다고 제안한다. 이러한 방법을 통해, 교육 기술의 개발 및/또는 구현, 핵심 해부학 커리큘럼(요소 2)과 다른 교육 방법(요소 3)과 맥락에서의 교육(요소 4), 평가 전략(요소 6), 수직 통합(요소 8)은 증거에 기초하여 이론에 의해 알려지고 목적적 평가를 받을 수 있다.
We suggest that each anatomy department should appoint about two anatomy teachers (not educationalists!) who are willing (and enabled) to explore learning theories and principles, keep abreast of the educational literature, participate in/perform educational research, and attend (inter)national educational conferences. By these means, the development and/or implementation of didactic skills, a core anatomy curriculum (Factor 2), different teaching methods (Factor 3), teaching in context (Factor 4), assessment strategies (Factor 6), and vertical integration (Factor 8) can be informed by theory, based on evidence, and subjected to purposeful evaluation.

우리는 해부학자들이 해부학 교육을 인수받는 것이 아니라, 해부학자들이 교육 연구에 참여해야 한다는 것을 강조하고 싶습니다. 일부 해부학자들은 이미 교육 과정의 소유권을 교수진으로부터 교육 과정 위원회에 빼앗겼다고 느낀다. 그 후, "무엇을 어떻게 가르치고 있는가"에 대한 그들의 결정은 의대생들의 해부학적 지식에 부정적인 방식으로 영향을 미친 것으로 비난 받는다.
We want to stress that anatomists should engage in educational research, not that educationalists should take over anatomy education. Some anatomists already feel that ownership of the curriculum has been taken away (hijacked) from the teaching faculty to (or by) the curriculum committee. Subsequently, their decisions on “what is being taught and how” are blamed for influencing the anatomical knowledge of medical students in a negative way.

의과대학에서 해부학과는 보통 가장 많은 교수량을 가진 학과 중 하나이다. 그러나 해부학 부서 내의 연구 관심사는 교육적 지향보다는 생의학적 지향을 더 가지고 있다. 또한 해부학과의 직원과 경영진의 배경 때문에 명확한 교육 전략이 없는 경우가 많습니다.

In medical schools, the anatomy department is usually one of those with the highest teaching load. However, research interests within an anatomy department are more often biomedically than educationally directed. Also, owing to the background of staff and management in an anatomy department, a clear educational strategy is often absent.

일부 해부학 교실에서는, 교육이 그들의 핵심 사업이자, "존재의 이유"이지만 안타깝게도 해부학 교사들이 교육 연구에 관심을 나타낼 때 눈살을 찌푸리는 것은 드문 일이 아니다. 놀라운 일이다. 연구 및 진료소에서 상대방의 정기적인 임무에는 최신 문헌 읽기, 최신 접근, 개발 및 이론에 대한 지향, 적절한 경우 기존 습관을 새로운 습관으로 대체하고 비판적인 동료 검토에 그들의 작업을 제출하는 것이 포함된다는 것은 자명하다. 의학에서 [증거 기반 실천]은 널리 받아들여지고 있으며 "[…] 개별 환자의 치료에 대한 결정을 내릴 때 현재 최선의 증거를 양심적이고 명시적이며 현명하게 사용하는 것"으로 정의되어 왔다(Sackett et al., 1996). 이와는 대조적으로, "최고의 증거에 기초한 교육의 방법과 접근방식을 교사들의 실무에 의해 구현"하는 "최고의 증거 의학 교육"은 매우 드물게 구현된다.

For some anatomy departments, teaching is their core business, their “raison d'être,” but unfortunately it is not uncommon for anatomy teachers to be frowned upon when they express interest in educational research. This is remarkable: it is self-evident that the regular duties of their counterparts in research and the clinic include reading the latest literature, being oriented toward the latest approaches, developments and theories, replacing existing habits with new ones when appropriate, and submitting their work to critical peer review (van der Vleuten et al., 2000). In medicine, evidence-based practice is widely accepted and has been defined as “[…] the conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients” (Sackett et al., 1996). In sharp contrast, Best Evidence Medical Education, defined as “the implementation, by teachers in their practice, of methods and approaches to education based on the best evidence available” (BEME-Group. 2000), is very rarely implemented.

결론들
CONCLUSIONS

경험적 증거가 없음에도 불구하고, 8가지 요인들이 오늘날 의대생들 사이에서 해부학적 지식의 감소를 야기시킨다고 종종 비난 받는다. 수십 년 동안 이러한 감소에 대한 불만이 있었기 때문에, 해부학적 지식 수준이 떨어졌다는 인식이 세대 갈등에서 발생한다고 제안한다. 그러나, 진실을 밝히기 위해 더 많은 연구가 필요하다.
Despite the absence of empirical evidence, eight factors are often blamed for causing the decline in anatomical knowledge among today's medical students. Since there have been complaints about this decline for decades, we suggest that the perception that anatomical knowledge levels have fallen arises from a generation conflict (Bergman et al., 2011); however, further research is necessary to determine the truth.

비록 그 범위에 대한 다른 의견들이 있지만, 의대생들은 해부학적 지식 없이는, 결과적으로 해부학 교육 없이는 절대 할 수 없다는 일반적인 의견들이 있다. 기관 내에서의 교수 업적, 해부학의 국가 훈련 프로그램, 그리고 그들 부서 내의 해부학자들이 교육, 학습 및 교육 연구에 참여하기 위한 헌신적인 시간에 대한 인식을 증가시키는 것은 획득, 보존 및 전달에 기여하는 요소를 식별하는 데 도움이 될 수 있다.해부학적 지식 및 해부학 교육이 가능한 한 효과적으로 이루어질 수 있는 방법에 대한 집중력을 높입니다.

Although there are different opinions regarding its scope, there is a general consensus that medical students definitely cannot do without anatomical knowledge, and consequently without anatomy education. Increasing recognition for teaching accomplishments within an institution, a national training program in anatomy, and dedicated time for anatomists within their departments to involve themselves in the science of teaching, learning, and educational research, could help to identify factors contributing to the acquisition, retention, and transfer of anatomical knowledge and increase the focus on how anatomy education can be made as effective as possible.

의학적 실천과 학습에서 사회물질성: 중요한 것에 조음하기(Med Educ, 2014)
Sociomateriality in medical practice and learning: attuning to what matters
Tara Fenwick

서론
Introduction

히포크라테스의 이 말은 이상적이고 확률적인 의료 관행을 제시하고 있으며, 이타적인 환자 중심성에 지나치게 초점을 맞추고 있고, 현대 기술 과학의 복잡성과는 크게 관련이 없다는 것으로 잘못 해석될 수 있다. 그러나 이 발췌문에서는 환자가 중심 초점으로 고립되어 있지 않다. 분명한 것은 나이프와 화학 물질에 더하여, 지식 그 자체, 감정과 의미와 의료행위에는 [광범위한 사회적 힘뿐만 아니라 물질적 힘]이 발동한다는 것이다. 예술과 과학에 대한 매력은 [이성적 확실성과 학문discipline]만큼이나 [창조적인 불확실성과 즉흥성에 의존하는 광대한 세계]를 불러일으킨다. 또한 히포크라테스는 이러한 힘들, 사회적, 물질적 관계들, 그리고 이러한 관계들 속에서 의사의 함축적 의미들 사이의 상호작용을 지적한다. 실제로 히포크라테스는 의사에게 이러한 광범위한 관계 속에서의 참여자로 행동할 윤리적 책임을 부과하고 있다(I will remember 이라는 표현).

Hippocrates may be misinterpreted as presenting an idealised and probabilistic medical practice, overly focused on altruistic patient-centredness and not terribly relevant to the complexities of contemporary technoscientific medicine. Yet in this excerpt the patient is not isolated as the central focus. What is clear is the invocation of broad social as well as material forces in medical practice and knowledge per se, emotion and meaning alongside the knife and the chemical. The appeal to art and science evokes vast worlds that rely upon creative uncertainty and improvisation as much as rational certainty and discipline. Further, Hippocrates points to interplay among these forces, the relationships among the social and material, and the implication of the doctor amidst these relations. Indeed, Hippocrates clearly imposes an ethical responsibility on the doctor – ‘I will remember’ – to act as a participant within these broad relations.

전문적 실천과 학습에 대한 연구에서는 일상 업무의 이러한 사회적 물질적 관계를 왜 중요한가, 그리고 일상적 실천에 영향을 미치는 미시적 역학에 대해 우리를 맹목적으로 볼 수 있는 추상적 개념들이 어떻게 선택될 수 있는가 하는 측면에서 더 정확하게 이해하는 것에 대한 관심이 증가하고 있다. 사회 물질적 접근 방식에서 일하는 교육자들은 의료종사자에게 [실무, 지식 및 환경]을 한데 묶는 이 [일상적인quotidian 물질적 디테일]을 유의하도록 권고한다. – 단순히 연결고리에 매우 가깝게 조율하는 것뿐만 아니라, 조정하고 즉흥적으로, 끼어들고, 새로운 가능성을 포착하는 것도 가능합니다.

In studies of professional practice and learning more generally, there is growing interest in understanding these sociomaterial relations of everyday work more precisely in terms of why matter matters, and how the abstractions that can blind us to the microdynamics that influence everyday practices can be unpicked. Educators working from sociomaterial approaches are encouraging new practitioners to attend to these quotidian material details that stitch together their practice, knowledge and environments – not just to attune very closely to the connections, but also to tinker and improvise, to interrupt, and to seize emerging possibilities.

현재 문제
Current Issues

Mann1이 주장했듯이, [맥락]은 의료 실습과 실제 학습에서 중요하다. Mann은 학습이 개인의 인지 처리의 관점에서만 고려될 수 없다는 것을 보여 온 광범위한 연구자들에 합류한다. [학습의 내용과 과정]은 [특정 상황과 환자, 사용 가능한 도구, 기술, 사회적 관계 및 기타 환경적 역동]에 따라 크게 변화한다. [지식 '획득'과 전이transfer]라는 전통적인 은유는 ['참여'와 공동체에서의 적극적인 관여]라는 이해로 대체되고 있다. Mann은 '실천 공동체'에 초점을 맞춘 전문 교육, 경험적 학습 및 위치된 학습 환경에서의 어포던스가 널리 보급된 것을 정확하게 기록한다. 그녀는 이러한 ['사회 문화적' 학습] 관점이 의학 교육에 특히 유익하다고 결론짓는다.
As Mann1 has argued, context is critical in medical practice and learning in practice. Mann joins a broad river of researchers who have been showing that learning cannot be considered solely in terms of individual cognitive processing. The content and process of learning change dramatically with particular situations and patients, the tools available, technologies, social relations and other environmental dynamics. Conventional metaphors of knowledge ‘acquisition’ and transfer are being replaced with understandings of ‘participation’ and active engagement in communities. Mann2 accurately documents the widespread uptake in professional education of focus on ‘communities of practice’,3 experiential learning and affordances in situated learning environments. She concludes that these ‘socio-cultural’ learning perspectives are particularly fruitful for medical education.2

실제로, [사회문화적 지향]은 [지식은 [과학에 의해 개발되고, 실무자에 의해 구현]되는 것이라는 [고정된 개념]]을 가로막는 것으로서, 전문직 연구 전반에 걸쳐 중요하게 여겨졌다. 그러나, 실천적 접근은 보수주의, 관리주의, 직장에서의 권력 관계의 제한된 분석뿐만 아니라, '공동체'와 전문적 업무에서의 실천에 대한 일반적이고 거의 낭만적인 개념으로 비판을 받아왔다.
Indeed, socio-cultural orientations have been important across professional studies for interrupting fixed notions of knowledge as developed by science and implemented by practitioners. However, the community of practice approach has been critiqued not only for its conservatism, managerialism and limited analysis of power relations in workplaces, but also for its generalised and almost romantic notions of both ‘community’ and practice in professional work.4, 5

추가 이슈는 더 자세히 개발될 것입니다.

• 첫째, 연구자들은 재료들이 능동적으로 실천과 지식을 구성하는 방법에 대해 훨씬 더 많은 인식을 요구해 왔다. 
  
• 둘째로, 학생을 포함한 의료 종사자들이 직면하고 있는 실질적인 도전은 단지 다른 관점이나 의미뿐만 아니라 서로 다른 온톨로지, 즉 서로 다른 사회 물질 '세계'가 수행되고 있다는 측면에서 점점 더 이해되고 있다. 
  
• 셋째, 증거 기반 프로토콜과 일상적인 실습 사이의 단절에 대한 구체적인 문제가 소개되어 의료 학습에서 이러한 일반 모델의 역할과 실습의 복잡성에서 정확히 무슨 일이 일어나고 있는지에 대한 의문이 제기된다. 

이 절을 통해 알 수 있듯이, 이러한 문제를 해결하기 위해 고군분투하는 연구자들은 새로운 이론에 도달했다. 이것들은 여기서 사회 물질적 접근이라고 널리 언급되며, 다음 절에서 설명될 것이다. 먼저, 이러한 접근법으로 이어지는 현재 문제의 예를 살펴보자.

Further issues will be developed in more detail.

• Firstly, researchers have pressed for much more recognition of the ways that materials actively configure practice and knowing.
• Secondly, practical challenges facing medical practitioners including students are increasingly being understood in terms of different ontologies – different sociomaterial ‘worlds’ being performed – not just different perspectives or meanings.
• Thirdly, specific challenges about the disconnection between evidence-based protocols and everyday practice are introduced, raising questions about the roles of these general models in medical learning, as well as about what exactly is happening in the complexities of practice.

As we see throughout this section, researchers grappling with these issues have reached for new theories. These are broadly referred to here as sociomaterial approaches, and will be explained in the subsequent section. First, let us examine examples of current issues leading to these approaches.

놓치고 있는 것
Missing matter

물질matrerial(things that matter)은 종종 학습을 설명할 때 누락된다. 물질은 [인간 행동의 배경의 일부로 무시]되거나, [의식과 인식에 대한 선입견에서 무시]되거나, [인간의 의도와 설계에 종속된 그저그런brute 도구의 지위]로 밀려나는 경향이 있다. 그러나 의료 실무에서 항생제 및 진통제, 기관지 확장제 및 심전도, 카테터 및 복강경, 정책, 데이터베이스 및 프로토콜 등 특정 환경에서 사용할 수 있는 특정 종류의 재료와 그에 따른 권한의 가중치는 의료 지식뿐만 아니라 의료 지식도 근본적으로 형성한다. 맥락이 중요할 수는 있지만, 단순히 맥락을 [추상적인 컨테이너]로 이해하는 것은, 이 무수한 [비인간적 요소들]뿐만 아니라 맥락의 특정한 역학을 형성하는 [인간 요소들] 사이의 관계의 소란을 놓치는 것이다. 스톨리 박사는 환자의 안전이 종종 물질성에 대한 주의 부족으로 인해 위험에 처한다고 주장한다. 복강 내부에 밸브가 거의 남겨둘 뻔한 프로시져나, 가파른 기울기에서 마찰이 없는 테이블 매트를 가로질러 미끄러질 때 환자가 거의 떨어질 뻔한 사건을 포함하여, [환자, 보건의료인, 루틴과 함께 작용하는 물체 사이의 관계에서, 어떤 방식으로 서로를 변형시켜 위험한 상황을 만드는지]를 보여준다. 스들리는 의사들이 물질들이 실제로 어떻게 작용하는지에 대한 미시적인 세부사항들에 훨씬 더 익숙해지는 법을 배워야 한다고 주장한다.

Materials – things that matter – are often missing from accounts of learning. Materials tend to be ignored as part of the backdrop for human action, dismissed in a preoccupation with consciousness and cognition, or relegated to the status of brute tools subordinated to human intention and design. Yet clearly in medical practice, the particular kinds of materials available and the weight of authority ascribed to them in certain settings – antibiotics and analgesics, bronchodilators and electrocardiograms, catheters and laparoscopes, policies, databases and protocols – fundamentally shape practice as well as medical knowledge. Context may be critical, but to understand context simply as an abstract container is to miss the turmoil of relationships among these myriad non-human as well as human elements that shape, moment to moment, particular dynamics of context. Bleakley6 contends that patient safety is frequently put at risk precisely by lack of attention to materiality. His examples, which include that of a procedure in which a valve was almost left inside an abdominal cavity, and that of an incident in which a patient almost fell when a gel mat slid across a frictionless table mattress in a steep tilt, show how it is the relationships among objects acting together with patients, health personnel and routines that transform one another to create risky situations. Bleakley argues that doctors must learn to become much more attuned to the micro-details of how materials act in practice.6

'물질적 퍼포먼스'로서의 실질적인 과제
Practical challenges as material performances

의학교육의 주요 과제 중, 의과대학에서 의과대학으로의 주니어 의사들의 문제적 전환과 이러한 전환에 수반되는 오류에 대한 일반적인 위험은 친숙한 논의 주제이다.7 그러나, 최근의 연구는 물질적 세계가 어떻게 과도기를 수행하는 의사들의 학습에 관여하는지에 대해 더 가까이서 관찰했다. 예를 들어, Kilminster 등은 기존의 학습 모델들이 의대생들이 접하는 [일상적인 물질적 장벽]이나 [이러한 문제를 해결하기 위해 배우는 즉흥성]을 설명하지 않는다는 것을 발견했다. Orlikowski에 따라, 우리는 학생들의 정체성과 활동이 [특정한 행위를 구성하는데 작용하는 물질적 대상과 테크놀로지]와 관련하여 수행된다고 말할 수 있다.
Among the major challenges in medical education, the problematic transition of junior doctors from medical schools to wards and the general risks for error that accompany these transitions are a familiar topic of discussion.7 However, recent studies have attended more closely to how material worlds are involved in the learning of doctors undertaking transition. Kilminster et al.,8 for example, have found that conventional models of learning do not explain the everyday material barriers that medical students encounter or the improvisations they learn to work around these problems. We could say, following Orlikowski,9 that students’ identities and activities are performed into being, in relation with the material objects and technologies that act to configure particular practices.

[새로운 테크놀로지]는 (초보자들에게 뿐만 아니라) 지속적인 실질적인 도전을 제기한다. 이러한 구현은 여전히 합리주의적인 [습득-및-전이 모델]에서 진행되며, 종종 직원 워크숍(인쇄된 정보의 큰 바인더로 완성됨)에 이어 실제 구현을 모니터링하기 위한 평가까지 이어진다. 그러나 연구자들은 [구현의 실패]는 많은 물질적 요인에 달려 있으나, 그것은 거의 인식되지 못한다는 것을 발견했다. Allan은 환자 안전과 같은 새로운 통합 치료 경로가 종종 다른 논리를 따르고 다른 실천의 세계를 수행하는 기록 보관 공예품과 같은 기존의 물질적 인프라를 어떻게 방해하는지를 보여준다(범용화된 시스템이 아닌 개별화된 환자 기록). [새로운 시스템]은 말 그대로 [새로운 실천의 세계]를 도입하여, 상충되는 일련의 퍼포먼스를 생산한다. 그러나 임상의사들은 여러 퍼포먼스를 동시에 저글링하는 데 능숙하기 때문에, 앨런이 기록한 바와 같이, [서로 연결되지 않는 문서 기록물]이 쏟아져 나온다.
New technologies also pose continual practical challenges, and not only to novices. The implementation of these still tends to proceed from a rationalist acquire-and-transfer model, often through staff workshops (complete with large binders of printed information) followed up with appraisals to monitor implementation in practice. Yet researchers are finding that failure to implement relies on a host of material factors that are rarely acknowledged. Allan shows how new integrated care pathways, such as for patient safety, often interfere with existing material infrastructures such as record-keeping artefacts that follow a different logic and perform a different world of practice (individualised patient records rather than a universalised system).10 New systems literally introduce a new world of practice, producing a conflicting set of performances. Clinicians, however, are adept at juggling multiple performances simultaneously, and thus results the flurry of paper records that don't connect, as Allan10 documents.

또한, 전문직군 간 의료행위IPP는 의료 분야에서 주요 과제를 계속 제시하는데, 이는 [임상의사들 사이의 우선순위 및 언어, 중복되지만 결합되지 않은 서비스, 상호 신뢰 문제] 등과 관련이 있다. 이러한 문제에 대한 사회적, 문화적 해석을 넘어, 연구자들은 [전문 분야 간 실무에서 물질적 협상]에 점점 더 초점을 맞추고 있다. 그들은 특정 임상의사 그룹에게 특히 중요한 [기구나 텍스트]가, 어떻게 독특한 접근방식을 중개하거나, 심지어는 고정anchor시키는지 추적한다. 그들은 또한 서로 다른 실무자들이 서로 다른 방법, 다른 구체화된 관행 및 다른 인프라로 서로 다른, 심지어 상충되는 사회 물질 세계를 실제로 어떻게 수행하는지 보여준다. 이러한 연구는 현재 [서로 다른 물질적 '온톨로지'] 및 [의료종사자는 그 안에서 그리고 그것들 사이에서 일하는 법을 어떻게 배우는지]에 대해 중요한 질문을 제기하고 있으며, 그 내용은 나중에 더 언급될 것이다.

In addition, interprofessional practice continues to present major challenges in health care, which concern conflict in the priorities and languages of different clinicians, services that overlap but are not joined up, issues of mutual trust, and so forth. Moving beyond social and cultural interpretations of these issues, researchers have increasingly focused on material negotiations in interprofessional practice.11, 12 They trace how instruments or texts that have particular importance for different groups of clinicians mediate and even anchor their unique approaches. They also show how different practitioners actually perform different, even conflicting, sociomaterial worlds with different methods, different embodied practices and different infrastructures. These studies are now raising significant questions about different material ‘ontologies’ and how practitioners learn to work within and across them, about which more will be said later.

증거 기반 관행은 어디에서 왔는가?
Whence Evidence-Based Practice?

근거 기반 관행은 [통제, 즉 바람직한 결과를 도출하리라고 신뢰할 수 있는 표준화된 프로토콜]의 이상을 가정한다. 그러나 프로토콜은 [실천의 중요한 세부 사항을 추적]해보면, [종이에 나타나는 것보다, 또는 대부분의 실무자들이 인정하는 것보다] 훨씬 더 조건에 따라 달라짐contingent이 입증되었다. 실제로, [표준화된 관행]은 종종 일부 환경에서 문제가 있을 뿐만 아니라, 비판적이고 유연한 사고를 억제하는 퇴적된sedimented 패턴을 나타낸다. 예를 들어, 그루프먼은 이러한 퇴적된 패턴에서 얼마나 많은 의학적 진단 오류가 발생하는지 보여줍니다.

• 가용성 진단(자신의 물질적 현실에서 가장 빈번한 것으로부터 해결책을 제시함)
  
• 앵커링(물질적 현실을 가장 친숙하거나 바로 보이는 하나의 강력한 세부 사항과 결합한다), 
  
• 또는 확증 편향(선입견이나 희망적 사고에 맞는 물질적 현실을 제시함)

Evidence-based practice presumes an ideal of control, of standardised protocols that can be relied upon to produce desirable results. Yet protocols have proven to be far more contingent when one traces the material details of practice than they ever appear on paper, or than most practitioners are prepared to admit.13, 14 Indeed, standardised practices often represent sedimented patterns that are not only problematic in some settings, but also stifle critical and flexible thinking. For example, Groopman15 shows how many patterns of medical diagnostic error accrue from these sedimented patterns, referring to

• availability diagnosis (selecting a solution from those most frequent in one's material reality),
• anchoring (framing material reality with one powerful detail that is most familiar or immediately visible), or
• confirmation bias (wanting material reality to fit one's preconceptions or wishful thinking).

슈베르트와 같은 다른 사람들은 [의료행위의 우발성contingency과 부분적 해결책]을 조사하여 [신체, 기구, 기타 상충되는 프로토콜, 조직 환경의 특정 물질적 제한]에 의해 [프로토콜이 어떻게 수정되는지]를 보여주었다. 네덜란드의 한 병원에서 당뇨병 관리를 관찰하는 그녀의 오랜 연구에서, Mol17은 임상 실습이 형태를 만들고 변화하는 것을 지켜봤고, 그것들이 '끝없이 구체적이고 놀랍다endlessly specific and surprising'고 결론지었다. 깔끔하고 체계적인 치료 계획 및 프로토콜에도 불구하고 일상적인 치료는 [다루기 힘든 물질에 지속적으로 적응]해야 합니다. 

• 기술과 신체는 행동하지 않을 수 있다;
  환자들은 실수하고 싶은 유혹을 받을 수 있다.
  그리고 모든 종류의 지저분하고, 냄새나고, 피비린내 나고, 무섭고, 지루한 활동들은 하기 어렵다.

Others, like Schubert,16 have examined the contingency and partial solutions of medical practice, showing how any protocol becomes modified by particular material limitations of bodies, instruments, other conflicting protocols, and organisational settings. In her lengthy study observing diabetes care in a Dutch hospital, Mol17 watched clinical practices taking shape and shifting, and concluded that they were ‘endlessly specific and surprising’. Despite neat and systematic treatment plans and protocols, daily care must continually adjust to unruly materialities:

• technologies and bodies may not behave;
  patients may be tempted to err,
  and all sorts of messy, smelly, bloody, frightening and tedious activities are difficult to do.

Mol은 '과제를 숙달했더라도, 통제는 착각이다Control is an illusion even if you master the tasks'라고 결론짓는다. 거의 같은 방식으로 그루프만의 의사들은, 이용할 수 있는 의학 지식의 한계와 만일의 사태에 대한 불확실성이 있어서, 대부분 '그냥 만들어낸 것'이라고 주장한다. 그렇다면 지식, 기술, 증거 기반 프로토콜에 대한 숙달이 아니라면, 의료 관행이란 무엇일까요? 분명히, 물질은 중요하지만, 정확히 사회물질적 관점이 무엇이며, 이것들이 학습과 어떻게 관련이 있는가?

Mol concludes that ‘Control is an illusion even if you master the tasks’.17 In much the same way, Groopman's doctors claim they are, mostly, ‘just making it up’, given the limitations in available medical knowledge and the uncertainties of contingency.15 So if it is not mastery of knowledge, skill and evidence-based protocols, what then is medical practice? Clearly, materials matter, but what exactly are sociomaterial perspectives and how are these relevant to learning?

사회 물질적 관점
Sociomaterial Perspectives

사실, 다양한 이론들은 각각 다른 관점과 목적을 가진 '사회물질적(인 것)'이라고 기술될 수 있다. 이 간략한 기사의 목적은 이러한 이론에 걸쳐 공유된 특정 약속과 접근 방식에 대한 매우 일반적인 소개를 제공하는 것이다. 물론 이 전술의 위험은 유용한 이론적 세부사항과 토론이 불가피하게 모호해지고, 지나치게 단순화되거나 생략될 것이라는 점이다. 그러나 이러한 새로운 이론적 지형의 다른 지역에서 열린 의료 실무와 교육에 대한 기여의 범위와 질문을 지적하는 데 있어 얻을 수 있는 이점이 있다. 여기서는 특히 어떤 하나의 이론을 유일한 또는 '최고의' 사회 물질적 접근법으로 홍보하는 것은 피할 것이다.
In fact, a range of theories can be described as sociomaterial, each with distinct perspectives and purposes. The objective of this brief article is to provide a very general introduction to certain shared commitments and approaches across these theories. The danger of this tactic, of course, is that useful theoretical details and debates necessarily will be obscured, over-simplified or omitted. However, there are advantages to be gained in pointing to the range of contributions and questions for medical practice and education that are opened in different regions of this new theoretical landscape. This also avoids promoting any one theory in particular as the only or ‘best’ sociomaterial approach.

이 모든 관점이 공유하는 첫 번째는, [일상 업무에서 인간 활동과 맞물려 있는 역동적인 물질에 초점]을 맞추는 것이다. 이것은 Orlikowski9가 '사회와 물질의 구성적 얽힘'이라고 표현한 것이다.

'물질'은 유기적이고 무기적이며, 테크놀로지적, 자연적으로 존재하는 우리 삶의 모든 일상적 물질들을 말합니다:

• 살과 피, 형태와 체크리스트, 진단 기계와 데이터베이스, 가구와 패스워드, 눈보라, 죽은 세포 구역 등.

'사회적'은 상징과 의미, 욕망과 두려움, 문화적 담론을 의미한다. 물질적 힘과 사회적 힘 모두 일상적 활동을 이끌어내는 데 상호 연관되어 있다. 

What all of these perspectives tend to share, first, is a focus on materials as dynamic and enmeshed with human activity in everyday practices. This is what Orlikowski9 describes as ‘the constitutive entanglement of the social and material’.

‘Material’ refers to all the everyday stuff of our lives that is both organic and inorganic, technological and natural:

• flesh and blood; forms and checklists; diagnostic machines and databases; furniture and passcodes; snowstorms and dead cell zones, and so forth.

‘Social’ refers to symbols and meanings, desires and fears, and cultural discourses. Both material and social forces are mutually implicated in bringing forth everyday activities.

이것은 [(비록 객체와 연결을 발달시키는 분리된 주체이지만) 객체와 주체가 [상호 작용inter-act]한다]는 가정을 넘어서는 관계에 대한 이해이다. 대신에, [사회 물질적 설명]은 물리학자 바라드가 자연, 기술, 인간성, 모든 종류의 물질의 이기종 요소들의 [내부 작용intra-action]이라고 설명하는 것을 조사한다. 이러한 [요소들과 힘들은 서로 [침투]하여 (그럼으로써 함께 작용하여)], 일상 생활의 [견고한, 분리된, 불변의 물체처럼 보이는 것]을 이끌어낸다. 파동이나 입자와 같은 것들은 우리가 일상적인 물질들을 관찰하고, 일하고, 의미를 만들기 위해 사용하는 바라드가 말하는 'apparatuses'에 따라 특별한 방식으로 나타난다. 우리가 apparatuses를 관찰하고 작업하면서, 우리는 주체와 객체를 정의하는 범주를 만듭니다. 물질의 이러한 '절단'은 (주체와 물체, 활동 및 현상)을 정의하는 경계를 만들지만 [새로운 가능성]을 열어준다. 인과관계를 [원인과 결과 사이의 선형적 관계]가 아니라, [놀라운 효과를 만들어내는 얽힘]을 지칭하는 것으로 다시 생각하는 것이다.

This is an understanding of relationships that pushes beyond assumptions that objects and subjects inter-act, as though they are separate entities that develop connections. Instead, sociomaterial accounts examine what the physicist Barad18 describes as the intra-actions of heterogeneous elements of nature, technologies, humanity and materials of all kinds. These elements and forces penetrate one another – they act together – to bring forth what appear to be the solid, separate, immutable objects of everyday life. Things like waves or particles emerge in particular ways according to what Barad18 calls the ‘apparatuses’ that we use to observe, work with, and make meaning of everyday materials. As we observe and work with them, we create categories that define subjects and objects. These ‘cuts’ in matter create boundaries that define (subjects and objects, activity and phenomena) but also open new possibilities. This is a rethinking of causality as referring to entanglements with surprising effects, not linear relations between causes and effects.

여러 이론이 공유하는 두 번째 이해는 이것이다. [모든 물질 또는 더 정확히 말하면, 모든 [사회물질적 객체objects]는 사실 [이질적인 집합체]라는 것입니다. 그것들은 자연적, 기술적, 인지적 요소들의 이질적인 모임이다. 모든 개체는 도구, 장비, 프로토콜 또는 증거에 관계없이 이러한 모임의 역사history를 [설계와 축적된 사용]을 협상할 때 포함시킨다. 의학이나 의학교육의 특정한 관행을 연구할 때, 연구자들은 특정한 요소들이 어떻게 그리고 왜 조립되는가, 왜 어떤 요소들은 포함되고 다른 요소들은 제외되는가, 그리고 가장 중요한 것은 요소들이 그들이 활동할 때 어떻게 변화하는지 묻는다. 스들리는 행위자-네트워크 이론(ANT)과 같은 분석을 위한 사회 물질적 프레임워크가, 의학 교육에 명백하게 유용함에도 불구하고, 사람과 사물 사이의 관계를 강조하는데 일반적으로 사용되지 않는 것에 놀랐다고 선언한다. 이러한 관계를 통해, 사람과 사물은 새로운 문제나 가능성을 만들기 위해 서로를 번역한다.
This is a second shared understanding: that all materials or, more accurately, all sociomaterial objects, are in fact heterogeneous assemblages. They are gatherings of heterogeneous natural, technical and cognitive elements. All objects embed a history of these gatherings in the negotiation of their design and accumulated uses, whether they are instruments, equipment, protocols or evidence. In examining particular practices of medicine or medical education, researchers ask how and why particular elements become assembled, why some elements are included and others excluded, and, most importantly, how elements change as they come together, as they intra-act. Bleakley6 declares that sociomaterial frameworks for analysis, such as actor–network theory (ANT), are so obviously useful to medical education he is surprised they aren't commonly used to highlight the relationships among people and objects. Through these relationships, people and objects translate one another to create new problems or possibilities.

셋째, 사회 물질적 관점은 인간과 비인간, 하이브리드 및 부품, 지식과 시스템 등 [모든 것을 연결과 활동의 효과]로 본다. 모든 것은 [관계의 거미줄]에서 수행된다. '행위자agents, 그들의 차원, 그들의 존재와 행동은 모두 그들이 관여하는 관계의 형태에 달려 있다.' 물질은 inert한 것이 아니라 enacted된다. Materials은 물질matter이며, 중요하다matter. 다른 유형의 사물 및 힘과 함께, [물질materials는 활동activity을 배제하고, 초대하고, 규제하기 위해 행동act]한다. 이것은 물체에 에이전시가 있다고 주장하는 것이 아니다. 바늘은 정맥에 저절로 들어가지 않는다. 그러나, 캐뉼러에서, 많은 것들이 의사의 손과 함께 결합되어 작용한다: 정맥 직경 및 벽 구성, 흐름, 바늘 크기, 이전 캐뉼러 부위, 박테리아, 환자 상태, 경쟁 병동 요구 등. 어떤 의료 행위도, 개인의 능력만의 문제가 아니며, 집합적 사회물질적으로 집행된다.

Thirdly, a sociomaterial perspective views all things – human and non-human, hybrids and parts, knowledge and systems – as effects of connections and activity. Everything is performed into existence in webs of relations: ‘the agents, their dimensions and what they are and do, all depend on the morphology of the relations in which they are involved’.19 Materials are enacted, not inert; they are matter and they matter. They act, together with other types of things and forces, to exclude, invite and regulate activity. This is not to argue that objects have agency: a needle does not hop into a vein by itself. Yet, in cannulation, many things act in assemblage with the doctor's hands: vein diameter and wall composition; flow; needle size; previous cannulation sites; bacteria; the patient's condition; competing ward demands, and so on. Any medical practice is a collective sociomaterial enactment, not a question solely of an individual's skills.

서로 다른 관심사와 접근 방식
Different interests, different approaches

보다 심층적인 탐구에 관심이 있는 사람들을 위해, 이러한 사회 물질적 관점에 대한 완전한 입문서는 다른 곳에서 이용할 수 있다. 전문적 실천과 학습에 대한 현대 연구에서 가장 자주 나타나는 것은 ANT와 '애프터 ANT', 실천 이론, 복잡성 이론, 새로운 지리학, '새로운 유물론' 및 활동 이론이다. 행위자-네트워크 이론은 후기구조주의 지향에서 등장하며, 라투르와 몰과 같은 주요 저자들 사이의 많은 내부적 경쟁을 감안할 때, 이론이라기보다는 감성의 확산 구름에 가깝다. '관계적 중요성', '물질적 기호학', STS(과학기술 연구), '사회-기술' 연구와 같은 문헌의 많은 용어들은 ANT와 core commitment을 공유한다. 그것의 지속적인 영향력은 네트워크화된 현실관이며, 특정한 활동, 사물 및 지식을 생성하기 위해 지속적으로 조립하고 재조립하는 '네트워크'의 동등한 기여자로서 인간과 비인간 요소를 급진적으로 다루는 것이다. 교육에 대한 ANT와 '애프터 ANT' 연구에 대한 장문의 토론을 이용할 수 있다. 
For those who are interested in more in-depth exploration, a full primer to these sociomaterial perspectives is available elsewhere.20 Those that appear most frequently in contemporary research of professional practice and learning include ANT and ‘after-ANT’ approaches, practice theory, complexity theory, new geographies, ‘new materialisms’, and activity theory. Actor–network theory emerges from post-structural orientations, and is more of a diffuse cloud of sensibilities than a theory given its many internal contestations among key writers such as Latour21 and Mol.11, 17 Many terms in the literature, such as ‘relational materiality’, ‘material semiotics’, STS (science and technology studies) and ‘socio-technical’ studies share core commitments with ANT. Its lasting influences are a networked view of reality, and a radical treatment of human and non-human elements as equal contributors to the ‘networks’ that continually assemble and reassemble to generate particular activities, objects and knowledge. A lengthy discussion of ANT and ‘after-ANT’ studies in education is available.22

[복잡성 이론]은 상당히 다른 지향을 가지고 있다. 그것은 사회학에서가 아니라 주로 진화생물학과 물리학(사이버네틱스 및 일반 시스템 이론)에서 나타나는 또 다른 범위의 경쟁적 접근을 수용한다. Barad와 같은 복잡성 이론가들은 전문직 교육에 대한 연구에서 특히 영향력을 갖게 되었고, 우리가 아는 실천에서 '발현emergence', 회절 및 연결성의 역학을 연구할 것을 제안한다. 새로운 인간과 문화적 지형에 눈을 돌리면, 이 이론들은 그들이 어떻게 사회적 생산을 돕는지 보여주기 위해 전문적 실천의 물질적 공간과 장소를 조사하지만, 또한 인간의 활동과 의미에 의해 생산된다. 펜윅 등에서는 도린 매시, 데이비드 하비, 나이젤 트리프트, 앙리 르페브르와 같은 지리학자들이 널리 인용되고 있다. 그러나 교육에서 많은 관심을 끌고 있는 또 다른 연구 분야는 스스로를 '새로운 유물론new materialisms'을 언급하는 것으로 묘사하고 있다. 이들은 종종 특정 사회적, 물질적 힘이 어떻게 매우 다른 존재의 방식을 만들어내는지 조사하기 위해 immanence, 창의성, 집합성의 아이디어와 같은 철학자 질 들뢰즈의 아이디어에서 작업한다.

Complexity theory is quite different in orientation; it embraces another range of competing approaches emerging not from sociology, but chiefly from evolutionary biology and physics (as well as cybernetics and general systems theories). Complexity theorists such as Barad18 have become particularly influential in studies of professional education, and suggest that we examine dynamics of ‘emergence’, diffraction and connectivity in practices of knowing. Turning to new human and cultural geographies, these theories examine the material spaces and places of professional practice to show how they help produce the social, but are also produced by human activity and meaning. In professional education research as explained in Fenwick et al.20, geographers such as Doreen Massey, David Harvey, Nigel Thrift and Henri Lefebvre are widely cited. Yet another branch of studies that is gaining much traction in education describes itself as referring to the ‘new materialisms’.23, 24 These often work from the ideas of the philosopher Gilles Deleuze, such as those of immanence, creativity and assemblage, to examine how particular social and material forces bring forth very different ways of being.

분명히 이 짧은 기사는 전문 학습 연구에서 점점 더 중요해지고 있는 'practice theory'을 홍보하는 것을 포함하여 사회 물질적 초점과 관련된 많은 추가적인 관점을 다룰 수 없다. 이 모든 이론의 한계에 대한 논의도 여기서 생략한다. 예상대로 비판과 반론자들이 넘쳐나고, 다른 곳에서 발견될 수도 있다. 그러나 배제된 한 가지 특히 두드러진 관점은 어느 정도 설명할 가치가 있다. 바로 [문화-역사 활동 이론, CHAT]으로, 엥게스트룀의 전문적인 연구에 가장 많이 관련되어 있다. 이 이론은 건강관리 연구에서 널리 채택되었고 방법론적으로 철저히 개발되었다. 그러나, 그것의 세계관과 지식의 본질은 여기서 설명하는 다른 이론 분야에서 채택된 입장과 질적으로 다르다. 

• 첫째, 다른 것들은 본질적으로 후기구조주의적이고 비규범적인 반면, CHAT는 자본주의 생산의 관계와 활동 시스템의 내부 모순에 대한 구조적인 마르크스주의 설명에 뿌리를 두고 있다. 
  
• 둘째로, CHAT는 인간 활동 시스템을 중재하는 데 도움이 되는 물질적 유물의 중요성을 인정하지만, 이것은 인간 활동(예: 노동, 문화적 규칙과 언어, 시스템에서 인간의 목적과 의미 등)에 대해 가지는 중심적 관심사에 이어 부수적인 것secondary이다. 

Obviously this short article cannot address the many additional perspectives relevant to a sociomaterial focus, including those promoting ‘practice theory’, which are increasingly important in studies of professional learning.25, 26 Also omitted here are discussions of all these theories’ limitations. Critique and rejoinders abound, as one might expect, and may be found elsewhere.20 However, one particularly prominent perspective that has been excluded deserves some explanation: this is cultural–historical activity theory or CHAT, most associated in professional studies with Engeström.5 This theory has been widely taken up in health care research and is thoroughly developed methodologically. However, its views of the world and the nature of knowledge arguably differ qualitatively from the positions adopted by the other theory fields described here.

• Firstly, whereas the others are essentially post-structural and non-normative, CHAT is rooted in a structural Marxist explanation of the relations of capitalist production and the internal contradictions of activity systems.
• Secondly, whereas CHAT acknowledges the importance of material artefacts that help mediate human activity systems, this is secondary to its central concern for human activity, which encompasses the division of labour, cultural rules and languages, and the human purposes and meanings in the system. 

따라서, CHAT는 의학 교육 연구자들에게 분명히 중요하지만, 그것의 다른 지향의 결과로, 그것은 이 기사를 위해 남겨지고 있다. 여기서 '사회 물질' 이론이 의미하는 것은 ANT, 복잡성 이론, 새로운 지리 및 새로운 물질주의에서 발생하거나 영향을 받는 이론이다. 이것들은 [실천]이란 [인간 이상의 것]이며, 활동과 학습을 이해하기 위해서는 [인간의 의미와 인간 에이전시에 대한 선입견을 넘어설 필요가 있다]는 가정으로부터 시작된다.

Thus, CHAT is clearly important for medical education researchers, but, as a consequence of its different orientation, it is being set aside for this article. Here, what is meant by ‘sociomaterial’ theories are those accruing from or influenced by ANT, complexity theory, new geographies and new materialisms. These begin with the assumption that practice is more than human, and that to understand activity and learning we need to move beyond preoccupations with human meanings and human agency.

물질이 어떻게 실무 및 프로토콜에 중요한가
How matter matters in practices and protocols

Barad는 다음과 같이 쓰고 있다: '앎을 실천하는 것은 세상을 재구성하는 [특정한 물질적 참여]에의 관여이다.' 
Barad writes: ‘Practices of knowing are specific material engagements that participate in (re)configuring the world’.18

물질적 참여와 얽힘entanglement로서의 건강 관리 관행에 대한 면밀한 검토는 실제로 [실천이 고유한 사회 물질적 세계를 형성한다]는 것을 보여주었다. Mol11의 고전적인 연구는 실험실, 의사-환자 진료소, 방사선과, 수술실에서 제정된 이후, 하퇴부 동맥경화증의 치료법을 조사했다. Mol은 죽상동맥 경화증이 이러한 각각의 연습 환경에서 매우 다른 것으로 구체화되었다고 결론지었다. [방법, 담론, 기구의 고유한 집합]마다 서로 다른 세상을 만들었을 뿐만 아니라, 각 환경에서 다른 대상(즉 서로 다른 죽상동맥 경화증)을, 서로 다른 진단 및 치료와 함께 만들었다. 그런 다음 실용적인 질문은 우리가 어떻게 서로 다른 실천 속 앎(knowing-in-practice)세계를 결합할 수 있는지 언급하는데, 비록 그들이 그들 나름의 방법으로 [사회물질적 구성]을 통해 [다른 대상]을 생산하지만, 각각은 [같은 대상]에 관여하는 것처럼 보인다. 증거 기반 관행은 각 환경에서 기능하는 것은 의심의 여지가 없지만, 우리가 근본적인 차이를 이해하고 그들 사이에서 협상하려면 더 광범위하고 유연한 조정이 필요할 수 있다.
Close examination of health care practice as (socio) material engagement and entanglement has shown that, in fact, practices form unique sociomaterial worlds. A classic study by Mol11 examined the treatment of lower-limb atherosclerosis, following its enactment in the laboratory, doctor–patient clinic, radiology department and operating theatre. Mol11 concluded that atherosclerosis materialised as a very different thing in each of these practice settings. A unique assemblage of methods, discourses and instruments not only created a different world, but also produced a different object – a different atherosclerosis – in each setting, with different diagnostics and treatments. The practical question then refers to how we might patch together these different worlds of knowing-in-practice, which each appear to be engaging with the same object, even though they are producing a different object through the sociomaterial configurations of their own methods. Evidence-based practices are no doubt functioning in each setting, but a broader, more flexible attunement may be necessary if we are to appreciate fundamental differences and negotiate among them.

표준화된 프로토콜의 실제 사회 물질적 관행에 대한 연구는 사실, 엄격한 프로토콜조차도 항상 일종의 유연한 팅커링과 함께 독특한 방식으로 수행된다는 것을 발견했다. 급성 치료 환경에서 심폐소생술을 시행한 한 연구에서, 티머먼스와 버그는 80건 대부분의 경우에서 [프로토콜이 의도한 대로 지켜지지 않는다는 것]을 발견했다. 명시되지 않은 약물이 도입되었고, 절망적인 환자, 불안한 가족 또는 사용할 수 없는 장비의 경우 엄격한 지침이 변경되었다. 다시 말해서, 소위 표준이라고 불리는 것은, 실제로는 상호 작용interplay이며, 저자들이 '지역적 보편성local univerality'이라고 부르는 것에서 항상 새롭게 수행된다. 

Research into the actual sociomaterial practice of standardised protocols has found that, in fact, even strict protocols are always performed in unique ways with a sort of flexible tinkering. In one study of cardiopulmonary resuscitation practice in acute care settings, Timmermans and Berg27 found that in most of 80 cases protocol was not followed as intended. Drugs not specified were introduced, strict directives were altered in instances of hopeless patients, anxious families or non-available equipment. In other words, so-called standards are actually interplays, always performed anew in what the authors call ‘local universality’.27

더욱이, 의료 행위 표준의 사회적 중요성을 더 광범위하게 조사하여, 티머먼스와 버그는 [프로토콜이란 것이 어떤 방식으로 일시적인 성취인지] 보여준다. 프로토콜 설계자, 기금 기관, 관련된 의사들의 다양한 그룹, 환자의 희망과 욕망, 조직 시설, 실험실 능력, 제약 회사 및 환자 자신의 장기 탄력성을 포함한 [여러 가지 궤적이 한 순간에 함께 모인다]. 실제로 이러한 [궤적은 수행 순간의 연속적인 내부 작용intra-actions을 통해 '결정화crystallised']된다. 연구에서, 우리는 인간과 인간이 아닌 다양한 에이전트들이 상호 작용하여 문제가 되는 것들을 포함한 특정한 결정화를 만들어내는 것에 전체적으로 주의를 기울일 필요가 있다. 이에 대한 한 가지 예는 수술 체크리스트의 사용 관행에서 찾을 수 있다. 이러한 프로토콜에 대한 논쟁에서 수술 오류의 53-70%가 수술실 밖에서 발생한다는 것이 지적되었다. 

Furthermore, examining the sociomateriality of medical practice standards more broadly, Timmermans and Berg14 show how a protocol is a temporary achievement. Multiple trajectories come together in a moment, including protocol designers, funding agencies, the different groups of doctors involved, patients’ hopes and desires, organisational facilities, laboratory capabilities, drug companies, and the patients’ organs’ own resilience. In practice, these trajectories are ‘crystallised’ through continuous intra-actions in the moment of performance. In research, we need to attend holistically to the diverse agents, human and non-human, that interact to produce particular crystallisations, including those that are problematic. One example of this may be found in the practice of surgical checklist use. Among the debates around these protocols, it has been noted that 53–70% of surgical errors occur outside the operating room.28 

환자 안전 결과를 개선하기 위해, 이러한 연구자들은 체크리스트에 대한 다학제적 입력(병동 의사, 간호사, 외과의사, 마취과 의사, 수술 보조)과 다양한 수술 관리 단계(수술 전, 수술 전, 회복 또는 집중 치료, 수술 후, 수술 후)에 대한 주의를 촉구했다. 이러한 단계에 걸쳐 연구자들은 다음과 같은 [체크리스트에 포함되어야 하는 다양한 물질적 네트워크]를 보여준다. 

• 영상 연구 검토, 필요한 모든 장비 및 재료의 설명, 환자의 수술 측면의 표시, 수술 후 지침의 인도 및 퇴원 시 환자에게 약물 처방의 제공

To improve patient safety outcomes, these researchers have urged attention to the multidisciplinary inputs into the checklist (ward doctor, nurse, surgeon, anaesthesiologist, operating assistant) and the different stages of operative care (preoperative, operative, recovery or intensive care, postoperative). Across these stages, the researchers show the diverse material networks that should be included on the checklist:

• a review of imaging studies; an accounting of all necessary equipment and materials; the marking of the patient's operative side; the hand-off of postoperative instructions, and the provision of medication prescriptions to the patient at discharge.

사회물질적 접근법은 이처럼 [자연, 문화, 테크놀로지 사이의 미시적 관계]를 따르는 데 초점을 맞춘다. 중요한 가정은 이것들이 [우발적이고, 계속적이며, 항상 재연되고re-enact 있다]는 것이다. 사회물질적 접근법의 목표는 [무엇을 정의]하거나 [무엇이 되어야 하는지 규정]하기 위한 것이 아니라, '물질화matter-ing'의 과정, 즉 [사물과 가능성]이 지속적으로 [존재와 관계] 속으로 유입되는 과정을 면밀히 추적하는 것이다. 바라드의 용어로, '세계는 서로 다른 주권적agential 가능성의 실현에 있어서 의미와 형태를 획득하는 "mattering" 그 자체를 통해 지속적으로 열린 문제의 과정이다.

Sociomaterial approaches to practice focus on following these microdynamic relations among nature, culture and technology. The critical assumption is that these are contingent, ongoing and are always being re-enacted. The aim is not to define what is or to prescribe what should be, but to follow closely what emerges through processes of ‘matter-ing’, that is, processes by which things and possibilities are continually brought into being and into relationships. In Barad's terms, ‘the world is an ongoing open process of mattering through which “mattering” itself acquires meaning and form in the realisation of different agential possibilities’.29

이것의 한 가지 예는 기술이 새로운 형태의 의료 행위를 형성하는 방식에 있다.

• 샌델로프스키 박사는 환자의 신체에 대한 온정적 관리와 함께 환자의 신체에 대한 영상기술과 디지털 표현이 확산되면서, 간호 실습에서 터치의 중요성이 사라지고 있다고 주장한다.
• Johnson은 어떻게 특정한 테크놀로지가 다른 [의료 관행]뿐만 아니라 다른 [지식]을 불러일으키는지를evoke 보여준다. 그녀는 사회 물질 분석을 사용하여 실제로 미국과 스웨덴의 산부인과 시뮬레이터를 비교하며, 이러한 [시뮬레이터가 서로 다른 목적으로 구상되고 구성된다는conceived and constructed 점]에 주목한다. 존슨에게 이것은 모델 타당성이 무엇을 의미하는지에 대한 의문을 제기한다.
  • 학생 의사와 시뮬레이터 사이의 '내부 작용'에 관하여
  • 시뮬레이터 설계자와 의료 행위 사이의 '내부 작용'에 관하여
  • (더 넓게는) 이렇게 구성된 관행을 통해 [여성의 신체가 어떻게 생산되는지]에 관하여
• 오를리코프스키가 전문적인 일에서 기술에 대한 그녀의 많은 연구를 통해 주장하듯이, 이 모든 논의의 요점은 [테크놀로지의 고유한 힘]이 아니라, [사람들이 실제로 테크놀로지에 관여할 때 수행되는 다양한 효과와 정체성]이다. 기술은 선험적으로 주어지지 않는 결과를 가진 물질이지만, 항상 실제에서 인간과의 상호작용을 통해 수행된다. 연구자는 사람과 테크놀로지 사이의 관계에서 일어나는 일에 집중해야 한다.

One example of this is in the ways that technologies are shaping new forms of medical practice.

• Sandelowski30 argues that the importance of touch in nursing practice is vanishing, along with compassionate care for patients’ material bodies, with the proliferation of imaging technologies and digital representations of patient bodies.
• Johnson31 shows how particular technologies evoke different knowledges as well as different medical practices. She uses a sociomaterial analysis to compare US and Swedish gynaecological simulators in practice, noting that these are conceived and constructed differently and for different purposes: each reflects and produces a different approach to bimanual pelvic examinations. For Johnson,31 this raises questions about what model validity means,
  • about the ‘intra-actions’
    • between student doctors and simulators, as well as
    • between simulator designers and medical practice, as well as
  • broader issues about how the female body is being produced through the practices configured here.
• The point in all of these discussions, as Orlikowski9 argues through her many studies of technology in professional work, is not the inherent power of technology, but the different effects and identities that become performed when people engage with technology in practice. Technologies are materials with outcomes that are not given a priori, but are always performed through interaction with humans in practice.9 The researcher must focus on what goes on in the relationships among people and technologies.

그러나 어떠한 방식으로 이러한 효과 중에서 [일부 관행과 객체]는 표준화된 프로토콜과 같은 강력한 어셈블리로 안정되고 정착되는, 반면 다른 것들은 눈에 띄지 않게 되는가? 라투르는 [사실의 문제matter of fact]와 [우려의 문제matter of concern]를 구분한다.

• [사실의 문제]는 결정되고, 확실하고, 해결되었다고 가정되는 모든 것들이다. [어떻게 작동하는지 제대로 알지 못한 채 운전하는 자동차]처럼, 이런 것들은 [어떻게, 왜 만들어졌는지에 대한 비판적인 질문의 대상이 되지 못한 채]로 실제로 사용되는 '블랙박스'입니다. 블랙박스는 '사실들facts'일 수도 있지만, 일상 업무에서 [관행, 정책, 텍스트, 도구]일 수도 있다.
• [우려의 문제]는 이슈, 논란, 불확실성이다. 그러나 라투르와 다른 사회 유물론자들이 주장하듯이, [확정된 사실로 받아들여지는 관행]의 대부분의 것들은 [논쟁이 은폐되거나 가려져 있는, 실제로는 정말 관심을 가져야 할 문제]이다. 

But how, among these effects, do some practices and objects become stabilised and entrenched as powerful assemblages – such as standardised protocols – while others go unnoticed? Latour21 delineates matters of fact from matters of concern.

• Matters of fact are all those things that are assumed to be decided, certain and settled. Like a car that we drive without really knowing how it works, these things are ‘black boxes’ that are used in practice without being subject to critical questioning about how and why they were constructed. Black boxes can be ‘facts’, but they can also be practices, policies, texts and tools in everyday work.
• Matters of concern are issues, controversies, uncertainties. Yet as Latour21 and other sociomaterialists12 contend, most things that are accepted as settled facts of practice are really matters of concern on which debate has been foreclosed or obscured. 

사회-물질주의자의 목표는, 논쟁을 풀어내어, 마치 사실의 문제인 것처럼 가장하는 블랙박스를 여는 것이다. 이것은 우리가 학습을 [준비와 역량의 획득으로 인식하는 것]에서, 학습을 [조정, 반응 그리고 심지어 중단으로 보는 것]으로 전환해야 한다는 것을 암시한다.

The socio-materialist aim is to unpick the controversies and open the black boxes that masquerade as matters of fact. This suggests that we should turn from perceiving learning as preparation and the acquisition of competency, to seeing learning as attunement, response and even interruption.

실천과 학습에 대한 시사점
Implications for Practice and Learning

사회 물질적 관점에서는, [학습과 지식은 집행enactment]이며, 단순한 정신 활동이나 수용한 지식이 아니다. 결국, 정신mind라는 것은 [수많은 환경적 물질과의 지속적인 신경학적 연결의 역동]입니다. 사회 물질적 관점은 개인 학습에서 더 큰 사회 물질 집단으로, 그리고 젠슨이 설명하듯이 '인식론과 표현에서 실질적인 존재론과 성과주의로' 이동한다.
In sociomaterial perspectives, learning and knowing are also enactments, not simply mental activity or received knowledge. Mind, after all, is a dynamic of continuous neurological connections with the myriad matter of environments. Sociomaterial perspectives shift from an individual learning subject to the larger sociomaterial collective, and ‘from epistemology and representation to practical ontology and performativity’, as Jensen32 explains.

우리가 에이전시로 가득 찬 세상을 받아들일 때, 무언가를 할 때, 배움은 오로지 [지식적 표상을 습득함으로써 이 세상을 준비하는 것]만 강조하기보다, [그 자리in situ에서 현명하게 참여하는 과정]으로 바뀐다. 학습에서의 이슈는 다음과 같은 것이다.

• 어떻게 작은 변동과 놀라움에 적응할 수 있는지,
  
• 어떻게 해결된 것처럼 보이는 문제를 중단하고, [우려의 문제]에 대해 공개적인 논쟁을 벌이는지,
  
• 어떻게 자신과 타인이 창발하는 사회물질적 상황에 미치는 영향을 추적할지
  
• 어떻게 해결책을 즉흥적으로 만드는지

When we accept a view of the world full of agency, doing things, learning shifts from its sole emphasis on preparing for this world by acquiring knowledge representations, to a process of participating wisely in situ. Learning issues concern

• how to attune to minor fluctuations and surprises,
• how to interrupt matters that seem settled and hold open controversies for matters of concern,
• how to track one's own and others’ effects on the emerging sociomaterial situation, and
• how to improvise solutions.

알츠하이머병 치료법에 대한 그녀의 연구에서, 모저는 의료에서 물질적 집행을 알츠하이머병의 생의학 과학과 비교하는데, 우리는 그것의 특징적인 병리학적 변화로 대표되는 것에 대해 제한된 이해를 가지고 있다. (신경섬유 엉킴, 시냅스 손실, 세포사, 뇌수축 등이 질병 자체의 원인, 결과 또는 징후인지 알 수 없다.) 임상 실습용 교과서에서 인용한 모서는 하나의 긴장tension을 보여준다: 여기서 치료에서 알츠하이머 병의 '문제matter'는 개별 뇌의 병리학적 변화로 표현되는 것이 아니라, (보호자, 친척, 의료 종사자 및 환경을 포함하는) 인간 및 비인간 참여자 집단 간의 애착attachment으로 표현된다. 

In her study of treatments for Alzheimer's disease, Moser12 compares the material enactments of medical practice with the biomedical science of Alzheimer's disease, in which we have limited understanding of what is represented by its characteristic pathological changes (we do not know if neurofibrillary tangles, synapse loss, cell death, brain shrinkage and so forth are causes, consequences or manifestations of the disease itself). Citing from textbooks for clinical practice, Moser12 shows a tension: here the ‘matter’ of Alzheimer's disease in treatment is not represented biomedically as pathological changes in individual brains, but as attachments among a collective of human and non-human participants that include carers, relatives, health practitioners and the environment. 

그녀는 계속해서 다른 임상실천을 탐구합니다. 이 모든 것들이 [관계의 시스템]에 전제되어 있습니다. 관계에는 제약적인 관계도 있고(아세틸콜린에스테라아제 억제제 등) 또는 상호작용적 관계도 있다(네덜란드에서 개발된 마르테메오 커뮤니케이션 기반 치료제 등). 이러한 각각의 개입에서, 알츠하이머 병은 다르게 프레임화되고 제정된다. 모저의 핵심 질문은 어떤 방법이 가장 좋은가, 또는 어떤 알츠하이머 병의 제정이 가장 진실하거나 유효한가에 대한 것이 아니다. 대신, 그녀의 관심은 이렇나 것이다.

• 어떻게 서로 다른 [물질적 집행]들이 어떻게 서로 영향을 주고 간섭하는지,
• 무엇이 더 또는 덜 가시화되고 무엇이 더 또는 덜 현실적이 되는지,
• 어떻게 임상 실습의 일부로서 생물의학의 역할이 작용하는지

She goes on to explore other clinical practices, all of which are premised on a system of relationships, whether pharmaceutical (such as acetylcholinesterase inhibitors) or interactional (such as the so-called Marte Meo communication-based treatment developed in the Netherlands).12 In each of these interventions, Alzheimer's disease is framed and enacted – materialised – differently. Moser's key question is not about which method is best, or which enactment of Alzheimer's disease is the most true or valid.12 Instead, she is interested in

• how these different material enactments influence and interfere with one another,
• what becomes more or less visible and what becomes more or less real, and
• how the role of biomedicine works as part of the reality of clinical practice.12

아마도 의학 교육자들에게 특별한 관심사는 환자와 이용 가능한 기관의 치료와 함께 이러한 경쟁적인 버전과 그들의 토론을 중재해야 하는 일반 의사의 입장에 대한 모저의 강조이다. 이러한 중재mediation은 정치적 행위political practice이다. 즉, 논리적이고 분명한 방향의 의미라면, [진정한 선택real choice이란 없다]. 의사는 [각 결정에 수반되는 집행enactment의 일부]가 되고, [돌봄은 진화에 따라 집단에 지속적으로 조정되고 적응하는 과정]이다. 몰은 당뇨병 치료에 대한 연구에서도 비슷한 결론을 내립니다. '통제란 환상이며, 모든 요소들은 변덕스럽다'. 주요 업무는 '모든 것을 다른 모든 것에 맞추는 것이다. 무엇을 만지작거리고, 무엇을 고쳐야 할지가 명백한 경우는 거의 없다. 하려고 하는 일은 잘 안 될 수도 있다. 그러면 다른 것을 해봐야 한다. 계속 땜질을 해야 한다. 닥터링, 그리고 캐어링.' 그루프먼은 심장 생리학에서도 진단과 치료의 전체 사회 물질적 과정에서 나타나는 [예상치 못한 작은 신호에 밀접하게 지속적으로 주의를 기울이는 연습]이 연역적 추론보다 더 생산적일 수 있음을 보여준다.

Perhaps of particular interest for medical educators is Moser's highlighting of the position of the general practitioner, who must mediate these competing versions and their debates, alongside the unique contingencies of the patient and the available institutional care.12 This mediation is a political practice – there is no real choice in the sense of a logical and clear direction here. The doctor becomes part of the enactment with each decision, and care is a process of continuous attunement and adjustment to and with the assemblage as it evolves. Mol17 comes to a similar conclusion in her study of diabetes treatment, in which ‘control is illusionary and all the elements … capricious’. The main task, Mol17 learns, involves ‘attuning everything to everything else, one way or another. What to fiddle with and what to keep fixed, is rarely obvious. What you try to do may not work out. Try something else. Keep on tinkering. Doctoring. Caring’. Groopman15 shows that even in cardiac physiology, practices of attending closely and continuously to unexpected tiny signals emerging in the whole sociomaterial process of diagnosis and treatment can be more productive than deductive reasoning.

의학을 배우는 것은 [땜질의 기술art of tinkering]을 배우는 것을 포함할 수 있다. 의학은 [국지화된 사회물질적 실천, 즉흥작업, 우발적 협상의 집합]으로 간주될 수 있다. 의학교육은 다음을 더 자세히 살펴볼 수 있다.

• 특정 장소에서 전문가들이 일을 하는 방식에 가장 영향을 미치는 물질적 요소
• 어떻게 물질이 실천의 가능성을 제한하거나 향상시키는가
• 왜 특정 실천이 안정되고 강력해지며, 이러한 블랙박스가 문제를 일으킬 때는 언제인가

Learning to do medicine may then include learning the art of tinkering. Medicine can be appreciated as a set of localised sociomaterial practices, improvisations and contingent negotiations. Medical education can look more closely at

• the material elements that most influence the ways professionals in a particular place do their work,
• how materials limit or enhance possibilities for practice,
• why particular practices become stabilised and powerful and when these black boxes create problems.

학습, 특히 직장 학습은 다음 사항에 집중할 수 있습니다.

• 사소한 것, 심지어 일상적인 것, 요동, 기이한 실수를 다루는 것,
  
• 새로운 아이디어와 행동 가능성에 조음attuning하기 - 즉, 진행중인 물질 과정mattering process의 intra-action
  
• [창발하는 것]에 자신과 다른 사람이 미치는 영향을 알아차리기
  
• 불확실성 속에서 땜질하기,
  
• 논쟁과 소동을 막기 위해 실천의 블랙박스를 중단시키기

Learning, particularly workplace learning, can focus on:

전반적으로 사회 물질적 관점은 바라드의 말에 따르면 

• '앎이란 직접적인 물질적 관여이며, 모여있는 것을 절단하는 것으로, 절단은 폭력을 가하지만, 가능성의 행위적agential 조건을 열어주어, 재작업한다.'

Overall, sociomaterial perspectives help to illuminate how, in Barad's words,

• ‘knowing is a direct material engagement, a cutting together-apart, where cuts do violence but also open up and rework the agential conditions of possibility’.33

결론들
Conclusions

[가능성을 여는 동시에, 무언가를 정의]하는 이 [절단의 역설paradox of the cut], [언제나 물질적으로 불확실한 이성적 확실성]은 의학에서 예술을 감상하는 우리의 출발점을 상기시킨다. 히포크라테스는 의료 윤리와 책임에 관심이 있었다. 이해와 공감을 촉진하는 데 있어서, 그는 분명히 [관계의 중요성]을 주장하고 있었다. 물론, 후속 토론은 환자의 요구에 더 민감하게 반응하도록 의사를 훈련시키는 것이 생물의학에서 역량의 핵심 가치를 위협하는지 여부에 대해 의문을 제기해 왔다. 그러나 히포크라테스의 경구는 [한 사람의 물질적 실천]에 있어서 [인간적 연결과 비인간적 연결 둘 다에 감사하는 것]으로 해석할 수도 있다. 히포크라테스는 과학과 예술을 함께 호출하면서, [이성적인 프로토콜]뿐만 아니라 [불확실성과 즉흥성을 위한 공간]을 허용하는 것의 중요성을 열어준다. 여기에는 작업 중인 수많은 시스템에 대한 조정과 이러한 시스템에 대한 의사 자신의 개입이 절개, 약물 치료, 측정 및 카테터화 시 필요하다.
This paradox of the cut that defines while opening possibilities, the rational certainty that is always materially uncertain, recalls our starting point of appreciating the art in the science of medicine. Hippocrates was concerned with medical ethics and responsibility. In promoting understanding and sympathy, he was clearly arguing for the importance of relationships. Of course, subsequent debates have wondered whether training doctors to be more responsive to patient needs threatens core values of competence in biomedical science. Yet it may also be possible to interpret Hippocrates as appreciating both the human and the non-human connections of one's material practice. His invocation of art alongside science opens the importance of allowing space for uncertainty and improvisation, as well as rational protocols. Here lies a call for attunement to the myriad systems at work, and practitioners’ own enmeshment within these systems when they cut open, drug, measure and catheterise bodies.

이것은 미래의 의학 교육을 옹호하는 사람들에게 반향을 불러일으키며, 그들은 [폭넓은 글로벌 감각]뿐만 아니라, 즉각적인 [국지적 사회물질적 관계]에 대한 조정을 강조한다. Hodges 등이 밝힌 의료 교육의 10가지 우선순위 중 많은 것은 지역 사회의 요구를 해결하면서 더 넓은 시스템에서 자신의 영향을 이해하는 것, 다양한 행위자와 환경과의 관계 조정, 학습 맥락의 다양화, 전문 분야 간 및 인트라 프랙티스의 진전에 초점을 맞추고 있다. [사회적 책임]은, 쿠퍼와 디온이 [기술과학]과 [환자의 높은 기대]라는 세계 속에서 실천이 이뤄지는 [의학교육의 '재민주화']를 요구하는 주요 주제이기도 하다. 
This resonates with advocates for future medical education, who emphasise attunement to socio-material relations in immediate local as well as broader global senses. Among the 10 priorities for medical education articulated by Hodges et al.34 are many focused on understanding one's effects in wider systems while addressing local community needs, attuning to relationships with diverse actors and environments, diversifying learning contexts and advancing inter- and intraprofessional practice. Social responsibility is a major theme too in Kuper and D'Eon's call for a ‘re-democratisation’ of medical education that humanises practice in a world of technoscience and patients’ high expectations.35

이러한 주장이 [예술과 과학], [생물의학과 환자의 이해], 또는 [증거에 기반한 연습과 일상적인 즉흥 연주 사이]의 [이분법]을 만들거나 재현하자는 것이 아니다. 콘토스가 보여주었듯이, '환자 중심의' 공감형 바이오소셜 의학에 '환원론자' 바이오의학을 반대하는 것은 거짓 전쟁을 일으키고, 더 풍부한 가능성을 닫아버리는 것이다. 여기서 개략적으로 설명한 의료 관행과 학습의 현재 이슈는, [다양한 힘 사이의 상호 작용]과 [이것들이 함께 만들어내는 실천의 집행을 검토]하는 데 관심을 두고 있다. [사회물질적 관점]은 실제와 학습에서 특정 현실을 이끌어내는 [인간 및 비인간 관계의 모세혈관]을 추적하는, 동시에 [변화의 기회와 진입점]을 강조하는 방법을 제공한다. 그러한 관점에서, 실무자들은 모든 만남에서 이용할 수 있는 알려지지 않은 급진적인 미래 가능성뿐만 아니라 물질적 참여의 폭력성을 충분히 인식하도록 장려된다.

The argument is not about creating or recreating dichotomies between art and science, biomedicine and patient understanding, or evidence-based practice and everyday improvisation. As Kontos36 has shown, to pitch ‘reductionist’ biomedicine against ‘patient-centred’ empathic biosocial medicine is to create a false war and shut down richer possibilities. The current issues of medical practice and learning outlined here point instead to an interest in examining the interplay among these diverse forces, and the enactments of practice they produce together. Sociomaterial perspectives offer a way to trace the capillaries of human and non-human relationships that bring forth particular realities in practice and learning, while highlighting opportunities and entry points for change. With such a perspective, practitioners are encouraged to appreciate fully the violence of their material engagements as well as the unknown radical future possibilities that are available in every encounter.

© 2013 John Wiley & Sons Ltd.