유토피아에서 디스토피아까지: CBME의 러닝 애널리틱스에서 과정을 기록하기(Acad Med, 2021)
From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education
Brent Thoma, MD, MA, MSc, Rachel H. Ellaway, PhD, and Teresa M. Chan, MD, MHPE

 

역량 기반 의료 교육(CBME)으로의 전환은 중요한 과제를 제시할 수 있다. 이러한 전환은 단순히 새로운 용어에 익숙해지는 문제가 아닙니다. CBME는 평가 관행과 절차의 복잡성과 부담을 상당히 증가시킨다. CBME 이전 시대의 평가는 종종 로테이션당 연수생당 1~2개의 평가를 생성하지만, 특히 신뢰할 수 있는 전문 활동(EPA)을 중심으로 구성된 CBME 프로그램은 종종 모든 연수생에 대해 주간 평가를 생성한다. 5

The transition to competency-based medical education (CBME) can present significant challenges. 1–3 This transition is not just a matter of getting used to new terminology. CBME substantially increases the complexity and burden of assessment practices and procedures. 4,5 While assessment in the pre-CBME era often generated 1 or 2 assessments per trainee per rotation, CBME programs, particularly those structured around entrustable professional activities (EPAs), often generate multiple weekly assessments for every trainee. 5

CBME를 성공적으로 구현하려면 평가 데이터 사용에 있어 시스템 수준의 변화가 필요하다. [전자 추적 시스템]이 구축되었고, EPA 기반 평가 데이터의 증가된 양을 검토하기 위한 [역량 위원회]가 구성되었으며, 이러한 이질적이고 종단적인 데이터 세트에 새로운 [프로그램적 평가 이론]이 적용되었으며, 이는 다시 우리가 그것으로부터 [도출하는 추론]을 변화시켰다. 이 접근법은 데이터를 집계하고 연습생 진도를 모델링하기 위해 사용하지만, 실제로 이러한 데이터를 어떻게 통합, 분석 및 시각화해야 하는지 잘 확립되어 있지 않다. 2 [단순한 선형 접근법]으로 디폴트하면, 미묘한 데이터를 환원주의적 경향으로 축소할 위험이 있으며, 서사적 피드백 또는 기타 더 정교한 모델링 및 분석의 장점을 무효화한다. 연수생 성과에 대한 균형 있고 통찰력 있는 관점을 육성하기 위해 CBME 평가의 서술적 데이터와 수치적 데이터를 모두 활용하기 위한 추가 작업이 수행되어야 한다.
The successful implementation of CBME requires a systemic change in the use of assessment data.

  • Electronic tracking systems have been established,
  • competence committees have been formed to review the increased volume of EPA-based assessment data, 6 and
  • new programmatic theories of assessment have been applied to these heterogeneous and longitudinal datasets,
  • which, in turn, have changed the inferences that we draw from them. 7,8 

Although this approach is predicated on aggregating data and using them to model trainee progress, how these data should be amalgamated, analyzed, and visualized in practice is not well established. 2 Defaulting to simple linear approaches runs the risk of reducing nuanced data into reductionistic trends 9 and nullifies the advantages of narrative feedback or other more sophisticated modeling and analysis. Further work will need to be done to harness both the narrative and numerical data of CBME assessments to foster a balanced and insightful perspective on trainee performance.

다른 분야의 교훈은 데이터가 집계되고 사용될 수 있는 다양한 방법을 보여주며, 각 방법은 도출될 수 있는 추론의 종류에 영향을 미칩니다. 예를 들어, 비즈니스와 스포츠는 점점 더 정교한 데이터 수집 및 분석 기술을 사용합니다. 고등교육에서의 유사한 노력은 온라인 학습 플랫폼의 출현에서 비롯되었다. 14 이러한 [학습 분석learning analytics]은 "학습과 학습이 발생하는 환경을 이해하고 최적화하기 위한 목적으로, 학습자와 그 맥락에 대한 데이터의 측정, 수집, 분석 및 보고"로 정의할 수 있다. 15 증가를 고려할 때CBME에서 대규모 평가 데이터 세트의 가용성에 따라, 의학 교육 문헌에서 학습 분석이 점점 더 많이 참조되고 있는 것은 놀라운 일이 아니다. CBME 결과 프레임워크 및 연구 어젠다 19는 의학 교육 연구자들이 개념적으로 그리고 실제로 탐구하는 학습 분석과 관련된 다양한 개념을 설명한다. 5,24
Lessons from other fields illustrate the many different ways in which data might be aggregated and used, each of which has implications for the kinds of inferences that might be drawn. 10,11 For example, business 12 and sport 13 use increasingly sophisticated data collection and analysis techniques. Similar efforts in higher education originated with the advent of online learning platforms. 14 These learning analytics can be defined as the “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.” 15 Given the increasing availability of large assessment datasets in CBME, it is not surprising that learning analytics are increasingly being referenced within the medical education literature. CBME outcomes frameworks 16–18 and research agendas 19 describe a range of concepts related to learning analytics that medical education researchers are exploring both conceptually 20–23 and practically. 5,24

언뜻 보기에 학습 분석 도구와 관행은 의료 교육 및 환자 관리를 개선하기 위해 EPA 기반 CBME 교육 프로그램의 광범위한 평가 데이터 세트를 활용할 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 분석 역시 문제가 되었다. 예를 들어, ten Cate 등은 [애널리틱스의 도입]이 [과도한 표준화, 활동 제약, 교육 효율성 및 비용]에 영향을 미치고, [프로그램 및 그 결과의 integrity]를 위협할 것이라고 경고합니다. 교육 프로그램, 교육 프로그램이 채택하는 분석 접근 방식 및 다양한 구현 설계의 여건에 대한 주의 깊고 신중한 탐색과 정렬이 필요하다.
At first glance, learning analytics tools and practices have immense potential to leverage the extensive assessment datasets resulting from EPA-based CBME training programs to improve medical education and patient care. 11,20 However, these analytics have also been problematized. For instance, ten Cate et al warn about analytics implementations that overstandardize, constrain activity, impact educational efficiency and cost, and threaten the integrity of programs and their outcomes. 21 There is need for mindful and deliberate exploration of and alignment between educational programs, the analytics approaches they employ, and the affordances of different implementation designs.

CBME 평가 데이터를 해석하기 위한 학습 분석의 광범위한 활용이 점점 실행 가능해짐에 따라, 이 용감한 새로운 세계 내에서 미래의 경로를 그리는 것이 그 어느 때보다도 중요하다. 25 본 논문에서는 신중한 매핑을 목표로 CBME에서 학습 분석에 대한 유토피아적 및 디스토피아적 관점(상자 1과 2 참조)을 탐구한다. 그러나 보다 광범위한 교육 및 컴퓨터 과학 문헌의 원칙적인 지침을 통합하여 우리 분야에서의 응용을 위한 미래를 결정하였습니다(상자 3 참조).
As the widespread utilization of learning analytics to interpret CBME assessment data becomes increasingly viable, it is more important than ever to chart the future path within this brave new world. 25 In this paper, we explore utopian and dystopian perspectives on learning analytics (see Boxes 1 and 2) in CBME with the goal of mapping a cautious but determined future for its application in our field (see Box 3) by incorporating principled guidance from the broader education and computer science literature.

가능한 유토피아
A Possible Utopia

유토피아에서는 모든 것이 모든 사람에게 가장 유리하게 작용한다. 사람들은 행복하고 그들이 원하는 대로 번창하고 성장할 수 있다. 우리의 유토피아 시나리오(상자 1)는 학습 분석과 관련하여 표현된 희망(혹은 과대광고)의 상당 부분을 반영한다. 모든 것이 효과가 있고, 혜택은 증가하며, 모든 사람이 승리한다. 물론, 이것은 사실이기에는 너무 좋은 일이다. 

In a utopia, everything works to the best advantage of everyone. People are happy and able to thrive and grow as they will. Our utopian scenario (Box 1) reflects much of the hope (or perhaps hype) that has been expressed with regard to learning analytics 11,20,26; everything works, benefits multiply, and everyone wins. Of course, this is too good to be true.


박스 1 역량 기반 의료 교육 시스템에서 분석을 위한 유토피아 시나리오를 설명하는 가상의 사례 연구
Box 1 Fictional Case Study Describing a Utopian Scenario for Learning Analytics in a Competency-Based Medical Education System


Walzar 박사는 그녀의 컴퓨터 화면에서 뒤로 기대어 미소를 지었다. 그녀의 병원의 다른 프로그램 책임자들은 그녀가 역량 기반 평가 시스템의 문제를 해결하기 위한 새로운 소프트웨어를 개발하기 위해 정보 기술 부서와 협력할 것을 제안했을 때 회의적이었습니다. 그들은 그들의 EHR이 시행되기 전에 비슷한 효율성의 약속들을 들었었지만, 그것은 결코 그 과대광고에 부응하지 못했다. 이것은 달랐다. 일단 그녀가 그들에게 작동하는 프로토타입을 보여주자, 그들은 그들의 프로그램을 도입하자고 간청했다. 새로운 데이터 시각화 및 분석 제품군을 설정하고 최적화하는 것은 어려운 일이었지만, 그 결과는 그만한 가치가 있었습니다. 그녀의 프로그램 관리자는 평가 데이터의 스프레드시트 이후 스프레드시트를 정리해야 하는 족쇄에서 해방되어 마침내 휴가를 얻어 여가 시간에 프로그램을 개선하기 위한 새로운 아이디어를 생각해 냈습니다. 역량 위원회 위원들은 그들의 회의가 월별, 하루 종일 열리는 마라톤에서 분기별 한 번씩 한가로운 아침으로 바뀌어 행복했다. 그리고 그녀는 그들이 더 나은 결정을 내리고 있다고 확신했습니다! 그녀의 교육생들조차도 새로운 교수 대시보드를 교수 개발 세션에 통합한 후 받은 향상된 피드백에 깊은 인상을 받았습니다. 그들은 또한 그들의 커리큘럼에 대한 데이터 중심의 변화가 그들이 유능한 의사가 되기 위해 필요한 경험을 얻을 수 있는 충분한 기회를 제공한다는 것을 알아챘다.
Dr. Walzar leaned back from her computer screen and smiled. The other program directors at her hospital had been skeptical when she had proposed working with their information technology department to develop new software to address the challenges of their competency-based assessment system. They had heard similar promises of efficiency before the implementation of their electronic health record, but it had never lived up to the hype. This was different. Once she had shown them a working prototype, they were begging to have their programs brought on board. Setting up and optimizing their new data visualization and analytics suite had been a challenge, but the results were worth it. Her program administrator, unleashed from the shackles of organizing spreadsheet after spreadsheet of assessment data, was finally taking a vacation and, in her spare time, had been coming up with new ideas to improve their program. Her competence committee members were happy as their meetings went from monthly, full-day marathons to leisurely mornings once a quarter. And she was sure that they were making better decisions, too! Even her trainees were impressed with the improved feedback they were receiving after they incorporated their new faculty dashboard into their faculty development sessions. They had also noticed that the data-driven changes to their curriculum were giving them ample opportunity to get the experiences they needed to become competent physicians.

가장 최근에, 그녀는 QI 전공의 몇몇 동료들과 연락했다. 그들은 그녀의 진전에 흥미를 느꼈고 그녀의 교육 데이터와 임상 결과의 통합을 탐구하기를 원했다. 그들은 각 연수생의 임상 치료 품질을 정량화하기 위해 전자 건강 기록의 데이터를 평가 대시보드에 통합하기 시작했다. 그녀는 교육 평가와 함께 임상 측정 기준을 추적하고 어떻게 그것들이 함께 사용될 수 있는지 볼 수 있는 가능성에 대해 흥분했습니다. 이 새로운 대시보드는 교육생들에게 환자의 건강에 직접적인 영향을 미치는 자신의 진료 패턴에 대한 통찰력을 제공할 것이다. Walzar 박사는 이러한 새로운 임상학습 애널리틱스를 만들기 위해 그녀의 임상 운영 팀과 협력하기를 고대했습니다.
Most recently, she had connected with some of her colleagues with backgrounds in quality improvement. They were intrigued by her progress and wanted to explore the integration of clinical outcomes with her educational data. They had begun integrating data from their electronic health record into the assessment dashboard to quantify the quality of each trainee’s clinical care. She was excited about the potential to track clinical metrics alongside educational assessments and see how they could be used together. This new dashboard would provide trainees with insights about their own practice patterns that had direct impact on the health of their patients. Dr. Walzar was looking forward to working with her clinical operations team to create these new clinical learning analytics.

프로그램 감독으로서 그녀에게는 다른 이점도 있었다. 그녀는 교육생들의 데이터에 쉽게 접근할 수 있었고 평가나 평가 패턴과 관련된 것이 발견되었을 때 실시간 경보를 받을 수 있었다. 그녀는 또한 비정상적인 행동을 식별하기 위해 교직원들의 평가 행동을 추적했다. 예를 들어, 그녀는 비센 박사가 수년 동안 성차별적 평가를 제출했다고 생각했지만 컴퓨터가 그것을 확인하기 전까지는, 그녀는 어떤 증거도 가지고 있지 않았다! 무엇보다도, 평가 데이터를 인증 기관에 제출하는 것이 자동화되었습니다. 그들의 분석은 그녀의 프로그램이 그들의 평가의 양과 질에 있어서 전국에서 상위 5퍼센트 안에 들어있다는 것을 보여주었다. 그녀는 올해 말 승진 지원서에서 그 성과를 강조하는 것을 기억해야 할 것이다. 이 모든 "학습 분석 자료"는 결국 완성되었다.
There had also been other benefits for her as a program director. She could readily access her trainees’ data and receive real-time alerts when concerning assessments or assessment patterns were found. She also tracked the assessment behaviors of her faculty members to identify abnormal behavior. For example, she thought that Dr. Bisen had been submitting sexist assessments for years but until the computer had identified it, she did not have any proof! Best of all, the submission of assessment data to their accrediting body was now automated. Their analyses showed that her program was performing in the top 5 percentile in the entire country in terms of the quantity and quality of their assessments. She would have to remember to highlight that accomplishment in her application for promotion later this year. All of this “learning analytics stuff” had panned out after all.


유토피아 시나리오는 형성적 및 총괄적 역량 평가의 맥락에서, 데이터 시각화 및 학습 분석의 잠재적 이점을 보여준다. 특히 데이터 시각화를 통해 교육생은 물론 교사 및 프로그램 책임자가 어려움을 겪고 있거나, 만족하거나, 우수한 수행 패턴을 식별하는 데 도움이 되는 [빈번한 저부담 EPA 기반 평가 데이터]를 [효율적으로 검토]할 수 있다. 이러한 기술은 교수진 개발과 지속적인 품질 개선을 위해 이러한 평가 데이터를 동시에 사용함으로써 조직 개발 프로그램에 기여할 수 있다. 
The utopian scenario demonstrates the potential benefits of data visualization and learning analytics in the context of assessing competence, both formatively and summatively. In particular, data visualization could allow for the efficient review of frequent, low-stakes EPA-based assessment data to help trainees as well as their preceptors and program directors to identify patterns of struggling, satisfactory, or excelling performance. 27–29 These techniques could feed into a program of organizational development through the simultaneous use of these assessment data for faculty development and continuous quality improvement. 22

예를 들어, [서술형 평가 코멘트의 품질]을 평가하기 위해 Quality of Assessment of Learning (QuAL) 점수를 사용할 수 있는 타당성 증거가 있다. 자연어 처리 알고리즘을 사용한 QAL 점수 등급의 자동화는 역량 위원회가 [고품질의 서술적 논평]으로 EPA를 쉽게 식별하도록 하여 총괄 평가 결정을 지원할 수 있다. 이러한 점수는 또한 시간 경과에 따른 서술적 피드백 개선에 초점을 맞춘 개입의 영향을 정량화하기 위해 교수진 및 프로그램 수준에서 통합될 수 있다. 개인 및 그룹 성과에 대한 더 많은 세부 사항이 설정될 수 있기 때문에 개인은 이 정밀도로부터 이익을 얻을 수 있다는 점에서 정밀 의료와 분명한 유사점이 있다. 이 정보는 또한 학습 환경을 개별 교육자의 요구와 궤적에 더 잘 맞추는 데 도움이 될 수 있다. 33 
For example, there is validity evidence to support the use of the Quality of Assessment of Learning (QuAL) score for the evaluation of the quality of narrative assessment comments. 30,31 The automation of QuAL score ratings with natural language processing algorithms could support summative assessment decisions by making it easier for competence committees to identify EPAs with high-quality narrative comments. These scores could also be amalgamated at the faculty member and/or program level to quantify the impact of interventions focused on improving narrative feedback over time. There are clear parallels with precision medicine 32 in that as greater detail of individual and group performance can be established, individuals can benefit from this precision. This information may also help us to better align the learning environment with individual trainees’ needs and trajectories. 33

학습 애널리틱스의 발전은 또한 성차별적이거나 인종 차별적인 평가 관행을 식별하고 정량화함으로써 [형평성 문제]를 해결하는 데 도움이 될 수 있다. 이러한 문제들이 쉽게 식별될 수 있을 때까지, 그것들이 다뤄질 것 같지는 않다. 평가의 성별 편견에 대한 Mueller 등과 Dayal 등의 초기 연구는 개별 교수진, 교육 프로그램, 기관 및 전문 분야의 평가 데이터 내에서 편향을 모니터링하도록 확장 및 자동화될 수 있다. 이 정보는 평가자 편견에 대한 추가 조사를 안내하고 이를 감지하고 완화하기 위한 개입을 개발할 수 있다.
Advances in learning analytics could also help to address equity issues through the identification and quantification of sexist or racist assessment practices. Until these issues can be readily identified, it is unlikely that they will be addressed. Early work by Mueller et al 34 and Dayal et al 35 on gender bias in assessments could be expanded and automated to monitor for biases within the assessment data of individual faculty members, training programs, institutions, and specialties. This information could guide further investigation into rater biases and develop interventions to detect and mitigate them.

또 다른 유토피아적 관점은 [여러 데이터 소스, 특히 임상 결과 데이터를 마이닝하고 통합]하는 데 중점을 둔다. [임상 데이터]와 [교육 평가]의 통합은 물론, 교직원과 실습생의 임상 결과의 상호 의존성을 넘어서서, [전공의-민감 품질 지표]의 식별에 대한 작업이 이미 시작되었다. 앞으로 질 향상과 의료교육에 전문성을 갖춘 의사들 간의 협업이 연수생 평가 데이터와 그동안 보살펴온 환자의 임상 결과를 연계할 것으로 기대한다. 이러한 [임상-교육 통합]을 실현하기 위해서는 학습 분석, 실습 분석 및 환자 결과 간의 연결이 설정되어야 한다. 이상적으로, 이러한 연결은 개인, 프로그램 및 시스템 수준의 변경을 지원하기 위해 의미 있게 해석될 수 있는 통합 분석 및 시각화를 사용하여 치료 품질 및 비용을 최적화하는 데 도움이 될 수 있습니다.

Other utopian perspectives focus on mining and integrating multiple data sources, in particular clinical outcome data. 16,17 Work has already begun on the integration of clinical data and educational assessment 36,37 as well as the identification of resident-sensitive quality metrics 38,39 that move beyond the interdependence of faculty and trainee clinical outcomes. 40,41 In the future, we anticipate that collaboration between physicians with expertise in quality improvement and medical education will link trainee assessment data with the clinical outcomes of the patients that they have cared for. 42 To realize this clinical–educational integration, links will need to be established between learning analytics, practice analytics, and patient outcomes. Ideally, these connections would help to optimize the quality and cost of care using integrated analytics and visualizations that can be meaningfully interpreted to support individual-, program-, and system-level changes.

물론, 이러한 종류의 파놉티시즘이 유토피아인지 아닌지는 논쟁의 여지가 있습니다. 한 사람의 유토피아는 다른 사람의 디스토피아일 수 있기 때문입니다.
Of course, whether panopticism of this kind is utopian is debatable, as one person’s utopia might well be another person’s dystopia.

미래형 디스토피아
A Prospective Dystopia

디스토피아는 이상과는 거리가 멀고 불만이 보통이다. 기술 발전 속도는 소프트웨어 공급업체들이 디지털 전환을 약속하는 우리 기관의 문을 두드리는 날이 머지않을 것으로 보인다. 우리의 인공지능 사용은 계속 개선될 것이며, 그것은 우리의 평가와 임상 데이터 모두에 더 광범위하게 적용될 수밖에 없다. 구현을 안내할 구조가 마련되지 않으면 디스토피아 시나리오(Box 2)가 실현될 수 있습니다.

In a dystopia, things are far from ideal and dissatisfaction is the norm. The pace of technological advancement makes it likely that it will not be long before software vendors are knocking on the doors of our institutions promising digital transformation. Our use of artificial intelligence will continue to improve, and it is inevitable that it will be applied more broadly to both our assessment and clinical data. If we do not have a structure in place to guide its implementation, our dystopian scenario (Box 2) may come to pass.


박스 2 CBME에서 학습 애널리틱스에 대한 디스토피아 시나리오를 설명하는 가상의 사례 연구
Box 2 Fictional Case Study Describing a Dystopian Scenario for Learning Analytics in Competency-Based Medical Education

Walzar 박사는 자신의 데이터 시각화 및 분석 시스템의 완벽한 구현에 대해 학장과 동료 프로그램 감독들로부터 열렬한 피드백을 받고 있었습니다. 다음 순간 그것은 와르르 무너져 내렸다. 연습생 중 한 명 정도를 받았다는 통보로 시작됐다. 제이콥은 프로그램 내에서 호감을 얻고 있었고, 컴퓨터가 그의 최근 평가 패턴에 관한 플래그를 세우기 전까지 잘 지내오고 있었다. 역량 위원회가 과거에 비슷한 깃발을 보았을 때, 그들은 행동하지 않았고, 확실히 몇 달 안에 이 훈련병들이 고군분투하고 있다는 것을 증명했다. 역량위원들은 이번에는 기다리지 않기로 했다. 그들은 월자르 박사가 제이콥을 불러서 진찰을 받으라고 요청했다.
One minute Dr. Walzar had been enjoying glowing feedback from her dean and fellow program directors on the flawless implementation of her data visualization and analytics system. The next minute it had come crashing down. It started with a notification that she received about one of her trainees. Jacob was well liked within the program and had been progressing well until the computer had flagged his recent assessment pattern as concerning. When the competence committee had seen similar flags in the past, they had not acted and, sure enough, within a few months the evidence demonstrated that these trainees were struggling. The competence committee members decided that this time they did not want to wait. They requested that Dr. Walzar call Jacob in for a meeting to check in.

회의에서, 그녀는 알고리즘은 EPA 수행에 플래그를 달았지만, 역량 위원회는 아직 어떤 문제도 발견하지 못했다고 언급했다. Jacob은 눈에 띄게 화가 나서 "이게 무슨 점쟁이 같은 쓰레기야? 정말 미래를 예측할 수 있다는 말인가요?"라고 물었다. 그때부터, 제이콥은 그녀와 평가 시스템, 그리고 훈련 프로그램에 대해 불신하게 되었다. 그의 임상 성적은 악화되었다. 그녀는 컴퓨터가 옳았고 이것이 불가피한 것인지, 아니면 그의 쇠퇴를 촉발시킨 것이 회의 그 자체인지 궁금했다. 그럼에도 불구하고, 문제는 그녀가 그를 프로그램에서 말릴 수 밖에 없을 때까지 계속되었다. 그녀는 바로 다음 주에 그의 제적dismissal과 관련된 소송을 제기했었다.

During the meeting, she mentioned that their algorithm had flagged his EPA performance, but that the competence committee could not identify any problems just yet. He had become visibly upset, asking “What kind of fortune-telling garbage is this? Are you seriously saying you can predict the future?” From then on, Jacob was distrustful of her, the assessment system, and the training program. His clinical performance deteriorated. She wondered if the computer had been right and this was inevitable, or if it was the meeting itself that had set off his decline. Regardless, the problem had festered until she had no choice but to terminate him from the program. She had been served with a lawsuit regarding his dismissal the very next week.

문제는 거기서 끝나지 않았다. 지난 주에 그들의 인증 기관이 해킹을 당했다. 그들의 모든 훈련생들의 평가 자료가 도용되어 온라인에 게재되었다. 그들을 제거하기 위해 그들이 할 수 있는 것은 아무것도 없는 것처럼 보였다. 그녀는 수련생들로부터 주요 병원 그룹이 이러한 데이터에 접근했다는 속삭임을 들었고, 아무런 설명도 없이 훈련 기간 동안 어려움을 겪었던 훈련병들의 인터뷰를 취소했다.
The problems did not end there. Last week their accrediting body had been hacked. All their trainees’ assessment data were stolen and published online. It did not seem like there was anything that they could do to have them removed. She had heard whispers from her trainees that the major hospital groups had gotten access to these data and, without any explanation, had canceled the interviews of the trainees who had struggled during parts of their training.

가장 나쁜 것은, 유출된 평가 중 하나가 현재 그녀의 훈련생, 동료, 그리고 병원을 고소하고 있는 한 환자가 받은 치료에 관한 것이었다는 사실이다. 연습생의 ICU 로테이션 동안, 그들은 central line을 놓으려고 애썼다. 절차에 대한 교수진의 EPA 평가는 낮은 수준의 위탁을 나타냈으며, 기술의 어려움을 강조하는 유용한 형성적 피드백을 제공했다. 불행하게도, 이것은 환자의 중심선 감염에 기여했을 수 있다. 연수생 변호인단은 이 평가가 과실의 증거로 소송에서 인용될 것이라고 확신했다.
Worst of all, one of the leaked assessments referenced the care received by a patient who was currently suing her trainee, colleagues, and hospital. During the trainee’s intensive care rotation, they had struggled to place a central line. The faculty member’s EPA assessment of the procedure indicated a low level of entrustment and provided helpful formative feedback that highlighted difficulties with technique. Unfortunately, this may have contributed to the patient’s development of a central line infection. The trainee’s lawyers were certain that this assessment was going to be cited in the lawsuit as evidence of negligence.

그 승진에 대해서는 잊어버려. 그녀는 의학을 완전히 그만두어야 할까 봐 걱정했다. 그녀는 그녀가 이런 학습 애널리틱스를 시작하지 않았어야고 생각했다.

Forget about that promotion. She was worried that she was going to have to leave academic medicine altogether. She wished that she had never gotten started with this learning analytics stuff.


디스토피아 시나리오는 훈련생의 EPA 데이터를 정밀하게 분석하는 것이 해로울 수 있는 몇 가지 방법만을 보여준다. 앞으로 나아가면서, 우리는 어떻게 하면 그것이 가져올 수 있는 문제에 굴복하지 않고 궁극적으로 환자 결과를 개선할 수 있는 방법으로 집계된 데이터의 시각화 및 분석의 이점을 유지할 수 있는지 고려해야 한다. 학습 애널리틱스를 통합하는 혁신적인 데이터 솔루션을 추진하는 사람들에게 특히 주목할 만한 몇 가지 영역이 있다.

The dystopian scenario illustrates only some of the ways that the sophisticated analysis of trainees’ EPA data could be detrimental. 21 As we move forward, we must consider how we can maintain the benefits of the visualization and analysis of aggregated data in ways that can ultimately lead to improved patient outcomes without succumbing to the problems that it could present. Several areas are deserving of particular attention for those pushing forward innovative data solutions incorporating learning analytics.

데이터 보안
Data security

애널리틱스 접근 방식을 사용하든 사용하지 않든, [교육생 평가 데이터의 보안]은 우려 사항이다. 이 문제가 항상 존재했지만, 현대의 시스템은 수많은 분산 액세스 포인트가 있는 더 큰 데이터베이스에 저장되기 때문에 해킹과 다른 디지털 데이터 보안 침해에 더 취약할 수 있다. 또한, 우리가 수집하는 평가 데이터는 점점 더 상세해지고 민감해집니다. 불행하게도, 이러한 전환이 일어나면서, 우리의 고등 교육 기관들은 점점 더 많은 보안 침해의 대상이 되었습니다. 교육생과 직원들에 대한 대량의 귀중한 데이터, 정보기술 구조의 분산된 조직, 네트워크에 액세스할 수 있는 다수의 개인, 그리고 이러한 위협에 대처하기 위한 상대적으로 부족한 자원 때문에 해커의 표적이 된다는 것이 입증되었습니다.정부와 대기업. 교육 평가 데이터 유출로 인한 잠재적 영향은 고려해야 할 매우 현실적인 위험이다.

Whether or not an analytics approach is used, the security of trainee assessment data is a concern. 43 While this problem has always existed, modern systems may be more prone to hacking and other digital data security breaches because they are stored in larger databases with numerous distributed access points. Additionally, the assessment data that we collect are increasingly detailed and sensitive. Unfortunately, as this transition has occurred, our higher education institutions have been subject to an increasing number of security breaches. 44 They have proven to be targets for hackers due to the large amount of valuable data they store about their trainees and employees, the decentralized organization of their information technology structure, the large number of individuals that are able to access their network, and the comparative lack of resources to combat this threat relative to government and big business. 45 The potential fallout from the leak of educational assessment data is a very real risk that should be considered.

예측적 분석
Predictive analytics

1956년 그의 공상과학 단편소설 "마이너리티 리포트"에서 필립 K. 딕은 "precrime"이라는 개념을 도입했다. 즉, 아직 저지르지 않았지만 명백한 시스템에 의해 예측된 범죄에 대해 체포되어 기소될 수 있다는 것이다. 46 예측 분석은 수습 성과와 같은 미래 사건에 대해 추론하는 기법이다. [예측 분석]을 통합하는 것은 어려움을 겪고 있는 교육생을 식별하고 그들에게 추가적인 지원을 제공하기 위해 압도적 역량 위원회를 지원할 수 있는 잠재력을 가지고 있지만, 교육생을 조기에 [struggling 또는 deficient]으로 분류하는 것은, 연수생 자신 또는 프로그램의 인식을 예상하지 못하거나 잠재적으로 부정적인 방식으로 바꿈으로써, 오히려 교육생의 어려움을 유발하거나 악화시킬 수 있다. 분석적 예측에 기초하여 고위험 결정을 내리는 윤리 및 합법성과 같은 다른 과제들도 고려할 필요가 있다.
In his 1956 science fiction short story The Minority Report, Philip K. Dick introduced the concept of “precrime”—that one could be arrested and charged for a crime that they had not yet committed but that had been predicted by a seemingly infallible system. 46 Predictive analytics are techniques that make inferences about future events such as trainee performance. 10 While the incorporation of predictive analytics has the potential to assist overwhelmed competence committees to identify trainees who may be struggling and provide them with additional support, it is equally possible that prematurely labeling trainees as struggling or otherwise deficient may cause or exacerbate a trainee’s struggles by altering their and their program’s perceptions in unanticipated and potentially negative ways. 47 Other challenges such as the ethics and legality of making high-stakes decisions on the basis of analytical predictions also need to be considered.

데이터 소유 및 사용
Data ownership and use

[데이터의 접근, 소유권 및 거버넌스를 둘러싼 윤리적 문제]는 의료 교육에서 학습 분석의 사용이 증가함에 따라 특히 우려되는 사항으로 식별되었다. 이러한 우려는 다음과 같은 과제를 식별하는 광범위한 교육 문헌 내에서 마찬가지로 나타난다. 예를 들면,

  • 단편화되거나 불완전한 데이터에서 고부담 의사 결정을 내린다.
  • 모집단에서 도출한 통찰력을 개별 교육생에게 적용한다.
  • 교육생에게 데이터 사용에 대한 동의를 구하는 것이 불충분하거나, 동의를 구하지 않는다.
  • 고도로 민감한 데이터의 적절한 관리를 보장하지 못한다.
  • 분석에 의해 전파되는 편견을 고려하지 않는다.

이러한 문제는 (비교적 추상적인 영어단어 점수를 포함하는 다른 분야의 학생들에 대해 더 일상적으로 수집된 데이터와 달리) [개별 환자의 치료에서 전문 역량에 대한 상세한 실제 평가]를 포함하는 EPA 기반 프로그램의 성격을 고려할 때 의료 교육 내에서 특히 고려할 가치가 있다. 
Ethical issues surrounding access, ownership, and governance of data have been identified as particular concerns with the growing use of learning analytics in medical education. 21,43 These concerns are paralleled within the broader educational literature which identifies challenges including

  • making high-stakes decisions from fragmented or incomplete data,
  • applying insights derived from populations to individual trainees,
  • inadequately (or simply not) seeking consent from trainees regarding the use of their data,
  • failing to ensure appropriate stewardship of high-sensitivity data, and
  • neglecting to consider the biases propagated by analyses. 48 

These issues deserve particular consideration within medical education given the differences between EPA-based programs which contain detailed, real-world assessments of professional competency in the care of individual patients, as opposed to more routinely collected data about students in other fields which contain relatively abstract alphanumerical grades.

또한 분석 엔진이 [독립적 의료행위로의 진전을 결정하는 데 있어 궁극적인 권위]라고 가정되는 선험적인 것인지도 우려된다. 상소권을 포함한 [견제와 균형]이 그러한 시스템에 내장될 필요가 있다. 일반적으로 고등교육을 위해 설계된 광범위한 기관 정책이 연수생-환자 상호작용에 초점을 맞춘 종적 EPA 평가 데이터의 복잡한 감독에 완벽하게 적합하지는 않을 것이다.

It is also a concern if the analytics engine is a priori assumed to be the ultimate authority in determining progress toward independent practice. Checks and balances, including rights of appeal, need to be built into any such system. It is unlikely that broad institutional policies designed for higher education in general will be a perfect fit for the complex oversight of longitudinal EPA assessment data focused on trainee–patient interactions.

임상 통합
Clinical integration

[의학 교육]은 [교육생이 중요한 임상 치료를 제공하는 견습 모델] 내에서 [교육생에 대해 상당한 양의 평가 데이터]가 수집된다는 점에서 비교적 독특하다. 임상 결과와 교육 평가를 연계함으로써 얻을 수 있는 잠재적 이익을 고려할 때, 우리는 교육생이 추가적인 [의료법적 위험]에 과도하게 노출되지 않도록 보장해야 한다. 영국의 Bawa-Garba 사건은, 한 소아과 수련생이, 부분적으로, 그녀의 전자 포트폴리오에서 끌어낸 성찰에 근거하여, 중과실 치사죄로 유죄 판결을 받은 것으로, 이것이 우리가 믿고 싶은 것보다 더 가능하다는 것을 암시합니다. 
Medical education is relatively unique in that a substantive amount of assessment data is collected on trainees within an apprenticeship model wherein trainees provide clinical care of significant consequence. As we consider the potential benefits of linking clinical outcomes with educational assessments, we must ensure that we do not unduly expose trainees to additional medicolegal risk. The Bawa-Garba case in the United Kingdom, wherein a pediatric trainee was convicted of gross negligence manslaughter based, in part, on reflections pulled from her electronic portfolio, suggests that this is more possible than we would like to believe. 49

디스토피아 시나리오는 의학 교육에서 학습 분석과 관련하여 제기된 모든 우려를 설명하지는 않지만, 우리가 이러한 새로운 도구를 사용하기 시작할 때 직면하게 되는 함정에 대해 적나라하게 상기시키는 역할을 해야 한다. 현장의 잠재력을 극대화하는 방식으로 전진하려면 사려 깊고 의도적인 접근이 필요하다.
While the dystopian scenario does not illustrate all of the concerns that have been raised regarding learning analytics in medical education, 21 it should serve as a stark reminder of the pitfalls that we face as we begin to use these new tools. Moving forward in a way that maximizes the potential of the field will require a considered and intentional approach.

과정 차트 작성
Charting a Course


대부분의 관할 구역은 CBME를 지원하기 위한 학습 애널리틱스의 사용이 탐구되고 있는 중요한 벼랑에 있지만, 우리의 교육생과 기관을 통제하고 보호하기 위한 정책과 프로세스는 아직 정비되지 않았다. 우리는 유토피아와 디스토피아 시나리오의 공유가 이 기술의 필요성과 탄력적이고 미묘한 그리고 민첩한 감독 시스템을 구축하는 것의 중요성을 모두 전달했기를 바란다. 이러한 과제에 대처할 수 있다면 세 번째 시나리오(상자 3)에 설명된 결과가 더 가능성이 높습니다.

Most jurisdictions are at an important precipice where the use of learning analytics to support CBME is being explored, but the policies and processes to govern and protect our trainees and institutions have not yet been ironed out. We hope that the sharing of utopian and dystopian scenarios has conveyed both the need for this technology and the importance of building resilient, nuanced, and nimble systems of oversight. If we can rise to this challenge, the outcomes described in our third scenario (Box 3) are more likely.


박스 3 CBME에서 학습 애널리틱스의 안전하고 윤리적인 구현을 설명하는 가상의 사례 연구
Box 3 Fictional Case Study Describing the Safe and Ethical Implementation of Learning Analytics in Competency-Based Medical Education

Walzer 박사가 분석 학습에 대해 더 많이 배우면서, 그녀는 자신의 프로그램이 몇 가지 심각한 결과에 얼마나 가까이 다가왔는지를 깨달았다. 지역 정보 기술 팀과 함께 일하면서, 그녀는 자신의 작업의 윤리적, 기술적 함의를 연구했고 그 문제들을 앞질렀다. Walzar 박사는 자신의 새로운 지식을 바탕으로, [데이터 유형을 구분하고 프로그램 평가 및 연구에 데이터가 어떻게 사용될 것인지를 명확히 하는 데이터 액세스 표준] 개발을 위한 투입input과 리더십을 제공했습니다. 이 계획은 평가 데이터를 인증 기관에 전송하고 저장하는 데 영향을 미쳤다. 전송에 예상보다 시간이 오래 걸렸지만, 익명화된 집계 데이터만 업로드되도록 주요 변경 사항이 적용되었습니다. 인증기관이 (제3자 보안감사 권고사항을 이행했음에도) 해킹을 당했을 때 조차, 교육생들의 평가 자료는 구체적으로 식별되지 않았다.

As Dr. Walzer learned more about learning analytics, she realized just how close her program had come to some serious consequences. Working with her local information technology team, she studied the ethical and technical implications of her work and got ahead of the issues. With her newfound knowledge, Dr. Walzar also provided input and leadership on the development of data access standards that distinguished types of data based upon their sensitivity and clarified how data would be used for program evaluation and research. This planning impacted the transfer and storage of assessment data to their accrediting body. While the transfer took longer than anticipated, major changes were made to ensure that only anonymized, aggregate data were uploaded. When the accrediting body was hacked despite having implemented the recommendations of a third-party security audit, none of their trainees’ assessment data were specifically identifiable.

그녀는 [공동 설계 방법론]을 활용하여 일선 교수진, 현재 교육생 및 심지어 소수의 환자를 포함한 이해 당사자들을 참여시켰습니다. 몇 년 안에, 그녀는 이 수련생들이 병원의 최신 교수진이 될 것이라고 예상했고, 그녀는 그들의 참여를 수련생들에게 이 작품이 받아들여질 수 있도록 하는 방법과 그들의 문화와 시스템의 지속 가능성에 대한 투자로 보았다. 또한 작업에 대한 투명성과 신뢰도를 높였습니다. 이해관계자들이 제안한 변경사항으로 인해 관련성이 높아졌으며 여러 가지 우려사항이 구현되기도 전에 해결되었습니다.
She leveraged a co-design methodology to engage stakeholders including frontline faculty, current trainees, and even a few patients. Within a few years, she anticipated that these trainees would become their hospital’s newest faculty and she saw their involvement as both a way to ensure the work was embraced by the trainees and as an investment in the sustainability of their culture and system. It also increased the transparency and trust in the work. The changes the stakeholders suggested made it more relevant and resulted in multiple concerns being addressed before they were even implemented.

프로그램을 [역량 위원회 결정]에 inform하기 위해 예측 분석을 사용하는 것도 지연되었다. 그 시간에, 그들은 고부담 평가 결정을 지원하는 데 이러한 새로운 방법론을 사용하기 위한 [타당성 증거]를 수집했다. 역량 위원회 위원들은 이것이 그들의 결정을 더 잘 뒷받침하는 더 명확하고 강력한 분석 결과를 가져왔다는 데 동의했다. 이러한 학술적 접근은 또한 그들의 부서 구성원들을 위한 수많은 출판물을 낳았다. 그들은 모든 훈련생들에게 개별화된 학습 계획을 알리기 위해 새로운 방법을 사용하는 방법을 배우는 시간을 가졌습니다. 그녀는 교육생들이 단순히 시스템에 의해 플래그가 지정되는 것을 방치하는 것이 아니라, 교육생들이 데이터를 해석하고 그에 따라 행동할 수 있도록 돕는 데이터 전문 교수진을 구축하기 위해 지역 교육자들과 광범위하게 협력했다.
Her program’s use of predictive analytics to inform their competence committee decisions was also delayed. In that time, they collected validity evidence for the use of these novel methodologies in supporting high-stakes assessment decisions. The competence committee members agreed that this resulted in more clear and robust analytics that better supported their decisions. This scholarly approach also resulted in numerous publications for members of their department. They took the time to learn how to use the new methods to inform the individualized learning plans for every trainee. She worked extensively with local educators to build up a cadre of data-savvy faculty who were comfortable with helping the trainees to interpret and act upon the data, rather than simply leaving trainees to be flagged by the system.

몇 년 안에, Walzer 박사와 그녀의 교육생들, 그리고 그 기관은 학습 애널리틱스를 그들의 프로그램에 통합하는 것이, 부정적인 결과를 방지하면서, 모든 당사자에 대한 이익을 극대화하는 방식으로 이루어졌다는 것을 편안하게 느끼게 되었다. 그들은 또한 계속해서 새로운 계획들을 생각해냈다. 예를 들어, 그들은 교육생을 위한 주요 성과 지표를 취약한 환자 집단의 임상 관리 개선에 매핑하기 시작했다.
Within a few years, Dr. Walzer, her trainees, and the institution became comfortable that the incorporation of learning analytics into their program was done in a way that maximized the benefits to all parties while preventing negative consequences. They also continued to come up with new initiatives. For example, they had begun mapping key performance indicators for their trainees to improvements in the clinical care of vulnerable patient populations.


 

1942년 단편 'Runaround'에서, Issac Asimov는 로봇 행동의 지배 원리로 로봇 공학의 3가지 법칙을 제안했다. 로봇 기술의 초기에 쓰여졌음에도 불구하고, 이러한 원칙들은 오늘날까지 계속 논의되고 논의되고 있다. 로봇 공학 및 학습 분석은 특정 지침의 장기적 관련성을 제한하면서 신속하고 예측할 수 없는 진화할 수 있는 기술이라는 공통점을 공유한다. 이를 염두에 두고 학습 분석의 개발 및 구현에 대한 유사한 원칙적 접근 방식이 적절하다고 본다. Slade와 Prinslu는 CBME 내에서 광범위하게 적용할 수 있는 [학습 애널리틱스를 위한 6가지 윤리적 원칙]을 제안했다. 48 표 1은 이러한 원칙을 설명하고 CBME 평가 프로그램 내에서 이들의 적용 예를 제공한다.
In his 1942 short story Runaround, Issac Asimov proposed 3 laws of robotics as governing principles for robot behavior. 50 Despite being written in the early days of robotic technology, these principles continue to be discussed and debated to this day. Robotics and learning analytics share the commonality of being technologies that can evolve rapidly and unpredictably, limiting the long-term relevance of specific guidelines. Bearing this in mind, we believe that a similarly principled approach to the development and implementation of learning analytics is appropriate. Slade and Prinsloo have proposed 6 ethical principles for learning analytics that are broadly applicable within CBME. 48Table 1 describes these principles and provides an example of their application within a CBME assessment program.

 

분석을 배우는 것은 도덕적인 실천이 되어야 한다.
Learning analytics should be a moral practice

학습 분석은 의사 결정에만 사용해서는 안 되며, 의료 시스템 내의 [교육생, 기관 및 환자의 이익]을 위해 [학습에 대한 이해]를 높이는 데 사용되어야 한다. 적절한 [정책, 시스템 및 문화를 구축 및 조정]하여 사용을 가이드하도록 주의를 기울여야 한다. 예를 들어, 예측 분석을 구현할 때, 우리는 우리가 찾고 있는 정보뿐만 아니라 그러한 정보가 이러한 그룹에 어떻게 그리고 왜 도움이 될 것인지를 신중하게 고려해야 합니다. 우리의 결정에 영향을 미칠 수 있도록 허용하는 분석이 우리의 [시스템에 구축된 가정, 목적 및 체계적 편견을 탐구explore하는 [타당성 주장]에 의해 뒷받침되도록 하는 것]이 매우 중요하다. 학습 분석의 사용이 제도적 및 공동체적 가치와 일치하도록 보장하기 위해 PAIR(참여, 접근, 포함 및 표현) 원칙의 의도적인 고려가 제안되었다. 
Learning analytics should not be used solely to drive decisions, but to gain greater understanding of learning for the benefit of the trainees, institutions, and patients within our health care systems. Care should be taken to build and/or adapt appropriate policies, systems, and cultures to guide their use. 43 For example, when implementing predictive analytics, we must carefully consider what we are looking for as well as how and why that information will benefit these groups. It will be crucial to ensure that the analytics which we allow to influence our decisions are supported by validity arguments that explore the assumptions, purpose, and systemic biases that are baked into our systems. The intentional consideration of the PAIR (Participation, Access, Inclusion, and Representation) principles has been proposed to ensure that the use of learning analytics aligns with institutional and community values. 51

에이전트로서의 교육생
Trainees as agents

학습 분석은 "교육생에게" 가해지는 것이 아니라 "교육생과 함께" 하는 것이어야 한다. 시스템 내에서 교육생의 공동 설계와 참여는 필수적이며, 특히 상급 교육생이 후배들을 육성하고 가르치는 데 있어 어텐딩보다 실제 접근 방식을 더 많이 취하는 시스템에서 더욱 중요하다. 교육생은 당사 시스템의 설계 및 운영에 파트너로 참여해야 합니다. 어떤 데이터가 수집되고 어떻게 사용되는지 알려주면 이러한 분석에 참여하고 이익을 얻는 데 도움이 될 것이다. 이는 훈련생의 성과를 모니터링하기 위해 예측 분석을 사용하기 때문에 특히 중요하다. 이러한 분석의 개발에 교육생을 참여시키는 것은 교육생들이 자신에게 중요한 평가 프로그램에 대리점을 제공하는 동시에 그들의 이점과 한계를 이해하는 데 도움이 될 것이다. 성공적인 공동 설계 노력은 또한 미래 교육 리더의 도제 교육을 가능하게 합니다. 그들의 지속적인 기관은 데이터 시스템의 진화와 갱신에 기여하기 때문에 지속 가능성을 향상시킬 것입니다. 데이터 통찰력에서 학습하는 인간의 측면은 지속적인 전문 개발 문헌에 설명되어 있으며 교육생들에게 번역될 수 있다. 최적의 학습 시스템과 발전 지향적인 조직을 만들기 위해 어떤 교육적 지원, 정책, 시스템이 필요한지 이해하기 위해서는 더 많은 연구가 필요하다. 

Learning analytics should not be “done to” trainees but “done with” them. Co-design and involvement of trainees within the systems are imperative, especially in systems where senior trainees take more of a hands-on approach than attendings in nurturing and teaching their junior colleagues. Trainees should be involved as partners in the design and operation of our systems. Making them aware of what data are being collected and how they are being used will help them to engage with and benefit from these analyses. 28,52 This will be particularly important as predictive analytics are used to monitor trainee performance. Involving trainees in the development of these analyses will help them to understand their benefits and limitations while providing agency in an assessment program that matters to them. Successful co-design efforts also allow for the apprenticeship of future educational leaders whose continued agency will enhance sustainability as they contribute to the evolution and renewal of our data systems. 53–55 The human aspect of learning from data insights has been described in the continuing professional development literature and may translate to trainees. 56 More study is needed to understand what educational supports, policies, and systems will be required to create optimal learning systems and developmentally oriented organizations. 22,43

훈련생 신분과 성과는 시간적 역동적 구조이다.
Trainee identity and performance are temporal dynamic constructs

학습 분석을 구현하면서 교육 및 임상 결과가 [교육생의 상황]에 어떻게 영향을 미칠 수 있는지 결정해야 한다. EPA 평가는 [관찰 데이터]로 구성된다. 이러한 관찰은 [팀 기반 의료]의 맥락에서 발생하며, [암묵적 편견의 영향]을 받을 수 있는 교수진에 의해 완료된다. 우리가 이러한 데이터를 해석하기 시작할 때, 이러한 맥락을 기억하고 시간이 지남에 따라 교육생들의 성장을 고려하는 것이 중요할 것이다. 이는 [복잡한 시스템 속의 환자 결과]와 [교육생 주변에 존재하는 팀]을 통합할 때 특히 그렇습니다. 우리는 연습생이 일하는 맥락을 이해하고 성공을 어떻게 귀속시킬지를 결정하는 데 있어 그것을 설명하기 위해 미묘한 과학이 필요할 것이다. [전공의에 민감한 품질 척도]를 조사 및 분리하고, [의료 팀의 상호 의존성]을 분리하는 데 초점을 맞춘 최근 연구는 이 복잡하고 미묘한 데이터의 해석을 안내해야 한다.
As we implement learning analytics, we should seek to determine how educational and clinical outcomes can be and are impacted by our trainees’ contexts. 57 EPA assessments consist of observational data. These observations occur within the context of team-based health care and are completed by faculty members who may be influenced by implicit bias. 58 As we begin to interpret these data, it will be important to remember this context and consider the trainees’ growth over time. 57 This is particularly true when incorporating patient outcomes within the complex systems and teams that exist around our trainees. We will need nuanced science to understand the context in which the trainee works and account for that in determining how to attribute success. Recent work focused on examining and isolating resident-sensitive quality measures 38,39 and teasing apart the interdependence of health care teams 40,41 should guide the interpretation of this complex and nuanced data.

훈련생들의 성공은 복잡하고 다차원적인 현상이다.
Trainee success is a complex and multidimensional phenomenon.


우리는 학습 분석을 해석하고 사용하는 교육자를 교육하여, 학습 애널리틱스가 도출하는 추론에 대해 어느 정도 회의적인 태도를 유지하도록 해야 한다. 21 기계 학습, 자연어 처리 및 기타 고급 예측 도구는 [상관 관계 데이터 기법의 파생물]이므로 [인과관계와 연결되어 있다고 가정할 수 없다]. 임상 의사 결정 지원 도구, 위험 기반 계산기 또는 기타 지침을 임상 진료에서 사용하는 방법과 유사하게, 우리는 교육에 사용하는 [도구의 진단 부정확성]에 대해 경계해야 한다. 도구의 민감도 및 특수성과 같은 속성을 연구하면 도구의 강점과 한계를 이해하고 저위험 및 고위험 평가 결정에 적절하게 기여하고 있는지 확인하는 데 도움이 될 것이다. 무엇보다도, 우리는 [상관관계가 있는 결과]와 [운명fate]을 혼동하지 않도록 해야 한다.

We should train the educators who interpret and use learning analytics to sustain a degree of skepticism with respect to the inferences they draw from them. 21 Machine learning, natural language processing, and other advanced prediction tools are derivative of correlational data techniques and cannot be assumed to be linked to causality. 59 Similar to how we use clinical decision support tools, risk-based calculators, or other guidelines in clinical care, we should remain wary of the diagnostic imprecision of the tools that we use in education. Studying attributes such as the sensitivity and specificity of our tools will help us to understand their strengths and limitations and ensure that they are contributing appropriately to low- and high-stakes assessment decisions. Above all, we must ensure that we do not confuse a correlated outcome with fate.

투명성.
Transparency.

교육생들의 신뢰를 쌓고 유지하기 위해서는 [투명성]이 필수적입니다. EPA 평가 데이터에는 실습생 학습 및 평가에서부터 교수진 개발, 프로그램 평가, 품질 개선, 연구 및 인증에 이르는 수많은 사용 사례가 있다. 연수생의 평가 데이터가 이러한 모든 목적에 사용될 것이 분명하지 않기 때문에, 연수생은 자신의 데이터가 어떻게 사용될 것인지를 알아야 한다. 또한, 투명한 정책은 다양한 유형의 데이터의 [소유권과 민감도]를 분류하고, [누가 어떤 목적으로 각 유형의 데이터에 액세스할 수 있는지] 명확하게 설명해야 한다. 기관들은 그들의 정책과 지역 입법에 기초하여 그들 자신의 지침을 개발할 필요가 있을 것이다. 예를 들어, 내부 프로그램 평가 및 인증 목적을 위해 익명으로 집계된 수습 평가 데이터 세트를 사용하는 것은 오랜 표준 관행이지만 학습자에게 데이터가 이러한 방식으로 사용될 것임을 공식적으로 알리는 것이 중요하다. 한편, 연구 목적으로 식별 가능하거나 잠재적으로 식별 가능한 평가 데이터를 공유하려면 데이터의 민감도에 따라 선택 또는 선택 동의 프로세스가 필요할 수 있다. [[프로그램 평가]와 [연구] 사이의 구분을 명확히 하는 것]은 종종 프로그램 평가 작업으로 확장되는 윤리적 면제 및 감소된 정밀 조사를 고려할 때 매우 중요할 것이다. 훈련생 평가 데이터의 프라이버시를 보장하기 위해 취한 보안 절차의 한계도 투명해야 한다. 

Transparency is essential to develop and maintain the trust of our trainees. 60 There are numerous use cases for EPA assessment data that span from trainee learning and assessment through faculty development, program evaluation, quality improvement, research, and accreditation. 26 As it is not obvious that a trainee’s assessment data would be used for all of these purposes, they should be made aware of how their data will be used. Further, transparent policies should categorize the ownership and sensitivity of various types of data and explicitly outline who has access to each type of data for what purpose. Institutions will need to develop their own guidelines based upon their policies and local legislation. For example, using an anonymized, aggregated dataset of trainee assessments for internal program evaluation and accreditation purposes is a long-standing and standard practice, but it is important to formally inform learners that their data will be used in this way. On the other hand, the sharing of identifiable or potentially identifiable assessment data for research purposes is likely to require opt-out or opt-in consent processes depending upon the sensitivity of the data. Clarifying the division between program evaluation and research will be extremely important given the ethical exemptions and decreased scrutiny that are often extended to program evaluation work. 61 The limitations of the security procedures taken to ensure the privacy of trainee assessment data should also be made transparent. 62

데이터셋 간의 연결을 강화하면 데이터셋 분석을 지원하고 해킹이나 기타 기술적 문제에 더욱 취약해진다.

  • 데이터 파티셔닝(즉, 데이터가 저장되는 위치를 분리하고 온디맨드 방식으로 연결), 
  • 익명화(즉, 교육생이 데이터만으로 식별할 수 없도록 데이터를 코드화된 식별자로 재작성) 
  • 블록체인 기술(즉, 분산 원장 시스템을 사용하여 데이터 무결성을 보장하고 장애 지점을 최소화함) 및 
  • 다른 고급 데이터 보안 기술

...은 보안을 강화할 수 있지만 교육 기관의 현재 기술 수준을 넘어설 수 있습니다. 종합하면, 기관 정책은 [다양한 유형의 수습 데이터를 어떻게 사용할 수 있는지]와 [그 보안을 보장하기 위해 어떤 예방 조치가 마련되어 있는지] 투명하게 정의해야 한다. 
Strengthening the connections between datasets supports their analysis and also makes them more vulnerable to hacking or other technical issues. 23 

  • Data partitioning (i.e., separating where data are stored and linking on demand),
  • anonymization (i.e., redacting data down to only coded identifiers so that trainees cannot be identified by data alone),
  • block-chain technology (i.e., using a decentralized ledger system to ensure data integrity and minimize points of failure), and
  • other advanced data security techniques

...could increase security but may be beyond the current technological skill set of educational institutions.

Taken together, institutional policies should transparently define

  • how various types of trainee data can be used and
  • what precautions are in place to ensure its security.

고등교육은 데이터를 사용하지 않을 여유가 없다.
Higher education cannot afford to NOT use data.

마지막으로, 우리는 학습 분석의 사용을 진전시키기 위한 결의와 용기가 필요할 것이다. 이러한 원칙은 복잡하고 진화하는 문제를 제기하는데, 이러한 문제를 안전하고 윤리적으로 해결하기 위해 해결해야 합니다. 그러나 미래의 교육생과 환자의 이익을 위해 교육 시스템을 개선하기 위해 CBME 내에서 수집한 평가 데이터를 사용하지 않는 것도 문제가 될 수 있다. 인력, 프로그램 및 시스템을 지속적으로 개선한다는 목표로 이러한 새로운 도구의 사용에 접근하면 교육생이 제공하는 임상 관리를 개선할 수 있는 방법에 대한 통찰력을 얻을 수 있습니다.
Finally, we will need resolve and courage to move forward with the use of learning analytics. These principles raise complicated and evolving concerns that will need to be addressed to do this safely and ethically. However, not using the assessment data that we collect within CBME to improve our training systems for the benefit of our future trainees and their patients would also be problematic. If we approach the use of these new tools with the goal of constantly improving our people, programs, and systems, 22 then they will provide insight into how we can improve the clinical care provided by our trainees.

결론들
Conclusions

학습 분석은 교육생, 프로그램 및 시스템에 도움이 되는 방식으로 EPA 기반 CBME 평가 시스템에 의해 수집되는 엄청난 양의 평가 데이터를 활용할 수 있는 잠재력을 가지고 있습니다. 그러나 이들의 활용은 새롭고 잠재적으로 위험한 과제를 제시하기도 한다. 안전하게 전진하기 위해, 우리는 교육과 컴퓨터 과학의 더 넓은 분야에서 개발된 학습 분석의 윤리적 원칙을 고려하고 기초할 필요가 있을 것이다.

Learning analytics have the potential to leverage the incredible amount of assessment data that are being collected by our EPA-based CBME assessment systems in ways that will benefit our trainees, programs, and systems. However, their utilization also presents new and potentially dangerous challenges. To move forward safely, we will need to consider and build upon the ethical principles of learning analytics that have been developed in the broader fields of education and computer science.

 


Acad Med. 2021 Jul 1;96(7S):S89-S95. doi: 10.1097/ACM.0000000000004092.

From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education

Affiliations collapse

Affiliations

1B. Thoma is associate professor, Department of Emergency Medicine, University of Saskatchewan, Saskatoon, Saskatchewan, Canada, and clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada; ORCID: https://orcid.org/0000-0003-1124-5786.

2R.H. Ellaway is professor, Department of Community Health Sciences, and director, Office of Health and Medical Education Scholarship, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada; ORCID: https://orcid.org/0000-0002-3759-6624.

3T.M. Chan is associate professor, Division of Emergency Medicine, Department of Medicine, assistant dean, Program for Faculty Development, Faculty of Health Sciences, and adjunct scientist, McMaster Education Research, Innovation, and Theory (MERIT) program, McMaster University, Hamilton, Ontario, Canada; ORCID: https://orcid.org/0000-0001-6104-462X.

PMID: 34183609

DOI: 10.1097/ACM.0000000000004092

Abstract

The transition to the assessment of entrustable professional activities as part of competency-based medical education (CBME) has substantially increased the number of assessments completed on each trainee. Many CBME programs are having difficulty synthesizing the increased amount of assessment data. Learning analytics are a way of addressing this by systematically drawing inferences from large datasets to support trainee learning, faculty development, and program evaluation. Early work in this field has tended to emphasize the significant potential of analytics in medical education. However, concerns have been raised regarding data security, data ownership, validity, and other issues that could transform these dreams into nightmares. In this paper, the authors explore these contrasting perspectives by alternately describing utopian and dystopian futures for learning analytics within CBME. Seeing learning analytics as an important way to maximize the value of CBME assessment data for organizational development, they argue that their implementation should continue within the guidance of an ethical framework.

의학교육 도구로서 서사의학: 체계적 문헌고찰(Med Teach, 2019)
Narrative medicine as a medical education tool: A systematic review
M. M. Milota, G. J. M. W. van Thiel and J. J. M. van Delden

 

 

소개
Introduction

기술과 빅데이터가 임상 상호작용에서 차지하는 역할이 점점 더 두드러지면서, 위험은 각 환자의 질병 서사의 특이성과 중요성에 대한 관심이 줄어들 것이라는 점이다. 디지털 의학이 부상하는 것은 [두 종류의 경쟁하는competing 서사]의 출현과 일치할 수 있다: [디지털 기술을 통해 수집된 디지털 서사]와 [그러한 기술을 사용하는 환자의 경험적이고 개인적인 서사]이다.

With the increasingly prominent role that technology and big data play in clinical interactions, the risk is that less attention will be paid to the singularity and significance of each patient’s illness narrative. It is not unconceivable that the rise of digital medicine may correspond with the emergence of two sorts of competing narratives: the digital narratives collected via digital technologies and the experiential, personal narratives of the patients using such technologies.

서사 의학 또는 서사 기반 의학은 "질병에 대한 과학적 이해를 증진시키기 위해 서사적 기술을 사용하는 의학에 대한 접근"을 구성하며, 따라서 이러한 서사적 분열naarative schism을 방지하는 하나의 수단으로 볼 수 있다. [서사 의학을 가르치고 실천하는 사람들]은 그것이 [현대적이고 기술적으로 향상된 의학에 대한 대안이 되기 위한 의도가 아니라]고 주장한다. 오히려, 그것은 [근거 기반 의료행위]가 의사와 환자 사이의 대화적 임상적 만남에서 나타나는 [개인적 증거]와 짝을 이룰 수 있고 또 짝을 이루어야 한다는 것을 의료 전문가들에게 밝히는 수단으로 보여진다. 지지자들은 임상 환경에서 [내러티브에 대한 더 나은 관심과 인정]이 [의사의 의학병리학적 지식]과 [환자의 이야기에 포함된 경험적 지식] 사이의 차이를 메우는데 도움을 줄 수 있다고 주장한다.

Narrative medicine, or narrative-based medicine, constitutes “an approach to medicine that employs narrative skills to augment scientific understandings of illness” (Lewis 2011) and can thus be seen as one means of preventing this narrative schism. Those who teach and practice narrative-based medicine claim that it is not intended to be an alternative to modern, technologically enhanced, medicine. Rather, it is seen as a means of revealing to medical professionals that evidence-based practices can and should be paired with the personal evidence that emerges in a dialogic clinical encounter between a doctor and patient (Holmgren 2011; Chin-Yee 2018). Proponents claim that better attention to and appreciation of narratives in the clinical setting can help doctors bridge the gap between their mediopathological knowledge and the experiential knowledge contained in their patients’ stories (Greenhalgh 1999; Greenhalgh and Hurwitz 1999; Launer 1999; Hurwitz 2000).

따라서 서사의학 교육 개입은 의대생들이 그들의 "서사적 역량narrative competence"을 증가시킴으로써 환자와 공유 의사 결정 과정에 참여할 수 있도록 준비하는 중요한 수단으로 작용한다. 이러한 개입은 학생들이 [경청과 관찰 기술을 연마하고, 공감 능력을 자극하며, 성찰과 관점수용 능력을 증가]시키는 것을 목표로 한다. 또한 서사 의학 지지자들은 서사 의학이 더 [상호작용적이고 공감적인 의사-환자 참여의 자극]에만 맞추어져 있지 않다고 주장한다. 영화, 음악, 그림, 조각, 문학 등 예술에 대한 노출과 결합된 [자기성찰 연습]의 이득은 아마도 [동료들과 대중들과의 더 좋고 의미 있는 관계] 뿐만 아니라 [더 나은 자아 인식]으로 이어질 것이다.

Narrative medicine educational interventions thus serve as an important means of preparing medical students’ to engage in the shared-decision making process with their patients (Charon 2008; Charon and DasGupta 2011) by increasing their “narrative competence” (Charon 2007). Such interventions aim to help students

  • hone their listening and observation skills,
  • stimulate their empathic abilities, and
  • increase their capacity for reflection and perspective-taking (Marchalik 2017).

In addition, narrative medicine’s supporters contend that it is not only geared toward the stimulation of a more interactive and empathetic doctor-patient engagement; the dividends of a concerted training in self-reflective practices combined with an exposure to the arts—be it film, music, paintings, sculpture, or literature—will supposedly lead to a better sense of self as well as better and more meaningful relationships with one’s colleagues and the public (Charon 2001; 2006; Yu 2017).


꾸준한 연구 결과는 의료 전문가 훈련에서 [서사 기반 의료행위] 사용의 가치를 계속 보여주고 있다. 최근의 체계적인 검토는 이러한 연구의 영향을 종합하고 분석하기 위해 시도되었다. 하이데트 외 연구진(2016)은 콜롬비아의 서사의학 프로그램에 대한 연구보고를 포함한 의료교육의 예술 기반 과정에 대한 체계적인 검토를 통해 이러한 과정이 의대생들의 공감력, 의사소통, 관찰력, 윤리적 추론 능력 향상과 연결될 수 있음을 발견했다. 바버와 모레노-레기자몬의 서사의학 교육에 대한 문헌검토는(2017)은 9개의 연구만을 포함했지만, 그럼에도 불구하고 이들 출판물에서 네 개의 새로운 주제에 대한 증거를 발견했다.

  • 의사소통 기술을 강조, 특히 공감 능력 증가 
  • 개인적이고 전문적인 성장 
  • 참여 학생들의 즐거움 또는 즐거움 
  • 숙련된 촉진자가 이끄는 소그룹 환경의 눈에 띄는 교육 구조

A steady output of studies continues to valorize the use of narrative-based practices in the training of health care professionals. Recent systematic reviews have attempted to synthesize and analyze the impact of these studies. Haidet et al.’s (2016) systematic review of arts-based courses in medical education, which included studies reporting on Columbia’s narrative medicine program, found that such courses could be linked to increased empathy, communication, observation, and ethical reasoning skills in medical students. Barber and Moreno-Leguizamon’s (2017) literature review of narrative medicine education included only nine studies, but nevertheless found evidence of four emergent themes in these publications:

  • a stress on communication skills, in particular increased empathy;
  • personal and professional growth;
  • pleasure, or enjoyment on the part of participating students; and
  • a noticeable educational structure of small group settings led by skilled facilitators.

저자들은 이러한 보고된 결과의 가치를 인정하면서도 서사의학 교육의 "더 높은 임상적 가치를 확립하기 위한 대규모 자료가 부족하다"고 결론짓는다. 비엘 외 연구진(2017)의 의과대학 교육에서 서술의학에 대한 연구는 이 경우 31개의 관련 출판물을 검토하는 등 그 범위가 더 넓었다. 바버처럼, 저자들은 학생들의 반사적, 공감적, 대인관계적, 사회적 간 능력에 대한 서술적 의학 개입의 가치와 잠재적 이익을 인정하지만, 그들은 "수집된 데이터를 바탕으로, 의학 교육에서 NM[서술적 의학] 접근법의 구조화된 모델이 없다"고 결론짓는다.

While the authors acknowledge the value of these reported results, they conclude that “there is insufficient large-scale data to establish a higher clinical value” (p. 202) of narrative medicine education. Wieżel et al.’s (2017) study of narrative medicine in medical school education was more expansive in its scope, in this case reviewing 31 relevant publications. Like Barber, the authors acknowledge the value and potential benefits of narrative medicine interventions on students’ reflective, empathic, interpersonal, and intersocial capabilities, yet they conclude that “based on the collected data, there is no structured model of NM [narrative medicine] approach in the medical education” (p. 564).

이 연구는 [서사의학을 가르치는 모델]에 대한 문헌에서 사용 가능한 효과의 증거가 무엇인가라는 질문에 대한 포괄적인 답변을 제공함으로써 지속적인 지식 격차를 메우는 것을 목표로 한다.
This study aims to fill a persistent knowledge gap by offering a comprehensive answer to the question: what evidence of effect is available in the literature about models for teaching narrative medicine?

방법들
Methods


우리의 목표는 서사 기반 의학에 대한 이론적 출판물에서 제안된 교육 전략이 보건 교육 환경에 체계적으로 적용되었는지 여부를 확인하는 것이다. 이러한 이유로, 우리의 건강교육 체계적 검토는 임상적 환경이나 비건강교육 환경에서 서사의학 사용을 설명하는 기사가 아니라 의료교육 또는 의료실무자의 지속적인 전문적 발전에 대한 구체적인 서사의학 개입에 대해 보고하는 기사에 초점을 맞출 것이다. 이 검토는 다음의 세 가지 하위 질문에 답하려고 시도할 것이다: 

  • 첫째, 건강 교육에 서술 기반 의학의 구조화된 모델의 증거가 있는가? 그리고 만약 그렇다면, 그것이 일관되게 적용되고 있는가?
  • 둘째, 서술 기반 강의실 개입이 측정 가능한 결과를 초래한다는 증거가 있는가?
  • 마지막으로 보고된 결과의 품질과 특성은 무엇입니까?

Our goal is to ascertain whether or not the pedagogic strategies proposed in the theoretical publications about narrative-based medicine were systematically applied in health education settings. For this reason, our health education systematic review (Gordon 2018) will focus on articles that report on specific narrative medicine interventions in medical education or in the continuing professional development of medical practitioners, not on articles that describe the use of narrative medicine in clinical settings or in non-health education settings. This review will attempt to answer the following three sub-questions:

  • first, is there evidence of a structured model for narrative-based medicine in health education, and if so, is it consistently applied?
  • Second, is there evidence that narrative-based classroom interventions result in measurable outcomes?
  • Finally, what is the quality and nature of the reported outcomes?

문헌 검색
Literature search

우리의 체계적인 검토는 두 단계로 실행되었다. 첫째, 우리는 전자 데이터베이스를 검색했고, 둘째, 우리는 서술 의학 관련 주요 저자와 기사를 대상으로 반복적인 검색을 실행했다. 첫 번째 단계의 기사는 다음과 같은 전자 데이터베이스에서 얻었다. PubMed, Medline, Psychinfo, EBSCO 학술 검색 프리미어 및 간호 및 관련 건강 문헌 누적 지수(CINAHL)가 포함되어 있습니다. 별도의 검색 문자열 목록은 부록에서 확인할 수 있습니다. 가장 관련성이 높은 출처를 검색하기 위한 수단으로 제목, 추상 또는 키워드에 "의학" 또는 "의학 기반 의학"이 포함된 기사를 검색했습니다. 또한 1999년에 서술 의학 또는 서술 기반 의학을 개념으로 설명하는 첫 번째 이론적 출판물과 잠재적 강의실 개입이 출판됨에 따라 2000년부터 발행된 논문으로 검색을 제한했다. 검색어에 대한 합의가 이루어지자 한 저자(M.M.)가 2017년 11월 6일 초기 검색을 실행했다. 이 검색은 2018년 5월 31일에 반복되었다.

Our systematic review was executed in two phases: first, we searched electronic databases; second, we ran an iterative search targeting key authors and articles related to narrative medicine. Articles in the first phase were obtained from the following electronic databases: PubMed, Medline, Psychinfo, EBSCO Academic Search Premier, and the Cumulative Index to Nursing and Allied Health Literature (CINAHL). A list of the separate search strings can be found in the Supplementary Appendix; as a means of retrieving the most relevant sources, we searched for articles that included “narrative medicine” or “narrative-based medicine” in the title, abstract, or keywords. We also limited our search to articles published from 2000 onwards as the first theoretical publications describing narrative medicine or narrative-based medicine as a concept and potential classroom intervention were published in 1999. Once we had reached consensus about the search terms, one author (M.M.) ran an initial search on November 6, 2017. This search was repeated on May 31, 2018.

두 번째 단계에서는 컬럼비아 대학의 서사의학 프로그램의 공동 설립자인 Rita Charon, Sayantani Das Gupta Craig Irvine 및 Maura Spiegel을 대상으로 서사의학 강의실 개입에 대한 주요 기사를 별도로 검색했다. 그런 다음 관련 출처를 찾기 위해 이러한 기사의 참조 목록을 검토했다. 우리는 또한 우리의 연구 질문과 관련이 있을 수 있는 추가 기사를 식별하기 위해 서사의학, 공감 및 의학 교육의 예술에 대한 체계적인 리뷰에서 인용된 작품들을 조사했다. 중복을 제거한 뒤 378건의 글이 남았다.

For the second phase, we ran a separate search on PubMed by author, in this case for the co-founders of Columbia University’s Narrative Medicine Program—Rita Charon, Sayantani DasGupta Craig Irvine, and Maura Spiegel—in order to identify key articles about narrative medicine classroom interventions. We then examined the reference lists of these articles for further relevant sources. We also examined the works cited in systematic reviews on narrative medicine, empathy, and the arts in medical education to identify any additional articles that could be relevant to our research questions (Kuper 2006; Batt-Rawden et al. 2013; Cowen 2016; Barber and Moreno-Leguizamon 2017; Wieżel et al. 2017). After removing duplicates, 378 articles remained.

 

기사선정
Article selection

두 명의 저자(M.M.과 G.V.T.)는 다음과 같은 자격 기준에 기초하여 제목과 요약본을 스캔하여 Cvidence의 전체 텍스트 검토를 위한 관련 기사를 독립적으로 식별했다.
Two authors (M.M and G.v.T.) independently identified relevant articles for full-text review in Covidence by scanning the titles and abstracts on the basis of the following eligibility criteria.

  • 포함 기준: 
    • 학부, 대학원 또는 대학원 수준의 의료 또는 의료 교실 환경에서 서술적 의학 커리큘럼, 과정, 세미나 또는 교수 관행을 설명하는 출판물 
    • 의료 서비스 제공자를 위한 교수진 개발 전문 개발 개입을 설명하는 연구 
    • 질적 및/또는 정량적 평가를 통해 교육학적 도구로서 서술적 의학의 영향을 시험하려는 출판물.

Inclusion criteria: publications that describe narrative medicine curricula, courses, seminars, or teaching practices in a medical or paramedical classroom setting at the undergraduate, graduate, or postgraduate level; studies describing a faculty development professional development intervention for health care providers; publications that attempt to test the impact of narrative medicine as a pedagogic tool with qualitative and/or quantitative assessment.

  • 제외 기준: 
    • 임상 환경에서 서술적 의학 사용에 대해 보고하는 출판물 
    • 서술 의학에 대해 이론화하지만 특정 강의실 환경에서 그것의 사용을 설명하지 않는 출판물 
    • 비의료 환경에서 서술형 의학의 사용을 설명하는 출판물(예: 수의학교) 
    • 서술적 의학을 교육학적 도구로 명시적으로 언급하고 사용하지 않는 출판물 
    • 비영어 출판물; 체계적인 문학 평론

Exclusion criteria: publications that report on the use of narrative medicine in a clinical setting; publications that theorize about narrative medicine but do not describe its use in a specific classroom setting; publications that describe the use of narrative medicine in a non-medical setting (for example, veterinary school); publications that do not explicitly mention and use narrative medicine as a pedagogic tool; non-English publications; systematic literature reviews.

포함 목록을 비교하기 위해 회의를 하고 갈등을 해결한 후, 한 연구원(M.M.)은 자격에 대한 전문 분석을 실시했다. 서사의학 강의실 개입에 대한 총 36개의 연구가 최종 분석에 포함되었다. 그림 1에는 검색 프로세스의 흐름도가 나와 있습니다.
After meeting to compare inclusion lists and resolving any conflicts, one researcher (M.M.) conducted a full-text analysis for eligibility. In total, 36 studies reporting on a narrative medicine classroom intervention were included in the final analysis. Figure 1 contains a flow diagram of the search process.

데이터 추출
Data extraction

한 저자(M.M.)는 전체 텍스트를 검토하고 다음과 같은 일반 정보를 추출했다: 저자, 출판 연도, 강의실 개입 현장, 연구 유형(개입 보고서, 정성 및/또는 정량적 평가 구성요소), 서술 의학 과정 수준 및 분야, 과정 유형(선택, 필수, 교수 개발), 코스 기간 및 참가자 수(참가자 수 포함)에 대해 설명합니다.

또한, 이 추출물은 보고된 서술 의학 과정 내용의 더 자세한 측면을 기록했습니다. 여기에는 다음이 포함됩니다. 코스 자체에 사용된 공식 및 비공식 평가 도구(예: 동료 피드백 또는 의사-작가 및 전문가와의 글쓰기 워크샵 세션)뿐만 아니라 코스에 사용된 특정 예술 형식 또는 이론적 텍스트, 특정 쓰기 과제, 공식 및 비공식 평가 도구 마지막으로, 추출은 또한 교육학적 개입에 대한 정성적 및/또는 정량적 평가를 포함하는 연구에서 보고된 방법, 목표 및 결과를 기록하였다.

One author (M.M.) reviewed the full texts and extracted the following general information: authors, year of publication, site of classroom intervention, type of study (report of intervention, qualitative and/or quantitative assessment component), the narrative medicine course level and field, type of course (elective, required, faculty development), the duration of course, and the number of participants, if mentioned.

In addition, the extraction recorded more detailed aspects of the reported narrative medicine course content. This included: specific art forms or theoretical texts used in the course, specific writing assignments as well as formal and informal assessment tools used in the course itself (for example, peer feedback or writing workshop sessions with a physician-writer and expert). Finally, the extraction also recorded the methods, objectives, and outcomes reported in the studies that included a qualitative and/or quantitative assessment of a pedagogic intervention.

증거 등급
Evidence grading

 

서술형 의학 강의실 개입의 결과를 평가하려고 시도한 연구는 Kirkpatrick 기반 결과 척도 및 증거 척도를 모두 포함하는 BEME(Best Evidence in Medical Education) 글로벌 평가 척도를 사용하여 평가되었다. Kirkpatrick 모델은 원래 기업 조직의 교육 프로그램을 평가하는 수단으로 고안되었으며, 의료 교육을 포함한 고등 교육(Praslova 2010)에서 프로그램의 효과를 측정하는 표준 도구가 되었다. BEME 글로벌 척도는 표 1에서 확인할 수 있습니다.

Studies that attempted to assess the outcomes of a narrative medicine classroom intervention were rated using the Best Evidence in Medical Education (BEME) Global Rating Scale, which includes both a Kirkpatrick-based outcomes scale and a strength of evidence scale (Hammick et al. 2010). Originally conceived as a means of assessing training programs in business organizations (Kirkpatrick 1959, 1976, 1996), the Kirkpatrick model has become a standard tool for gauging the effectiveness of programs in higher education (Praslova 2010) including medical education (Issenberg et al. 2005; Littlewood et al. 2005; Steinert et al. 2006; Colthart et al. 2008; Tochel et al. 2009; Sullivan 2011). The BEME Global Scale can be found in Table 1.

 

 

데이터 추출을 완료한 후 한 작성자(M.M.)는 BEME Global Scale을 사용하여 포함된 기사를 코드화했습니다. 이 단계가 완료되면 두 번째 작성자(G.V.T.)는 무작위로 선택된 5개의 기사에 대한 독립적인 채점을 완료했다. 그 후 두 저자는 그들의 점수를 비교하고 의견 차이를 해결하기 위해 만났다. 보충 표 2는 증거와 결과 점수의 BEME 강도뿐만 아니라 데이터 추출의 핵심 정보를 제공한다.
After completing the data extraction, one author (M.M.) coded the included articles using the BEME Global Scale. Once this step was completed, a second author (G.v.T.) completed an independent grading of 5 randomly selected articles. The two authors then met to compare their scores and resolve disagreements. Supplementary Table 2 provides key information from the data extraction as well as the BEME strength of evidence and outcome scores.

결과.
Results

서사기반 의료 개입을 위한 구조화된 모델의 증거
Evidence of structured model for narrative-based medicine interventions

보건 교육에서 서술 의학에 대한 이론적 출판물은 일반적으로 세 가지 기본 단계로 구성된 교육학적 전략을 설명한다.

  • 첫 번째 단계는 환자 내러니트, 문학 텍스트, 영화 단편, 예술 작품 또는 음악 작품과의 [성찰적 참여]를 포함한다. 컬럼비아의 내러티브 메디컬 프로그램에서 이 단계는 특정 형태의 예술을 [자세히 읽거나 비판적으로 분석하는 것]을 포함하며, 그들의 내러티브 의학 강의실에서 대표적인 방법으로 여겨진다.
  • 이 참여 동안 얻은 통찰력은 [관련된 쓰기 과제 또는 개인적인 성찰]을 통해 교육학적 전략의 두 번째 단계에서 강화된다.
  • 만남은 세 번째 단계에서 더욱 풍성해지는데, 이것은 이러한 [작은 자기 성찰 행위들을 공유하고 토론하는 것]으로 구성되어 있다. 

Theoretical publications about narrative medicine in health education typically describe a pedagogic strategy consisting of three basic steps.

  • The first step involves a reflective engagement with a patient narrative, literary text, film fragment, art work, or piece of music. At Columbia’s Narrative Medicine Program, this step includes a close reading—or critical analysis—of the art form and is considered the signature method in their narrative medicine classrooms (Charon, DasGupta, et al. 2016, p. 181).
  • The insights gained during this engagement are reinforced in the second step of the pedagogic strategy by means of a corresponding writing assignment or personal reflection.
  • The encounter is further enriched in the third step, which consists of sharing and discussing these small acts of self-reflection (Balmer and Richards 2012, p. 2).

다시 말해서, [서사의학 강의실 개입]은

  • 예술 형태나 서사를 만나거나 분석하고,
  • 이 만남을 성찰하고,
  • 주의 깊게 관찰되고 뒷받침되는 환경에서 자신의 발견을 다른 사람들과 공유하는 것을 포함한다.

In other words, a narrative medicine classroom intervention entails

  • encountering and/or analyzing an art form or narrative,
  • reflecting upon this encounter, and
  • sharing one’s discoveries with others in carefully monitored and supportive environment (Charon, DasGupta, et al. 2016).

본 검토에서 서사의학을 교육학적 도구(N = 36)로 사용하는 것에 대해 보고한 연구들 중, (밀접한) 읽기-반성-응답의 3단계 과정의 증거는 대부분의 기사(N = 22)에서 찾을 수 있다. 소수의 과정에서는 성찰적 글쓰기와 토론만 포함했습니다(N = 12). 극소수는 서면 반영(N = 2)을 포함하지 않았다.

Of the studies in this review that reported on their use of narrative medicine as a pedagogic tool (N = 36), evidence of this three-step process of (close) reading-reflecting-responding could be found in the majority of the articles (N = 22). A minority of courses only included reflective writing and discussion (N = 12). A very small minority did not include written reflection (N = 2).

측정 가능한 결과의 증거
Evidence of measurable outcomes

이 검토에서 23개의 연구는 그들의 서술적 의학 교실 개입의 영향을 평가했다. Kirkpatrick 모델에 따라 분류된 연구 결과의 간략한 요약은 표 2에서 확인할 수 있다. 이러한 연구의 측정 및 결과에 대한 자세한 설명은 부록에서 확인할 수 있다.

In this review, 23 studies assessed the impact of their narrative medicine classroom interventions; a brief summary of the findings categorized according to the Kirkpatrick model can be found in Table 2. A detailed description of the measures and outcomes of these studies can be found in the Supplementary Appendix.

 

1단계: 참여
Level one: participation

대부분의 연구에는 1단계 또는 2단계 평가가 포함되었다. 수준 1 결과 측정치(N = 14)를 포함하는 연구는 성과척도로서 조사 또는 피드백 양식에 압도적으로 의존했지만 서사의학, 개입 자체에 대한 긍정적인 학생 반응과 감사, 희망, 만족 또는 기쁨과 같은 긍정적인 효과를 보고했다.
The majority of the studies included level one or two assessments. Studies that included level one outcome measures (N = 14) overwhelmingly relied on surveys or feedback forms as outcome measures but reported positive student reactions to the narrative medicine interventions themselves (Winkel 2010; Ross 2014) and positive effects, such as a sense of gratitude, hope, satisfaction, or pleasure (DasGupta and Charon 2004; Feigelson and Muller 2005; Garrison 2011; Chretien 2015).

2단계: 태도, 인식, 지식 또는 기술의 수정
Level two: modification of attitudes, perceptions, knowledge, or skills

예를 들어, 참가자들의 태도나 인식의 변화에 대해 보고한 연구들(레벨 2a; N = 16)은 그들의 동료들과 더 넓은 전문 커뮤니티에 대한 정체성 증가, 그들의 일에 대한 더 많은 만족웰니스 감각, 또는 문화적 다양성에 대한 더 나은 인식을 발견했다. 임상실습 3학년 학생들을 위한 서사의학 환자 스토리텔링 과정에 대한 크레티엔의(2015) 평가 연구는 예시적인 예를 제공한다. 그 과정 동안, 학생들은 환자를 인터뷰하고, 그들의 인터뷰를 서술형으로 쓰고, 그들의 인터뷰 대상자들과 이 쓰여진 작품을 공유해야 했다. 강의가 끝난 후 포커스 그룹과 학생과 참여 환자 모두를 대상으로 한 인터뷰가 진행됐다. 학생들은 이 연습을 통해 다음을 했다고 보고했다

  • 환자로부터 질병 이상의 것을 발견하는데 도움을 주었고,
  • 천천히 듣고 들을 수 있는 기회를 갖도록 더 개방적으로 만들었으며,
  • 이야기들이 환자 치료에 긍정적인 영향을 미칠 수 있다는 것을 확실히 보여주었다.

Studies that reported on modification of participants’ attitudes or perceptions (level 2a; N = 16) found, for example,

  • increased identification with their peers and the broader professional community (Feigelson and Muller 2005; Balmer and Richards 2012; Al-Imari et al. 2016),
  • more satisfaction with their work and sense of wellness (Feigelson and Muller 2005; Graham 2009), or
  • a better awareness of cultural diversity (DasGupta et al. 2006).

Chretien’s (2015) assessment study of a narrative medicine patient storytelling course for third-year medical clerkship students provides an illustrative example. During the course, students had to interview patients, write up their interview as a narrative, and share this written work with their interviewees. Focus groups and interviews with both students and participating patients were conducted after the course was completed. Students reported that the exercise

  • helped them discover that patients are more than their disease,
  • made them more open to taking the opportunity to slow down and listen, and
  • made clear to them that stories can positively impact patient care.

상당수의 연구는 또한 서사의학 개입의 직접적인 결과로 지식이나 기술의 수정을 평가했다(수준 2b; N = 14). Liben(2012)은 서사의학 워크숍의 교수진 참가자들이 후속 테스트에서 서사적 용어 습득을 입증하고 나중에 이러한 서사의 기술을 교육 및 임상 환경에 적용했다고 보고했다. 마찬가지로, Ross(2014)는 서사의학 과정(평균 점수 51.6–71.5, p < 0.001)을 완료하기 전후에 실시한 서사적 기술 평가에서 유의미한 향상을 기록했다. 커닝햄(2018)은 학생들이 자신의 서술적 성찰에서 다음과 같은 주제를 다루었다는 것을 발견했다: 자기 인식, 공감, 정서적 거리와 연민의 균형. 다른 연구들은 의사소통에 대한 이해와 능력이 향상되었다고 보고했다.
A considerable number of studies also assessed the modification of knowledge or skills as a direct result of the narrative medicine intervention (level 2b; N = 14). Liben (2012) reported that faculty participants in a narrative medicine workshop demonstrated the acquisition of narrative terms in a follow-up test and later applied these narrative skills in teaching and clinical settings. Similarly, Ross (2014) recorded significant improvement in a narrative skills assessment administered before and after the completion of a narrative medicine course (mean scores 51.6–71.5, p < 0.001). Cunningham (2018) found that students addressed the following themes in their written narrative reflections: self-awareness, empathy, and balancing emotional distance and compassion. Other studies reported an enhanced understanding of and capability in communication (Garrison 2011; Arntfield et al. 2013; Welch 2016).

많은 연구들은 학생들이 그들의 환자에 대한 공감과 연결성을 증가시켰다고 보고했다. Sands(2008)는 또한 baseline에 비해서 Interpersonal Reactivity Index를 사용한 개입 후 평가에 따라 공감적 관심empathic concern의 개선을 발견했다. 하지만, 서사의학 개입 전후에 공감 수준을 평가하려는 모든 시도가 긍정적인 결과를 가져온 것은 아니다. 서사의학 세미나 세션에 참석하면 번아웃을 줄이고, 공감 능력을 높이고, 반사 능력을 높이고, 주민들이 업무에서 접하는 다중 스트레스 요인을 처리하는 데 도움이 될 것이라는 윙클 외(2016)의 가설을 Maslach Burnout Inventory, Interpersonal Reactivity Index 및 Self-Care Inventory를 통해 검증하였으며, 참가자가 서술 의학 세미나를 마친 후 1년 후 기준에서 시행하였다. 그 결과에서, 서사의학 개입 이후 공감적 관심이 약간 증가했다고 보고했습니다(+0.76, p = 0.01). 그러나 전체 수준에서 저자들은 번아웃 수준은 높은 수준을 유지했지만 점수에서 큰 차이를 발견하지 못했다.
A number of studies reported that students had an increased sense of empathy for and connection to their patients (DasGupta and Charon 2004; Maurer 2006; Vannatta and Vannatta 2013; McDonald 2015). Sands (2008) also found an improvement in empathic concern (p = 0.056) according to baseline and post-intervention assessments using the Interpersonal Reactivity Index. This being said, not all attempts to assess empathy levels before and after a narrative medicine intervention resulted in positive results. Winkel et al.’s (2016) hypothesis that attending narrative medicine seminar sessions would reduce burnouts, enhance empathy, increase reflective capabilities, and help residents process the multiple stressors the encountered on the job, was tested by means of a Maslach Burnout Inventory, Interpersonal Reactivity Index, and Self-Care Inventory administered at the baseline and one year after participants’ completion of the narrative medicine seminars. The study reported a small increase in empathic concern after the narrative medicine intervention (+0.76, p = 0.01). Yet at the aggregate level, the authors found no significant difference in scores, although burnout levels remained high.

3단계: 행동 변화
Level three: behavioral change

이 검토에 포함된 세 가지 연구는 서술 기반 의학 개입의 결과로 행동 변화를 명시적으로 측정하기 위한 시험을 설계하고 실행했다. 이러한 연구에는 여러 측정 도구가 포함되었으며 세 가지 중 두 가지에는 데이터 삼각측량이 포함되었다. Bhavarju는 서사의학 교수 훈련 개입의 영향을 평가하기 위해 사전 및 사후 리커트 척도 설문지를 사용하여

  • 쓰기 및 쓰기 연습 리딩에 대한 자신감 향상(3.1–4.2)과
  • 독서토론 리딩에 대한 높아진 자신감(3.7–4.4)을 확인했다. 참가자들은 또한
  • 강의에 서사의학 도구를 통합한다(2.0–2.7)고 보고했다. 

Three studies included in this review designed and executed tests to explicitly measure behavioral change as a result of a narrative-based medicine intervention (Balmer and Richards 2012; Arntfield et al. 2013; Bhavaraju and Miller 2014). These studies included multiple measurement tools and two of the three included data triangulation (Balmer and Richards 2012; Arntfield et al. 2013). Using pre- and post-intervention Likert Scale questionnaires to assess the impact of a narrative medicine faculty training intervention, Bhavaraju found an

  • increase in participants’ confidence in writing and leading writing exercises (3.1–4.2) and
  • increased confidence in leading literary discussions (3.7–4.4). Participants also reported
  • integrating narrative medicine tools in their teaching (2.0–2.7).

발머의 교수 교육 프로그램 분석은 전문적 성장(교습 전략 학습, 여러 과정에 이러한 전략 적용), 개인적 성장(관점 수용), 집단적 및 공동적 지원의 증거를 발견했다. (다른 사람, 소속감, 그리고 풍부한 연결감을 봅니다.) Arntfield의 학부 서사의학 선택과목 평가는 3가지 데이터 수집 및 분석 수단을 사용했다. 즉, 개입 전 익명 조사, 포커스 그룹, 개입 후 1.5년 후 추적 조사이다. 따라서 이 연구의 결과는 Kirpatrick 모델의 여러 수준으로 분류될 수 있지만, 참가자들은 커뮤니케이션에 대한 이해와 능력의 향상 형태로 행동 변화를 보고했다.

Balmer’s analysis of a faculty training program found evidence of professional growth (learning teaching strategies, applying these strategies to multiple courses), personal growth (perspective taking), and collective and communal support (seeing the “other,” affiliation, and a sense of rich connectedness). Arntfield’s assessment of an undergraduate narrative medicine elective course used three means of data collection and analysis: an anonymous pre-intervention survey, a focus group, and a follow-up survey 1.5 years after the intervention. The outcomes of this study could thus be categorized on multiple levels of the Kirpatrick model, but participants reported behavioral changes in the form of enhanced understanding of and capability in communication.

레벨 4: 조직 관행 또는 환자 상호 작용의 변화
Level four: change in organizational practice or patient interaction

임상 기술 개발에 대한 서술적 의학 강의실 개입의 장기적인 결과를 측정하기 위한 두 가지 연구가 시도되었다. 조직 관행의 변화와 관련하여, Arntfield의 연구 참가자들은 [(환자의 관점에 대한 개선된 인식이란 형태로) 더 나은 치료 전달]을 보고하였다. 발머의 연구의 목표는 진행 중인 [프로세스-지향 서사의학 교수개발 프로그램]이 참가자들에게 미치는 영향을 탐구하는 것이었다. 그리고 저자들은 그들의 의도가 개인 개입 자체를 평가하는 것이 아니라, [대인 관계와 제도적 관행의 진화하는 변화를 살펴보는 것]이라고 명시적으로 말했다. 이 연구는 교수진 개발 프로그램의 참가자들이 나중에 컬럼비아의 새로운 커리큘럼의 규범과 관행을 형성하는 데 도움을 주었다고 결론지었다. 두 연구 모두 교수세미나의 영향에 대한 분석에서 질적 방법만을 사용했지만, 그럼에도 불구하고 참여자들은 [서사의학적 실천을 더 많이 포함하도록 대학의 의과대학 커리큘럼을 형성]하는 데 결정적이고 측정 가능한 수단hand을 가지고 있다고 확신했다.

Two studies attempted to measure the long-term results of a narrative medicine classroom intervention on clinical skill development (Balmer and Richards 2012; Arntfield et al. 2013). Regarding changes in organizational practice, participants in Arntfield’s study reported better delivery of care in the form of a better awareness of patients’ perspectives. The goal of Balmer’s study was to explore the impact of an ongoing, process-oriented narrative medicine faculty development program on participants, and the authors explicitly stated that their intention was to look at evolving changes in interpersonal relationships and institutional practices, not to assess the individual interventions themselves. The study concluded that the participants in the faculty development program later helped shape the norms and practices in Columbia’s new curriculum. Both studies used solely qualitative methods in their analyses of the impact of the ongoing faculty seminars but were nevertheless confident that those who participated had a decisive and measurable hand in shaping the university’s medical school curriculum to include more narrative medicine practices.

증거품질
Quality of evidence

이 연구에 포함된 소수의 출판물(N = 13)은 개입의 결과를 평가하려고 시도하지 않았으며, 대신 서사의학 수업을 위한 교육 도구 개발에 대한 보고를 선택했다. 예로는 작업장 테마 및 설계(DasGupta 2003) 또는 학생 및 교직원 피드백 가이드에 대한 설명이 있습니다. 이 문서들은 비공식적인 증언 증거나 저자들의 개인적인 의견을 포함하고 있기 때문에, 그들은 오직 1의 BEME 증거 점수만을 수여받을 수 있었다.

A minority of publications included in this study (N = 13) did not attempt to assess the outcomes of their intervention, choosing instead to report on their development of pedagogic tools for the narrative medicine classroom. Examples include descriptions of workshop themes and designs (DasGupta 2003) or student and faculty feedback guides (Wald 2010; 2011; Charon, Hermann, et al. 2016). As these articles included informal testimonial evidence or the authors’ personal opinions, they could only be awarded a BEME strength of evidence score of 1.

나머지 논문의 대부분(N = 16)을 2로 채점했는데, 이는 일반적으로 표본 크기가 작거나 하나의 평가 도구만 사용되었기 때문에 결과가 모호하다는 것을 의미한다. BEME 척도에서 5개의 연구를 3점 만점으로 채점했는데, 이는 이러한 연구의 결론이 결과와 연관될 가능성이 높다는 것을 의미한다. 단 하나의 연구만이 4점을 채점했는데, 이는 결과가 분명하고 사실일 가능성이 높다는 것을 의미한다. 우리의 평가에 따르면, 이 체계적인 검토에 포함된 어떤 연구도 명확한 결과를 제공하지 않았다.

We scored the majority of the remaining articles (N = 16) with a 2, meaning that the results were ambiguous, usually because of the small sample size or the fact that only one assessment tool was used. We scored five studies as a 3 on the BEME scale, meaning that conclusions in these studies could likely be linked to the results; only one study scored a 4, meaning the results were clear and likely to be true. According to our appraisal, none of the studies included in this systematic review provided unequivocal results.

논의
Discussion

이 체계적 검토는 다음의 세 가지 하위 질문에 대한 답변을 시도했다.

  • 첫째, 교육에서 서술 기반 의학의 구조화된 모델의 증거가 있는가? 
  • 둘째, 서술 기반 강의실 개입이 측정 가능한 결과를 초래한다는 증거가 있는가? 
  • 마지막으로 보고된 결과의 품질과 특성은 무엇입니까?

This systematic review attempted to answer the following three sub-questions:

  • first, is there evidence of a structured model for narrative-based medicine in education?
  • Second, is there evidence that narrative-based classroom interventions result in measurable outcomes?
  • Finally, what is the quality and nature of the reported outcomes?

교육학적 접근 방식의 일관성
Consistency in pedagogic approach

우리의 검토는 서술 기반 보건 교육 개입에 대한 일관되고 복제 가능한 방법론과 교육학적 접근법의 명확한 증거를 발견했다. 기사에 설명된 세미나나 강좌는 거의 항상 읽기-성찰-응답read-reflect-respond의 동일한 3단계 모델을 따른다. 
사실, 마지막 단계(응답/응답)는 이 연구에 포함된 모든 기사에 포함되었습니다. 특히 성찰 운동은 중요한 전문적 기술인 [임상추론]과 직접적으로 연결될 수 있다. Maurer(2006)가 설명했듯이, 성찰 연습은 학생들이 자신의 경험과 편견의 원천을 포함한 광범위한 정보를 처리하도록 훈련시킴으로써 학생들의 임상 추론 기술을 촉진하고 개선할 수 있다.

Our review found clear evidence of a consistent and replicable methodology and pedagogic approach for narrative-based health education interventions. The seminars or courses described in the articles almost always followed the same three-step model of read-reflect-respond; in fact, the last step (response/discussion) was present in all of the articles we included in this study. The reflective exercises, in particular, can be directly linked to an important professional skill: clinical reasoning. As Maurer (2006) describes, reflective exercises can promote and refine students’ clinical reasoning skills by training them to process a wide range of information, including their own experiences and sources of bias.

측정 가능한 결과의 차이
Variance in measurable outcomes

BEME Global Scale의 증거 강도와 Kirkpatrick 기반 결과를 사용하여 평가되는 학습 유형과 결과의 품질을 코드화함으로써, 우리는 교육학적 전략으로서 서술 의학에 대한 더 넓은 관점을 취할 수 있었다. 이 검토에 포함된 연구의 우세성은 Kirkpatrick의 처음 두 가지 결과 수준(참여, 태도나 인식의 수정, 지식과 기술의 수정)에 대해 보고했는데, 아마도 이 두 수준이 테스트와 설문조사를 통해 평가하기가 더 쉽기 때문일 것이다. 그러나 이러한 연구는 두 가지를 시사한다.

  • 첫째, 이 학생들은 과정 설계자에 의해 요약된 서술적 의학의 목표와 목적에 따라 기술을 배웠다. 
  • 둘째, 이 학생들은 그들이 수강한 과정의 목표와 목적을 의식한다.

By using the BEME Global Scale strength of evidence and Kirkpatrick-based outcomes to code the type of learning being assessed and the quality of the results, we were able to take a broader view of narrative medicine as a pedagogic strategy. The preponderance of studies included in this review reported on Kirkpatrick’s first two outcome levels (participation, modification of attitudes or perceptions, and modification of knowledge and skills), probably because these two levels are easier to assess with tests and surveys. Still, these studies indicate two things:

  • first, these students have learned skills in accordance with the goals and purpose of narrative medicine as outlined by course designers;
  • second, these students are conscious of the goals and purpose of the course they have taken.

이 검토의 연구는 선택 과목과 필수 과목 모두에 대해 보고했지만, 서사의학 과목을 적극적으로 선택한 학생들은 과목의 목적과 내용에 더 긍정적인 경향이 있었을 수 있다는 점에 주목할 필요가 있다. 유념해야 할 또 다른 포인트는 포함된 연구의 참여자 수가 적었다는 것이다. 이는 서사의학 활동이 소규모 그룹 환경에 가장 적합하다는 사실에 기인한다. 그럼에도 불구하고, 이것은 의과대학 프로그램에서 서술형 의학의 광범위한 통합을 주장하기 더 어렵게 만든다.

While the studies in this review reported on both elective and required courses, it is worth noting that students who actively chose to take a narrative medicine course may have been more positively predisposed to the course aims and content. Another point to keep in mind is that the number of participants in the included studies was low; this is arguably due to the fact that narrative medicine activities are best suited to small group settings. Nevertheless, this makes it more difficult to argue for the broader integration of narrative medicine in medical school programs.

증거의 강도의 차이
Variance in strength of evidence

증거의 강도가 항상 이상적인 것은 아니지만, 서사의학 개입의 결과를 평가하려고 시도한 연구는 거의 전적으로 긍정적인 결과를 측정할 수 있었다. 결과가 대수롭지 않거나 심지어 부정적이었던 사람들은 겉으로 보기에 예상치 못한 결과에 대해 상세한 설명을 해주었다. 예를 들어, Winkel 외(2016)와 Liu 외(2016)는 태도나 인식의 작은 변화, 심지어 부정적인 변화에 대한 잠재적 설명으로 과중한 작업량, 스트레스, 피로, 그로 인한 직업에 대한 환멸과 같은 개입 요인을 들었다. 많은 미국 의과대학과 레지던트 프로그램의 스트레스와 집중적인 특성 때문에, 우리는 이러한 설명들이 타당하다는 것을 알았다.
While the strength of the evidence was not always ideal, the studies that attempted to assess the outcomes of a narrative medicine intervention were able to measure almost exclusively positive outcomes. Those whose results were insignificant or even negative provided detailed explanations for the seemingly unexpected outcomes. For example, Winkel et al. (2016), and Liu et al. (2016) cited intervening factors like heavy workloads, stress, fatigue, and a resulting disillusionment with the profession as potential explanations for the small, even negative, modifications in attitudes or perceptions. Due to the stressful and intensive nature of many American medical school and residency programs, we found these explanations reasonable.

이 검토의 장점과 단점
Strengths and weaknesses of this review

우리 연구에 포함된 기사에 보고된 결과는 유망하지만, 편향의 핵심 원천인 연구의 위치를 다룰 필요가 있다. 보고된 36개의 서사의학 과정 또는 세미나 중 89%(N = 32)가 미국에서 수행되었으며, 이 중 36%(N = 13)가 컬럼비아 대학교에서 유래되었다. 첫눈에, 이것은 콜롬비아나 미국을 바깥에서 이 교육학 도구의 전이가능성에 대한 우려를 불러일으킬 수 있다. 하지만, 우리가 BEME 증거 등급의 강도에 대해 3점 또는 4점을 받은 6개의 연구 중, 단지 3점만이 컬럼비아에서 유래되었습니다. 다른 세 가지 연구는 미국과 캐나다의 다른 대학에서의 개입에 대해 보고했다. 게다가, 아마도 더 많은 교육자들이 그것의 목표와 구현 수단에 대해 알게 되면서, 시간이 지남에 따라 비 콜롬비아 출판물의 증가를 볼 수 있다. 2003년과 2010년 사이에 발표된 이 검토에 포함된 11개 연구 중 55%(N = 6개)가 컬럼비아 출신이었고, 대조적으로 2011년부터 2018년까지 발표된 25개 연구 중 28%(N = 7개)만이 컬럼비아 출신이었다. 서술적 의학 교육 개입에 대한 국제 출판물들의 보도와 함께 유사한 패턴이 나타날지는 두고 봐야 한다.
While the results reported in the articles included in our study are promising, a key source of bias needs to be addressed: the location of the studies. Of the 36 reported narrative medicine courses or seminars, 89% (N = 32) were conducted in the United States and 36% (N = 13) of these originated from Columbia University. At first sight, this may raise concerns about the transferability of the pedagogic tools beyond Columbia or the US. However, of the six studies that we scored a 3 or 4 on the BEME strength of evidence scale, just three originated from Columbia. The other three studies reported on interventions at other universities in the US and Canada. Furthermore, one can see an increase in non-Columbia publications over time, presumably as more educators learned about its goals and means of implementation. Of the 11 studies included in this review that were published between 2003 and 2010, 55% (N = 6) were from Columbia; in contrast, of the 25 studies published from 2011 to 2018, just 28% (N = 7) were from Columbia. It remains to be seen whether or not a similar pattern will emerge with international publications reporting on narrative medicine educational interventions.

비엘 외 연구진(2017)과 바버와 모레노-레기자몬 연구진(2017)은 체계적인 리뷰에 따르면, [의대 개입의 맥락에서 명확한 서사의학 방법론을 찾을 수 없었다]고 결론짓는다. 우리의 연구는 그 반대라는 것을 보여줍니다. 이러한 변화는 우리 연구에서 장점을 구성하는 두 가지 요인의 결과일 수 있다. 첫째, 우리의 평가 방법인 BEME 글로벌 등급 척도는 보고된 결과에 대한 보다 미묘한, 투명한 분석을 용이하게 했다. 둘째, 우리의 체계적인 검토는 바버의 9개 기사 중 3개 기사만 중복되고 27개 기사 중 8개 기사만 중복되는 등 더 크고 다른 연구 세트를 산출했다. 우리가 BEME에게 가장 높은 증거 점수를 준 6개의 기사 중, 오직 3개만이 비엘의 연구에 포함되었고 1개는 바버의 연구에 포함되었다.

Wieżel et al. (2017) and Barber and Moreno-Leguizamon’s (2017) conclude in their systematic reviews that they could find no clear narrative medicine methodology in the context of medical school interventions; our study indicates the opposite. This variation can be the result of two factors, both of which constitute strengths in our study. First, our method of assessment, the BEME Global Rating Scale, facilitated a more nuanced and transparent analysis of the reported outcomes. Second, our systematic review yielded a larger and different set of studies, with only three overlapping articles out of Barber’s nine included articles and just 8 overlapping articles out of Wieżel’s 27 included articles. Of the six articles that we gave the highest BEME strength of evidence scores, only three of were included in Wieżel’s study (Arntfield et al. 2013; Bhavaraju and Miller 2014; Chretien 2015) and one in Barber’s (Chretien 2015).

우리는 서사기반 의학 개입이 의대생들에게 긍정적이고 측정 가능하며 복제 가능한 영향을 미치며 의대생의 전문적이고 개인적인 발전을 자극하는 의미 있는 도구가 될 수 있다고 결론짓는 것이 타당하다고 생각한다. 이 검토에 포함된 연구는 또한 이러한 개입이 자기 성찰과 공감을 자극할 수 있으며 학생들이 다른 관점이나 각도에서 환자에 대해 생각할 수 있도록 도와줌으로써 의사와 환자 관계에 대한 개념을 수정하는 데 도움이 될 수 있음을 나타낸다. 그러나 서사의학 수업 개입의 장기적 영향을 검증하기 위한 종단적 연구가 없다면, 우리는 서술적 의학 개입이 미래에 더 참여적이고 공감적이며 궁극적으로 효과적인 의료 전문가로 귀결될 것이라고 분명하게 결론 내릴 수 없다.

We consider it reasonable to conclude that narrative-based medicine interventions have a positive, measurable, and replicable effect on medical students and could constitute a meaningful tool to stimulate medical students’ professional and personal development. The studies included in this review also indicate that such interventions can stimulate self-reflection and empathy and that they can help students think about their patients from a different perspective or angle, thus helping them revise their notions about the doctor-patient relationship. Yet without longitudinal studies to verify the long-term impact of narrative medicine classroom interventions, at this point, we cannot unequivocally conclude that narrative medicine interventions will result in more engaged, empathic, and ultimately effective medical professionals in the future.

결론들
Conclusions

컬럼비아의 서사의학 프로그램의 설립자들은 "서사에 진입하는 것, 그리고 세계에 대한 자신의 관점을 바꾸는 것이 (서사의학) 교육의 핵심"이라고 주장한다(Charon et al., p. 147 서사의학의 경우, 훈련의 이점은 세 가지가 되어야 한다.

  • 환자의 관점을 드러내며,
  • 자기 성찰을 촉진하며,
  • 동료들 사이에 정서적 지원을 제공하는 수단이어야 한다.

다시 말해서, 그 결과는 나중에 의료 전문가들이 자신에 대한 인식, 그들의 감정과 행동에 의미 있게 성찰할 수 있는 능력, 동료들과의 관계, 그리고 환자들과의 상호 작용 속에서 명확하게 드러나야 한다.

The founders of Columbia’s narrative medicine program claim that “to enter a narrative and have one’s perspective of the world altered is at the heart” of the pedagogic practice (Charon et al. 2016, p. 147). In the case of narrative medicine, the benefits of the training should be threefold:

  • to reveal patients’ perspectives,
  • to facilitate self-reflection, and
  • as a means of providing emotional support amongst colleagues (Holmgren et al. 2011, p. 261).

In other words, the results should later be apparent in medical professionals’ awareness of themselves, in their ability to reflect meaningfully upon their emotions and actions, in their relationships with their colleagues, and in their interactions with their patients.

이 연구의 기사들은 서술 의학은 앞서 언급한 두 범주(—더 미묘한 환자 관점과 더 큰 자기 성찰 능력—)에서 긍정적인 결과를 이끌어 낼 수 있다고 주장해 왔다. 그러한 개입의 장기적 영향이 환자에 의해 느껴지는지 또는 그러한 개입이 환자 치료에 긍정적인 영향을 미치는지는 여전히 불분명하다. 서사의학의 기본 목표 중 하나가 정말로 겸손, 개방, 공감으로 환자의 이야기에 접근하는 것이라면, 이러한 목표들을 교실 환경에서 임상적 만남으로 옮기는 것은 더 많은 연구와 가치 발현을 할 가치가 있다. 다시 말해서, 서사의학의 이상적 실천과 실제 실천 사이의 격차에 대한 더 많은 연구가 필요하다. 매일매일 환자를 진료할 때, [서사의학 수업에서 가르친 해석과 성찰의 기술]이 졸업 후 실제로 학생들에 의해 구현되는지, 어떻게, 그리고 어느 정도까지 구현되는지를 봐야 한다.

While the articles in this study have argued that narrative medicine can lead to positive results in the first two aforementioned categories—more nuanced patient perspectives and a greater capacity for self-reflection—it is still unclear whether the long-term impact of such interventions are felt by patients, or whether such interventions positively impact patient care. If one of the cornerstone goals of narrative medicine is indeed to approach a patient’s story with humility, openness, and empathy (Yu 2017), the transfer of these goals from the classroom setting to the clinical encounter deserves further study and valorization. In other words, more research into the gap between the ideal and real practice of narrative medicine is needed to determine if, how, and to what extent the skills of interpretation and reflection taught in the narrative medicine classroom are actually implemented by students after graduation when they engage with patients in their everyday practice.

이 검토가 시사한 바와 같이, 교육학적 개입으로서의 서사의학은 일관되게 복제 가능한 도구와 전략을 가지고 있다. 그리고, 서사기반 접근법의 목표와 미덕을 찬양하는 이론적 출판물이 부족하지 않지만, 그러한 출판물을 뒷받침하는 이념적 합의가 있는지 여부를 결정하기 위해 더 많은 연구가 필요하다. 예를 들어, scoping review 서사 기반 접근 방식에서 의료인의 가치와 자질이 필수적이거나 중요하다고 간주되는지를 명확히 하는 데 도움이 될 수 있다. 이러한 연구는 또한 이러한 가치와 자질을 다른 의과대학 및 전문 의료 환경에서 암시적 또는 명시적으로 가르치는 역량과 비교하는 방법을 결정할 수 있다.

As this review has indicated, narrative medicine as a pedagogic intervention has a consistent replicable set of tools and strategies. And, while there is no lack of theoretical publications extolling the goals and virtues of a narrative-based approach, more research is needed to determine whether or not there is an ideological consensus undergirding such publications. A scoping review could help clarify, for example, which values and qualities of a medical practitioner are considered essential or important from a narrative-based approach. Such a study could also determine how these values and qualities compare with the competencies implicitly or explicitly taught in other medical school and professional health care settings.

용어집Glossary
내러티브(기반) 의학: 질병의 이야기를 인식하고, 흡수하고, 해석하는 이러한 기술을 가진 의학의 실천; 건강 관리의 새로운 틀로서, 그것은 치료를 받고 있는 사람들을 인식하고 존중하는 것보다 효과적인 건강 관리 시스템을 만드는 것을 목표로 한다.
Narrative-(based) medicine: The practice of medicine with these skills of recognizing, absorbing, interpreting by the stories of illness; as a new frame for health care, it aims to create an effective health-care system than recognizing and respecting the persons undergoing care.
Marini MG. 2015. Narrative medicine: bridging the gap between evidence-based care and medical humanities. eBook: Springer. p. 143.


Med Teach. 2019 Jul;41(7):802-810. doi: 10.1080/0142159X.2019.1584274. Epub 2019 Apr 14.

Narrative medicine as a medical education tool: A systematic review

Affiliations collapse

Affiliation

1a Julius Center for Health Sciences and Primary Care , University Medical Center Utrecht , Utrecht , The Netherlands.

PMID: 30983460

DOI: 10.1080/0142159X.2019.1584274

Abstract

Aim: Narrative medicine has been promoted as an innovative and effective means of stimulating medical students' professional development by teaching them to approach their patients' experiences of illness with more understanding and compassion. This systematic literature review aims to answer the following question: what evidence of effect is available in the literature about models for teaching narrative medicine? Methods: We conducted a narrative review of 36 articles and used the Best Evidence in Medical Education (BEME) Global Scale and Kirkpatrick Scale for strength and importance of evidence to categorize reported assessment strategies and to evaluate the effectiveness of their narrative medicine programs. Results: We found evidence that narrative medicine is an effective pedagogic tool with a clear and replicable structure and methodology. We also determined that a positive impact could be measured when pertaining to participation and modification of attitudes, knowledge, and skills. However, unequivocal evidence of the effect of narrative medicine on students' behavior or ongoing interaction with colleagues and patients is still lacking. Conclusion: While many recent publications describe the goals and virtues of a narrative-based approach, more research is needed to determine whether or not there is an ideological consensus undergirding this approach. In addition, it is still unclear whether the long-term impact of narrative medicine classroom interventions are felt by patients, or whether such interventions positively impact patient care.

해부학에 대해서 왜 충분히 알지 못하는가? 내러티브 리뷰(Med Teach, 2011)
Why don’t they know enough about anatomy? A narrative review
E. M. BERGMAN1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER3

 

 

 

서론
Introduction

'의사들에게 인체는 일상적으로 조사와 개입의 초점이다.' 해부학자들과 임상의사들 모두 안전하고 효율적인 임상실천을 보장하려면 해부학과 개인의 변화에 대한 정확한 지식이 필수적이라는 데 동의한다. 또한 임상 지식과 기술의 개발과 유지를 뒷받침한다. 따라서 여러 학술지에 실린 출판물들이 오늘날 의대생들의 해부학적 지식 감소 문제를 부각시켰는데, 이는 최악의 경우 의료 오류를 초래할 수 있기 때문이다. 이 문제의 존재에 대한 경험적 증거가 없음에도 불구하고, 이 문제에 대한 책임을 다음 요소들 중 하나 이상에 돌리는 저자들에 의해 지속적으로 강조된다.

‘For doctors, the human body is the focus of investigation and intervention on a daily basis’ (Turney 2007, p. 104). Both anatomists and clinicians agree that accurate knowledge of anatomy and individual variations is vital to ensure safe and efficient clinical practice. It also underpins the development and retention of clinical knowledge and skills (Dangerfield et al. 2000; Fasel et al. 2005; Raftery 2006). It is therefore worrying that publications in diverse journals have highlighted the problem of decreased anatomical knowledge of today's medical students, which, in a worst case scenario, might lead to medical errors. Despite the absence of empirical evidence for the existence of this problem, it is persistently emphasised by authors who lay the blame for it on one or more of the following factors:

  • 해부학은 의학적으로 자격이 없는 선생님들에 의해 가르쳐진다. 해부학은 의학적인 배경이 없는 직원들에 의해 점점 더 많이 가르쳐지고 있는데, 그들은 왜 과목을 가르치는지 또는 왜 그것이 임상적인 관점에서 관련이 있는지에 대한 통찰력이 부족할 수 있다.
  • 핵심 해부학 커리큘럼의 부재. 해부학 커리큘럼을 사용 가능한 시간에 맞추기 위해, 어떤 경우에는 직업적 관련성에 관계없이 해부학의 모든 측면을 제거했다. 여기에는 교육 프로그램에서 특정 신체 부위, 배아 및/또는 조직학이 삭제되는 것이 포함되었다.
  • 해부학을 가르치는 도구로 사용이 감소. 시체 해부학의 오랜 방법에 의한 해부학 교수법은 주로 시간 및/또는 금전적 제약으로 인해 감소하고 있다.
  • 해부학을 맥락 속에서 가르치지 않음. 해부학은 임상 기술, 병리학 또는 방사선학과 같은 관련 문맥 안에서 가르쳐야 한다.
  • 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼). 통합 커리큘럼에서 기초 및 임상 과학을 동시에 가르친다(수평적 통합), 임상과학은 초기에 도입되는 반면, 기초과학은 커리큘럼의 말년에 지속적으로 관심을 기울이고 있다(임상과학의 통합). 또한 통합 커리큘럼을 갖춘 많은 의과대학들은 공식적인 기초과학 교육을 포기하고 대신 (의학 이외의) 촉진자가 감독하는 '자기주도 학습'을 통해 학생들이 이러한 영역을 탐색하도록 자극한다. 이러한 커리큘럼 내에서 해부학은 단편적으로 가르쳐질 가능성이 높으며, 학생들은 더 이상 전신의 해부학에 대한 일관되고 전체적인 그림을 얻지 못한다고 주장한다.
  • 해부학적 지식을 평가하는 방법. 실용적인 이유로, 해부학적 지식은 객관식 문제에 의해 점점 더 많이 평가되고 있는데, 여기서 좋은 '파워-응시생'은 종종 방해물을 제거하는 독창성을 통해 잘 한다. 또한 경각심을 주는 것으로 간주되는 것은 시험된 각 분야에서 최소 역량의 요건을 제거하는 것이다.
  • 해부학 교수 시간의 감소. 학부 의학 커리큘럼에서 가르칠 수 있는 많은 과목과 역량이 해부학 교육에 사용할 수 있는 시간을 줄였습니다.
  • 해부학의 수직적 통합에 대한 무시. 교육 과정 내의 수직적 통합은 종종 단방향이다. 임상 주제는 의학 커리큘럼의 초기 몇 년(전통적으로 해부학과 같은 기초과학 수업을 위한 시간표)에 통합되지만, 기초과학은 커리큘럼의 말년에 가르치는 것이 훨씬 덜 흔한 것으로 인식된다.
  1. Anatomy is taught by non-medically qualified teachers Anatomy is increasingly taught by staff with non-medical backgrounds, who may lack insight into the reasons why a subject is taught or why it is relevant from a clinical perspective.
  2. The absence of a core anatomy curriculum In order to fit the anatomy curriculum into the available time, in some cases, all aspects of anatomy were pruned, irrespective of vocational relevance. This included deleting specific body regions, embryology and/or histology from the educational programme.
  3. Decreased use of dissection as a teaching tool Anatomy teaching by the time-honoured method of cadaveric dissection is decreasing, mostly due to time and/or money constraints.
  4. Anatomy is not taught in context Anatomy should be taught within relevant contexts, such as clinical skills, pathology or radiology.
  5. Integrated curricula (problem-based learning or systems-based curricula) In integrated curricula, basic and clinical sciences are taught simultaneously (horizontal integration), with clinical sciences being introduced in the early years while continued attention is being paid to basic sciences in the later years of the curriculum (vertical integration). Additionally, many medical schools with integrated curricula have abandoned formal basic science teaching and instead stimulate students to explore these areas through ‘self-directed learning’, supervised by (non-medical) facilitators. Within these curricula, anatomy is likely to be taught piecemeal, and it is claimed that students no longer gain a coherent, overall picture of the anatomy of the whole body.
  6. The way anatomical knowledge is assessed For practical reasons, anatomical knowledge is increasingly assessed by multiple choice type questions, wherein good ‘power-test takers’ often do well through their ingenuity in eliminating distracter items (Cahill & Leonard 1999). What is also considered alarming is elimination of the requirement of minimal competence in each of the disciplines tested.
  7. Decrease in anatomy teaching time The multitude of subjects and competencies to be taught in the undergraduate medical curriculum has diminished the amount of time available for anatomy education.
  8. Neglect of vertical integration of anatomy teaching Vertical integration within curricula is often unidirectional. Whilst clinical topics are integrated in the early years of the medical curriculum (traditionally the time slot for basic science teaching like anatomy), it is perceived to be far less common for basic sciences to be taught in the later years of the curriculum.

위의 요소들은 1990년 이후에 출판된 32개의 논문(표 1)에서 발췌하였다. 이 논문들은 교육, 해부학, 외과 또는 방사선 저널에 실렸으며, 영국 의학 저널과 랜싯과 같은 일반 의학 저널에도 실렸다. 대부분의 기사는 제목에 있는 키워드를 검색하여 검색되었고, 다른 기사는 관련 기사의 참조를 면밀히 조사하여 검색되었다. 해부학적 지식이 침식되고 있다는 주장의 심각한 함축적 의미와 이를 뒷받침할 확실한 증거가 없는 현재 상황을 고려해 주장이 어느 정도 진실을 갖고 있는지, 그렇다면 어떤 요인이 영향을 미치는지를 조사했다. 위에 열거된 8가지 요소는 부정적인 영향을 지원하고 대처하는 데 도움이 되는 경험적 증거를 식별하기 위한 검토의 출발점이 되었다. 체계적인 문헌 검색 방법을 설명한 후, 우리는 검토가 각 요소와 관련하여 무엇을 드러냈는지 논의한다. 마지막으로, 우리는 결과에 대해 논의하고 추가 연구를 위한 권장 사항과 함께 결론을 제시한다.

The above factors were extracted from 32 articles (Table 1) published after 1990 (29 different first authors, nine of which held their primary posts in an anatomy department). The articles were published in educational, anatomical, surgical or radiological journals, but also in general medical journals such as the British Medical Journal and The Lancet. Most articles were retrieved by a search for keywords in the title, others by scrutinising references of relevant articles; they were mostly published as an editorial, letter/correspondence, commentary, essay or matter for debate and generally contained very little information to underpin the statements that were made. Considering the serious implications of the claim that anatomical knowledge is being eroded as well as the current lack of firm evidence to support it, we investigated whether the claim holds some truth and, if so, which factors influence it. The eight factors listed above served as the starting point for a review aimed at identifying empirical evidence to support, and help deal with, their negative effects. After describing the methods of our systematic literature search, we discuss what the review revealed in relation to each factor. Finally, we discuss the findings and present conclusions with recommendations for further research.

 

방법들
Methods

각 요인에 대해 키워드를 선택하고 게시 및 Medline을 검색하는 데 사용됩니다. 모든 검색은 언어(영어, 네덜란드어, 독일어)와 출판 날짜(1950-2007)에 의해 제한되었다. 검색된 기사의 제목과 요약본을 선별한 다음, 관련될 가능성이 있는 기사의 전문을 인쇄하고 읽었습니다. 다음으로, 이러한 관련 기사에 대한 참조 검색을 수행했습니다(그림 1은 검색 흐름 프로파일을 보여줍니다). 의학 이외의 분야(예: 물리치료, 방사선학, 치과, 수의학, 직업치료 또는 간호학)의 학생들 사이에서 수행된 연구는 제외되었다.
Keywords were selected for each factor and used to search Pubmed and Medline. All searches were limited by language (English, Dutch and German) and publication date (1950–2007). The titles and abstracts of the retrieved articles were screened, after which the full text of potentially relevant articles was printed and read. Next, a reference search of these relevant articles was performed (Figure 1 shows a search flow profile). Studies conducted among students of disciplines other than medicine (e.g. physiotherapy, radiology, dentistry, veterinary medicine, occupational therapy or nursing) were excluded.

비의료자격 교사의 해부학 교수 영향
The influence of teaching of anatomy by non-medically qualified teachers

해부학적 지식이 의사 면허가 없는 교수가 가르칠 때 부정적인 영향을 받는다는 주장은 두 가지 의문을 제기한다.

  • (1) 해부학은 점점 더 자격을 갖추지 못한 직원들에 의해 가르쳐지고 있다는 것이 사실인가요? 
  • (2) 만약 그렇다면, 이것이 학생들의 해부학적 지식에 영향을 미치는가? 전 세계적으로 비의료적격 교수진에 의해 해부학이 점점 더 많이 가르쳐지는 경향이 있는 것 같다(표 2). 

The argument that anatomical knowledge is negatively influenced when it is taught by non-medically qualified staff raises two questions:

  • (1) is it true that anatomy is increasingly taught by non-medically qualified staff and
  • (2) if so, does this affect students’ anatomical knowledge? There does seem to be a trend throughout the world for anatomy to be increasingly taught by non-medically qualified teaching staff (Table 2).

이를 뒷받침할 수 있는 가장 설득력 있는 자료는 프라이드 & 블랙(2005)에 의해 발표되었는데, 프라이드 & 블랙은 1983/1984와 2003/2004년 사이에 스코틀랜드의 5개 의학부에서 의학 자격을 갖춘 해부학 교사의 비율이 56%에서 41%로 감소했다고 밝혔다. 게다가, 몇몇 연구들은 의학적으로 자격을 갖춘 해부학 교사들이 일반적으로 의학적으로 자격이 없는 동료들보다 나이가 많다고 보고했다. 예를 들어 반 마메렌(2004)은 네덜란드의 8개 의학부의 해부학 교사 중 38%만이 의학적으로 자격을 갖추고 있으며 이 비율의 3/4 이상이 50세 이상임을 보여주었다. 이는 나이가 많고, 의학적으로 자격이 있는, 젊고, 의학적으로 자격이 없는 교사들을 그들의 의학적인 지식 이외의 다른 자질로 임명할 수 있는 것으로 대체하는 것을 제안한다. 불행하게도, 우리가 검토한 연구들 중 어느 것도 교직원의 자격과 학생들의 해부학에 대한 지식 사이에 연관성이 있는지를 조사하지 않았다. 그래서, 두 번째 질문은 아직 답이 없다.

The most convincing data to support this were published by Pryde & Black (2005), who revealed that between 1983/1984 and 2003/2004, the percentage of medically qualified anatomy teachers in the five medical faculties of Scotland decreased from 56% to 41%. Furthermore, some studies reported that medically qualified anatomy teachers were generally older than their non-medically qualified colleagues. Van Mameren (2004) showed for example that only 38% of anatomy teachers in the eight medical faculties of The Netherlands were medically qualified and that of this percentage more than three quarters were aged 50 years or older. This suggests replacement of older, medically qualified, by younger, non-medically qualified, teachers, who may be appointed for other qualities than their medical knowledge. Unfortunately, none of the studies we reviewed examined if there was a connection between the qualifications of teaching staff and students’ knowledge of anatomy; so, question two remains unanswered.

해부학 교수진의 자격에 대한 논의에서 자주 제기되는 주장은 [연구자들과 임상의들이 그들의 특정한 전문 분야의 교수에만 관심]이 있으며, 이것은 학생들이 견고한 지식 기반을 구축하는 데 도움이 되지 않는다는 것이다. Halasz (1999)는 다음과 같은 흥미로운 해결책을 제안했다. '대안이 무엇일까? 우선, 우리는 유능한 비전문가가 가르치도록 할 수 있다. 무엇이 널리 중요하고 적용 가능한지를 아는 사람은 전문성이 매우 부족하고 종종 통찰력이 부족한 초전문가보다 훨씬 더 잘 학생들을 지도할 수 있다.' 이 인용문에서는 Competent 는 조작적 단어이다. 왜냐하면, 학생들의 지식이 '누가 가르치는가'에 의해 강하게 영향을 받는다는 가정하에, 자격은 교육의 질에 관련될 수 있지만, 반드시 그것에 결정적일 필요는 없기 때문이다. 예를 들어, 교사 개개인의 교육열과 교육적 능력은 그들의 직업적 배경보다 훨씬 더 큰 비중을 차지한다.

An argument that is frequently put forward in discussions on the qualifications of anatomy teaching staff is that researchers and clinicians are only interested in teaching (at the frontier of knowledge) in their particular areas of expertise, which does not help students to build a solid knowledge base. Halasz (1999) proposed the following interesting solution: ‘What are the alternatives? For one, we can get the competent non-specialist to teach. A person who knows what is broadly important and applicable is much better able to instruct a student than the super-specialist who, in his or her very expertise, often lacks perspective’ (p. 6). Competent is the operative word in this citation. For, based on the assumption that students’ knowledge is strongly influenced by ‘who teaches’, qualifications may be relevant but not necessarily decisive for the quality of teaching. For example, individual teachers’ enthusiasm for teaching and didactic abilities may carry much more weight than their professional background.


또 다른 흥미롭지만 매우 다른 측면은 해부학 교수진에 대한 일부 기사에서 보고된 학생-직원 비율이다. 프라이드 & 블랙(2005)은 1983/1984년과 2003/2004년 사이에 스코틀랜드의 5개 의학부의 학생-직원 비율이 20:1에서 58:1로 증가했다는 것을 발견했다. 다시 말해서, 2004년까지 교사 한 명당 학생 수가 두 배 이상 증가했습니다! 직원 수를 줄이고(또는 기껏해야 안정적) 학생 수를 늘리는 것(예를 들어 어려운 과목을 가진 개별 학생들을 돕는 시간을 줄이는 결과)이 학생들의 해부학에 부정적인 영향을 미쳤는지 궁금해 할 수 있다. 이 문제의 심각성을 규명하기 위해 추가 연구를 진행하고 피어투피어 교수법의 활용 등 대처 방안을 모색할 가치가 있어 보인다.
Another interesting, but very different, aspect is student–staff ratios, which were reported in some articles on anatomy teaching staff. Pryde & Black (2005) found that between 1983/1984 and 2003/2004, student–staff ratios in the five medical faculties in Scotland increased from 20:1 to 58:1. In other words, by 2004, the number of students per teacher had more than doubled! One may wonder whether decreasing (or at best stable) staff numbers and increasing student numbers (resulting in for example less time to assist individual students with difficult subjects) may have had a negative impact on students’ knowledge of anatomy. It seems worthwhile to conduct further research to establish the severity of this problem and look for ways to deal with it, such as the use of peer-to-peer teaching methods.

핵심 해부학 커리큘럼 부재의 영향
The influence of the absence of a (national) core anatomy curriculum

일부 국가에서는 의과대학이 높은 교육의 질을 보장하기 위해 외부 규제 기관(예: 영국의 일반 의학 위원회)의 검사를 받는다. 이러한 규제기관의 지침은 안타깝게도 '졸업생이 기대하는 사실적 지식에 대해 상당히 구체적이지 않으면서, 임상적, 일반적 및 태도적 기술에 대한 요구사항과 관련하여 상당히 포괄적'이다. 이 문제를 극복하기 위해 일부 저자들은 핵심 해부학 커리큘럼을 정의하기 위해 학생들이 알아야 할 해부학적 구조의 목록을 만들었다. 그러나 그러한 목록의 내용에 대한 저자 간의 합의가 거의 없으며 저자는 필요한 지식의 깊이를 정의하지 않는다. (예: 근육의 경우: 인체의 근육을 인식할 수 있고, 부착 부위, 신경교란, 기능, 변형 등을 알 수 있다.) 일부 연구자들은 학부 커리큘럼의 다른 단계(Moxham & Plaisant 2007) 또는 학업을 마친 후 학생들에게 해부학 과정의 내용이 충분한 임상적 관련성이 있다고 생각하느냐고 물었다. 학생들은 어느 정도 동의하면서도 특정 과목에 대한 의견 차이도 상당했다.

In some countries, medical schools are subject to inspection by external regulators (for example the General Medical Council in the UK) to ensure a high quality of education. Guidelines from these regulators are unfortunately ‘fairly non-specific concerning the factual knowledge expected of graduates but are fairly comprehensive with regard to the requirements for clinical, generic and attitudinal skills’ (Bradley 2001, p. 231). In order to overcome this problem, some authors have created a list of anatomical structures that students should know, in an attempt to define a core anatomy curriculum (Leonard et al. 1996; Griffioen et al. 1999; McHanwell et al. 2007). However, there is little agreement among authors on the content of such lists and authors do not define the depth of the required knowledge (e.g. for a muscle: to be able to recognize the muscle in the human body, know attachment sites, innervations, function, variations, etc.). Some researchers have asked students in different stages of the undergraduate curriculum (Moxham & Plaisant 2007) or after finishing their studies (Richardson 1983; Cottam 1999) whether they thought the contents of their anatomy course were of sufficient clinical relevance. While concurring to a certain degree, students also showed considerable differences of opinion on and between specific subjects.

안타깝게도, 우리가 검토한 기사 중 핵심 커리큘럼의 부재와 그것이 해부학적 지식에 미치는 영향을 조사하는 연구는 보고되지 않았다. 핵심 해부학 커리큘럼을 참조한 대부분의 기사는 해부학 과정/교육 과정의 내용이 논의되었다고 보고했다. (Evans & Watt 2005: '[…] 해부학 직원들은 다양한 분야의 임상 동료들의 토론과 의견과 함께 그들의 집단 경험을 활용했습니다[p.23].) 그러나 이 토론의 결과를 설명하지는 않았다(예: 구조 목록). 학생들의 지식에 미치는 영향을 설명하지 않은 것은 말할 것도 없다. 해부학 과정 내용에 대한 광범위한 설명은 졸업후 전공의 교육을 다루는 기사로 제한된다.

Unfortunately, none of the articles we reviewed reported a study investigating (the absence of) a core curriculum and its effect on anatomical knowledge. Most articles in which reference was made to a core anatomy curriculum reported that the content of an anatomy course/curriculum was debated (Evans & Watt 2005: ‘[…] the anatomy staff have used their collective experience in conjunction with discussion and input from clinical colleagues across a range of disciplines’ [p. 23]) but did not describe the outcome of this debate (e.g. a list of structures), let alone any effect on students’ knowledge. Extensive descriptions of anatomy course content are limited to articles dealing with postgraduate specialist training (MacLean et al. 1996; Kilroy & Driscoll 2006).

국가 핵심 해부학 커리큘럼이 마련된다면, 교사들(기초과학과 임상)은 학생들이 무엇을 배우기를 기대하는지 알고 학생들이 그 지식을 얻는 데 도움이 될 것이다. 비록 해부학자들과 임상의들이 핵심 커리큘럼에 동의하도록 하는 것은 힘든 일처럼 보일 수 있지만, 그것은 아마도 달성할 수 없는 목표는 아닐 것이다. 이 논의에 대한 중요한 기여는 'AMEE 가이드 no 41'의 최근 출판이다. 의학 교육에서 해부학의 위치'는 '원칙에 입각하고 문제 지향적인' 이상적인 과정을 묘사한다. 저자들은 '일반'과 '특정' 해부학의 정의와 구별, 그리고 다른 교수 방법, 학습 자료 및 평가 프로그램을 사용하여 어떻게 가르칠 수 있는지에 초점을 맞추고 있다.

If a national core anatomy curriculum were in place, teachers (basic science and clinical) would know what students were expected to learn and it would help students to attain that knowledge. Although getting anatomists and clinicians to agree upon a core curriculum may seem a daunting task (see studies of Koens et al. 2005b, 2006), it is probably not an unattainable goal. An important contribution to this discussion is the recent publication of ‘AMEE Guide no 41. The place of anatomy in medical education’ (Louw et al. 2009), which describes an ideal course which is ‘principle based and problem oriented’. The authors focus on the definition of and distinction between ‘general’ and ‘specific’ anatomies, and how these can be taught by using different teaching methods, learning materials and assessment programmes.

해부학 교육에 해부를 교육 도구로 사용하지 않는 것의 영향
The influence of not using dissection as a teaching tool in anatomy education

해부학 교육에 사용되는 교육 도구는 크게 다섯 가지로 나눌 수 있다.

  • (1) 시체 관련,
  • (2) 임상 관련,
  • (3) 컴퓨터/인터넷 관련,
  • (4) 기타 관련 자료(예: 모델 또는 책)
  • (5) 기타(예: 강의, 실습 수업 또는 문제 기반 학습; PBL 튜토리얼) 

The teaching tools used in anatomy education can roughly be divided into five categories:

  • (1) cadaver related,
  • (2) clinically related,
  • (3) computer/internet related,
  • (4) other material related (e.g. models or books) and
  • (5) other (e.g. lectures, practical classes or problem-based learning; PBL tutorials).

윈켈만 (2007)은 광범위한 검토 연구를 실시하여, 학생들에 의한 시체 해부와 prosections (다른 사람들에 의해 이전에 해부된 시체)의 사용이 학생들의 해부학적 지식에 어떻게 영향을 미치는지 비교하였다. 검토에 포함된 연구들이 둘 이상의 변수에서 다르다는 사실 때문에 비교가 방해받았지만, 전통적인 해부는 prosections에 비해 약간의 추가 이익을 제공하는 것으로 보였다. 이번 리뷰에서는 학생에 의한 해부를 교구 이외의 교구와 비교한 기사만 수록했다. 비록 간단하지는 않지만, 결과는 다시 약간 해부에 찬성하는 것처럼 보인다. 그러나 더 중요한 것은 교육 도구의 조합이 최상의 성과를 내는 것으로 나타났다는 것입니다(표 3). 예를 들어, Biasutto 외 연구진(2006)은 컴퓨터 자원만 사용한 학생들에 비해 시체만을 해부한 학생들에게 더 나은 결과를 발견했지만, 해부 및 컴퓨터 자원 사용 모두를 통해 학습한 학생 그룹에서 최고의 점수가 발견되었다고 보고했다.

Winkelmann (2007) conducted an extensive review study, comparing how dissection of a cadaver by students and the use of prosections (cadavers previously dissected by others) affected students’ anatomical knowledge. Although comparison was hindered by the fact that the studies included in the review differed in more than one variable, traditional dissection appeared to offer a slight added benefit compared to prosections. In this review, we included only articles in which dissection by students was compared to teaching tool other than prosections. Although not straightforward, the results again seem to be slightly in favour of dissection. More importantly, however, a combination of teaching tools appeared to yield the best performances (Table 3). Biasutto et al. (2006), for example, found better results for students who only dissected cadavers compared to students who only used computer resources, but reported that the best scores were found in the group of students who learnt by both dissection and the use of computer resources.

학생 지식에 대한 다양한 해부학 교육 도구의 영향과 관련된 결론 없는 발견은 컴퓨터 모델과 같은 도구가 복잡한 해부학적 구조(예: 내이, 두개골 또는 뇌)를 학습하는 데 더 도움이 된다는 사실과 관련이 있을 수 있다. 학생들은 줌과 회전을 가능하게 하는 3D 컴퓨터 모델에서 복잡한 구조를 더 잘 이해할 수 있는 반면 덜 복잡한 구조(예: 복부 장기)는 교과서나 카데바에서 쉽게 학습할 수 있다. 이러한 측면에서 흥미로운 발견은 학생들이 해부학을 배우는 데 가장 유용한 도구로 항상 평가하지 않는 반면, 의료진(해부학자와 임상의사 모두)은 해부를 교육 도구로 유지하기를 원하는 것처럼 보인다는 것이다. 게다가, 최근의 연구는 Dissection 과정이 획일적인 학습 경험이 아니라는 것을 보여주었다. 다른 학생들은 해부 과정(또는 그 문제에 대한 다른 교육 방법)을 다루는 데 있어서 매우 다른 접근 방식을 가질 수 있으며, 따라서 다양한 학습 경험을 경험하게 되며, 이것은 개별 학생들 간의 지식의 양과 형태의 차이를 초래할 수 있다.

The inconclusive findings concerning the influence of different anatomy teaching tools on student knowledge may be related to the fact that tools like computer models are more helpful in learning complex anatomical structures (e.g. the inner ear, bones of the skull or the brain). Students may get a better understanding of complex structures from 3D computer models, which enable zooming and rotation, whereas less complex structures (e.g. abdominal organs) can easily be studied from a textbook or cadaveric material. An interesting finding in this respect is that medical staff (both anatomists and clinicians) seem to want to keep dissection as a teaching tool (Patel & Moxham 2006), whereas students do not always rate dissection as the most useful tool for learning anatomy (Nnodim 1988; Dinsmore et al. 1999; Azer & Eizenberg 2007). Furthermore, recent research has shown that a dissection course is not a uniform learning experience (Winkelmann et al. 2007). Different students may very well have different approaches in dealing with a dissection course (or other teaching methods for that matter), therefore undergoing divergent learning experiences, which may result in difference in amount and form of knowledge between individual students.

인간의 시체 해부는 학부 의학 교육(다른 교육 도구로 대체됨)에서 벗어나고 있는 것처럼 보일 수도 있지만, 그것은 확실히 졸업후 수련교육에서 인기를 얻고 있다. 학부 교육에 해부를 사용하는 것을 옹호하는 저자들은 해부학적 지식 외에 전문성, 수동적 손재주, 팀워크, 자기 평가, 윤리 등과 같은 다른 학습 목표에 대한 해부의 이점을 자주 언급한다.

While human cadaver dissection may seem to be on the way out in undergraduate medical education (substituted by other teaching tools), it is definitely gaining popularity in postgraduate training (Wong & Stewart 2004). Authors advocating the use of dissection in undergraduate education frequently mention its benefits for other learning objectives besides anatomical knowledge, such as professionalism, manual dexterity, teamwork, self- and peer-evaluation, ethics, etc. (Aziz et al. 2002; Rizzolo 2002; Gregory et al. 2009).

마지막으로, Erkonen 외 연구진(1992)과 Stanford 외 연구진(1994)의 결과는 컴퓨터 단층 촬영(CT) 이미지 또는 시체에서 해부학을 학습하는 것이 CT 이미지 또는 시체를 사용하여 시험 문제에 서로 다른 영향을 미치는지 여부를 연구한 결과, 서로 [다른 교육 도구]가 학생들에게 [다른 지식]을 학습하는 데 도움이 된다는 것을 나타낼 수 있다. 이는 위에서 언급한 Biasutto 외 연구진(2006)의 결과와 일치한다. 이러한 고려사항에 기초하여, 우리는 향후 연구가 학생들이 해부와 다른 교육 도구로부터 무엇을 어떻게 배우는지 집중한 후 두 방법 중 하나에 유리한 결론을 도출할 것을 권고할 것이다.

Last but not least, results from Erkonen et al. (1992) and Stanford et al. (1994) could indicate that different teaching tools aid students in learning different knowledge, as the studies showed that whether learning anatomy from computed tomography (CT) images or cadaver had different effects on test questions using CT images or cadavers (p < 0.0001). This is in agreement with results of Biasutto et al. (2006) mentioned above. Based on these considerations, we would recommend that future research should concentrate on what and how students learn from dissection and other teaching tools before drawing conclusions in favour of the either method.

맥락적으로 해부학을 가르치지 않는 것의 영향
The influence of not teaching anatomy in context

흥미롭게도, 맥락적인 교육은 새로운 주장이 아니다; 사실, 그것은 한 세기 이상 전에 주장되었다: '잘 발달된 살아 있는 주제에 대한 외과의사의 일이나 의사의 의무에 대해 무지하지도 부주의하지도 않은 훌륭한 해부학자의 한 강의는 6개월간의 미세한 해부학 강의[…]보다 더 많은 실질적인 도움이 될 것이다.' (프로세서 1868, 페이지 545) 해부학 교수법에서 일반적으로 사용되는 맥락은 크게 네 가지 범주로 나눌 수 있다.

  • (1) 임상 스킬 (신체검사),
  • (2) 병리학(예: 암, 신경 질환, 근골격계 문제),
  • (3) 영상의학 (예: X선, CT, 초음파 해석),
  • (4) 수술 프로시져 (예: 맹장수술 또는 내시경/후두경 시술) 

Interestingly, teaching in context is not a new argument; in fact, it was advocated more than a century ago: ‘One lecture […] by a good anatomist […] who is neither ignorant nor careless of the work of a surgeon, or the duties of a physician, on a good well-developed living subject, would do more real good than six months’ lectures on minute anatomy […]’ (Prosser 1868, p. 545). The contexts that are commonly used in anatomy teaching can be roughly divided into four categories:

  • (1) clinical skills (physical examination),
  • (2) pathology (e.g. cancer, neurological diseases, musculoskeletal problems),
  • (3) radiology (e.g. interpreting X-rays, CT, ultrasound) and
  • (4) surgical procedures (e.g. appendectomy or endoscopic/laparoscopic procedures).

많은 연구에서 학생들은 전통적인 과정 형식보다 [맥락적으로 해부학을 가르치는 과정]과 관련하여 더 긍정적인 태도/인식을 보고했다. 몇몇 연구는 맥락적으로 해부학을 가르친 과정 전후에 학생들의 해부학적 지식을 비교했다(표 4). 놀랄 것도 없이, 학생들은 수업이 끝난 후에 이전보다 더 많이 알고 있었지만, 사용된 공부 방법은 이것이 수업 방법에 관계 없이 문맥에서의 수업 때문인지 아니면 수업 출석 때문인지에 대한 확고한 결론을 배제한다. (더 많은 시간을 학습하면 더 많은 지식을 얻을 수 있다.) 우리의 문헌 검색은 맥락 안과 밖에서 해부학을 가르치는 결과를 비교하는 어떤 연구도 산출하지 못했다.

In many studies, students reported more positive attitudes/perceptions in relation to a course teaching anatomy in context than in relation to traditional course formats (Fitzpatrick et al. 2001). A few studies have compared students’ anatomical knowledge before and after a course in which anatomy was taught in context (Table 4). Unsurprisingly, students knew more after the course than they did before it, but the study methods used preclude any firm conclusions as to whether this was due to teaching in context or to course attendance irrespective of teaching method (more time spent learning leads to more knowledge). Our literature search yielded not one study comparing the results of teaching anatomy within and out of context.

Koens 등의 연구는 실제로 학습, 보존 및 지식의 전달을 용이하게 하는 컨텍스트를 만드는 것이 종종 생각하는 것만큼 간단하지 않다는 것을 보여주었다. 이러한 목표에 도달하기 위해서는, 예를 들어 복부의 해부학 학습을 용이하게 하기 위해 CT 스캔을 도입하는 것보다 훨씬 더 멀리 가야 할 수도 있다. 현재 우리는 맥락 속에서의 (해부학)교육의 모든 (불)가능성을 아직 완전히 이해하지 못하고 있다.
Studies by Koens et al. (2003, 2005a) showed that creating a context that actually facilitates learning, retention and transfer of knowledge is not as straightforward as is often thought. To reach those goals, creating a context may have to go much further than, for example, introducing a CT scan to facilitate the learning of the anatomy of the abdomen. Currently, we do not yet fully understand all the (im)possibilities of teaching (anatomy) in context.

통합 커리큘럼의 영향(문제 기반 학습 또는 시스템 기반 커리큘럼)
The influence of integrated curricula (problem-based learning or systems-based curriculum)

1993년 버논 & 블레이크(1993)가 실시한 문제 기반 학습(PBL)의 효과를 조사하는 메타 분석은 다음과 같이 보고했다. 
'PBL은 학생의 프로그램 평가(즉, 학생의 프로그램에 대한 태도 및 의견)와 학생의 임상 수행 측정치[…]와 관련하여 상당히 우수한 것으로 나타났다. PBL과 전통적인 방법은 사실 지식[…]과 임상 지식[…]의 여러 테스트에서 차이가 없었다.'
최근의 메타 분석 두 가지도 유사한 결과를 보여준다.

A meta-analysis examining the effectiveness of problem-based learning (PBL), conducted in 1993 by Vernon & Blake (1993), reported that: ‘PBL was found to be significantly superior with respect to students’ programme evaluations (i.e. students’ attitudes and opinions about their programmes) […] and measures of students’ clinical performance […]. PBL and traditional methods did not differ on miscellaneous tests of factual knowledge […] and tests of clinical knowledge […]’ (p. 550). Two more recent meta-analysis show similar results (Colliver 2000; Newman 2003).

해부학적 지식에 대한 PBL 및 시스템 기반 커리큘럼의 영향을 구체적으로 다루는 연구는 거의 없다(표 5). 그들의 결과는 전통적인 교육과정에 비해 통합 커리큘럼의 명확한 장점과 단점을 보여주지 않는다. 다른 커리큘럼에 있는 학생들 사이의 기초 과학 지식(해부학 포함)의 차이를 조사하는 연구들 또한 결론을 내리지 못했다.

Studies that specifically address the influence of PBL and systems-based curricula on anatomical knowledge are few (Table 5). Their results show no clear benefits or drawbacks of integrated curricula compared to traditional ones. Studies examining the difference in basic science knowledge (including anatomy) between students in different curricula (Alleyne et al. 2002; Woloschuk et al. 2004) were also inconclusive.

이용 가능한 증거 또는 그것의 부족은, 이것이 결정적으로 이루어질지는 의심스럽지만, 해부학적 지식에 대한 혁신적인 커리큘럼의 효과가 확인되어야 한다는 것을 보여준다. 약간 다른 의견으로, 커리큘럼 비교 연구의 저자들은 [커리큘럼의 기반을 이루는 교육적 접근법이 학생들의 해부학적 지식의 가장 강력한 결정 요소가 아닐 수 있다]고 제안했다. 이러한 관찰은 해부학 지식에서 더 나은 점수가 학부 커리큘럼 과정 중에 해부학적 측면을 다시 검토했는지 여부와 관련이 있는 것으로 보인다는 결과를 보여줌으로써 촉발되었다. 해부학 수업, 반복, 맥락적 교육에 할애되는 시간의 양은 학교가 통합적이거나 전통적인 커리큘럼을 가지고 있는지 아닌지에 비해 훨씬 더 강한 영향을 미칠 수 있다. 그러나, 추가 연구는 이 개념을 뒷받침할 증거를 제공해야 할 것이다.

The available evidence, or lack of it, shows that the effect of innovative curricula on anatomical knowledge remains to be ascertained, although it is doubtful whether this will ever be done conclusively. On a slightly differing note, the authors of a curriculum comparison study (Prince et al. 2003) suggested that the educational approach underpinning a curriculum may not be the strongest determinant of students’ anatomical knowledge. This observation was prompted by results showing that better scores in anatomical knowledge appeared to be related to whether anatomical aspects were revisited during the course of the undergraduate curriculum. The amount of time devoted to anatomy teaching, repetition and teaching in context may have a much stronger impact than whether or not a school has an integrated or a traditional curriculum. However, further research will have to provide evidence to underpin this notion.

해부학적 지식을 평가하는 방법의 영향
The influence of the way anatomical knowledge is assessed

많은 기사들은 학생들의 해부학적 지식을 평가하는 다양한 방법들을 묘사한다. 자주 사용되는 방법은 다음과 같습니다. 

  • (1) 객관식 문제(MCQ), (2) 단답형 문제, (3) 논술형 문제, (4) 그림이나 시체에서 구조를 식별하는 문제(MCQ 또는 단답형 문제), (5) 도면 구조. 

Many articles describe different ways to assess students’ anatomical knowledge. Frequently used methods are:

  • (1) multiple choice questions (MCQs), (2) short answer questions, (3) essay questions, (4) identifying structures in a picture or cadaver (either MCQ or short answer) and (5) drawing structures.

시험은 펜과 종이 유형, 컴퓨터 기반 또는 구두 형식일 수 있다. 연구에 따르면 MCQ와 개방형 문제는 시험 당시 학생들의 지식을 평가하는 데 동등하게 효과적이다. 다시 말해, 두 유형의 문제 모두 개별 학생에 관련된 일부 예외에도 불구하고 '좋은' 학생과 '나쁜' 학생을 구별한다.
Tests can be of the pen and paper type, computer based or oral. Research has shown that MCQs and open questions are equally effective in assessing students’ knowledge at the time of the test, in other words, both types of question discriminate between the ‘good’ and the ‘bad’ students, despite some exceptions relating to individual students (Barnett 1960).

이 검토를 위해 문헌을 검색했을 때, 우리는 해부학 교육의 평가 방법에 대한 대부분의 기사가 1960-1980년 기간이라는 것을 알고 놀랐다. 또한, 우리의 검색은 해부학적 지식을 평가하기 위한 서로 다른 방법을 비교하는 세 개의 기사만 보여주었다(표 6). 여기에 따르면, [MCQ만 단독으로 사용하는 것이나 시험된 각 분야에 대한 최소 요건이 부족한 것]이 실제로 학생들의 [학습 행동과 지식 유지에 부정적인 영향을 미친다는 것]을 나타낸다. 이것은 건강 관련 교육을 제외한 다른 연구들과 일치하는 것으로 보인다.

When we searched the literature for this review, we were surprised to note that most of the articles on assessment methods in anatomy education dated from the period 1960–1980. Furthermore, our search revealed only three articles comparing different methods for assessing anatomical knowledge (Table 6). The results seem to indicate that the sole use of MCQs and/or the lack of a minimal requirement for each tested discipline have indeed a negative effect on students’ study behaviour and retention of knowledge. This seems consistent with other research outside health-related education (Sax & Collett 1968; Gill et al. 1978; Gay 1980).

해부학 교육 시간 단축의 영향
The influence of decreased time for anatomy education

의학적으로 자격이 없는 교사의 영향과 마찬가지로, 수업 시간 단축의 부정적인 영향은 두 가지 의문을 제기한다.

  • (1) 해부학을 가르치는 시간이 줄어들었고 
  • (2) 만약 그렇다면, 이것이 학생들의 해부학적 지식에 영향을 미쳤는가? 

검토에서는 첫 번째 질문에 대한 답변만 제공합니다(표 7). 해부학을 가르치는 시간은 사실 지난 수십 년 동안 줄어들었습니다. 예를 들어, 스코틀랜드의 5개 의과대학에서 총 해부학에 대한 평균 총 교수 시간(강의, 실습 세션 및 튜토리얼 포함)은 1983/1984년 382시간에서 2003/2004년 151시간으로 50% 이상 감소했습니다! 이는 같은 기간 동안 같은 기관의 조사 결과에 비추어 볼 때 더욱 흥미로운 것으로, 학생-직원 비율이 50% 이상 증가했다.

As with the influence of non-medically qualified teachers, the supposed negative effects of reduced teaching time raise two questions:

  • (1) has teaching time for anatomy actually decreased and
  • (2) if so, has this affected students’ anatomical knowledge?

The review offers an answer to the first question only (Table 7). Designated teaching time for anatomy did, in fact, decrease during the past decades. For example, mean total teaching time (including lectures, practical sessions and tutorials) for gross anatomy at five medical schools in Scotland decreased from 382 h in 1983/1984 to 151 h in 2003/2004, a reduction by more than 50%! This is all the more interesting in light of findings in the same institutions during the same period, showing a more than 50% rise in student–staff ratios (Pryde & Black 2005).

수업 시간을 지식 결과와 연관짓는 연구가 없을 때, 두 번째 질문은 다시 답이 없는 상태로 남아 있어야 한다. 이 주제에 대한 추가 연구를 수행하는 사람들은 다음과 같은 가능성을 고려할 것을 권고한다. 수업 시간의 감소가 계산될 때, 시간은 보통 교사와 학생의 접촉 시간(강의 시간 또는 실험실 시간)으로 측정된다. 일반적으로 간과하는 사실은 [접촉 시간의 감소가, 자동적으로 학생들이 해부학을 배우는 데 더 적은 시간을 소비한다는 것을 의미하지는 않는다]는 점이다. 접촉 시간의 감소는 더 많은 자율 학습 시간에 의해 상쇄될 수 있다. 따라서 학생들이 해부학을 배우는 데 얼마나 많은 시간을 쏟는가에 대한 현실적인 통찰력을 얻기 위해서는, 특히 자기 주도 학습 접근법이 있는 커리큘럼에서, 자율 학습 시간을 살펴보는 것도 중요하다.

In the absence of studies linking teaching time to knowledge results, question two again has to remain unanswered. Those undertaking further research on this subject are advised to consider the following possibility. When decreases in teaching time are calculated, time is usually measured as the number of hours (either lecture or laboratory time) of teacher–student contact. What is generally ignored is the possibility that a decrease of contact hours does not automatically imply that students spend less time learning anatomy. The decrease in contact hours may be counterbalanced by more self-study time. So, in order to gain a realistic insight into how much time students devote to learning anatomy, it is important to also look at time for self-study, especially in curricula with a self-directed learning approach.

해부학 교육의 수직적 통합 소홀의 영향
The influence of neglect of vertical integration of anatomy education

우리는 학부 커리큘럼의 후기, 전통적으로 임상적, 그리고 그것이 학생들의 해부학적 지식에 미치는 영향을 조사하는 단 하나의 기사만을 발견했다(표 8). 다시, 사용된 방법은 수직적 통합 또는 과정이 제공되었다는 사실만으로 보고된 개선된 지식의 귀속과 관련된 결론을 배제한다.
We found only one article investigating anatomy education in the later, traditionally clinical, years of the undergraduate curriculum and its effects on students’ anatomical knowledge (Table 8). Again, the methods used preclude conclusions regarding the attribution of reported improved knowledge to vertical integration or to the mere fact that a course was offered.

해부학의 수직적 통합에 대한 기사가 부족하다(체계적인 문헌 검색에서는 42개 기사, 기타 요인에 대한 기사 수의 3분의 1 미만). 해부학이 커리큘럼(Evans & Watt 2005)에서 어떻게 수직적으로 통합되었는지, 어떻게 이것이 달성되었는지, 수직적 통합이 왜 중요한지, 해부학 교육에 대한 의대생들의 인식/태도에 어떻게 영향을 미치는지 조사한 연구자는 거의 없다. 해부학의 수직적 통합은 매우 바람직하고 몇 가지 문제를 해결하는 데 도움이 되는 것으로 간주되기 때문에 이러한 연구의 부족은 놀랍다.

  • (1) 수직 통합 교육은 가르치는 시간을 늘립니다. 
  • (2) 수직 통합 교육은 가르침은 기초 과학 전문가와 임상의의 협력적인 노력이 될 수 있다(가르친 것의 임상적 관련성을 증가시킨다). 
  • (3) 수직 통합 교육은 가르치는 것과 배우는 것의 반복을 촉진한다. 
  • (4) 수직 통합 교육은 상황에 맞게 가르칠 수 있는 기회(예: 특정 임상 순환과 관련된 해부학을 가르칠 수 있는 기회)를 증가시킨다. 

따라서 해부학 교육의 수직적 통합에 대한 추가 연구가 강력히 권장된다.

There is a scarcity of articles on vertical integration of anatomy (only 42 articles in the systematic literature search, less than one-third of the number of articles on the other factors). Few researchers have investigated how anatomy was vertically integrated in a curriculum (Evans & Watt 2005), how this was achieved, why vertical integration is important, or how it affects the perceptions/attitudes of medical students concerning anatomy education (Brynhildsen et al. 2002). This paucity of studies is surprising, since vertical integration of anatomy is greatly desired (Waterston & Stewart 2005) and considered helpful in solving several issues:

  • (1) it increases teaching time,
  • (2) teaching can be a collaborative effort of basic science experts and clinicians (increasing the clinical relevance of what is taught),
  • (3) it promotes repetition in teaching and learning and
  • (4) it offers increased opportunities for teaching in context (e.g. teaching the anatomy that is relevant to a specific clinical rotation).

Further research on vertical integration of anatomy education is therefore strongly recommended.

토론 및 결론
Discussion and conclusion

이 서술적 검토의 결과는 해부학적 지식에 잠재적으로 영향을 미치는 것으로 식별된 요소를 다루는 연구의 부족을 보여준다. 게다가, 우리가 발견한 연구들은 방법론적 질이 부족했다. 결과적으로, 검토는 확실한 결론에 대한 근거를 제공하지 않으며 기껏해야 상충되는 결론만 제공한다. 다시 말해서, 제안된 요인의 주장된 영향력을 뒷받침할 경험적 증거가 부족한 것으로 보인다. 왜 이런지 의문이 들 수 있다.
The results of this narrative review reveal a scarcity of studies dealing with the factors identified as potentially influencing anatomical knowledge. In addition, the studies we did find were lacking in methodological quality. Consequently, the review offers no basis for firm conclusions, and only conflicting conclusions at best. In other words, there appears to be a lack of empirical evidence to support the claimed influence of any of the proposed factors. One may wonder why this should be so.

첫 번째 설명은 해부학적 지식 수준의 악화가 [세대 갈등에서 발생하는 인식]이라는 것이다. 이러한 해석은 우리가 연구한 기간 이전 수십 년 동안 해부학적 지식의 감소에 대한 불만도 들었다는 사실에 의해 뒷받침된다. 젊은 세대가 자동차를 운전하든, 돈을 절약하든, 관계를 유지하든, 산수를 하든, 해부학적 지식을 재생산하든 많은 것을 할 능력이 떨어진다고 불평하는 것은 드문 일이 아니다. 비록 이것이 첫눈에 그럴듯한 설명처럼 보일지라도, 상황은 아마도 훨씬 더 복잡할 것이다. 우리가 발견한 모든 연구는 한 가지 요소만을 조사했지만, 실제로 학생들의 해부학적 지식의 실제 또는 인식 감소에 여러 가지 요소의 조합이 걸려 있을 것이다. 그리고, 중요한 요소들은 우리가 조사했던 요인들 말고 다른 요인들일 것이다. 예를 들어, 서로 다른 학생-직원 비율의 영향을 탐구하는 것이 유익할 수 있다.
A first explanation might be that the assumed deterioration of anatomical knowledge levels is a perception arising from generation conflict. This interpretation is supported by the fact that complaints of declining anatomical knowledge were also heard in decades preceding the period we studied (Taylor & Wilson 1975). It is not uncommon for a generation to complain that younger generations are less capable of many things, whether it be driving a car, saving money, maintaining relationships, doing arithmetic or reproducing anatomical knowledge. Although this may seem a plausible explanation at first sight, things are probably far more complex. All the studies we found examined only one factor, but it may well be the case that, in practice, a combination of factors is at stake in the actual or perceived decline of students’ anatomical knowledge. And, it is equally likely that the crucial factors are others than the ones we examined. It may, for instance, be fruitful to explore the influence of different student–staff ratios.

[학생들의 해부학적 지식이 감소하고 있는지 여부]와 [이것이 의사들의 전문적인 수행능력을 위험에 빠뜨릴지 여부]는 해부학적 지식의 습득에 중요한 역할을 하는 요소를 식별하는 데 매우 관련이 있다. 의대생들은 해부학적 지식 없이는 할 수 없으며, 따라서 해부학적 교육 없이는 할 수 없다는 것이 일반적인 의견이다. 그러나, 오늘날 의학 교육에서 해부학 교육에 관한 핵심 의문은 [교육이 가능한 한 효과적으로 이루어질 수 있는 방법]에 점점 더 초점을 맞추고 있다. 다음은 이 질문에 대한 답을 찾는 데 방향을 제시할 수 있는 몇 가지 고려 사항입니다.

Whether or not students’ anatomical knowledge is decreasing, and whether or not this will endanger doctors’ professional performance, it remains highly relevant to identify factors that play a role in the acquisition of anatomical knowledge. There is a general consensus that medical students definitely cannot do without anatomical knowledge, and consequently without anatomy education, although opinions may differ as to its scope. However, in medical education today, the key question regarding anatomy education increasingly focuses on how education can be made as effective as possible. Following are some considerations which may give direction in the search of an answer to this question.

맥락적 교육에 대한 교육 연구의 흥미로운 주제는 '전이'의 개념이다: 한 맥락에서 학습된 개념을 사용하여 다른 맥락에서 문제를 해결하는 것이다. 기초과학을 배우고 시험에 합격했지만, 이 지식을 [문제를 풀거나 설명하는 데 사용할 수 없었던 의대생들]의 이야기는 흔하다. 일반적으로, 이러한 분리dissociation은 맥락을 벗어난 학습의 문제로 간주되며, 제안된 해결책은 기초 과학을 임상 문제와 더 잘 통합하려는 시도가 있다. 그러나 Woods 등이 보고한 결과에 따르면 맥락에서의 가르침은 기초과학과 임상지식의 유지, 진단적 추론 및 올바른 임상진단('전이')을 돕는다고 한다. 따라서 맥락에 맞는 교육은 해부학적 지식을 증가시킬 뿐만 아니라 문제 해결에서의 응용도 향상시킬 수 있다.
An interesting theme within educational research on teaching in context is the notion of ‘transfer’: using a concept learnt in one context to solve a problem in a different context. ‘Stories of medical students who have learnt the basic science, passed the examinations, but were then unable to apply this knowledge to solve or explain problems, are commonplace. Typically, this dissociation is viewed as an issue of learning out of context, and proposed solutions attempt to integrate the basic science better with the clinical problems’ (Norman 2009, p. 808). Creating an adequate context to teach in (as described earlier), but also retrieving a learnt concept to solve a new problem are more difficult than one might think (Norman 2009). However, results reported by Woods et al. (2005, 2007a, 2007b) indicate that teaching in context aids retention of basic science and clinical knowledge, diagnostic reasoning and correct clinical diagnosis (‘transfer’). Thus, teaching in context may not only increase anatomical knowledge but also improve its application in problem solving.

모든 교사가 알아야 할 기초 과학 지식의 평가에 관한 문제는 스완슨 & 케이스(1997)가 다룬다. '일반적인 기초과학 과목에서 배워야 할 교재의 양은 압도적이며, 학생들은 무엇을 공부할 것인지를 선택해야 한다. 의대생들은 동기부여가 높고 학문적으로 강하기 때문에 시험을 잘 치르고 싶어하고, 어떤 자료가 공부할 가치가 있는지 지도하기 위해 시험을 본다. 테스트가 주요 코스 목표와 일치할 경우, 테스트는 학습해야 할 내용을 적절히 전달한다. 수업 목표와 시험 사이에 불일치가 발생하면, 평가는 학생이 unfortunate direction을 향한 준비와 학습에 초점을 맞추게 만든다.'(74쪽). 

An issue concerning assessment of basic science knowledge that every teacher should be aware of is dealt with by Swanson & Case (1997): ‘The amount of material to be learned in a typical basic science course is overwhelming, and students must make choices of what to study. Because medical students are highly motivated and academically strong, they want to perform well on tests, and they look to tests for guidance on what material is worth studying. To the extent that tests are congruent with major course goals, the tests will appropriately communicate what should be learnt. To the extent that there is a mismatch between course goals and tests, assessment may well focus student preparation and learning in unfortunate directions’ (p. 74).

학습과 평가의 관계에 대한 인지심리학 연구의 최근 발표된 개요에서 라르센 외 연구진(2008)은 평가 방법을 선택하는 것이 평가의 목표에 따라 달라져야 한다고 제안한다. 시험을 보는 순간의 사실적 지식을 측정하고, '좋은' 학생과 '나쁜' 학생을 구별하는 것이 목표라면 MCQ의 사용은 문제가 없다. 하지만 학습 행동을 자극하고, 지식의 보유를 개선하며, 문제 해결에 지식을 적용하는 능력을 측정하는 것과 같은 다른 목표가 있다면, 다른 평가 방법이 더 나을 것이다.

In a recently published overview of cognitive psychology research on the relationship between learning and assessment, Larsen et al. (2008) suggest that choosing a method of assessment should depend on the goal of the assessment, although further research is needed to confirm this. If the goal is to measure factual knowledge at the moment the test is taken and to distinguish the ‘good’ from the ‘bad’ students, there are no limitations to the use of MCQs. If there are other goals as well, such as to stimulate study behaviour, improve retention of knowledge and/or measure ability to apply knowledge in problem-solving, other assessment methods are probably preferable.

Swanson & Case (1997)는 다음과 같은 글을 쓸 때 이에 동의하는 것처럼 보인다. '분명히, 이해를 위한 학습을 장려하기 위해서는 평가는 고립된 사실을 상기하는 것 이상의 것을 시험할 필요가 있다. 대신 평가는 기본 과학 지식의 적용, 종종 임상 상황에 대한 적용, 그리고 그러한 상황에 대한 조정되고 학제 간 이해를 달성하기 위한 주제와 과정에 걸친 지식의 통합에 초점을 맞추어야 한다. […] 평가에 대한 연구는 대안적인 평가 계획(내용과 빈도, 방법 포함)이 학생 학습 활동과 결과에 미칠 수 있는 영향을 직접적으로 고려해야 한다.'(74쪽).

Swanson & Case (1997) seem to agree with this when they write: ‘Clearly, in order to encourage learning for understanding, assessments need to test more than recall of isolated facts. Instead, assessments should focus on application of basic science knowledge, often to clinical situations, and on integration of knowledge across topics and courses to achieve a coordinated, cross-disciplinary understanding of those situations. […] Research on assessment must directly consider the likely impact that alternate assessment plans (including content and frequency as well as method) will have on student learning activities and outcomes’ (p. 74).

마지막으로 중요한 것은, 학생들이 그들의 해부학적 지식에 대해 어떻게 생각하는지 알고 싶어할 수도 있다. 해부학자와 임상의의 지식에 대한 인식이 부정확할 수 있기 때문에, 학생들이 해부학적 지식에 대해 그렇게 높은 요구를 해야 하는 이유는 분명하지 않지만, 학생들의 해부학적 지식에 대한 판단이 훨씬 더 엄격하다는 징후가 있다. 하지만, 학생들이 해부학적 지식에 대해 확실히 강하게 느끼기 때문에, 그들은 또한 그 지식에 영향을 미치는 요소들에 대해 강한 의견을 가질 가능성이 있고, 그들이 해부학을 배우면서 어떻게 나아가고 싶은지 우리에게 말할 수 있을 것이다. 후자의 방향으로의 좋은 예는 의과 2학년 학생들의 해부학을 배우는 접근 방식을 개별적이고 반구조적인 인터뷰를 통해 탐구하는 Wilhelmson 외 연구(2009)이다. 앞서 언급한 분야에 대한 보다 광범위한 연구는 해부학 교육의 효과를 높이는 방법에 대한 다른 빛을 비추고 퍼즐에 조각을 추가할 수 있다.
Last but not least, one might want to know what students think of their anatomical knowledge. As the perceptions of anatomists and clinicians about their knowledge might be inaccurate, there are indications that students are even more severe in their judgement of their anatomical knowledge (Prince et al. 2005), although it is not clear why students should place such high demands on anatomical knowledge. However, since students clearly feel strongly about anatomical knowledge, they are also likely to have strong opinions concerning factors influencing that knowledge and may well be able to tell us how they would like to go about in learning their anatomy. A nice example in the direction of the latter is the study of Wilhelmsson et al. (2009), in which the approach to learning anatomy of second year medical students is explored by means of individual, semi-structured interviews. More extensive research in the aforementioned areas may shed a different light on, and add pieces to the puzzle of, how to increase the effectiveness of anatomy education.

지금까지의 유망한 연구 결과 또는 둘 이상의 관심 분야에 대한 기여 전망에 기초하여, 우리는 연구가 다음 요소에 초점을 맞추어야 한다고 제안한다. 

  • 맥락에서의 교수 가능성,
  • 수직적 통합의 구현
  • 평가 전략의 구현 

Based on promising research findings so far, or on prospects of a contribution to more than one area of concern, we propose that research should focus on the following factors:

  • the possibilities of teaching in context,
  • the implementation of vertical integration and
  • the implementation of assessment strategies.

흥미롭게도, 해부학 교육은 아마도 이러한 요소들이 보여주는 [일반적인 효과의 특별한 경우]일 것이다. 이러한 분야의 연구 결과는 해부학 교육보다 더 폭넓게 적용되며 모든 기초과학과 다른 과학으로도 확대될 수 있다.

Interestingly, anatomy education is probably only a special case of the general effects of these factors. Findings in these areas may well have wider application than anatomy education and extend to all basic and maybe other sciences as well.

 


Med Teach. 2011;33(5):403-9. doi: 10.3109/0142159X.2010.536276. Epub 2011 Feb 28.

Why don't they know enough about anatomy? A narrative review

Affiliations collapse

Affiliation

1Department of Anatomy/Embryology, Faculty of Health, Medicine and Life Sciences, Maastricht University, The Netherlands. e.bergman@ae.unimaas.nl

PMID: 21355704

DOI: 10.3109/0142159X.2010.536276

Abstract

Background: Publications in a variety of journals have described the problem of medical students' decreasing anatomical knowledge. Interestingly, the number of people making this assertion is growing, despite a lack of empirical evidence that today's medical graduates actually know less about anatomy than medical students in the past. Nevertheless, many people are claiming that students' anatomical knowledge is impaired due to negative effects from several factors, including teaching by non-medically qualified teachers, diminished use of cadaver dissection as a teaching tool and neglect of vertical integration of anatomy teaching.

Aim: To find empirical evidence for the factors claimed to have an influence on anatomical knowledge of students.

Method: A literature search.

Results: There is a lack of sufficient quantity and quality of information within the existing literature to support any of the claims, but the gathered literature did reveal some fascinating insights which are discussed.

Conclusion: Anatomy education should be made as effective as possible, as nobody will deny that medical students cannot do without anatomical knowledge. Because of promising findings in the areas of teaching in context, vertical integration and assessment strategies, it is recommended that future research into anatomy education should focus on these factors.

 

해부학 교육의 베스트 프랙티스: 비판적 문헌고찰(Ann Anat, 2016)
Best teaching practices in anatomy education: A critical review

Mohamed Estaia,b,∗, Stuart Buntb

 

 

1. 서론
1. Introduction

해부학은 의학 커리큘럼의 초석 중 하나로 여겨지며, 임상의들이 임상 기술을 개발하는 데 있다. 해부학에 대한 깊은 이해는 안전한 임상 실습, 특히 수술 분야에서 필수적이다(Turney, 2007). 인간 해부학의 교육은 여느 과정과 마찬가지로 학습 과정에 가장 적합한 교수 도구와 접근법을 결정하기 위해 끊임없는 수정과 분석이 필요하다(Moxham and Plaisant, 2007). 최근, 통합 및 시스템 기반 커리큘럼으로의 전환으로 인해 전통적인 시체 기반 해부학 교수법이 감소하였다. 종교적 신념, 비용 및 시간적 요인도 이러한 감소에 한몫했다. 이것은 해부학 교육에 할애된 시간의 양이 적절하지 않다는 보고에 의해 뒷받침된다(Lockwood and Roberts, 2007, Drake et al., 2009).

Anatomy is considered one of the cornerstones of medical curricula and it is on that clinicians develop their clinical skills. A deep understanding of anatomy is fundamental for safe clinical practice, particularly in the discipline of surgery (Turney, 2007). The teaching of human anatomy, like that of any course, requires constant revision and analysis to determine the teaching tools and approaches that best suit the learning process (Moxham and Plaisant, 2007). In recent times, there has been a reduction in traditional, cadaver-based, anatomy teaching, in some cases driven by a shift towards an integrated and/or system-based curriculum (Drake et al., 2009, Tibrewal, 2006). Religious belief, cost and time factors have also played a role in this reduction. This is supported by reports that the amount of time devoted to anatomy teaching is not adequate (Lockwood and Roberts, 2007, Drake et al., 2009).

외과적 과실에 대한 의료-법적 소송이 꾸준히 증가하고 있다(Goodwin, 2000). 1995년과 2000년 사이에 영국에서는 의학 방어 연합에 제출된 해부학적 무능력과 관련된 주장이 7배 증가했으며, 이 중 32%는 일반 및 혈관 외과 의사들에 대한 주장이었고, 많은 사람들은 "기초 구조물에 대한 손상"을 언급했다. 케이힐과 동료들은 미국에서 매년 피할 수 있는 80,000명의 죽음 중 상당한 수가 의사 무능뿐만 아니라 해부학적 오류 때문일 수 있다는 것을 보여주었다. 수술에 참여한 신규 거주자의 3분의 1 미만이 적절한 해부학적 지식을 가지고 있다는 보고에도 불구하고(Cottam, 1999), 수많은 의과대학들이 해부학을 가르치는 데 전념하는 수업 시간을 계속해서 줄이고 있으며, 학부생과 대학원생(의학과 치과) 학생들 사이에서 해부학에 대한 지식은 감소하고 있다.

There has been a steady increase in medico-legal litigation for surgical malpractice (Goodwin, 2000). In the UK, between 1995 and 2000, there was a 7-fold increase in claims associated with anatomical incompetence submitted to the Medical Defence Union; 32% of these claims against general and vascular surgeons, and many citing “damage to underlying structures” (Ellis, 2002). Cahill and colleagues showed that a significant number out of the 80,000 avoidable deaths per year in the US may be due to anatomical errors as well as doctor incompetence (Cahill et al., 2000). In spite of a report that less than one-third of new residents in surgery have adequate anatomical knowledge (Cottam, 1999), numerous medical schools continue to reduce the teaching time devoted for teaching anatomy and the knowledge of anatomy amongst undergraduate and graduate (medical and dental) students is in decline (Smith and Mathias, 2011, Moxham and Plaisant, 2007).

이전의 많은 출판물은 해부학 커리큘럼을 조사했으며, 약리학, 생물학, 생화학 또는 생리학 같은 의학 커리큘럼의 다른 측면보다 더 많을 수 있다(Pabst, 2009). Brenner 등은 6가지 교육 도구 범주를 설명합니다. 

  • (i) 학생들에 의한 해부, 
  • (ii) 시험된 시료의 검사, 
  • (iii) 교육, 
  • (iv) 모델의 사용, 
  • (v) 컴퓨터 기반 학습(CBL)과 
  • (vi) 생물 및 방사선 해부학 교수 

Many previous publications have examined anatomy curricula, may be more than any other aspect of the medical curricula e.g. pharmacology, biology, biochemistry or physiology (Pabst, 2009). Brenner et al. describe six categories of teaching tools:

  • (i) dissection by students,
  • (ii) inspection of prosected specimens,
  • (iii) didactic teaching,
  • (iv) use of models,
  • (v) computer-based learning (CBL) and
  • (vi) teaching of living and radiological anatomy (Brenner et al., 2003).

해부학 커리큘럼의 변화에 비추어 볼 때, 몇몇 연구는 해부학자와 학생들의 다양한 교육 양식에 대한 태도를 탐구했다. 해부학 교육에서 최고의 교수 실습에 대한 권고안을 마련하기 위해 해부학자, 임상의사 및 학생의 관점에서 해부학 교육의 현재 상태와 관련된 증거를 위해 문헌을 비판적으로 검토한다.

In light of the changes in anatomy curriculum, several studies have explored anatomists’ and students’ attitudes towards different teaching modalities (Kerby et al., 2011, Azer and Eizenberg, 2007, Patel and Moxham, 2006). We critically review the literature for evidence relating to the current status of anatomical education from the perspectives of anatomists, clinicians, and students, with the aim of coming up with recommendations for best teaching practice in anatomy education.

2. 토론
2. Discussion

2.1. 시체 해부
2.1. Cadaver dissection

해부Dissection는 400년 이상 동안 주요 해부학 교수법이었다. 인간 시체 해부를 이용한 학습은 능동적이고 심층적인 학습 강화, 임상 실습 준비, 죽음과의 조우 준비, 수동 기술 연습, 환자의 증상과 병리 사이의 관계 이해와 같은 수치화하기가 쉽지 않은 장점이 있다. 또한 팀워크 역량, 스트레스 대처 전략, 공감 등 의료 전문성 발달에도 기여한다. 플라스틱과는 달리, 시체들을 이용한 해부는 [해부학적 변형]의 식별에 놀라움을 제공하고, [더 많은 변형과 더 미세한 디테일]을 보여주며, 학생들이 수술실에 있는 것처럼 느낄 수 있는 살아있는 몸의 수준에 가까운 질감을 보존한다. 시체 해부가 미래의 의사를 배출하는 과정에서 필수적인 역할을 한다는 것에는 의심의 여지가 없다. 따라서, 어떤 사람들은 해부학 지식을 얻기 위해 해부 과정이 여전히 학습자들에게 필수적이라고 믿는다.

Dissection has been the primary anatomy teaching method for over 400 years (Azer and Eizenberg, 2007). Learning using dissection of human cadavers has advantages that are not easy to quantify such as; enhancing active and deep learning, preparing students for clinical practice, preparing students for encounters with death, practice of manual skills and for understanding the relationship between patients’ symptoms and pathology (Azer and Eizenberg, 2007, Fruhstorfer et al., 2011). It also contributes to the development of medical professionalism, including teamwork competency, stress coping strategies and empathy (Bockers et al., 2010). Unlike plastination, dissections using cadavers provide a feeling of surprise at the identification of anatomical variations (Korf et al., 2008), show more variations and finer details, and preserve texture to a level close to those of living body which allow students to feel as if they are in the operating theatre (Mcbride and Drake, 2015). There is no doubt that cadaver dissection plays an integral role in the process of producing future doctors (Netterstrom and Kayser, 2008). Therefore, some believe that dissection courses are still indispensable for learners to achieve anatomical knowledge (Korf et al., 2008).

많은 해부학자들은 여전히 다른 교육 도구보다 해부학의 사용을 선호한다. 파텔과 막스햄(2006)은 인터뷰한 해부학자의 대다수가 해부학을 선택했고(69%) 그 다음이 prosections를 가장 적절한 교수법으로 선택했다는 것을 발견했다. Kerby 외 연구진(2011)은 해부학자와 학생 모두 학습 결과를 충족시키는 데 있어 해부 과정이 가장 "목적에 적합한" 것으로 간주된다고 결론 내렸다. Davis 등은 해부학자와 성병학자 모두 해부학 교수 자원에 대한 해부학자와 의대생의 인식을 탐구했다. 학생들은 해부학 교육에서 시체 해부를 사용하는 것을 강력히 선호했다. 비슷하게, 울름대학교 의과대학의 의대 학생들은 시체 해부를 가르치는 도구로 사용하는 것을 높이 평가했다.

Many anatomists still favour the use of dissection over other teaching tools. Patel and Moxham (2006) found that majority of the anatomists interviewed (69%) selected dissection, followed by prosections as the most appropriate teaching method. Kerby et al. (2011) concluded that dissection courses were viewed by both anatomists and students as most “fit for purpose” in meeting learning outcomes, but no single teaching tool met all aspects of the curriculum. (Davis et al., 2014) explored anatomists’ and medical students’ perceptions towards anatomy teaching resources, both anatomists and students strongly favoured using cadaver dissection in anatomy teaching. Similarly, medical students at the Ulm University Faculty of Medicine highly rated using cadaver dissection as a teaching tool (Bockers et al., 2010).

반면에, 완전한 시체 해부가 여전히 현대 학부 교육에 적합한지에 대한 논쟁이 있었다. 해부를 위해 시체를 사용하는 것은 비용이 많이 들고 시간이 많이 걸리며 시대에 뒤떨어진 것으로 여겨져 왔다. 해부 과정은 영국, 미국, 호주 의과대학에서 더 이상 주요 교수법으로 사용되지 않는다. 전신 해부는 해부학을 가르치는 다른 양식과 함께 해부학 기반 과정으로 대체되었다. 해부학 커리큘럼의 해부 과정을 강조하지 않는 것은 다음에 의해 주도되고 있다.

  • 지역 기반 접근 방식에서 시스템 기반 접근 방식으로의 이동,
  • 이미 붐비는 커리큘럼의 해부 시간 단축 및 빈소 및 해부 실험실 유지와 관련된 높은 비용,
  • 공식 매연 노출과 관련된 건강 문제,
  • 카데바의 지속적인 사용을 둘러싼 윤리적 및 의학-법적 문제

졸업과 동시에 외과의사가 될 소수의 의대생들만이 해부가 필요할 수 있다(Lung et al., 2006).

On the other hand, there has been a debate about whether full cadaver dissection is still suitable for modern undergraduate education (Korf et al., 2008). Using cadavers for dissection has been considered costly, time-consuming and outdated (Aziz et al., 2002). Dissection courses are no longer used as the principle method of teaching in a significant number of UK, US, and Australian medical schools (Drake et al., 2009, Sugand et al., 2010, Craig et al., 2010). Full body dissection has been replaced with prosection-based courses in combination with other modalities to teach anatomy (Fruhstorfer et al., 2011, Rizzolo and Stewart, 2006, Sugand et al., 2010). De-emphasizing dissection courses in anatomy curricula has been driven by

  • the move from a regional-based to system-based approach,
  • reduction of time allocated for dissection in already crowded curricula and high costs associated with maintaining mortuary and dissection labs,
  • health concerns related to the exposure to formalin fumes, and
  • ethical and medico-legal issues surrounding their continued use (McLachlan, 2004McMenamin et al., 2014Sugand et al., 2010).

Only a small number of medical students may need dissection, those that will become surgeons upon graduation (Leung et al., 2006).

2.2. 프로섹션
2.2. Prosections

Prosections는 이미 해부된 표본이며, 때로는 플라스틱으로 된 표본이다. 중세와 르네상스 초기에 해부학을 가르치는데 있어서 시체 해부학은 필수적인 부분이었다. 통합 커리큘럼에서 전체 해부학에 할애되는 시간의 단축과 기증된 신체의 수가 감소함에 따라, 많은 프로그램들이 전신 해부에서 prosections으로 옮겨갔다. 이렇게 하면 접촉 시간이 단축되는 동시에 학습자가 찾기 위해 몇 시간을 소비할 수 있는 구조물에 노출될 수 있습니다. 심장이나 큰 혈관 같은 일부 구조물은 흉부와 복부 깊숙이 위치하기 때문에 부위별 또는 층별로 해부하는 것은 불가능하다. 따라서 해부는 시스템 기반 접근법에 적절하게 맞지 않으며, 이런 부위의 해부학은 [해부의 지역적 접근 방식]보다는 prosections를 사용하여 더 잘 교육된다. 호주와 뉴질랜드 의과대학 내에서, 기증된 시체의 수가 증가함에 따라 시체들을 이용할 수 있음에도 불구하고, 해부학 프로그램이 완전히 해부 기반인 것은 없다. 호주와 뉴질랜드 의과대학에 대한 최근 조사는 19개의 호주와 뉴질랜드 의과대학이 전체 해부학을 가르치는 데 가장 일관되게 사용되는 방법인 체계적이고 통합된 사례 기반 학습 커리큘럼을 사용한다는 것을 보여주었다.

A prosection is an already dissected, sometimes plastinated specimen. Cadaver prosections were an essential part of teaching anatomy in the Middle Ages and early Renaissance (Enke, 2005). With a contraction of the time devoted to gross anatomy in an integrated curriculum and decreasing numbers of donated bodies, many programs have moved from full body dissection to prosections; this reduces the number of contact hours while allowing learners the exposure to structures that they might otherwise spend hours trying to find (Dinsmore et al., 1999). Because some structures like the heart and large vessels are located deep in the thorax and abdomen, dissecting such structures region by region or layer by layer is impossible. Therefore, dissection does not fit appropriately into a system-based approach, here anatomy is better taught using prosections rather than the regional approach of dissection (Leung et al., 2006). Within Australian and New Zealand medical schools, despite the availability of cadavers due to an increasing number of donated bodies, no anatomy program is wholly dissection-based (Craig et al., 2010). A recent survey of Australian and New Zealand medical schools, showed that 19 Australian and New Zealand medical schools use a systemic, integrated, case-based learning curriculum for which prosection was the method most consistently used for teaching gross anatomy (Craig et al., 2010).


prosections은 여러 가지 이점을 제공합니다. prosections기반 과정은 구조와 그 관계가 쉽게 관찰되기 때문에 유연하고 맥락적이며 시간 효율적이며, 둘 이상의 학생 코호트가 프로토섹션을 사용할 수 있기 때문에 더 적은 수의 시체들이 필요하다. 사체를 해부하는 학생보다 투영된 자료에서 배우는 의대생들이 여러 표본에서 더 많은 해부학적 변화를 확인하거나 볼 수 있다. 이러한 장점에도 불구하고, 투영된 검체의 준비는 시간이 많이 걸리고 각 신체 부위의 여러 개의 프로토셀을 만들기 위해 충분한 숙련된 인력이 필요하다. 이전 보고서는 직접 해부하며 해부학을 배우는 학생들과 prosections으로 해부학을 배우는 학생들 사이에 결과에 큰 차이가 없음을 보여주었다(Yeager, 1996). 최근의 연구에 따르면 학생들은 dissection보다 prosections에서 배우는 것을 더 선호한다고 한다. 일부 해부학자들은 해부학을 가르치는데 있어서 prosections이 전신 해부를 대체할 수 있다고 믿는다.

Prosections offer a number of advantages; prosection-based courses are flexible, contextual and time-efficient as structures and their relations are easily observed, and fewer cadavers are needed as more than one student cohort can use the prosections (Nnodim, 1990, Dinsmore et al., 1999, Pather, 2015). Medical students learning from prosected materials may be able to identify or view more anatomical variations in several specimens, than students who dissect cadavers (Topp, 2004). Despite these advantages, preparation of prosected specimens is time-consuming and requires ample skilled personnel to create multiple prosections of each body region. A previous report showed no significant differences in outcomes between students learning anatomy from dissection and those learning it from examining prosected cadavers (Yeager, 1996). Recent studies show that students favour learning from prosections over dissection (Nnodim, 1990, Dinsmore et al., 1999). Some anatomists believe that prosection can replace full body dissection in teaching gross anatomy (Mclachlan and Regan De Bere, 2004).

2.3. 플라스티네이션
2.3. Plastination

플라스티네이션은 단순히 prosections를 보존하는 특별한 방법으로 간주될 수 있지만, 수축, 텍스처 손실, 자연 조직 색상과 미세한 디테일과 같은 몇 가지 한계를 가지고 있다. 또한 플라스틱 시료 준비에 사용되는 다량의 가연성 화학물질과 관련된 건강 및 안전 문제가 있습니다. 플라스티네이션은 1977년 하이델베르크 대학교 해부학 연구소의 군터 폰 하겐스에 의해 처음 개발되었으며, 그 이후 플라스티네이션은 인체의 보존을 위한 최고의 기술 중 하나가 되었다. 많은 해부학자들은 정형화된 고정된 물질보다 플라스틱으로 된 표본을 선호하는데, 그 이유는 그것들이 냄새가 없고 보관하기 편리하며 취급하기 쉽기 때문이다. 플라스틱은 플라스틱 시료의 "반영구성"으로 인해 상대적으로 비용 효율적인 것으로 간주됩니다. 플라스티네이션은 몇 년에 한 번 하는 것이 아니라 10년에 한 번 정도만 하면 됩니다. 냉장 및 흄 추출이 필요하지 않기 때문에 보관 비용이 낮습니다. 플라스티네이션은 대부분의 해부학 부서에서 쉽게 구할 수 있는 저비용 장비를 사용하여 수행할 수 있습니다. 이전 연구는 플라스틱 표본이 학생들에게 유용하고 다양한 수준에서 학생들의 요구를 수용하는 것으로 나타났다. 비록 플라스틱은 수많은 장점을 가지고 있지만, 플라스틱은 가장 일반적인 변형을 보여주지만, 시간이 지남에 따라, 플라스틱 부분은 그들의 참신한 성격을 잃고 결국 학생들은 노출된 변형을 암기한다.

Plastination can be considered simply a specialized way of preserving prosections but it does have some limitations such as shrinkage, loss of texture, natural tissue colour and fine details. In addition, there are health and safety concerns associated with the large amounts of flammable chemicals used in preparation of plastinated specimens. Plastination was first developed by Gunther von Hagens at the Anatomical Institute of Heidelberg University in 1977 and, since its development, plastination has become one of the best techniques for the preservation of the human body (Von Hagens et al., 1987). Many anatomists favour plastinated specimens over simply formalin fixed material, because they are odourless, allow convenient storage, and ease of handling (Latorre et al., 2007, Jones and Whitaker, 2009, Fruhstorfer et al., 2011). Plastination is considered relatively cost-effective due to the “semi-permanence” of the plastinated specimens – prosections only have to be made once every ten years or so instead of every few years; storage costs are lower as refrigeration and fume extraction are not required (Latorre et al., 2007); and plastination can be carried out using low cost equipment which is readily available in most Anatomy departments (O'sullivan and Mitchell, 1995). Previous studies showed that plastinated specimens were deemed useful by students and accommodated student needs at various levels (Latorre et al., 2007, Fruhstorfer et al., 2011). Even though plastination has numerous advantages, plastination shows the most common variations, in time, plastinated sections lose their novel character and eventually students master the exposed variations by heart (Korf et al., 2008).

2.4. 컴퓨터 기반 학습(CBL)
2.4. Computer based learning (CBL)

최근 기술의 발전, 수업 시간의 감소, 수업의 크기 증가, 그리고 시체 기반 수업의 비용 증가로, CBL 자원은 학생 학습을 촉진하기 위한 해부학 커리큘럼에 점점 더 많이 사용되고 있다. 이것의 사용은 해부학 교육을 강화하고, 독립적인 학습, 문제 해결을 강화하며, 유연성을 제공한다(Release, 2002). 비록 CBL이 전통적인 교수법보다 더 나은 접근 방식이라는 명확한 증거는 없지만, CBL을 사용하여 해부학을 배우는 것이 전통적인 교수법을 대체하기 보다는 보충함으로써 학습을 향상시킬 수 있다는 증거가 있다. 학생들은 여전히 해부, 해부, 강의, 교과서와 같은 전통적인 방법을 CBL 자료보다 선호한다. 마찬가지로 많은 해부학자들은 CBL 자원을 사용하더라도 최적의 훈련을 위해 시체 기반 instruction은 여전히 필수 조건이라고 믿는다.
With recent advances in technology, reductions in teaching time, increasing class size and increasing costs of cadaver-based instruction, CBL resources are increasingly used in anatomy curricula to foster student learning (Tam et al., 2010, Azer and Eizenberg, 2007). Its use augments anatomy teaching, enhances independent learning, problem solving, and provides flexibility (Trelease, 2002). Although, there is no clear proof that CBL alone is better approach than traditional teaching methods (Mcnulty et al., 2004, Khot et al., 2013), evidence shows that learning anatomy using CBL can enhance learning by supplementing rather than replacing the traditional teaching methods (Tam et al., 2010, Durosaro et al., 2008). Students still prefer traditional methods such as dissection, prosection, lectures and textbooks over CBL resources (Azer and Eizenberg, 2007, Kerby et al., 2011, Davis et al., 2014). Similarly many anatomists believe that cadaver-based instruction is still a prerequisite for optimal training even with the use of CBL resources (Aziz et al., 2002, Tam et al., 2010).

대부분의 CBL 자원은 해부학적 구조의 3D 표현 개발에 초점을 맞추고 있으며 의료 교육에서의 사용에 대한 연구가 있다. 가상현실(VR)을 통해 학생들은 인공 3D 공간에서 시뮬레이션된 물체를 시각화하고 해부하며 상호작용할 수 있다(Release, 2002). VR 프로그램의 유용성과 비용 효율성은 해부학 수업에서 잘 인정받았고, 학생들의 태도는 가상 해부학 사용에 대해서도 긍정적이었다. 지난 수십 년 동안 가시 인간 프로젝트와 중국 가시 인간 데이터 세트와 같은 인체 해부학 응용의 자원으로 전 세계에서 사용되고 있는 대규모 해부학 데이터 세트가 개발되었다.

Most CBL resources have focused on the development of 3D representations of anatomical structures and there has been research into its use in medical education (Drake et al., 2009, Tam et al., 2010). Virtual reality (VR) allows students to visualize, dissect and to interact with simulated objects in artificial 3D space (Trelease, 2002). The usefulness and cost-effectiveness of VR programs have been well acknowledged in anatomy teaching, students’ attitudes have also been positive towards the use of virtual anatomy (McNulty et al., 2009, Rizzolo and Stewart, 2006). Over the last few decades, large-scale anatomical data sets have been developed that are being used all over the world as a resource for human anatomy applications such as the Visible Human Project and the Chinese Visible Human dataset (Spitzer and Whitlock, 1998, Zhang et al., 2004).

최근, 해부학 테이블은 인간의 시체들을 대체하기 위해 커틴 대학의 건강 과학에서 사용되고 있다. 아나토마지 테이블은 가상 3D 해부 플랫폼으로 디지털 이미지를 대화식으로 활용해 전신의 해부학적 구조를 탐색하는 실물 크기의 '아이패드 같은' 경험을 제공하는 멀티 터치 스크린이 탑재됐다. 바이오디지털 휴먼과 접합체 본체는 3D 그래픽스를 위한 프로그래밍 인터페이스를 제공하는 임베디드 시스템용 오픈 그래픽 라이브러리 2.0을 기반으로 웹GL 기술을 사용하는 인터랙티브 웹 기반 프로그램인 3D 시각화의 예이다. 3D 시각화 기술을 통해 학생들은 다양한 시스템을 뒤틀고 임상 주제를 설명하면서 인체의 전신을 탐색할 수 있다. 세컨드라이프는 2003년 린든랩이 개발한 VR의 또 다른 예이다. 학생들이 콘텐츠를 탐색할 수 있을 뿐만 아니라 동일한 가상 방에서 동일한 콘텐츠를 볼 수 있어 사용자 간의 상호 작용이 가능하기 때문에 온라인 학습에 고유한 확장을 도입한다.

Recently, Anatomage tables have been used in health sciences at Curtin University to replace human cadavers (Fyfe et al., 2013). The Anatomage table is a virtual 3D dissection platform, with a multi-touch screen that provides a life-size “iPad-like” experience that uses digital images in an interactive way to explore the anatomy of the whole body (Fyfe et al., 2013). The BioDigital Human and Zygote Body are examples of 3D visualization, interactive web-based programs that use WebGL technology, based on the Open Graphics Library for Embedded Systems 2.0, which provides a programmatic interface for 3D graphics (Kelc, 2012, Qualter et al., 2011). The 3D visualization technology allows students to explore a whole human body, toggling various systems and explaining clinical topics. Second Life is another example of VR, developed by Linden Lab in 2003. It introduces a unique extension to online learning, as students are not only able to explore the content but also allow interactions between users as they view the same content in the same virtual room (Richardson et al., 2011).

오큘러스 리프트와 유사한 3D 시각화 "고글"은 의료 훈련 및 교육 목적에 엄청난 영향을 미친다. 사용자는 오큘러스 리프트 "헤드 마운트 디스플레이"를 착용하고 투어를 만들거나 인체를 통해 가상으로 비행할 수 있는 핸드 컨트롤러를 가지고 있다. Oculus left는 또한 학생들이 단순하고 복잡한 일련의 작업을 수행해야 하는 가상 환경에서 운동 기술과 손 움직임을 사용하여 배울 수 있도록 한다(Mathur, 2015). 증강현실(AR)은 또 다른 새로운 도구로서, AR의 새로운 측면은 실제 환경의 관점과 추가 가상 콘텐츠를 결합하는 것이다. AR은 컴퓨터 생성 물체를 실제 세계에 통합하여 사용자의 현실 인식을 향상시킨다는 점에서 가상 현실과 다르다. AR은 "현실에 대한 증대로 물리적 세계를 볼 수 있고 이 창에서 가상 구성 요소가 보일 수 있는 창을 제공합니다." 사용자의 몸에 해부학적 구조를 표시할 수 있는 착각을 일으킬 수 있기 때문에 보다 복잡한 해부학을 시각화하는 것도 유용할 수 있다. 햅틱(촉각) 기술은 인간과 수의 임상 교육에 점점 더 많이 사용되고 있는 또 다른 가상 시뮬레이션 기술로 촉각에 의존하는 검사를 시뮬레이션하는 데 특히 유용하다(Kinnison et al., 2009). 햅틱은 VR에 촉각과 힘 피드백을 모두 더하고, 실제와 같은 내부 해부학적 느낌을 제공한다.

Oculus rift and similar 3D visualization “goggles” have tremendous implications for medical training and instruction purposes. The user wears the Oculus Rift “head mounted display” and holds hand controllers which allow him/her to create a tour or virtually fly through the human body. Oculus rift also enables students to learn using their motor skills and hand movement in a virtual environment where they are required to perform a mixed set of simple and complex tasks (Mathur, 2015). Augmented reality (AR) is another emerging tool, the novel aspect of AR is to combine the view of the real environment with additional virtual content (Kamphuis et al., 2014). AR differs from virtual reality in that it integrates computer-generated objects into the real world to enhance the user's perception of reality (Hugues et al., 2011). AR “provides a window through which the physical world can be seen and for the virtual components to become visible in this window, as an augmentation to reality” (Kamphuis et al., 2014). It has uses in anatomy education in that as it can create an illusion allowing display of anatomical structures on the user's body, it could also be useful to visualize more complex anatomy (Thomas et al., 2010). Haptic (touch) technology is another virtual simulation technology that has been increasingly used in human and veterinary clinical training and is particularly useful for simulating examinations that rely on the sense of touch (Kinnison et al., 2009). Haptic adds both tactile and force feedback to VR and provides a life-like feel of internal anatomy (Kinnison et al., 2009).

3D 프린팅 또는 빠른 프로토타이핑은 해부학을 가르칠 가능성이 큰 급속하게 확장되고 있는 기술입니다. 수술 계획, 이식 가능한 보철물을 만드는 것, 생물학적인 조직 공학이 있습니다. 이 기술의 원리는 재료를 층층이 추가하는 과정을 통해 3D 물리적 모델을 재구성하는 데 3D CAD(Computer-Aided Design)를 사용하는 것이다. 적층 제작을 통해 기계는 CAD 도면으로부터 데이터를 읽고 액체, 분말 또는 시트 재료의 연속적인 층을 깔고, 이러한 방식으로 일련의 단면으로부터 모델을 구축합니다. 이 기술은 구조 및 관계에 대한 시각적 공간 및 3D 이해를 강화하기 위해 해부학 교육 목적에 유용한 매우 정확한 모델을 저렴한 비용으로 더 짧은 시간에 제작할 수 있다. 최근, 폴 맥메나민 교수가 이끄는 모나시 대학의 한 그룹은 3D 프린팅 해부학 시리즈를 만들기 위해 레이저 휴대용 스캐너, MRI 영상 및 CT 스캔을 만들었습니다. 이 키트에는 인체 조직이 포함되어 있지 않지만, 팔다리, 가슴, 복부, 머리, 목의 해부학을 가르치는 데 필요한 신체의 모든 주요 부위를 제공한다. McMenamin과 동료들이 수행한 최근 파일럿 연구는 이 혁신이 해부학 학습에 특정 이점을 제공하고 시체 기반 교육의 보충물로 사용 및 지속적인 평가를 지원한다는 것을 시사한다.

3D printing or rapid prototyping is a rapidly expanding technology with great promise for teaching anatomy; surgical planning; creating implantable prosthetics; and biological tissue engineering (Gibson et al., 2010). The principle of this technology is to use 3D computer-aided design (CAD) for the reconstruction of 3D physical models through a process of adding layer upon layer of materials (Gibson et al., 2010). With additive fabrication, the machine reads in data from a CAD drawing and lays down successive layers of liquid, powder, or the sheet material, and in this way builds up the model from a series of cross sections (Gibson et al., 2010). This technology is able to produce highly accurate models, at a low cost and in less time, useful for anatomy education purposes to enhance visuospatial and 3D understanding of structures and relationships (McMenamin et al., 2014). Recently, a group at the Monash University led by Professor Paul McMenamin put together laser hand-held scanners, MRI imaging and CT scans to create a 3D Printed Anatomy Series. The kit contains no human tissue, yet it provides all the major parts of the body required to teach anatomy of the limbs, chest, abdomen, head and neck. A recent pilot study done by McMenamin and colleagues suggest that this innovation offers certain benefits to anatomy learning and supports their use and ongoing evaluation as supplements to cadaver-based instruction (Lim et al., 2015).

시체 사용을 지지하는 사람들은 해부만이 조직의 촉각 조작, 3D 상호 작용 및 다중 감각의 관여를 제공할 수 있으며, VR 도구는 이러한 장점을 제공하지 않는다고 주장한다. 시체들의 사용은 또한 공간 정보와 관계에 대한 이해와 보존을 증진시키는 것으로 생각된다. 또한, 소프트웨어의 탐색과 VR 프로그램의 풍부한 옵션은 학생들의 인지 기능을 저해하고 결과적으로 학생들의 학습을 방해할 수 있다. AR과 3D 프린팅은 해부학의 시각적 및 촉각적 표현을 제공할 수 있지만, 시체 해부가 할 수 있는 모든 감각을 재현할 수는 없습니다. 시체 해부에 반대하는 사람들은 CBL과 VR 자원이 저장, 인공호흡 인프라 또는 방부 처리를 필요로 하지 않고 전체적인 해부학을 배울 수 있는 기회를 제공하기 때문에 시체 실체에 비해 상당한 이점을 제공한다고 주장한다. VR은 학생들에게 다양한 시각과 각도를 선택할 수 있는 더 많은 자율성을 제공하고, 시체로는 불가능한 휴대성, 수명, 표준화, 다양성을 제공한다.
Supporters for the use of cadavers argue that only dissection can provide tactile manipulation of tissue, 3D interaction and engagement of multiple senses, VR tools do not offer these advantages. Use of cadavers is also thought to enhance understanding and retention of spatial information and relationships (Rizzolo and Stewart, 2006, Dehoff et al., 2011). In addition, the software's navigation and the plentiful options of the VR programs may hinder student cognitive function and, as a result, impair student learning. Although AR and 3D printing can offer visual and tactile representations of anatomy, they cannot reproduce all of the sensations that cadaveric dissection can. Opponents of cadaveric dissection, argue that CBL and VR resources present significant advantages over the reality of a cadaver as they provide the opportunity to learn gross anatomy without requiring storage, ventilation infrastructure or embalming. VR provides students more autonomy in choosing different views and angles, offers portability, longevity, standardization, and diversity that is not possible with a cadaver (Spitzer and Whitlock, 1998).

2.5. 의료 영상촬영
2.5. Medical imaging

해부학 교육에 의료 영상을 사용하면 해부학적 구조와 생리의 생체 내 시각화는 물론 병리학적 프로세스에 대한 통찰력을 제공한다. 컴퓨터 단층촬영(CT), 자기공명영상(MRI), 초음파의 등장으로 2차원 및 3D 재구성으로 내부 해부학의 매우 상세한 영상을 표시할 수 있게 되었다. 정보기술의 폭발적 증가로 인해 의과대학들은 이미징 기술을 그들의 의학 커리큘럼에 통합하도록 요구되어 왔다. 의학 이미지를 해부학 커리큘럼에 통합하면 학생들에게 기본적인 해부학적 지식을 2차원 단면 CT 및 MRI 스캔의 해석에 적용하고 임상적 관련성을 해부학적 지식과 상관시킬 수 있는 능력을 제공한다. 의료 영상은 해부학적 공간 관계에 대한 더 나은 이해를 촉진하고, 학생들의 해부 시간의 효율성을 향상시키며, 전체 해부학에 대한 관심을 높일 수 있기 때문에 해부 기반 교육에 귀중한 추가 요소로 간주된다.
The use of medical imaging in anatomy education provides in vivo visualization of anatomical structure and physiology as well as insight into pathological processes (Gunderman and Wilson, 2005). With the advent of computed tomography (CT), magnetic resonance imaging (MRI) and ultrasound, it has become possible to display highly detailed images of internal anatomy in two-dimensions and 3D reconstructions (Gunderman and Wilson, 2005). As a result of the explosion in information technology, medical schools have been required to integrate imaging techniques into their medical curricula (Gregory et al., 2009). Integration of medical images into anatomy curricula offers students the ability to apply basic anatomical knowledge to the interpretation of two-dimensional sectional CT and MRI scans and to correlate clinical relevance with anatomical knowledge (Lufler et al., 2010, Miles, 2005). Medical imaging is considered a valuable addition to dissection-based instruction as it can promote better understanding of anatomical spatial relationships, enhance the efficiency of students’ dissection time and increas their interest in gross anatomy (Pabst et al., 2005, Reeves et al., 2004).


의료 영상은 기존의 해부의 이점을 대체할 수 없으며, 독립적 접근방식으로서 중요한 한계를 가지고 있다. 복잡한 과정을 가진 수많은 해부학적 구조들은 현재의 영상 양식으로는 적절하게 보기 어렵다. 또한 해부는 의료 영상으로는 달성할 수 없는 조직의 "느낌"에 대한 이해를 제공한다. 또한 의료 이미지를 검사하는 것은 인간 카데바를 직접 경험하는 것에 비해 어느 정도 추상화 된 것이다. 학생들에게 해부할 기회를 주지 않음으로써 "시신과 환자의 사망률의 즉시성은 해소될 것 같다."

Medical imaging cannot substitute for the benefits of conventional dissection (Gunderman and Wilson, 2005, Howe et al., 2004, Aziz et al., 2002), it has important limitations as a stand-alone approach (Howe et al., 2004, Aziz et al., 2002). Numerous anatomical structures with complex courses are difficult to view adequately with current imaging modalities; dissection also provides an appreciation of the “feel” of tissues which cannot be achieved by medical imaging (Miles, 2005). Inspecting medical images also introduces a level of abstraction compared to the face-to-face experience with the human cadaver (Gunderman and Wilson, 2005). By denying students the opportunity to dissect, “the immediacy of the mortality of cadavers and patients is likely to be dissolved” (Gunderman and Wilson, 2005).

2.6. 생체 해부학
2.6. Living anatomy

예술가들과 미술사학자들은 항상 살아있는 신체에 큰 관심을 보여 왔다. 살아있는 해부학은 시체들의 색깔, 질감, 냄새가 실제 생활과 같지 않고, 촉진을 하거나 청취를 하거나 위치를 바꾸도록 유용하게 요청할 수 없다는 점에서 시체들에 비해 장점이 있다. 생체 해부학은 동료 신체 검사(PPE), 초음파 및 보디 페인팅을 사용하여 학생들에게 가르칠 수 있다. PPE는 학생들이 서로를 신체적으로 검사하는 것을 포함한다. 신체 민감한 부위를 검사하는 데 불편함이나 반대가 있지만 학생들은 PPE에 기꺼이 참여한다(Rees et al., 2005). 그럼에도 불구하고 PPE는 생명모델의 사용보다 더 유익한 것으로 밝혀졌다. PPE는 학생들에게 환자 접견 전에 임상 기술을 안전하게 연습하고 습득할 수 있는 기회를 제공하며, 공감 능력의 개발과 의사소통 능력의 향상을 제공한다. 환자 이송에 따른 추가 비용 요건이나 표준형 환자 수수료가 없어 비용 대비 효과도 높은 것으로 평가된다. 또는 신체 검사 기술을 가르치기 위해 전문가 또는 시뮬레이션 환자(SP)를 사용하는 것이 의료 교육에 널리 사용되어 왔다. 골반 부위 및 유방과 같은 신체 특정 부위의 교육에 SP를 사용하는 것은 윤리적 문제를 해결하고, 불안감을 줄이고, 당황을 피하고, 학생의 성과를 향상시키고, 학생들에게 귀중한 피드백을 제공할 수 있는 잠재력을 가지고 있다.
Artists and art historians have always shown a great interest in the living body (Griksaitis et al., 2011). Living anatomy has advantages over cadavers in that cadavers’ colour, texture, and smell are not like real life, and they cannot be palpated, auscultated, or usefully asked to change position (McLachlan, 2004). Living anatomy can be taught to the students using peer physical examination (PPE), ultrasound and body painting. PPE involves students physically examining each other (Rees et al., 2004). Students are willing to participate in PPE, although there is discomfort or opposition to examining sensitive areas of the body (Rees et al., 2005). Nevertheless, PPE has been found to be more beneficial than the use of life models (Metcalf et al., 1982). PPE provides students an opportunity to safely practice and master clinical skills prior to the patient encounter as well as development of empathy and improving communication skills (Patten, 2007, Wearn and Bhoopatkar, 2006). It is also considered cost-effective as there are no additional cost requirements for transportation of patients or fees for standard model patients (Wearn and Bhoopatkar, 2006). Alternatively, the use of professionals or simulated patients (SP) for teaching physical examination skills has been widely used in medical education (Wanggren et al., 2005). The use of SP for teaching examinations of certain parts of body such as the pelvic region and breast has the potential to address ethical concerns, reduce anxiety, avoid embarrassment, improve student performance and provide valuable feedback to the student (Wanggren et al., 2005).

초음파는 현대 해부학 교육에서 더 자주 사용되며, 총 해부학을 가르치는 전통적인 방법에 추가될 때 유용한 부가물 역할을 할 수 있다. 초음파는 신체 구조의 생체 내 시각화를 2차원으로 허용하고 학습자가 임상적으로 관련된 맥락에서 해부학적 지식을 얻을 수 있도록 한다. 그러나 초음파 사용에 대한 공식적인 가르침이 부족하기 때문에 의대생과 새로운 의사들 사이에 초음파에 대한 실무 지식이 부족하다. 따라서, 초음파를 해부학 커리큘럼에 통합하기 위한 임상 지도자들의 요청이 있었다. 해부학 교육에서 보디페인팅은 마커펜이나 왁스 크레용을 이용해 신체 표면에 내부 구조를 그리는 것을 말한다(McMenamin, 2008).

Ultrasound is used more often in modern anatomical education, it can act as an useful adjunct when added to the traditional methods used teach gross anatomy (Brown et al., 2012). Ultrasound permits in vivo visualization of body structures in two-dimensions and enables learners to gain anatomical knowledge in a clinically relevant context (Ivanusic et al., 2010). However, there is lack of working knowledge of ultrasound amongst medical students and new doctors due to a lack of formal teaching in ultrasound use (Brown et al., 2012). Therefore, there has been a call from clinical tutors for integrating ultrasound into anatomy curricula (Bahner et al., 2012). Body painting in anatomy education refers to painting internal structures on the surface of the body using marker pens or wax crayons (McMenamin, 2008).

대규모 수업 환경에서 학습 표면 해부학과 기초 해부학을 용이하게 하는 능동적이고 촉감적인 학습 양식으로 설명되었다. 바디 페인팅은 즐겁고 상호작용적인 것 외에도 해부학적 지식의 보존과 기억을 강화한다. McMenamin은 표면 해부학과 임상 기술을 가르치기 위해 보디 페인팅을 보조 자료로 사용할 것을 강력히 권고했다. 보디페인팅은 비교적 저렴한 비용으로 쉽게 도장 재료를 구할 수 있고, 많은 수의 학생들이 직원 시간과 물리적 자원을 덜 요구하면서 동시에 도장에 종사할 수 있어 상대적으로 비용 효율이 높다는 평가를 받고 있다.
It has been described as an active and tactile learning modality facilitating learning surface anatomy and underlying anatomy in large class settings (
Op Den Akker et al., 2002). Besides being enjoyable and interactive, body painting enhances retention and recall of anatomical knowledge (Finn and McLachlan, 2009). McMenamin highly recommended the use of body painting as an adjunct resource to teach surface anatomy and clinical skills (McMenamin, 2008). Body painting is considered relatively cost-effective as painting materials are readily available at relatively low cost, and large numbers of students can be simultaneously engaged in painting while requiring less staff time and physical resources (Finn, 2015).

해부학 교육에서 보디페인팅과 PPE의 명백한 이점에도 불구하고, 몇몇 연구들은 성별, 종교적 신념, 검사할 신체 부위의 위치와 같은 더 [민감한 문제]들이 그들의 동료를 검사하고 검사하려는 학생들의 의지에 영향을 미칠 수 있다는 것을 발견했다. 이슬람 국가에서, [문화적 민감성과 종교적 문제]는 심지어 같은 성별 사이에서도 PPE와 보디페인팅을 하는 것을 제한할 수 있다. 맨체스터 대학의 다민족 의대생들 사이에서 오닐과 동료들에 의해 수행된 조사는 그들의 종교가 특히 이슬람 여학생들 사이에서 PPE를 수행하는 것에 반대하는 이유로 주어졌다는 것을 보여주었다. 아랍에미리트 대학 보건과학부에서 실시한 임상 기술 실험실에 대한 인턴과 상급 의대생들의 태도에 관한 또 다른 조사는 대다수의 여학생들이 PPE에 익숙하지 않다는 결론을 내렸다(Das et al., 1998).
Despite the apparent benefits of body painting and PPE in anatomy education, several studies have identified that more sensitive issues such as gender, religious beliefs and location of body region to be examined, may influence students’ willingness to examine their peers and be examined (Reid et al., 2012, Rees et al., 2009). In Islamic states, cultural sensitivities and religious issues may constrain doing PPE and body painting even between the same genders. A survey conducted by O’Neill and colleagues among medical students from multi-ethnic groups in Manchester University showed that their religion was given as a reason against performing PPE particularly among Muslim female students (O’Neill et al., 1998). Another survey done at the Faculty of Health Sciences in United Arab Emirates University regarding the attitudes of interns and senior medical students towards clinical skills labs concluded that the majority of female students were not comfortable with PPE (Das et al., 1998).

2.7. 강의 기반 강의
2.7. Lecture-based teaching

16세기 이래로, 공식적인 강의와 해부는 시체 해부와 함께 해부학 과정의 중요한 부분으로 남아있었지만, 강의는 비효율적이고, 시대에 뒤떨어지고, 수동적인 학습 형태라고 많은 사람들에 의해 비판되어 왔다. 강의실 교육을 포함한 의료 커리큘럼의 모든 측면의 전환은 교육학(시스템 기반 및 수직적 접근 통합으로의 이동)과 자원(대규모 수업, 적은 교수진, 제한된 자금 지원 및 혼잡한 커리큘럼)에 의해 추진되었다. 유망한 대안적 교수 전략은 혼합 학습이다. 혼합 학습은 전통적인 대면 및 온라인 교육 방법의 통합이다. 플립 또는 거꾸로 교실은 혼합된 학습 모델이며, 전통적인 강의와 숙제 요소를 뒤집는 교육적 접근 방식이다. 이러한 교육 모델은 어떤 과목에 대한 오디오와 비디오를 포함한 인터넷 자원의 가용성 때문에 특히 매력적이 되었다. 소셜 미디어(유튜브, 블로그, 위키, 아이튠즈 U 또는 팟캐스트)와 다른 웹 2.0 도구를 사용하여 튜터를 학생들과 연결할 수 있다. 혼합 학습 모델은 비출석 기반 교육과 관련된 문제를 피하면서 능동적인 학습을 촉진하고 학업 성과를 향상시킬 수 있는 잠재력을 가지고 있다. 그러나 이 학습 모델은 학생들의 수업 밖 준비에크게 의존하므로, 학생들이 할당된 수업 전 또는 수업 내 활동에 참여하지 못할 수 있다는 우려가 있다. 또한 강의 자료를 준비하는 데 수반되는 업무량도 증가합니다.
Since the sixteenth century, formal lectures and dissection have remained a key part of any anatomy course along with cadaver dissection (Vázquez et al., 2007), however this approach has been criticized by many as an ineffective, outdated and passive form of learning (Nandi et al., 2000, Pawlina and Lachman, 2004). Transformation of all aspects of the medical curriculum, including classroom instruction has been driven by pedagogy (the move to a system-based and vertically approach integrated) and resources (large classes, less teaching staff, limited funding and a crowded curriculum). One promising alternative teaching strategy is blended learning. Blended learning is the integration of traditional face-to-face and online instructional methods (Graham, 2006). The flipped or inverted classroom is a blended learning model, an educational approach that reverses the traditional lecture and homework elements of a course (Lage et al., 2000). This model of teaching has become particularly attractive because of the availability of internet resources including audio and video on any subject. It can make use of social media (YouTube, blogs, wikis, iTunes U or podcasts) and other Web 2.0 tools, to connect tutors to the students. The blended learning model has the potential to facilitate active learning and improve academic performance while avoiding issues that are associated with non-attendance-based teaching (Pereira et al., 2007). However, this learning model is heavily dependent on students preparing outside of class, therefore there is a concern that students may fail to engage with the assigned pre-class or in-class activities. There is also an increased workload involved in preparing the course materials.

2.8. 통합 커리큘럼
2.8. Integrated curricula

전통적인 학부 의학 커리큘럼에서, 임상 전/초학년은 보통 기초과학에 집중하며, 이후 몇 년은 임상 과학과 임상 훈련에 집중하기 때문에, 학생들은 임상 훈련 동안 해부학에 대한 노출이 매우 제한적이었다. 이러한 교육 방식은 신규 의학 졸업생들 사이에서 관련 해부학적 지식이 부족하기 때문에 임상 지도 교수들로부터 빈번한 비판을 받아왔다. 이로 인해 새로 자격을 갖춘 의사들 사이의 해부학적 지식이 환자의 안전이 훼손될 수 있는 수준에 있을 수 있다는 우려가 제기되었다. 의학 교육 내부의 개혁은 수직 통합 커리큘럼을 개발하려는 노력으로 이어졌다. 이를 통해 임상과학은 초기에 도입되는 반면, 해부학과 기타 기초과학은 커리큘럼 말기에 지속적으로 관심을 기울인다. 이 과정에서 해부학 지식의 특정 영역을 우선할 수 있어 [일반 개업의와 관련된 해부학]만 전 학생에게 가르치고, [해부학에 대한 고급 지식]이 필요한 외과적 또는 기타 전문적 관심사를 가진 교육생은 임상연도와 레지던시 프로그램에서 이를 받게 된다.
Within traditional undergraduate medical curricula, the preclinical/first years usually concentrate on basic science and subsequent years on clinical sciences and clinical training, therefore, students had very limited exposure to anatomy during clinical training. This mode of teaching has led to a frequent criticism by clinical tutors due to a lack of relevant anatomical knowledge among the new medical graduates (Evans and Watt, 2005). This led to concerns that anatomical knowledge amongst newly qualified doctors may be at a level where patient safety could be compromised. Reforms within medical education have led to efforts to develop vertically integrated curricula (Lie, 1995). With this, clinical sciences are introduced in the early years while continued attention is paid to anatomy and other basic sciences in the later years of the curriculum (Bergman et al., 2011). In this process, specific areas of anatomical knowledge can be prioritized such that only anatomy relevant to the general practitioner will be taught to all students in the preclinical years, and trainees with surgical or other specialized interests who need advanced knowledge of anatomy will receive it later in the clinical years and residency programs (Brooks et al., 2015).

에반스와 와트(2005)는 영국 브라이튼 서섹스 의과대학의 학생들이 그들의 규율과 관련된 해부학을 연구하기 위해 전공 로테이션을 하는 동안 어떻게 해부실로 돌아가는지에 대해 설명했다. 이를 통해 핵심 해부학적 지식이 학생의 임상 경험에 비해 가장 적절한 수준에서 확보될 수 있습니다. [전체 커리큘럼에 걸친 수직적 통합]은 졸업생들이 환자를 치료하거나 의료 전략을 계획하는 동안 전체상을 파악하고 전체론적 접근 방식을 채택할 수 있도록 학습된 사실을 종합하는 데 도움이 됩니다. 이것은 기초과학지식의 중요성과 관련성을 더 명확히 할 것이고 학생들이 기초과학지식과 임상 의학 모두에 대한 더 깊은 학습과 이해를 성취하도록 동기를 부여할 것이다. 1학년 때부터의 초기 환자 접촉은 학생들이 의사소통 기술을 개발하고, 의사와 환자의 상호작용의 중요성과 질병이 개인에게 미치는 영향을 깨닫는 데 도움이 된다.

Evans and Watt (2005) described how students at the Brighton and Sussex Medical School in the UK return to the dissection room during specialist rotations to study the anatomy relevant to their discipline. This can ensure that core anatomical knowledge is gained at the most appropriate level relative to a student's clinical experience (Evans and Watt, 2005). The vertical integration throughout the entire curriculum helps graduates to put together the learned facts so as to get the whole picture and adopt a holistic approach while treating a patient or planning a health care strategy (Malik and Malik, 2011). This will make the importance and relevance of basic science knowledge more evident and will motivate the students to achieve deeper learning and understanding of both basic science knowledge and clinical medicine (Dahle et al., 2002). Early patient contact from the first year helps students to develop communication skills, to realize the importance of doctor-patient interaction and the effect of illness on the individual person (Dahle et al., 2002).

전체 커리큘럼에서 해부학을 가르쳐야 한다는 요구에도 불구하고, 커리큘럼 내의 수직적 통합은 종종 단방향이다. 임상 과학은 임상 전 해에 쉽게 통합되지만, 기초 과학은 커리큘럼 말년에 가르치는 것이 훨씬 덜 흔하다. 또한 임상 및 전 임상에 걸친 해부학의 수직적 통합은 계획, 구성 및 실행에 많은 시간과 작업이 필요하다. 교직원들과 행정관들은 적극적으로 참여하고 열정적이어야 하며 부서 경계를 넘어 협력해야 한다. 통합 커리큘럼에서 [해부학에 할당된 총 접촉 시간의 감소]는 학생과 하위 의사들 사이의 [해부학적 지식 부족]을 초래한 것으로 생각된다. 학생들이 임상적인 측면에 집중하고 기초과학을 통합 커리큘럼에서 포기할 것이라는 우려도 상당해, 학생들이 더 이상 전신의 해부학적 구조를 일관성 있고 전체적으로 파악하지 못하고 있다는 주장이다. 

Despite calls for teaching anatomy throughout the entire curriculum, vertical integration within curricula is often unidirectional. Clinical sciences are easily integrated in the preclinical years, however, it is far less common for basic sciences to be taught in the later years of the curriculum (Bergman et al., 2011). In addition, vertical integration of anatomy across clinical and preclinical years needs a lot of time and work in planning, organization and execution. The faculty members and administrators have to be actively involved and enthusiastic and have to cooperate beyond departmental borders (Dahle et al., 2002). The reduction in the number of contact hours allocated to gross anatomy in integrated curricula are thought to have led to insufficient anatomical knowledge amongst students and junior doctors (Fraher and Evans, 2009). There is also a considerable concern that students will concentrate on clinical aspects and abandon the basic sciences in an integrated curriculum, therefore, it is claimed that students no longer gain a coherent and overall picture of the anatomy of the whole body (Bergman et al., 2011).

2.9. 시스템 기반 커리큘럼
2.9. System-based curricula

20세기 초부터, 전체 해부학은 조직학, 생리학, 생화학과 같은 다른 과정과 함께 첫 번째 임상 전 해에 독립적인 과정으로 가르쳐졌다. 단일 해부학적 영역에는 서로 다른 시스템에 속하는 다양한 특성, 기능 및 관계를 가진 구조가 포함되며, 다른 과정에서 학습됩니다. 이것은 학생들이 지역 기반region-based  커리큘럼 내에서 가르치는 많은 양의 분리된 정보를 습득하는 데 어려움을 겪었기 때문에 문제가 있는 것으로 판명되었다. 임상 전 의학 교육의 커리큘럼 패러다임은 [지역 기반region-based , 학문 기반 커리큘럼]이 질병의 정상적인 구조, 정상적인 기능 및 병리생리학이 통합된 [시스템 기반, 학제간 커리큘럼]으로 전환되었다. 시스템 기반 커리큘럼 내에서 학습자는 지역 기반 접근 방식을 추구했을 때보다 후속 시스템의 기초로서 하나의 시스템으로 자료를 마스터할 수 있다. 학습자가 앞으로 나아가면서 서로 다른 시스템에 속하는 구조의 관계, 기능적 유의성 및 임상적 상관관계가 논의되고 여러 차례 연속적으로 재검토된다(Arslan, 2014). 시스템 기반 접근 방식은 습득된 지식의 장기 보존을 강화하여 massed and crammed repetition의 필요성을 감소시킨다. 이를 통해 학습자는 보다 쉽게 사실 정보를 유지하고 해부학적 지식을 의료 실무와 연관시킬 수 있습니다.

Since the early 20th century, gross anatomy has been taught as a stand-alone course during the first preclinical year along with other courses such as histology, physiology and biochemistry (Drake et al., 2009). A single anatomical region contains structures with varied characteristics, functions and relationships that belong to different systems, and are taught in different courses (Arslan, 2014). This proved to be problematic as students had difficulty mastering large amounts of disjointed information taught in within a region-based curriculum (Brooks et al., 2015). The curricular paradigm in preclinical medical education has seen a region-based, discipline-based curricula transformed to system-based, interdisciplinary curricula which integrates normal structure, normal function and pathophysiology of disease (Muller et al., 2008). Within a system-based curriculum, learners can master materials with one system as a foundation to the subsequent systems much easier than if they pursued a region-based approach. As the learner moves further forward, the relationships, functional significance and clinical correlations of structures that belong to different systems are discussed and consecutively revisited several times (Arslan, 2014). A system-based approach enhances long-term retention of acquired knowledge and thus reduces the need for massed and crammed repetition (Arslan, 2014). With this, learners can retain factual information more easily and relate anatomical knowledge to their medical practice.

3. 결론
3. Conclusion

해부학을 가장 효과적인 방법으로 가르치는 방법에 대한 논쟁이 계속되고 있다. 시체 해부는 수백 년 동안 해부학적 지식을 배우는 데 있어 금본위제로 남아 있지만, 그것은 시대에 뒤떨어지고, 비용이 많이 들고, 시간이 많이 걸리며 잠재적으로 위험한 접근법으로 간주된다. 독립형 해부학 강좌에서 통합 및 시스템 기반 커리큘럼으로의 전환과 교직원, 자원 및 연락 교수 시간의 감소로 많은 서구 기관들이 플라스티네이션, CBL, 의료 영상 및 혼합 학습과 같은 비용 효과적이고 시간이 덜 걸리며 최신 교육 대안을 채택하게 되었다. 효율적인 학습자 시간 관리를 최적화하고 미래의 수술 역량을 극대화하고 해부학적 지식을 유지하며 학문적 성공을 높이려면 다음과 같은 교육 관행이 교육 패러다임에 통합되어야 한다고 생각한다.
The debate continues on how to teach anatomy in the most effective way. Although dissection of cadavers has remained the gold standard for learning anatomical knowledge for hundreds of years, it is considered outdated, costly, time-consuming and a potentially hazardous approach. The transition from standalone anatomy courses into integrated and system-based curricula, and the reduction of teaching staff, resources and contact teaching hours have led many Western institutions to adopt cost effective, less time consuming and up-to-date teaching alternatives such as plastination, CBL, medical imaging and blended learning. To optimize efficient learner time management and maximize future surgical competencies, retention of anatomical knowledge and enhance academic success, we think that the following teaching practices should be incorporated into the educational paradigm:


• 어떤 교육적 방법은 특정 전문직에게 더 적합하다. 안전한 수술 절차를 수행하기 위해서는 해부학적 기술을 습득하는 것이 필수적이기 때문에, 전공 로테이션과 레지던트 프로그램 동안 전신 해부는 의료 훈련생들(특히 외과 직업의지를 가진 사람들)에게 가장 적합하다.
• Certain educational methods fit certain professions better than others, Because acquiring anatomical skills is essential to perform safe surgical procedures, full body dissection best fits medical trainees (particularly those with surgical career intentions) during specialist rotations and residency programs (Evans and Watt, 2005Leung et al., 2006).


• 연합 보건 학교(및 일부 의과 대학)는 해부를 하거나 빈소가 있는 완전한 해부 실험실을 지원할 돈도 시간도 없다. 또한 Allied health 학생들은 또한 필요한 학습 결과를 얻기 위해 해부학에 대한 고급 지식이 필요하지 않다. 따라서 플라스틱은 해부를 대체할 수 있는 주요 교육 방법으로서 치과, 간호사, 그리고 관련 건강 과학 학생들에게 가장 적합한 것으로 보인다.
• Allied health schools (and some medical schools) have neither the money nor time in the curriculum to do dissection or support full dissection labs with a mortuary. Such students also do not need advanced knowledge of anatomy to achieve the required learning outcomes (Mclachlan and Regan De Bere, 2004). Therefore, plastination seems the best fit for dental, nurse and allied health science students as the principle teaching method to substitute for dissection.

• 가능하다면, 해부 기반 지침의 지역적 접근 방식에 대한 의존도를 줄입니다. 더 많은 프로섹션이나 플라스틱을 채택하면 시스템 기반 해부학 커리큘럼으로 전환하는데 도움이 될 것이다.
• Decrease reliance upon the regional approach of dissection-based instruction in favour of prosections whenever possible. Adoption of more prosections or plastination would help the transition to system-based anatomy curricula (Leung et al., 2006).

• 특히 외과적 진로 의도를 가진 교육생과 같이 가장 필요한 사람들을 위해, 임상 교육 및 레지던트 프로그램의 적절한 단계에서 의료 커리큘럼 전반에 걸쳐 해부학을 [수직적으로 통합]한다.
• Vertical integration of anatomy throughout medical curricula at appropriate stages in the clinical training and residency program particularly for those who need it most such as trainees with surgical career intentions (Evans and Watt, 2005).

• 현재까지 모든 커리큘럼 요건을 충족하는 단일 교육 도구는 발견되지 않았습니다. 현대 해부학을 가르치는 가장 좋은 방법은 여러 교육학적 자원(플라스틱, CBL, 생체 해부학, 의료 영상)을 결합하여 서로를 보완하는 것이다. 학생들은 다양하고 시스템 기반 양식이 통합될 때 가장 큰 이익을 얻는 것으로 보인다. 해부학을 가르치는 데 멀티모달 패러다임의 사용은 다른 해부학자들의 지지를 받았다.
• To date, no single teaching tool has been found to achieve all curriculum requirements (Kerby et al., 2011). The best way to teach modern anatomy is by combining multiple pedagogical resources (plastination, CBL, living anatomy, medical imaging) to complement one another, students appear to profit most when diverse and system- based modalities are integrated. The use of a multimodal paradigm in teaching anatomy has received support from other anatomists (Biasutto et al., 2006, Rizzolo et al., 2010).

새로운 커리큘럼 개혁이 해부학적 지식의 보유와 미래의 외과적 역량에 미치는 영향은 여전히 불분명하다. 통합, 시스템 기반 및 멀티모달 교육 패러다임으로의 전통적인 지역 접근 방식에서 벗어나기 위해서는 다양한 교육 양식의 적합성 및 학생 인식, 그리고 학습 결과를 충족하는 이들의 능력을 평가하기 위한 추가 연구가 필요하다.

The impact of new curricular reforms on the retention of anatomical knowledge and future surgical competencies is still unclear. A shift away from the traditional regional approach towards integrated, system-based and multimodal teaching paradigms requires further research to evaluate the suitability and student perceptions of, different teaching modalities, and the ability of these to meet learning outcomes.

 

 

 


 

Ann Anat. 2016 Nov;208:151-157. doi: 10.1016/j.aanat.2016.02.010. Epub 2016 Mar 17.

 

Best teaching practices in anatomy education: A critical review

Affiliations collapse

Affiliations

1International Research Collaborative, Oral Health and Equity, The University of Western Australia, Australia; School of Anatomy, Physiology and Human Biology, The University of Western Australia, Australia. Electronic address: abdalla177@gmail.com.

2School of Anatomy, Physiology and Human Biology, The University of Western Australia, Australia.

PMID: 26996541

DOI: 10.1016/j.aanat.2016.02.010

Abstract

In this report we review the range of teaching resources and strategies used in anatomy education with the aim of coming up with suggestions about the best teaching practices in this area. There is much debate about suitable methods of delivering anatomical knowledge. Competent clinicians, particularly surgeons, need a deep understanding of anatomy for safe clinical procedures. However, because students have had very limited exposure to anatomy during clinical training, there is a concern that medical students are ill-prepared in anatomy when entering clerkships and residency programs. Therefore, developing effective modalities for teaching anatomy is essential to safe medical practice. Cadaver-based instruction has survived as the main instructional tool for hundreds of years, however, there are differing views on whether full cadaver dissection is still appropriate for a modern undergraduate training. The limitations on curricular time, trained anatomy faculty and resources for gross anatomy courses in integrated or/and system-based curricula, have led many medical schools to abandon costly and time-consuming dissection-based instruction in favour of alternative methods of instruction including prosection, medical imaging, living anatomy and multimedia resources. To date, no single teaching tool has been found to meet curriculum requirements. The best way to teach modern anatomy is by combining multiple pedagogical resources to complement one another, students appear to learn more effectively when multimodal and system-based approaches are integrated. Our review suggests that certain professions would have more benefit from certain educational methods or strategies than others. Full body dissection would be best reserved for medical students, especially those with surgical career intentions, while teaching based on prosections and plastination is more suitable for dental, pharmacy and allied health science students. There is a need to direct future research towards evaluation of the suitability of the new teaching methodologies in new curricula and student perceptions of integrated and multimodal teaching paradigms, and the ability of these to satisfy learning outcomes.

Keywords: Anatomy; Curriculum; Education; Learning; Modality; Teaching.

 

학부 의학에서 해부학을 배울 때 카데바가 정말 필요한가? (Med Teach, 2018)
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?
P. G. McMenamina , J. McLachlanb, A. Wilsonc , J. M. McBrided, J. Pickeringe , D. J. R. Evansf and A. Winkelmanng

 

 

서론
Introduction

이 심포지엄은 거의 35년 동안 해부학을 가르쳐온 그의 분야에서 인정받는 지도자인 폴 맥메나미나 교수가 의장을 맡았다. 해부학 교수법의 다양하고, 효율적이고, 참신한 방법을 탐구하는 것이 그의 주된 열정 중 하나였다. 맥메나민 교수는 론 하든 교수에 의해 이 토론의 촉진자 역할을 하도록 초대되었다. "프레젠테이션만"하는 일반적인 방법보다는 청중 참여 토론이 더 유익할 것이라는 의견이 제시되었다. 따라서 대화를 자극하기 위해 제안된 제목은 다음과 같습니다.
The symposium was chaired by Prof Paul McMenamin a recognized leader in his field who has been teaching anatomy for nearly 35 years. Exploring different, efficient, and novel methods of anatomy teaching has been one of his main passions. Professor McMenamin was invited by Professor Ron Harden to act as facilitator for this debate. Rather than the usual method of “presentations only”, it was suggested that an audience participated debate would be more informative. Therefore to stimulate the conversation the suggested title of:

"대학 의학부에서 해부학을 배우기 위해 카데바가 더 이상 필요할까요?"
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?”

청중에게 제안되었습니다. 청중들은 이것을 주의 깊게 읽고 그들 자신의 반응을 되새겨보라는 요청을 받았다. 찬성파와 반대파의 제안을 지지하는 두 팀은 위의 구체적인 토론 논점에 근거해 자신들의 주장을 할 것을 요청받았다.
was proposed to the audience. The audience were asked to read this carefully and reflect on their own individual response. The two teams, those supporting the proposition in the affirmative and the opposing house, were requested to base their argument on the specific debating point above.

맥메나민 교수는 자신을 소개했고, 진행자로서 토론 주제에 대해 개인적인 견해를 밝히지 않았지만, 각각의 발표자들이 그들의 자격증과 함께 청중들에게 개별적으로 소개될 것이라고 설명했다. 그리고 나서 연설자들은 개인적으로 그들의 토론 주장을 발표할 약 15분의 시간을 가졌다. 맥메나민 교수는 토론 이면의 논거를 설명하면서 옥스퍼드 전통에 따라 반대론자들이 '아니오 우리는 하지 않습니다'와 '네 우리는 합니다'라는 두 개의 집단이 존재할 것이라고 말했다. 전통과 마찬가지로, 화자들은 반드시 그들이 토론하도록 요청받았던 견해를 가지고 있지는 않을지 모르지만, 토론 기술의 힘을 이용하여, 그들은 그들의 메시지를 전달하기 위해 약간의 지적인 충돌과 약간의 유머를 섞어서 희망적으로 몇몇 심각한 논쟁을 제공할 수 있었다. 어떤 토론에서도 그렇듯이, 양원이 청중 참여를 허용해야 할 것으로 기대되었다.
Professor McMenamin introduced himself and as facilitator gave no personal views on the topic to be debated, but explained that each speaker would be individually introduced to the audience along with their credentials. The speakers then had approximately 15 minutes to present their debating argument personally. Professor McMenamin explained the reasoning behind the debate and that it would be based on the Oxford tradition where there would be two groups of opposing speakers, the “
No we do not” house and the “Yes we do” house. As with tradition, the speakers may not necessarily hold the views that they had been asked to debate on, but using the power of debating techniques they were free to provide some serious arguments hopefully with some intellectual jostling and a bit of humor interspersed, to convey their message. As in any debate, it was hoped that both houses should allow for the inclusion of audience participation.

맥메나민 교수는 청중들의 프로필을 기록하고 시작에 앞서 객관식 질문을 던지며 청중들에게 답변을 등록하기 전에 질문의 표현을 신중하게 생각하라고 지시했습니다.
Noting the audience profile and prior to commencement Professor McMenamin posed a series of multiple choice questions and instructed the audience to think carefully about the wording of the questions before registering their answer.

그 결과는 실제로 해부하는 과정과 해부하지는 않지만 해부하지 않는 과정으로 상당히 긍정적인 경향을 보여주었고 82%의 대다수는 우리가 학부 의학에서 시체들이 필요하다고 믿었다. 토론이 시작되었고 McMenamin 교수는 그들의 자격증과 함께 연사들을 소개했다.
The results indicated quite a strong positive leaning towards courses that actually do dissect cadavers and those that use cadavers but do not dissect and an 82% majority believing we do need cadavers in undergraduate medicine. The debate commenced and Professor McMenamin introduced the speakers along with their credentials.

존 맥래클런 교수는 "아니, 우리는 그렇지 않다"라는 집안의 토론을 시작했다.
Professor John McLachlan opened the debate for the “No, we do not,” house.

 

 

반대측
No we do not” house

편집된 스크립트 Edited transcript
존 맥라클란 교수 Prof John McLachlan 

이 "카다베릭" 해부학 교사들과 외과의사들은 우리가 문제가 있다고 제안합니다!
This audience of “cadaveric” anatomy teachers and surgeons suggest we have a challenge!

먼저, 저는 사람들이 왜 시체들을 사용하는지 추측할 것입니다. 그리고 나서 왜 제가 시체 없이 해부학을 가르치는 것을 장려했는지에 대해 추측할 것입니다. 그리고 나서 어떻게 우리가 시체 없이 해부학을 가르치는지 그리고 의사로서 학생들에게 미치는 영향에 대해 설명하겠습니다. 왜냐하면 이것이 해부학자를 배출하는 것이 아니라 우리의 목표이기 때문입니다. 마지막으로 외과 교육에 대해 설명하겠습니다.
First, I will speculate on why people use cadavers; then why I have promoted teaching anatomy without cadavers. Then I will describe how we teach anatomy without cadavers, and describe the impact on students as doctors, because this is our aim, rather than producing anatomists. Finally, I will comment on surgical training.

왜 해부학은 전통적으로 시체에게 가르쳐지는가? 이 문화적 현상은 르네상스 시대부터 시작되었다. 유럽의 의학은 점성술, 교감마술, 민속학, 한방학을 포함했다. 이 세상에 비살리우스의 훌륭한 작품이 나왔는데, 그는 이곳 저곳으로 일관되는 무언가를 묘사했고, 이것은 분명 큰 영향을 미쳤을 것이다. 그러나 파라셀수스는 "해부학자를 가르치는 것은 살아있는 몸이다. 그러므로 당신은 살아있는 해부학을 필요로 한다."라고 말했다. 그 논평은 우리의 목표의 중심이다.
Why is anatomy traditionally taught with cadavers? This cultural phenomenon dates from the Renaissance (McLachlan and Patten 2006). European medicine then included astrology, sympathetic magic, folklore and herbal medicine. Into this world came the wonderful work of Vesalius, who described something that was consistent from place to place, and this must have had huge impact. But Paracelsus commented, “It is the living body that teaches the anatomist, you therefore require a living anatomy”. That comment is central to our goals.

페닌슐라에서 새로운 의대를 설립할 때, 우리는 백지 한 장을 가지고 있었다. 우리의 핵심 질문은 무엇을 가르칠 것인가 뿐만 아니라 왜 어떻게 가르칠 것인가 하는 것이었다. GMC에 의해 명시된 우리의 목표는 비전문의 후배 의사들을 양성하는 것이었다. 우리의 직업 분석 결과, 하위 의사들은 주로 살아있는 해부학과 의학 이미지를 통해 해부학을 보는 것으로 나타났다. 이것이 우리가 초점을 맞춘 것입니다. 우리는 또한 그들의 사회적 역할을 고려했는데, 우리는 그들의 경험에 중심적으로 만들고 싶었다.
In setting up a new medical school at Peninsula, we had a blank sheet of paper. Our key questions were not just what to teach, but also why and how. Our aim, specified by the GMC, was to train non-specialist junior doctors. Our job analysis showed that junior doctors see anatomy primarily through living anatomy and medical imaging. So this is what we focused on. We also considered their social role, which we wanted to make central to their experience.

그렇다면, 시체 없이 어떻게 해부학을 가르칠 수 있을까요? 중요한 측면은 임상 기술과의 통합이다. 우리는 또한 살아있는 해부학, 동료 검사, 살아있는 모델 또는 임상 기술 파트너의 사용, 그리고 바디 페인팅을 강조한다. 의료 영상 촬영에 중점을 두고 있다. 의학 방사선 전문의와 방사선사는 해부학 강의의 4분의 1을 담당했다. 우리는 안전하고 비침습적인 휴대용 초음파 기술에 열광했습니다. 적절한 안내가 있으면 학생들이 서로 사용할 수 있어 신체 내부의 실시간 생활 구조를 놀라울 정도로 자세하게 볼 수 있다. 휴대용 초음파는 중앙 정맥 라인의 배치와 같은 향후 일상적인 임상 용도로 사용될 것이기 때문에 이것은 중요하다.

How, then, do we teach anatomy without cadavers? A key aspect is integration with clinical skills. We also emphasize living anatomy, peer examination, use of living models or clinical skills partners, and body painting (McLachlan and Regan 2004; McLachlan 2004). Heavy emphasis is placed on medical imaging. Medical radiologists and radiographers delivered a quarter of the anatomy teaching at Peninsula. We were enthusiastic about portable ultrasound, a safe, noninvasive, technique. With appropriate guidance, students can use it on each other, allowing them to see real-time living structures inside the body, in remarkable detail. This is important, because portable ultrasound will be in routine clinical use in the future, such as during the placement of central venous lines.

살아있는 해부학과 관련하여, 우리는 학생들이 종종 인체에 대해 당황한다는 것을 발견했다. 우리는 그 당혹감을 없애고, 서로를 검사함으로써, 검사받는 것이 어떤 느낌인지 이해하고 싶었습니다. 많은 학교들이 살아있는 해부학을 사용하지만, 우리에게는, 이미징과 함께, 해부학 학습의 중심이었습니다. 학생들은 서로의 동의(핵심 학습 포인트)를 얻었고, 주저하거나 당황하지 않고 표면 랜드마크를 유창하게 식별하는 법을 배웠다. 이것은 이후의 임상 환경에 대한 그들의 자신감을 증가시켰다. 물론 우리가 연구로 개발한 학생들로부터의 참여에는 개인적, 문화적 차이가 있었다.

With regard to living anatomy, we discovered that students are often embarrassed about the human body. We wanted to remove that embarrassment, and through examining each other, understand what it felt like to be examined. Many schools use some living anatomy, but for us it was, with imaging, central to anatomy learning. Students obtained consent from each other (a key learning point), and learnt to identify surface landmarks fluently, without hesitation or embarrassment. This increased their confidence in later clinical settings. There were of course personal and cultural variations in engagement from the students, which we developed as research (Rees et al. 2005).

우리는 보디페인팅이 동료 시험에서 학생들이 느낄 수 있는 당혹감을 해소하는 데 실질적인 도움이 된다는 것을 발견했다(그림 1(A)). 또한 그것은 매우 기억에 남으며 매우 인기가 있다. 특히 시각 학습자에게 적합하며 임상 검사와 잘 통합됩니다. 우리는 학생들이 서로 연습할 수 없는 유방 검사 및 기타 임상 기술을 위해 임상 기술 파트너(CSP)를 사용한다. 학생들이 진짜 유방 검사를 본 적이 없고, 하물며, 심전도 검사를 받은 적이 없으며, 여성에게도 심전도 검사를 한 적이 없다는 것을 알게 된 것은 매우 실망스러운 일이었습니다. 이것은 해부학 교육의 문화적 구성과 함께 오는 사회적 당혹감의 일부이다. CSP는 상대적으로 젊고 마른 경향이 있는 우리 학생들보다 더 넓은 범위의 신체 형태를 가지고 있었다. CSP는 또한 학생 경험에 추가된 방식으로 자발적으로 그들의 인생 경험을 공유했다. 그들은 "손이 시리다" "화장실 다녀왔느냐고 묻지 않으면 누르지 말라"는 말을 서슴지 않았다. 그들은 환자가 아니기 때문에 권한을 박탈당하지 않는다.

We found body painting to be a real help in defuzing the embarrassment students may feel in peer examination (Figure 1(A)) (Finn and McLachlan 2010). It is also highly memorable and very popular. It particularly suits visual learners, and integrates well with clinical examination. We use clinical skills partners (CSPs) for breast examination and other clinical skills, which students cannot practice on each other (Collett et al. 2009). It had been deeply dismaying for me to discover that students were graduating without ever having seen a real breast examination, far less done one, and had never placed ECG leads on a female. This is part of the social embarrassment that comes with the cultural construction of anatomy teaching. The CSPs had a wider range of body morphologies than our students, who tend to be relatively young and lean. CSPs also shared their life experiences spontaneously in ways that added to the student experience. They did not hesitate to say, “Your hands are cold,” or, “Don’t press me there unless you’ve asked if I’ve been to the toilet”. They are not patients, and are therefore not disempowered.

또한 전자 본체(예: VH 디섹터)를 사용하고 학생들에게 이미지를 투사하여 가치를 더했습니다(그림 1(B)). 자원봉사자를 회전시키면서 내부 구조도 회전시킬 수 있다. DR의 시체조차도 이러한 유연성을 제공하지 않습니다. 이 접근법은 특히 임상적으로 관련 있는 횡단 뷰를 나타내는 데 뛰어나다.
We also used electronic bodies (e.g. VH Dissector), and add value by projecting images onto students (Figure 1(B)). One can rotate a volunteer while also rotating their internal structures. Even the cadaver in the DR does not offer this flexibility. This approach is particularly good at indicating clinically relevant transverse views.

특히 흥미로운 것은 3D 인쇄를 사용하는 것입니다. 예를 들어, 인쇄된 '팔로의 지형학'을 학급의 모든 학생들에게 배포하여 처리하고 회전시킬 수 있으며, 병리학적 표본으로도 허용되지 않는 이해를 얻을 수 있습니다.
Particularly exciting is the use of 3D printing, for instance, a printed ‘Tetralogy of Fallot’ can be circulated to all the students in the class, to handle and rotate it, gaining understanding that even a pathological specimen wouldn’t allow.

우리는 학생들이 신체의 모든 측면을 이해하기를 원했고, 그래서 우리는 학생들이 인간적인 맥락에서 신체에 대해 생각하도록 격려하기 위해 인생 그림, 조각, 그리고 시 수업을 통해 예술과 인문학을 포함했습니다. 이것은 웰컴 트러스트로부터 자금을 끌어모았다. 한 프로젝트("Flex + Ply")에는 직물 관련 작업이 포함되었으며, 그림 1(C) (Fleming et al. 2010)에 표시된 피부색 청바지를 특징으로 했습니다. "이거 입으면 내 S3가 커 보이나?"라는 제목이 학생들에게서 나왔다. '절개 가운'은 수술과 생검의 주요 장소를 표시했다. 
We wanted students to understand all aspects of the body, so we included arts and humanities via life drawing, sculpting, and poetry classes, to encourage students to think about the body in a human context (Collett and McLachlan 2005; Collett and McLachlan 2006). This attracted funding from the Wellcome Trust. One project (“Flex + Ply”) included work with textiles, and featured the dermatome jeans shown in Figure 1(C) (Fleming et al. 2010). The title, “Does my S3 look big in this?” came from the students. The ‘Incision Gown’ marked the major sites of operations and biopsies.

이러한 새로운 접근 방식에 맞게 평가를 조정하는 것이 중요합니다. 임상적 맥락이 있는 질문은 더 잘 수행되었고 더 인기가 있었다(Ikah et al. 2015).
It is important to adjust assessment to match these new approaches. Questions with clinical context performed better and were more popular (Ikah et al. 2015).

학생들이 시체들을 사용하지 않음으로써 중요한 것을 놓치나요? 아닐 거예요. 죽음은 호스피스 치료와 같은 현실 세계에서 가장 잘 보인다. 비슷하게, 손재주와 팀워크를 훈련시키는 많은 방법들이 있다. 시체가 "첫 번째 환자"라는 생각은 실망스럽다. 우리는 학생들이 그들의 첫 번째 환자를 분해하기를 원합니까? 오히려, 우리는 학생들이 그들을 살아있는 사람으로 보기를 원한다. 예를 들어, 우리는 1학년 학생들을 임신 중인 산모에게 소개하는데, 산모는 임신 기간 내내 따라다닌다. 우리는 이것이 훨씬 더 나은 "첫 번째 환자"라고 느낍니다. 그리고 그것은 일부 학생들이 시체들과 함께 일하는 것에 대해 느끼는 고통을 피한다.

Do students miss out on anything important by not using cadavers? We believe not. Death is best seen in a real world context, such as in hospice care. Similarly, there are many ways to train for dexterity and team work. The idea of the cadaver as “the first patient” is dismaying: do we want students to disassemble their first patient? Rather, we want students to see them as living people. For instance, we introduce first year students to a pregnant mother, who they follow through her pregnancy, including imaging sessions. We feel this is a much better “first patient”. And it avoids the distress that some students feel with regard to working with cadavers.

이러한 접근법의 학생들에게 미치는 영향은 무엇인가? 우리는 그들이 다른 과목들과 같은 속도로 해부학을 배운다는 것을 보여주었고, 반대편 "팀"의 일원인 아담 윌슨의 메타 분석은 해부학을 가르치기 위해 어떤 양식을 사용하는지를 나타내지 않는다는 것을 보여주었다. 의사로서 학생들에게 미치는 영향은 무엇인가? 우리는 그것이 그들을 더 편안하게 하고 연습에 대비하게 한다는 것을 발견했다(Chinna et al., 2011).
What is the impact on the students of these approaches? We have shown that they learn anatomy at the same rate as other subjects, and a meta-analysis by Adam Wilson, a member of the opposite “team”, has shown that it does not signify which modality you use to teach anatomy (Wilson et al. 2017). What is the impact on students as doctors? We have found that it makes them more relaxed and prepared for practise (Chinnah et al. 2011).

수술의 경우, 외과적 훈련은 보존된 시체들의 연구와 해부를 필요로 할 수 있지만, 그것은 대학원 이후의 활동이어야 한다.
As for surgery, surgical training may well require the study and dissection of preserved cadavers, but that should be a post-graduate activity.

그래서 제가 마지막으로 추천하는 것은, 죽은 자보다 산 자를 선택하는 것입니다.
So my final recommendation is, choose the living over the dead.

찬성 측
“Yes we do” house

애덤 윌슨 박사
Dr Adam Wilson


최근 발표된 해부학 실험실 교육학에 대한 메타 분석은 핵심 증거 기반 연구로, 많은 주장이 따를 수 있는 토대를 마련한다. 요약하면, 메타 분석은 해부 대 해부, 해부 대 모델/모델링, 해부 대 디지털 미디어, 해부 대 하이브리드 접근법을 조사하는 4가지 하위 분석을 수행했다. 이 연구의 전반적인 목표는 이러한 다른 접근법에 비해 해부의 효과를 이해하는 것이었다. 3000개가 넘는 기록을 검토한 결과, 총 27개의 연구가 최종 분석에 포함되었다. 7,000명 이상의 참가자를 포함한 27개 연구에서 메타 분석은 학습자의 성과에 영향을 미치지 않았다. 다시 말해서, 해부학에서 학생들의 단기적인 지식 증가는 [해부용 시체들에 노출되거나 그렇지 않은 것과 상관없이 동등]했다.
Our recently published meta-analysis on anatomy laboratory pedagogies (Wilson et al. 2018) is a key evidence-based study, which lays the groundwork for many of the arguments to follow. In summary, the meta-analysis conducted 4 sub-analyses that investigated dissection vs prosection, dissection vs. models/modeling, dissection vs digital media, and dissection vs hybrid approaches. The overall goal of this study was to understand the effectiveness of dissection compared to these other approaches. Upon reviewing over 3000 records, a total of 27 studies were included in the final analysis. Across those 27 studies (which included over 7000 participants), the meta-analysis detected no effect on learner performance. In other words, students’ short-term knowledge gains in anatomy were equivalent regardless of being exposed to dissecting cadavers or not.

액면 그대로 말하자면, 대학 의학 교육에서 시체들은 더 이상 필요하지 않은 것처럼 보인다. 그러나 나는 개인들에게 이 연구를 지나치게 해석하지 말라고 경고한다. 이러한 결과는 학생들의 [단기적인 지식 향상]에만 초점을 맞춘다. 많은 사람들은 시체들과 해부가 해부학적 지식의 보존에 더 큰 영향을 미친다고 주장할 것 같다. 구조물은 학습자들이 진짜 해부학을 경험할 때 장기적으로 학습자들의 마음에 더 잘 각인됩니다. 우리가 교육 문헌을 볼 때, 커스터(2010)는 [장기적인 지식 보존]의 가장 중요한 결정 요인은 학습 중인 콘텐츠와의 장기적인 접촉이라고 알려준다. 이 논리에 따르면, 시체 해부의 시간 강도 과정은 해부학적 지식을 더 잘 장기적으로 보존하는 것으로 해석될 가능성이 높다. 하지만, 완전한 투명성에서는, 이 주제에 대한 문헌이 거의 없기 때문에, 시체들이 지식 보존에 미치는 진정한 영향을 확실히 아는 것은 어렵습니다. 이 점은 좀 더 엄밀한 조사가 필요하다 
At face value, it appears that cadavers are no longer needed in undergraduate medical education. However, I caution individuals not to over-interpret this study. These results focus only on students’ short-term knowledge gains. Many are likely to argue that cadavers and dissection have a greater impact on the retention of anatomical knowledge. Structures are better imprinted in the minds of learners, for the long-term, when they experience authentic anatomy. When we look at the educational literature, Custer (2010) informs us that the most important determinant of long-term knowledge retention is prolonged contact with the content under study. Following this logic, the time intensiveness process of cadaveric dissection likely translates to better long-term retention of anatomical knowledge. However, in full transparency, the literature on this topic is scant, so it’s hard to know for certain the true impact of cadavers on knowledge retention. This point deserves more rigorous investigation.

흥미롭게도, 지난 10여 년 동안 적어도 5개의 미국 의과대학과 일부 호주와 뉴질랜드 의과대학이 시신 유기 및 해부 실험을 했다. 이 학교들은 몇 년 후에 시신 해부를 다시 시작한다는 것을 알게 되었다. 다음은 면과 관련하여 이러한 현상이 발생한 이유에 대한 두 가지 설명입니다.
Interestingly, over the past decade or so, at least 5 US medical schools and some Australian and New Zealand medical schools have experimented with abandoning cadavers and dissection. These same schools found themselves reinstating cadaveric dissection a few years later (Rizzolo and Stewart 2006; Craig et al. 2010). Here are two explanations for why this about face may have occurred:

  • 한 연구는 임상실습 책임자들이 일화적으로 학생들의 임상실습 수행 능력이 부족하다고 느낀다고 언급했다(리졸로와 스튜어트 2006). 그들은 해부를 포기하는 것과 같은 커리큘럼의 변화에 성과적 부족을 돌렸다. 이것은 해부학적 지식의 보존에 기여하는 시체들의 잠재적인 역할로 돌아간다.
  • One study cited that clerkship directors anecdotally felt the performance of their students on clerkship was lacking (Rizzolo and Stewart 2006). They attributed performance deficits to curricular changes, such as abandoning dissection. This circles back to the potential role of cadavers in contributing to the retention of anatomical knowledge.
  • 학교들이 시체 기반 해부로 복귀한 이유에 대한 두 번째 설명은 대다수의 학생들이 교과 과정에 시체 해부를 하는 것을 선호하는 경향이 있다는 것이다. 해부학 실험실 교육학의 동일한 메타 분석에서, 17개의 연구에서 시체들에 대한 선호도와 시체들에 대한 선호도가 집계되었다. 평균적으로 응답자의 57%가 시체 기반 학습을 선호하거나 가치를 발견했다. 이 발견은 고등학생, 대학생, 보건 직업 학생, 의대생을 포함한 매우 다양한 학습자 집단에서 파생되었다. 57%의 이 추정치는 (아마도 다른 어떤 그룹보다) 자신의 해부학적 지식을 임상 환경에서 적용하도록 강요받는 의대생들 사이에서 더 높을 것이다.
  • A second explanation for why schools returned to cadaver-based dissection is that the majority of students tend to favor having cadavers and dissection in their curricula (Wilson 2017). In the same meta-analysis of anatomy laboratory pedagogies, preferences for and against cadavers were tallied across 17 studies. On average, 57% of respondents favored or found value in cadaver-based learning. This finding was derived from a very diverse population of learners, which included, high school students, college students, health professions students, and medical students. This estimate of 57% is likely to be higher among medical students who (more so than perhaps any other group) are forced to apply their anatomical knowledge in clinical settings.
  • 그렇긴 하지만, 왜 학생들은 시체들을 선호할까? 한 가지 잠재적인 대답은 시신 기반 해부학이 인간의 변이, 죽음에 대한 노출 및 수술 기술을 수반하고 조직 질감과 공간 관계의 고유성을 통해 구조의 차등 식별을 포함하는 [진정한 해부학authentic anatomy]을 가르친다는 것이다. 어떤 사람들은 또한 시체 기반 학습이 학생들이 나중에 임상 환경에서 해부학적 지식을 증명하도록 요구될 때 학생들의 자신감 수준을 높이는 데 도움이 된다고 주장할 수 있다.
  • That being said, why do students prefer cadavers? One potential answer is that cadaver-based anatomy teaches authentic anatomy which entails human variation, exposure to death and surgical skills, and involves the differential identification of structures through the uniqueness of tissue textures and spatial relationships. Some may also contend that cadaver-based learning helps to boost students’ confidence levels when they are later called upon to demonstrate their anatomical knowledge in clinical settings.

 

시체들의 사용에 반대하는 또 다른 일반적인 주장은, 예를 들어, 유전학과 같은 다른 성장하는 분야들에 대해 배우는 데 더 나은 시간을 보낼 수 있다는 것이다. 반박하자면, 의학 연구는 항상 진화할 것이다. 그것은 당연해요! 그러나, 의학의 기초는 인체와 그 기계적인 과정에 대한 복잡한 이해이며, 그것은 결코 변하지 않을 것이다. 해부학은 역사적으로 의학의 초석으로 불리며, 임상 지식과 통찰력이 구축되는 중요한 기본 구성 요소로서 지속되어 왔다. 찰스 프로버(스탠포드 의학교육 학장)는 해부학을 '상록수' 학문이라고 불렀는데, 이는 해부학이 항상 관련성이 있다는 것을 의미한다. 어떤 이들은, 심지어 시체 기반 교육이 가장 엄격한 교육학적 적합성 시험인 [시간의 검증test of time]에서도 살아남았다고 말할 것이다. 마치 모래 대신 바위 위에 집을 지은 현명한 사람처럼, 의학 커리큘럼도 진짜 시체 기반 해부학의 견고한 토대 위에 세워져야 한다고 생각합니다.

Another common argument against the use of cadavers is that the time spent learning detailed anatomy could be better spent learning about other growing disciplines like genetics, for example. In rebuttal, the study of medicine will always be evolving. That’s a given. However, the foundational basis upon which medicine is build is an intricate understanding of the human body and its mechanistic processes—and that will never change. Anatomy has historically been called the cornerstone of medicine, and it continues to persist as an important basic building block upon which clinical knowledge and acumen are built. Charles Prober (a medical education dean at Stanford) along with the founder of the Kahn academy have called anatomy an ‘evergreen’ discipline, meaning it will always be relevant (Prober and Khan 2013). Some would even say that cadaver-based instruction has survived the most rigorous test of pedagogical fitness—the test of time. Like the wise man who built his house upon the rock, instead of the sand, so too should medical curricula be built on the solid foundations of authentic cadaver-based anatomy, in my opinion.

여기 고려해야 할 마지막 요점이 있다. 쿠퍼와 데온(2011)은 논문에서 역사적으로 의료 커리큘럼은 사회적, 정치적, 경제적 힘에 의해 외부적으로 영향을 받았다고 밝혔다. 그들은 커리큘럼이 종종 "문화적으로 기반하고 사회적으로 조정된다"고 주장한다. 의과대학이 학생들이 환자를 보기 전에 해부학에서 의사들을 훈련시키기 위해서만 가상현실을 사용한다고 홍보하는 것을 상상해보라. 사회는 이것에 어떻게 반응할까? 훈련 기관의 명성을 더럽힐 수 있는 대중의 불만이나 불만이 있을 수 있는가? 아마도요. 본질적으로, 우리는 여론의 법정을 과소평가할 필요가 없다. 이 같은 이념은 예비 학생들의 인식, 기대, 요구에도 적용된다.

Here is one final point to consider. In their paper, Kuper and D’Eon (2011) articulated that, historically, medical curricula have been externally influenced by social, political, and economic forces. They argue that curricula are often “culturally based and socially mediated”. Imagine a medical school publicizing that its students only use virtual reality to train their doctors in anatomy before they begin to see patients. How might society respond to this? Might there be some level of public dissatisfaction or discontent that could potentially tarnish the reputation of the training institution? Perhaps. In essence, we need not underestimate the court of public opinion. This same ideology also applies to the perceptions, expectations, and demands of prospective students.

전반적으로, 시체 기반 학습에 유리한 이 논평은 네 가지 핵심 포인트를 통해 요약될 수 있다.
Overall, this commentary in favor of cadaver-based learning can be summarized through four key points:

  • 구조물은 학생들이 진짜 해부학을 볼 때 더 잘 각인된다. 이것은 장기적인 지식 보존을 향상시킬 가능성이 있다.
  • 학생들은 시체로부터 배우는 것을 선호하고 그것은 아마도 교과목에 대한 그들의 신뢰 수준을 증가시킨다.
  • 시체들과 함께 가르치는 것은 시간의 시련을 견뎌냈고 시체 해부를 포기한 학교들은 다시 그 시대로 돌아왔다.
  • 커리큘럼 결정을 내리는 데 있어서 대중의 인식의 역할을 과소평가해서는 안 된다.
  1. Structures are better imprinted in students’ minds when they see authentic anatomy—which is likely to enhance long-term knowledge retention.
  2. Students prefer learning from cadavers and it likely increases their confidence levels in the subject matter.
  3. Teaching with cadavers has withstood the test of time and schools that have abandoned cadaveric dissection have returned to it.
  4. The role of public perception in making curricular decisions must not be underestimated.

반대측
“No we do not “house

제임스 피커링 부교수
Assoc Prof James Pickering

해부학을 가르치는데 시체들이 필요할까요? 그것이 우리가 토론하고 있는 질문이고 나는 커리큘럼 디자인의 프리즘을 통해 그 질문에 대답하기를 희망한다. 맥라클란 박사에 의해 탐구된 주제를 계속하기 위해, 우리는 누구를 원합니까? 현재 대학생들이 의과대학에 합격하면 우리는 누가 의학을 전공하고 싶은가? 우리는 효율적이고 효과적인 의사나 효율적이고 효과적인 해부학자를 원하는가? 나는 우리 모두가 전자에 동의할 것이라고 생각한다. 그렇다면, 우리의 직업은 무엇일까요? 의학 교육자로서, 해부학자로서 우리의 일은 효과적이고 효율적인 의사의 개발을 지원하는 것이다. 우리는 해부학자를 훈련시키기 위해 여기에 있는 것이 아니다. 저희는 대학원 연수 과정에 들어갈 의사들을 양성하기 위해 이곳에 왔습니다. 정신과, 수술, 일반 진료와 같은 다양한 전공분야를 전문으로 하고 있습니다. 

Do we need cadavers to teach anatomy? That is the question we are debating and through the prism of curriculum design I hope to answer that question. To continue the theme that has been explored by Dr McLachlan, who do we want? Who do we want to be practicing medicine once our current undergraduate students have passed through medical school? Do we want efficient and effective doctors or efficient and effective anatomists? I think we’d all probably agree with the former. Therefore, what is our job? Our job as medical educators, as anatomists, is to support the development of effective and efficient doctors—we are not here to train anatomists. We are here to train doctors that are going to enter postgraduate training and specialize in a whole range of different specialties such as psychiatry, surgery and general practice.

그렇다면, 우리는 어떻게 이러한 효율적이고 효과적인 의사로서의 발달을 지원할 수 있을까요? 우리는 어떻게 그들의 졸업과 동시에 효율적이고 효과적인 의사들을 낳는 커리큘럼을 설계할까요? 그 질문에 답하기 위해 우리는 오늘날의 의사들의 역할을 이해할 필요가 있다. 무슨 일을 하시는데요? 오늘날 또는 미래의 의사들은 점점 더 다양해지는 문화, 다른 약, 그리고 현재 이용 가능한 획기적인 치료 방안과 함께 환자의 신체적, 심리적, 사회적 측면을 이해할 필요가 있다. 게다가, 현재의 의사들은 어떻게 이러한 다양한 측면을 환자 치료에 통합하는가? 더 이상 외과의사만 어떤 문제를 해결하는 것이 아니다; 복잡한 현대 문제를 해결하기 위해 함께 모이는 것은 다학제 전문가들로 구성된 팀이다. 임상의는 더 이상 고립된 상태로 일하지 않는다. 그들은 한 팀으로 함께 일한다. 이런 맥락에서 저는 우리가 이러한 [현대의 복잡한 문제]들을 해결할 수 있도록 우리의 학생들과 미래의 의사들을 지원하는 커리큘럼을 개발하고, 구성하고, 설계해야 한다고 믿습니다.

So, how do we support the development of these efficient and effective doctors? How do we design curricula that results in efficient and effective doctors upon their graduation? To answer that question we need to understand the role of today’s doctors. What do they do? Today’s or indeed tomorrow’s doctors need to understand the physical, psychological and social aspect of the patient, alongside the increasingly varied cultures, differing medicines and breakthrough treatment options that are now available. Moreover, how do current doctors then integrate all of these varying aspects to patient care? It is no longer the surgeon that seeks to solve a certain problem; it is a multidisciplinary team of specialists who come together to solve complex modern-day problems. Clinicians no longer work in isolation. They work together as a team. It is in this context I believe we need to develop, construct and design curricula that support our students, our future doctors, in being able to solve these modern day complex problems.

이 목표를 달성하기 위해서는 전이transfer가 필요하다고 생각합니다. 현대 의학의 기초인 종합 해부학, 조직학, 병리학, 살아있는 해부학 및 방사선학에 대한 기본 지식을 현대 의학에서 복잡한 문제를 해결하는 데 도움이 될 수 있는 솔루션을 찾는 데 전이할 수 있도록 지원합니다. 해부학자나 해부학 교육자로서, 우리는 인체의 신체적 기초를 이해하기 위해 미래의 의사들을 지원하고 발전시키는 데 있어, 전면적이고 중심적인 역할을 할 수 있는 운이 좋은 위치에 있다. 그러나, 이것은 [육안gross 해부학을 이해하는 것] 이상이다; 예를 들어, 다양한 근육의 부착 부위나 맹장의 위치를 이해하기 위해 시신으로 학습하는 것이 아니다. 이러한 영역들이 핵심 지식의 중요한 영역이지만, 우리는 학생들에게 단지 "육안gross" 또는 지형적 해부학 이상을 가르쳐야 할 책임이 있다. 우리는 그들에게 이런 것들을 가르친다.

  • 발달 해부학, 배아학; 임상 기술을 뒷받침할 수 있는 표면 및 살아있는 해부학; 현미경 또는 조직학; 기능적 해부학 및 생리학; 비정상적인 해부학 또는 병리학; 그리고 마지막으로 영상 해부학 방사선학을 우리의 코스에 통합합니다. 

후자는 해부학 커리큘럼의 필수적인 요소인데, 대부분의 의사들이 인체를 이미지 형태로 조사examine할 것이기 때문이다.

To achieve this goal, I believe the requirement is transfer. Supporting our students to transfer the basic knowledge of gross anatomy, histology, pathology, living anatomy, and radiology—the bedrock of modern medicine—into finding solutions that can help solve modern day complex problems. As anatomists, or as anatomy educators, we are in the fortunate position to have a front and central role in supporting and developing the future doctors to understand the physical basis of the human body. However, this is more than understanding gross anatomy; it is not just about working with cadavers, for example, to understand the attachment sites of various muscles or the location of an appendix. Whilst these are important areas of core knowledge, we are charged with teaching our students more than just “gross” or topographical anatomy. We teach them

  • developmental anatomy, embryology; surface and living anatomy to support their clinical skills; micro-anatomy or histology; functional anatomy and physiology; abnormal anatomy or pathology; and finally we integrate imaging anatomy radiology into our courses.

The latter is an essential element of any anatomy curriculum, as the vast majority of doctors will examine the human body in image form.

그래서 영국 리즈에서 우리의 커리큘럼의 초점은 무엇인가? 시체들을 해부하고 이것을 신경표와 추천된 교과서에 있는 부착물과 연결시키는데 시간을 보내기 위해서? 앞에서 언급한 다른 영역보다 본 코스의 이러한 측면이 더 중요합니까, 아니면 덜 중요합니까? 거시 해부학macro-anatomy이 중요하지 않다고 주장하는 것은 어리석은 일일 것이다. 하지만 그것은 학생들이 알아야 할 다른 것이다. 저는 우리가 이 [모든 개별적인 요소들을 통합]하는데 우리의 커리큘럼을 집중할 필요가 있다고 생각합니다. 그렇지 않으면, 우리는 커리큘럼을 "원자화"하고, 개별 요소를 우리가 왜 이 내용을 가르치는지에 대한 중요한 근거는 없는, 상당히 상세한 체크리스트로 환원시킬 위험이 있다. 교과 과정의 해부학적 내용을 자세히 이해하는 것은 문제될 것이 없다. 사실 세부적으로 이해하는 것만이 복잡한 문제를 해결할 수 있다. 다양한 "핵심" 해부학 강의 요강은 커리큘럼을 개발하는 데 유용하다고 알려져 왔다. 하지만 원래의 질문으로 돌아가자면, 여러분은 이 논문에서 제시된 해부학을 이해하기 위해 시체 한 구가 필요할까요? 물론, 여러분은 그것을 하기 위해 시체를 사용할 수 있지만, 아마도 다른 방법들도 있을 것이고, 그것은 똑같이 효과적일 것입니다. 해부학자로서, 해부학 커리큘럼을 설계하는 학자로서, 우리는 이것보다 더 잘할 수 있습니다.
So what is the focus of our curriculum at Leeds in the UK? To spend time dissecting cadavers and linking this to tables of nerves and attachments from the recommended textbook? Is this aspect of our course more or less important than the other areas mentioned previously? It would be folly to argue that macro-anatomy is not important, but it is just something else the students need to know. I believe we need to focus our curricula on integrating all of these individual elements together. If not, we risk “atomising” our curricula and reducing the individual elements into quite detailed checklists absent of an overarching rationale for why we are teaching this content. There is nothing wrong with a detailed understanding of the anatomy content of the curriculum, in fact, only by having a detailed understanding can complex problems be solved. Various “core” anatomy syllabi have been said to be useful in developing curricula (Tubbs et al. 2014; Moxham et al. 2015; Smith et al. 2016). But to return to the original question: do you need a cadaver to understand the anatomy presented in these papers? You could use a cadaver to do it, of course, but there are probably other ways to do it, which are just as effective. I think as anatomists, as academics who are designing anatomy curricular, we can do better than this.

학생들은 교과 과정의 해부학 내용을 알아야 하지만, 복잡한 문제를 풀기 위해 이 내용을 어떻게 사용하는지도 알아야 합니다. 예를 들어, 폐암은 복잡한 문제이다. 영국에서 가장 흔하고 심각한 유형의 암 중 하나로, 연간 45,000건의 진단이 있다. 만약 누군가가 폐암에 걸렸다고 의심한다면, 그들은 어떻게 해야 할까요? 그들은 의사에게 간다. 그들의 의사는 무엇을 하는가? 그들을 검사하고, 그들의 가슴을 듣고, 청진하고, 촉진하고, 타진한다. 이는 [생체 해부학]이다. 그들은 잠재적으로 그들을 CT 스캔과 흉부 엑스레이 촬영을 위해 보내고, 그리고 나서 이 발견들을 해석할 것이다. 이것은 [방사선 해부학]이다. 그들은 용량을 계산하기 위해 폐 부피 테스트를 할 수 있다. 이것은 [기능적 해부학]이다. 그들은 조직검사를 받고 조직학(미소해부학)을 검사한 다음 병리를 평가할 수 있다. 이는 [이상 해부학]이다. 일단 환자가 이 순서를 거치면 그들은 거시 해부학을 검사하기 위해 수술을 받을 수 있다. 이는 [육안 해부학]이다.

The students need to know the anatomy content of their course, but they also need to know how to use this content to solve complex problems. For example, lung cancer is a complex problem. It is one of the most common and serious types of cancer in the United Kingdom, with 45,000 diagnoses per year. If someone suspects they have lung cancer, what do they do? They go to the doctor. What does their doctor do? Examine them, listen to their chest, auscultate, palpate, percuss - living anatomy. They will potentially send them for a CT scan, a chest x-ray and then interpret these findings—radiological anatomy. They may do a lung volume test to calculate capacity—functional anatomy. They may go for a biopsy and examine the histology—microanatomy—and then assess for pathology—abnormal anatomy. Only once the patient has gone through this sequence may they go and have surgery to examine the macro-anatomy—gross anatomy.

교육 과정을 [전달 방법]보다는 [내용에 집중]하기 위해서는, 보다 [전체적인 설계]가 필요하다. 원자화된 접근 방식에서 보다 전체적인 접근 방식으로 전환함으로써, 영역의 통합이 발생할 수 있습니다. 그러나 학생들이 이러한 복잡한 생각을 배우기 위해서는 복잡한 가르침이 필요하며 해부학의 각 영역에 대해 어떤 면이 정말로 시체 한 구를 필요로 하는가? 생체, 방사선, 미시, 거시, 비정상적인 해부학은 현재 이용 가능한 광범위한 대체 자원을 사용하여 모두 가르칠 수 있다. 보디페인팅에서 가상현실 소프트웨어 및 시뮬레이션, 3D 프린팅에서 플라스틱에 이르기까지 단순하고 복잡한 형태를 만들 수 있습니다. 만약 이 자원들이 대안들만큼 효과적이라는 것을 보여줄 수 있다면, 왜 시체들은 해부학 커리큘럼을 전달하기 위해 어디에나 있는 접근법이 필요할까요? 난 그렇게 생각하지 않습니다.

A more holistic design is necessary to focus our curricula on the content rather than the delivery method. By moving away from the atomized approach to a more holistic approach, integration of areas can occur. However, for the students to learn these complex ideas you need complex teaching and for each area of anatomy which aspect really needs a cadaver? Living, radiological, micro, macro, abnormal anatomy can all be taught by using the wide range of alternative resources currently available. Form the simple to the complex, from body painting to virtual reality software and simulation, from 3D printing to plastination. If these resources can be shown to be as efficacious as the alternatives (Pickering 2017; Clunie et al. 2018; Wilson et al. 2018), then why do cadavers need to be the ubiquitous approach to delivering our anatomy curricula? I don’t think they do.

찬성측
“Yes we do” house

제니퍼 맥브라이드 부교수
Assoc Prof Jennifer McBride

해부학 교육자들은 계속해서 변화에 관여해 왔다. 우리가 가르치는 환경에 변화가 일어났습니다. 크고 희미한 해부를 하는 극장에서부터, 스테인리스 스틸, 조명이 좋은 해부를 하는 실험실에 이르기까지요. 우리는 또한 학생들에게 해부학적 구조와 서로간의 관계에 대해 가르치는 것을 돕기 위해 수년간 [도구 모음]을 수집해 왔다. 우리의 도구상자에 있는 더 성숙한 도구들 중 일부는 다른 영상 양식을 가진 관절 골격, 해부학적 구조의 도면 및 신체의 지역적 뷰를 포함한다. 수년간 우리는 플라스틱 모형과 플라스틱 견본과 같은 도구를 추가해 왔다. 우리는 심지어 해부학 기반의 컬러링 북, 바디 페인팅, 점토 모델링과 같은 더 창의적인 도구들을 우리 컬렉션에 추가했습니다. 최신 도구 중 일부는 컴퓨터 보조 학습 시스템, e-러닝, 그리고 가장 최근에는 3D 증강 및 가상 현실 장치이다.
Educators of the anatomical sciences have continually been involved in change. Changes have occurred in the environment in which we teach; from large, dimly lit dissection theaters, to stainless steel, well-lit dissection laboratories. We have also amassed a collection of tools over the years to assist in teaching students about anatomical structures and their relationships to one another. Some of the more mature tools in our toolbox include disarticulated skeletons, drawings of anatomical structures and regional views of the body with different imaging modalities. Over the years we’ve added additional tools such as plastic models and plastinated specimens. We’ve even added more creative tools to our collection, such as anatomy based coloring books, body painting and clay modeling. Some of the newest tools are computer assisted learning systems, e-learning, and most recently, 3D augmented and virtual reality devices.

우리가 학생들을 가르치기 위해 선택하는 도구의 정도에 대해 교사로서 우리에게 알려주는 많은 것들은 학습자와 우리가 가르치려고 하는 특정한 개념에 바탕을 두고 있다. 많은 학생들이 [육안 해부학]에 대한 통달성을 위해 엄청난 노력을 기울이는 것처럼 느끼지만, 지식 보유라는 장기적 목표를 가지고 그들의 지식을 적용하고 스스로 평가할 수 있는 기회를 제공함으로써 이러한 노력을 완화하는 것이 우리의 과제이다. 해부학자인 우리가 학생들과 함께 이것을 접근한 몇 가지 다른 방법이 있습니다.

Much of what informs us as teachers about the extent to which tools we choose to teach our students is based on the learner and the particular concept we are trying to teach. While many students feel as though they put forth an enormous effort to achieve mastery in gross anatomy, it is our task to ease this effort by providing the basic units of knowledge followed by opportunities to apply and self-assess their knowledge, with the long term goal of knowledge retention. There are several different ways in which we as anatomists have approached this with our students.

물론, 대부분의 사람들에게 떠오르는 첫 번째 방법은 시신을 사용하는 것이다. 의학교육에서 시체사용의 다양한 측면에 대한 많은 출판물들이 있는데, 나는 몇 가지를 간단히 언급할 것이다. 1990년 연구에서, Nnodim은 하지의 전체 해부학을 연구하는 첫 번째 임상 전 의대생들의 두 그룹을 다른 방법으로 매치시켰다(한 그룹은 직접 해부했고, 다른 그룹은 프로섹션을 리뷰했다). Nnodim은 학생들이 해부한 시체보다 절제된 시체로부터 하지 해부학을 더 잘 배운다는 것을 발견했다. 이 연구에서, Nnodim은 Prosection이 인간의 총체적 해부학을 배우는 효과적인 방법이라고 제안했다. 실제로, 그것은 단축된 수업 시간에 대해 싸워야 하는 부서들에게 고려할 가치가 있는 방법일 수 있다. 몇 년 후인 1996년, 예거는 몇몇 학생들이 해부를 완료하고 다른 학생들이 미리 해부된 표본들을 연구함으로써 배우도록 함으로써 전체 해부학에서 동료 교수법을 탐구했다. 두 그룹 간의 객관식 테스트의 성능은 통계적으로 유의하지 않았다. 그러므로 [Prosected 시신]에서 해부학적 구조를 학습함으로써 시간적 이점이 있을 수 있지만, 두 방법 모두 대등한 것으로 보인다.
Of course, the first way that comes to most people’s minds is with the use of cadaveric material. There are a number of publications on various aspects of cadaveric use in medical education, I will briefly mention a few. In a 1990 study, Nnodim matched two groups of first-year preclinical medical students studying the gross anatomy of the lower limb by different methods (one group dissected one group reviewed prosections). Nnodim discovered that students learned lower limb anatomy better from prosected cadavers than dissected cadavers (Nnodim 1990). From this work, Nnodim suggested that prosections are an effective way of learning human gross anatomy. Indeed it may be a worthy method to consider for departments who have to contend with curtailed teaching time. A few years later, in 1996, Yeager explored peer teaching in gross anatomy by having some students learn by completing dissections while other students learned from studying the predissected (prosected) specimens (Yeager 1996). The performances on multiple-choice tests between the two groups were not statistically significant. So while there may be a time advantage from learning anatomical structures on a prosected cadaver, both methods seem comparable.

시신 기반 과정의 사용에 대한 또 다른 견해는 이전 작업을 기반으로 하며, 해부 기반dissection-based  과정이 학생들이 전문적인 역량을 개발하는 데 도움이 된다는 것을 암시한다. 2010년, Böckers 등은 학생들이 "중요한" 과정으로서 총 해부학에 두는 가치를 이해하기 위해 정량적인 세로 질문지를 개발하여 총 해부학 과정의 124명의 의학 학생들에게 제시했다. 이 과정에 대해 긍정적이거나 부정적인 의견을 가진 학생들의 하위 그룹은 이 과정의 전문적인 역량을 전달하는 능력에 대한 학생들의 의견과 상관관계가 있었다. 학생들은 해부과정에 참여함으로써 해부학 지식뿐만 아니라 팀워크, 스트레스 대처, 시간 관리 등과 관련된 기술을 습득할 수 있다고 느꼈다(Böckers et al., 2010).
Another take on the use of cadaver-based courses builds on previous work, which suggests that dissection-based courses help students develop professional competencies. In 2010, Böckers et al. developed a quantitative longitudinal questionnaire and presented it to 124 medical students in a gross anatomy course, to understand the value students place on gross anatomy as an “important” course. Subgroups of students with positive or negative opinions of the course were correlated with student opinions about the course’s ability to convey professional competencies. Students felt that participation in the course facilitated their acquisition of anatomy knowledge as well as skills related to teamwork, coping with stress, and, to a lesser extent, time management (Böckers et al. 2010).

마지막으로, [cadaver-based dissection 과정]에서의 학생 성과와 통합과목에서 [prosection-based 과정]의 학생 성과를 비교한 한 연구를 언급하고자 합니다. 한 학기 내내 다양한 평가에서 해부를 기반으로 한 강좌의 학생들이 약간 더 좋은 성적을 거둔 반면, 통합 강좌 세션에 참여한 학생들은 이러한 활동을 좋아할 뿐만 아니라 이러한 경험들이 학습에 도움이 된다고 느꼈다고 보고했다. 많은 의과대학 커리큘럼이 보다 통합된 구조로 향하고 있기 때문에 이것은 흥미로운 발견이다.
Finally, I would like to mention one study, which compared student performance in a cadaver-based dissection course versus student performance in a prosection-based course where students also attended integrated course sessions. While students in the dissection based course performed slightly better during the various assessments throughout the semester, students who participated in the integrated course sessions reported that they not only liked these activities but felt that these experiences enhanced their learning (Eppler et al. 2018). This is an interesting finding as many medical school curriculum are heading towards a more integrated structure.

우리 공구함에 있는 다른 도구에 대한 증거는 어떻게 되나요? 컴퓨터 보조 교육(CAI)은 지난 수십 년 동안 많은 관심을 받아왔다. McNulty 등은 CAI의 효과와 개별 사용 수준에 영향을 미치는 요인을 조사하는 총 해부학 강좌에서 다년간의 연구를 완료했습니다. 그들은 성별, 성격 선호도 및 학습 스타일에 따라 활용 수준이 상당히 다양하지만 컴퓨터 사용능력은 그렇지 않다는 것을 발견했다. 흥미롭게도, 자원에 가장 자주 접속한 학생들은 자원에 접속한 적이 없는 학생들보다 시험에서 상당히 높은 점수를 받았습니다. Khot 등은 지식 습득에서 CAI 효과에 대한 이 문제를 더 자세히 조사했습니다. 본 연구에서는 학습 해부학 (1) VR 컴퓨터 기반 모델 (2) 주요 뷰를 가진 정적 컴퓨터 기반 모듈 및 (3) 플라스틱 모델의 세 가지 형식의 효과를 조사했다. 그들은 [컴퓨터 기반 학습 자원]이 명목 해부학을 학습하는 데 있어 [전통적인 표본]에 비해 상당한 단점을 가지고 있는 것으로 보인다는 것을 발견했다. 이전 연구와 일관되게, 이러한 발견은 가상 현실이 주요 관점key view의 정적 표현static presentation에 비해 이점이 없다는 것을 보여주었다. 살타렐리 외 연구진은 멀티미디어 학습 시스템을 전통적인 학부 인간 시체 실험실과 비교한 결과 비슷한 결론을 얻었다. 그들은 인간 시체 실험실이 신원 확인 및 설명 지식의 시체 기반 측정에 대한 멀티미디어 시뮬레이션 프로그램보다 상당한 이점을 제공한다는 것을 발견했다.
What about evidence for the other tools in our toolbox? Computer-aided instruction (CAI) has received a lot of attention in the past few decades. McNulty et al. completed a multi-year study in a gross anatomy course investigating the effectiveness of CAI and the factors affecting level of individual use. They found considerable variability in level of utilization based on gender, personality preferences and learning style, but not with computer literacy. Interestingly, students who accessed the resources most frequently scored significantly higher on exams than those who had never accessed the resources (McNulty et al. 2009). Khot et al. explored this question of CAI effectiveness in knowledge acquisition further. In this study, they examined effectiveness of three formats of learning anatomy (1) VR computer based model (2) static computer-based module with key views and (3) plastic model. They found that computer based learning resources appeared to have significant disadvantages compared to traditional specimens in learning nominal anatomy (Khot et al. 2013). Consistent with previous research, these findings indicated that virtual reality has no advantage over static presentation of key views. Saltarelli et al. had a similar conclusion after comparing a multimedia learning system with a traditional undergraduate human cadaver laboratory. They found, that the human cadaver lab offered a significant advantage over the multimedia simulation program on cadaver-based measures of identification and explanatory knowledge (Saltarelli et al. 2014).

우리가 최근에 소개한 도구 중 일부는 플라스틱 샘플, 3D 인쇄를 통해 만들어진 모델, 가상 또는 증강 현실 리소스이다. 플라스티드 표본은 매우 상세한 해부를 시간 내에 포착할 수 있는 기회를 제공하지만, 촉각적 특성과 표본 다양성의 부족은 학생들의 경험을 제한하는 것으로 보고되었다. 3D 프린팅 모델의 사용과 관련하여, 한 보고서는 3D 프린팅 모델이 교훈적인 2D 이미지 기반 교육 방법에 비해 지식을 크게 증가시켰다는 것을 발견했습니다. 이러한 결과는 앞서 언급한 결과와 유사합니다.
Some of the more recent tools we have been introduced to are plastinated specimens, models created via 3D printing, and virtual or augmented reality resources. While plastinated specimens offer an opportunity to capture a very detailed dissection in time, the lack of haptic qualities and specimen diversity have been reported to limit the student experience (Fruhstorfer et al. 2011). Regarding the use of 3D printed models, one report found that 3D printed models significantly increased knowledge compared to didactic 2D image based teaching methods (Smith et al. 2018). These findings are similar to findings mentioned previously (Khot et al. 2013).

요약하자면, [툴 박스에 있는 툴을 제거할지 여부]에 대한 질문을 하기보다는, [이러한 툴의 사용방식을 어떻게 수정할 수 있는지] 대한 질문으로 바뀌어야 합니다. 교육자로서, 우리는 

  • (1) 학생 중심의 학습 환경을 조성하고,
  • (2) 가능한 경우 콘텐츠를 통합하고,
  • (3) 임상적으로 적용할 수 있는 상관관계를 포함하고,
  • (4) 학생의 진행 상황을 관찰하고 분석하며,
  • (5) 새로운 교육 개입의 결과를 반영하고, 그 결과를 문헌에 보고해야 한다.

In summary, the question of whether or not to remove any tool in our tool box should be changed to a question of how we can revise the way we have been using these tools. As educators, we need to:

  • (1) create a student-centered learning environment,
  • (2) integrate content where possible,
  • (3) include clinically applicable correlates,
  • (4) observe and analyze student progress, and
  • (5) reflect on the outcomes of new educational interventions and report the findings in the literature.

토론은 마지막 두 명의 연사가 자신들의 주장을 발표하고 주장을 요약하기 위해 초대되는 것으로 끝났다.

The debate concluded with the last two speakers being invited to present their case and summarize the arguments.

 

반대측
“No we do not” house

대럴 에반스 교수
Prof Darrell Evans

13년 전, 저는 에든버러에서 열린 AMEE 연차총회에서 존 맥라클란의 강연을 들었습니다. "해부학은 삶입니다. 해부학은 죽음이 아니다." 해부를 통한 가르침의 열렬한 지지자로서 나는 확실히 이야기의 추진에 동의하지 않았고 방 뒤에서 야유했다. 그렇다면 제가 왜 이제 대학 의학부에서 해부학을 가르치기 위해 시체들을 더 이상 필요로 하지 않는다고 말할까요? 뭐가 달라진거죠? 첫째, 우리가 이용할 수 있는 더 많은 대안이 있고 둘째, 해부학 교수법에 대한 다른 접근방식을 뒷받침하는 교육학의 효과에 대한 우리의 이해가 발전했다. 이것은 저널에 발표된 수많은 활발한 연구를 통해 촉진되었습니다. 그 중 일부는 에든버러에서 열린 AMEE 회의 당시에는 없었습니다. 이전에 견고하고 질 높은 연구가 부족했던 것은 우리가 학생 학습에 정말로 차이를 만드는 것이 무엇이고 해부학 교육에 대한 이러한 새로운 접근법이 시체 기반 가르침에 비해 어떤 영향을 미치는지를 정의하는 데 초점을 맞추지 않았다는 것을 의미했다. 동시에, 의학 커리큘럼은 [해부학을 단독으로 배우는 것]에서 벗어나, [좋은 의사가 되는 것을 배우기 위해 해부학에 대한 근본적인 이해를 사용하는 것]으로 옮겨가고 있다.
Thirteen years ago, I sat in a session at the AMEE annual meeting in Edinburgh listening to a talk by John McLachlan entitled “Anatomy is life. Anatomy is not death”. As an ardent supporter of teaching through dissection I was certainly not in agreement with the thrust of the talk and heckled from the back of the room. So why would I now be saying we don’t really need cadavers anymore to teach anatomy in undergraduate medicine. What’s changed? Firstly there are many more alternatives available to us and secondly our understanding of the effects of the pedagogy that underpins different approaches to anatomy teaching has developed. This has been promoted through a plethora of active research published in journals, some of which weren’t around at the time of the AMEE meeting in Edinburgh (Pawlina and Drake 2010). The previous lack of robust and high quality research meant that we didn’t focus on defining what was really making a difference in student learning and what effect these new approaches to anatomy teaching were having in comparison to cadaveric based-teaching. At the same time medical curricula have refocused, moving away from learning anatomy in isolation to using a foundational appreciation of anatomy for learning to be a good doctor.

시신들은 확실히 졸업후 의학훈련과 해부학 관련 분야와 전문 분야의 지속적인 전문적 발전을 특징으로 해야 한다. 시신들은 또한 증강현실 프로그램, 3D 모델 등을  포함한 많은 기술 기반 해부학적 도구들을 개발하기 위한 기초를 형성한다. 도전은 또한 어떤 해부학을 배워야 하는지, 어떤 깊이에서 배워야 하는지, 왜 여러분이 해부학의 특정한 요소나 개념을 배우는지에 대한 것이 아닙니다. 그건 다른 논쟁이고, 지금은 우리가 어떻게 우리의 [학부 의대생]을 가르치는지에 대한 논의가 필요하다. 그리고 우리가 여기에 시신이 [진정으로 필요한지]에 대한 것입니다. 그 점을 염두에 두고 나는 우리가 "진짜 필요really needed"와 "학부 의학undergraduate medicine"이라는 단어에 계속 집중하기를 바란다.

Cadavers should certainly feature within postgraduate medical training and ongoing professional development in anatomically related disciplines and specialties. Cadavers also form the basis for developing many of the technology-based anatomical tools including augmented reality programs, 3D models etc. The challenge is also not about what anatomy should be learned, in what depth that anatomy should be learned and why you're learning a particular fact or concept of anatomy. That’s a different debate and instead this is about how we teach our undergraduate medical students and whether we really need cadavers for this. With that in mind I want us to keep focused on the words “really needed” and “undergraduate medicine”.

이 문제는 커리큘럼 디자인으로 귀결됩니다. 그렇다면 어떻게 하면 학생들이 필요로 하는 기초 지식을 발견할 수 있도록 좋은 커리큘럼 설계를 통해 학생들을 도울 수 있을까요? 학습 과정에 포함시키고 기능적으로나 임상적으로나 관련이 있는지 어떻게 확인할 수 있을까요? 우리는 학생들이 해부학을 배우고 이해할 수 있는 다양한 기회를 가질 수 있도록 해부학을 배우는 다면적인 접근 방식을 가져야 한다. 그래서 학생들은 해부학을 다른 관점에서 그리고 다른 맥락에서 볼 수 있다(Evans and Watt 2005). [통합 커리큘럼 내에 해부학을 배치하는 것]은 학생들이 기초 및 임상 지식, 이해 및 추론을 연결할 수 있도록 하는 데 필요한 [표지게시signposting 및 관련성]을 제공한다. 학생들이 제대로 된 학습을 쌓을 수 있도록 표지판signposting이 핵심이다.

This issue for me comes down to curriculum design. So how do we enable students through good curriculum design to discover the foundational knowledge that they’re going to need? How do we make sure it’s embedded within their learning journey and is functionally and clinically relevant? We need to have a multifaceted approach to learning anatomy (that might include cadavers) so that students have different opportunities to learn and understand the anatomy, see it from different perspectives and in different contexts (Evans and Watt 2005). Placing anatomy within an integrated curriculum provides the signposting and relevance necessary to enable students to connect foundational and clinical knowledge, understanding and reasoning. The signposting is key so that the students can build their learning appropriately.

최근의 많은 발전을 통해, 우리는 해부학을 가르치기 위해 테크놀로지를 효과적으로 활용할 수 있다. 우리는 기술을 사용하여 인체 여러 층을 걸어다니면서 해부학의 다른 요소들을 알아낼 수 있습니다. 우리는 컴퓨터 시뮬레이션을 통해 해부할 수 있고, 그리고 나서 우리는 학생들이 어려운 부분에 다시 집중할 수 있도록 해 줄 수 있다. 해부학은 위치 결정과 연관성, 그리고 복잡한 관계를 이해하는 맥락에서 배울 필요가 있다. 3D 모델링의 창조를 통해 학생들은 시체 물질을 사용하지 않고도 이러한 관계를 인식할 수 있습니다. 우리는 다른 수지를 사용하여 생명체와 같은 또는 예시적인 색칠과 느낌을 제공할 수 있습니다. 3D 모델은 시체 내에서 쉽게 해부되거나 명백하지 않은 해부학을 시각화할 수 있습니다. 예를 들어, 시체에서 뇌의 혈관을 해부할 수 있습니까? (그림 2(A)). 
Through many recent advances, we can utilize technology effectively to teach anatomy. We can use technology to walk through the various layers of the human body to uncover different elements of that anatomy. We can dissect via computer simulation and then we can put the body back together again (you can’t do that with a cadaver) allowing students to refocus on difficult areas. Anatomy needs to be learned in the context of positioning and association, and understanding intricate relations. The creation of 3D modeling allows students to recognize these relationships without the need for them to use cadaveric material (McMenamin et al. 2014). We can use different resins to provide life-like or illustrative colorings, and feel. 3D models enable visualization of anatomy not easily dissected or apparent within the cadaver—could you dissect the blood vessels of the brain in a cadaver for instance? (Figure 2(A)).

3D 모델은 생산 비용이 저렴하고, 안전 요소가 제거되었으며, 재료에 대한 접근성이 높아 licensed premises를 사용할 필요가 없습니다. 각 학생은 자신의 시간과 심지어 미니어처 규모에서 검토할 수 있도록 특정 정상 또는 병리 해부학 사본(그림 2(B))을 제공할 수 있으며, 높은 수준의 자원을 보유하지 않은 국가는 이러한 자료를 사용할 수 있다. 해부학을 맥락 안에서 시각화하는 이 능력은 더 깊은 학습을 가능하게 한다. 학생들은 전체적인 그림을 그릴 수 있어야 하지만, 시신이나 접근할 수 없는 구조물의 단면을 볼 때 어려웠습니다. 호주 뉴캐슬대 등 전 세계 동료들이 이런 문제를 해결하기 위해 증강현실(Augmented Reality)을 개발하고 있다. 예를 들어, 뇌의 요소들을 시각화할 때, 여러분은 해부 슬라이드에서는 3D 형태의 모든 요소들을 볼 수 없었을 것이고, 다른 요소들을 제거하거나 추가하는 어떤 방향에서도 볼 수 없었을 것이다. 이러한 새로운 접근방식을 사용하면 해부학적 관계를 매우 다른 방식으로 볼 수 있습니다. 그러나 주의가 필요합니다. 이것은 테크놀로지 그 자체를 위한 테크놀로지에 대한 것이 아니며, 테크놀로지의 사용은 학습 성과를 가능하게 하기 위한 교육학적 기반이 필요하다(Release 2016). 이것은 우리가 이전에 결코 할 수 없었던 무언가를 하거나 우리가 할 수 있는 것보다 더 나은 것을 하는 것에 관한 것입니다.

3D models are cheap to produce, the safety elements are removed and the material is highly accessible—you do not need licensed premises to use them. Each student can be provided with copies of particular normal or pathological anatomy (Figure 2(B)) to review in their own time and even in miniature scale and countries who do not have high levels of resources can use such materials (Smith et al. 2018). This ability to visualize anatomy within its context allows for deeper learning. Students need to be able to build up the whole picture and this has been difficult when looking at sections of cadaveric material or inaccessible structures. Colleagues around the world including at University of Newcastle, Australia are developing Augmented Reality to solve such issues (Jain et al. 2017). For instance, when visualizing the elements of the brain, you wouldn’t have been able to see all the elements in the 3D form from dissection slices and the ability to view from any direction and removing or adding different elements. Using these new approaches, you get to see the anatomical relations in a very different way. However caution is required. This is not about technology for technology’s sake and instead the use of technology needs a pedagogical basis linked to enabling the learning outcomes (Trelease 2016). This is about doing something we could never do before or doing something better than we could do before.

 

시신은 우리가 기대하는 해부학적 변형을 제공하고, 병리학을 보여주는데 아주 좋습니다. 제가 해부학 연구실을 운영했을 때, 저는 어떤 큰 변화나 병리학적 변화가 있기를 바랬습니다. 그리고 몇 년 동안 당신은 성공했고 다른 사람들은 실패했죠. 테크놀로지는 모든 학생들이 볼 수 있는 [공통 및 희귀 변형과 병리학]을 시각화하고, 문제의 해부학적 맥락 안에서 다시 한 번 도움의 손길을 제공하고 있다. 다시 한 번 3D 인쇄를 사용하면 학생들이 검사하고 기능 및 임상 결과(Mahmoud 및 Bennett 2015)와 연계하여 감사할 수 있는 희귀 병리학의 복사본을 제공할 수 있습니다(그림 2(B)).

Cadavers are great for providing the anatomical variation we expect and for showing pathology. When I used to run dissection labs, I used to hope there was going to be some great variation or pathology and some years you were successful and others not. Technology is once again providing a helping hand by providing visualizations of both common and rare variations and pathologies for all students to see and within the context of the anatomy in question. Once again 3D printing can be used to provide copies of rare pathologies for students to examine and to get an appreciation for by linking to function and clinical outcomes (Mahmoud and Bennett 2015) (Figure 2(B)).

그렇다면 우리는 대학 의학에서 해부학을 배우기 위해 더 이상 카데바가 필요할까요? 해부학은 여전히 학부 의학의 기본이다. 그것은 우리가 학생들이 사용할 수 있기를 바라는 언어이며, 복잡한 임상 문제를 해결하는 데 도움이 되는 지식과 이해로 환자에게 최상의 해결책을 제시합니다(Turney 2007). 그렇다면 어떻게 하면 학생들에게 지식과 이해를 가장 잘 할 수 있을까요? 통합 커리큘럼 내에서 다면적인 접근을 통해 이루어질 필요가 있다고 생각합니다. 그리고 시체도 그 일부가 될 수 있을까요? 물론, 그들은 할 수 있지만, 그들이 정말로 학습 결과를 성취하기 위해 필요한가? 저는 가능한 대안들 때문에 그렇게 생각하지 않습니다(그림 2(A,B)). 그래서 오늘 투표하실 때, 토론 질문을 다시 한 번 살펴보도록 하겠습니다. 나는 해부의 팬이지만 우리는 "학부 의학"을 가르치기 위해 "정말로" 카데바가 필요한가? 난 그렇게 생각하지 않습니다.

So do we really need cadavers anymore to learn anatomy in undergraduate medicine? Anatomy is still fundamental to undergraduate medicine. It is the language we want our students to be able to use, the knowledge and understanding that helps solve complex clinical problems resulting in the best solutions for their patients (Turney 2007). So how do we best enable that knowledge and understanding in our students? I certainly think that it needs to happen through a multifaceted approach within an integrated curriculum. And can cadavers be part of that? Yes they can, but are they really needed to achieve the learning outcomes? I don’t think so because of the alternatives available (Figure 2(A,B)). So I’ll just ask you when you vote today, to look at the debate question again. I’m a fan of dissection but do we “really need” cadavers to teach “undergraduate medicine”. I don’t think so.

찬성측
“Yes we do” house

안드레아스 윙켈만 교수
Prof Dr med Andreas Winkelmann

지금까지 이루어진 많은 논점에 [철학적, 혹은 인류학적 논점]을 추가하고 싶다. 나는 순수한purely 카데바 중심의 교육을 주장하는 것이 아니라, 해부학을 가르치는 많은 대등한parallel 방법들 중 하나로 인체를 사용하는 것에 대해 주장할 것이다.
To the many points that have been made so far, I would like to add a philosophical and/or anthropological one. I will not argue for a purely cadaver-centred teaching, but for using human bodies as one of many parallel approaches to teaching anatomy.

데카르트적 이원론은 오늘날 우리가 실천하고 있는 "서양" 생물의학의 기초이며, "서양"은 이것이 문화적으로 특정한 기반을 둔 의학이라는 사실을 가리킨다. 17세기에 데카르트는 세계를 "res extensa"(확장 물질)와 "res cognitans"(사고 물질)로 나누었다. 매우 넓게 말하면, 이것은 의학이 역사상 처음으로 신체에 대한 진정한 신체적 접근을 개발할 수 있는 기회를 주었습니다. 이 접근법은 생물의학의 많은 성공의 기초가 되어왔지만, 물론 질병의 심리적 사회적 요인을 이해하는 것과 같은 생물의학의 일부 문제에 대해서도 책임이 있다.
Cartesian dualism is at the basis of “Western” biomedicine as we practise it today, with the attribute “Western” pointing to the fact that this is a culturally specific foundation of medicine. In the 17th century, Descartes divided the world as we understand it in “res extensa” (extended matter) and “res cogitans” (thinking matter). Very broadly speaking, this gave medicine, for the first time in history, the opportunity to develop a truly physical approach to the body (Leder 1992). This approach has been the basis of many of the successes of biomedicine—most obviously in surgery or radiology—but is of course also responsible for some of biomedicine’s problems, like the difficulty to understand psychosocial factors of illness.

역사적으로 [해부학적 해부]는 이러한 발전을 뒷받침하는 역할을 해왔고(데카르트 자신은 해부를 관찰함으로써 영향을 받았다), 오늘날의 의학 커리큘럼에서 해부는 이러한 [데카르트적 접근법의 강력한 상징]으로 인식되는 것으로 보인다. 나는 이러한 [상징적인 의미]가 이 교육 도구가 반복적으로 논의되고, 예를 들어 생화학 수업보다 훨씬 더, 학문적인 관심을 끄는 이유 중 하나라고 주장할 것이다. 일부 저자들은 해부 과정이 해부학뿐만 아니라 사람과 그들의 신체에 대한 이원론적 접근을 가르치는 암묵적 또는 암묵적 커리큘럼의 일부라고 주장해왔다. 이것은 적어도 상상할 수 있는 것이다. 학생들은 신체에 대한 데카르트적 관점을 가지고 태어나지 않으며, 만약 신체 생물의학의 핵심이라면, 그들은 교과 과정의 어느 시점에서 신체에 대해 배워야 한다. 이러한 견해는 많은 저자들이 해부 과정을 "의학으로의 시작" 또는 "통과의례"로 보아왔다는 사실에 기여했을 수 있다. [시작 의식initiation ritual]의 오래된 인류학적 개념이 현대 사회에 적용되는지는 논란의 여지가 있을 수 있지만, 해부실은 더 넓은 사회의 금기가 깨지는 폐쇄적인 공간이며, 의료인과 비전문가를 구분하는 이러한 방식은 일부 사람들에게 이것이 '시작initiation'에 해당한다고 제안했다. 한편, 이러한 관점은 해부 과정에 대한 비판을 촉발시켰으며, 이는 학생들이 나중에 환자를 "시신처럼" 다루는 그러한 과정의 암묵적인 결과일 수 있음을 시사한다. (Winkelmann and Guldner 2004).

Historically, anatomical dissection has played a role in supporting this development (Descartes himself was influenced by observing dissections), and it seems that in today's medical curriculum, dissection is perceived as a strong symbol of this Cartesian approach. I would argue that this symbolical meaning is one reason why this educational tool is repeatedly debated and attracts much more scholarly attention than, say, biochemistry classes. Some authors have argued that the dissection course is part of an implicit or tacit curriculum, that does not only teach anatomy but also this dualistic approach to people and their bodies (Reifler 1996). This is at least conceivable—students are not born with a Cartesian view of the body, and if it is at the heart of biomedicine, they have to learn it at some point in the curriculum. This view may have contributed to the fact that so many authors have seen dissection courses as an “initiation into medicine” or “rite of passage". It may be debatable whether older anthropological concepts of initiation rituals (van Gennep, 1909). apply to modern societies, but the dissecting room is a closed space in which taboos of the wider society are broken, and this way of setting apart medical people from nonspecialists has suggested to some that this constitutes an “initiation” (Harper 1993; Shaffer 2004). On the other hand, this perspective has also triggered critique of the dissection course, suggesting that it may be an implicit outcome of such courses that students later treat patients “like cadavers” (cf. Winkelmann and Güldner 2004).

이 비평은, 제 생각에, 교과 과정의 작은 부분의 힘을 과대평가하는 듯 하다. 만약 의사들이 정말로 환자를 사람처럼 대하기 보다는 물질처럼 대한다면, 물론 해부 과정을 비난할 수 있습니다. 왜냐하면 그것의 상징적인 맥락이 이러한 비판에 어울리기 때문입니다. 그러나, 의사들이 해부를 통해서만 그러한 태도를 배웠다고 상상하기는 어렵다. 예를 들어, [번아웃된, 공감없는 임상의사들]과 같은 다른 맥락이나 교사들로부터 (또한) 배우지 않았다고 보기는 어렵다.
This critique, I think, overrates the power of one small part of the curriculum. If doctors in the end really treat a patient like material rather than like a person, you can of course blame the dissection course because its symbolic context lends itself to this criticism. However, it is difficult to imagine that doctors have learnt such an attitude just from dissection and not (also) from other contexts or teachers, like for example from burnt-out non-empathetic clinicians.

비록 역사적으로 해부학이 인체의 객관화에 큰 역할을 했을지라도, 학문으로서의 해부학은 또한 단지 육체적인 접근에 도전하기 위해, 특히 지난 수십 년 동안, 그 자체로도 멀리 왔다. 과거에는 해부학자들이 주로 처형된 범죄자들의 시체, 그 다음에는 가난한 사람들의 시체를 사용했지만, 지금은 적어도 서구 세계와 아시아의 많은 나라들에서 기증자들의 시신을 주로 사용한다. 시체 뒤에 있는 사람을 인정하는 것은 많은 의과대학의 강한 면이다. 예를 들어, 전세계의 해부학자들과 학생들은 또한 이러한 기증자들과 그들의 가족들을 위한 추모식을 조직한다. 또한 시체를 "몸"이나 "시체"라고 부르지 않고 "기부자" 또는 "선생님"이라고 부르는 경향이 증가하고 있다(Bohl et al., 2011). 이러한 모든 변화는 해부실에서 사체의 모호성이 점점 더 인정된다는 것을 의미한다. 사체는 물건인 동시에 죽은 사람이기 때문에 애매하다. 객체object과 주체subject의 모호성은 생물의학의 중심이며, 생물의학에서는 환자를 대상(예: 방사선학 또는 수술)처럼 취급해야 하지만, 그럼에도 불구하고 환자를 사람처럼 취급해야 한다.
Even if historically, anatomy may have played a big role in the objectification of the human body, anatomy as a discipline has also come a long way itself, particularly over the last decades, to challenge a merely physical approach (Dyer and Thorndike 2000). In the past, anatomists mainly used the bodies of executed criminals, then the bodies of the poor, but now they mostly use bodies of donors, at least in the western world and in many countries in Asia (Habicht et al. 2018). Acknowledging the person behind the cadaver is a strong aspect of many medical schools. For example, anatomists and students around the world also organize memorial services for these donors and their families. There is also an increasing tendency not to call the cadaver “body” or “cadaver” but rather “donor” or “teacher” (Bohl et al. 2011). All of these changes have meant that the ambiguity of the dead body in the dissecting room is increasingly acknowledged (Hafferty 1988). The dead body is ambiguous because it is an object and at the same time a deceased person. This ambiguity of object and subject is central to biomedicine, which often has to treat patients like objects (e.g. in radiology or surgery), but should nevertheless also treat them like persons.

그러므로 해부학에서 암묵적인 커리큘럼이 있다면, 사람과 사물의 이런 모호함에 대한 전문적인 관점, 시체나 환자에 대한 전문적인 관점, 이런 모호함에 대한 전문적인 관점을 기를 것이어야 한다고 생각합니다. 해부실 경험은 이러한 모호성을 억누르고 사람을 사물로 생각하는 위험을 수반할 수 있지만, 이 위험은 해부를 완전히 폐지해야 하는 이유가 아니라 이러한 맥락에서 전문적인 관점을 개발하기 위한 선택사항인 도전으로 받아들여져야 한다(Robbins et al., 2008).
Therefore, if there is an implicit curriculum in dissection, I think it should be about this ambiguity of person and object, about developing a professional perspective on this ambiguity, a professional perspective on cadavers and also on patients. The dissecting room experience may carry a risk to repress this ambiguity and to think of people as objects, but this risk should not be the reason to do away with dissection altogether but should be taken as a challenge, an option for developing a professional perspective in this context (Robbins et al. 2008).


저는 다음과 같이 질문하면서 결론짓고 싶습니다: 왜 우리는 카데바처럼 강력한 교육 도구를 없애야 할까요? 그것은 독특한 교육 도구입니다. 그 이유는 첫째, 그것은 (아틀라스, VR 데이터 세트, 3D 프린트처럼) 육체의 표상representation이 아니라, 살아 있는 생명의 "산출product"인, 개인의 운명의 진정한 육체authentic body의 표상representation이기 때문이다. 둘째로, 시체들은 독특하다. 해부는 매우 특별한 학습 경험을 만들어내기 때문이다. 그것은 진정한 멀티모달이고 활동적이다. 그것은 또한 감정적이고 실존적인 학습 경험이며 따라서 지속적인 기억을 만들어낸다. 어떤 사람들은 해부 과정이 그들에게 나쁜 기억을 주었다고 말하지만, 나는 그들이 잘못된 교사나 잘못된 교육 시설을 가지고 있었을지 몰라도, 잘못된 교육 도구를 가지고 있지는 않았다고 제안한다. 마지막으로, 위에서 설명한 바와 같이, 기증자가 해부되는 상황은 기회입니다. 왜냐하면 그것은 학생으로 하여금 인체가 [물체가 아니면서 동시에 물체가 되는 것being an object and not an object]에 도전하기 때문입니다. 그리고 이것이 바로 옛 인류학적 관점에서 통과의례가 실제로 의미하는 것입니다. "초보자나 초심자를 자극하여… 그들의 세계의 요소와 기본 구성 요소에 대해 곰곰이 생각하도록 유도한다." (Turner 1977). 물론, 음악 없이도 노래 텍스트를 배울 수 있는 것처럼, 시체 없이도 해부학을 배울 수 있지만 커리큘럼은 독특한 자원을 잃게 될 것이다.
I would like to conclude by asking: why should we do away with such a powerful teaching tool as a cadaver? It is a unique teaching tool, firstly, because it is not a representation of a body—like figures of an atlas, virtual reality datasets or 3D prints are—but an authentic body, the “product” of a lived life, of an individual fate. Secondly, cadavers are unique because dissection creates a very special learning experience, which is truly multimodal and activating. It is also an emotional and existential learning experience and therefore creates lasting memories. Some people tell me that their dissection course has given them bad memories, but I suggest that they had either the wrong teachers or the wrong teaching facilities but not inevitably the wrong teaching tool. And finally, as outlined above, the situation of a donor being dissected is an opportunity because it challenges the students with the human body being an object and not an object at the same time. And this is what rites of passage are actually about in the good old anthropological sense: “provoking the novices or initiands … into thinking hard about the elements and basic building blocks” of their world (Turner 1977). Of course, you can learn anatomy without cadavers—as you can learn song texts without the music—but the curriculum would lose a unique resource.

토론의 요약 및 결론
Summary and conclusion of debate

양원 모두 반대 의견을 제시한 후 퇴임했고 청중들은 현재 제기되는 질문에 대한 답을 등록하기 위해 대화형 시스템을 사용하여 다시 제시된 주장을 바탕으로 의견을 검토하도록 요청받았다.

Both houses, having presented their opposing cases, retired and the audience were asked to review their opinions based on the arguments presented by again using the interactive system to register their answers to the question now being posed.

McMenamin 교수는 우리 팀이 실제 시체 해부에 대한 주장을 많이 했다고 요약했는데, 그것은 실제로 논의되고 있는 질문이 아니었다. 하지만, 분명히 대다수의 청중들은 학부 의학 강좌에서 실제 해부가 필요하다는 것을 확신하지 못했다. 다음 질문은 학생들이 사체 물질에 대한 노출이 여전히 학부 의대생들의 경험으로 중요한지를 알아보기 위해 제시되었다.

Prof McMenamin summarized that the yes we do team had made much of their case about actual dissection of a cadaver, which was not in fact the question being debated. However, clearly the majority of the audience were not convinced that actual dissection was needed in an undergraduate medical course. The next question was posed to see if the audience thought whether exposure to cadaver material was still important as an experience for undergraduate medical students.

분명히 대다수의 청중들은 그것이 중요하다고 생각했다. 이어 맥메나민 교수는 토론 중인 실제 질문의 문구를 강조하며 투표할 때 이를 신중히 고려해 줄 것을 청중에게 당부했다. 이것은 토론이 시작될 때 다루어진 질문을 반복하는 마지막 투표였다.

Clearly a majority of the audience thought yes it was important. Professor McMenamin then emphasized the wording of the actual question being debated and called on the audience to consider this carefully when voting. This was the final vote repeating the question addressed at the commencement of the debate.

결과는 현재 논쟁 중인 문제에 대해 균일한 의견의 분열이 있다는 것을 분명히 보여주었고, 학부 의학에서 시체 사용에 대해 원래 80%의 찬성 의견이 있었기 때문에 McMenamin 교수는 토론에서 '아니오 불필요합니다' 측이 승리했다고 선언하고 그들의 발표에 대해 양원을 축하했다.

The results clearly showed that there was now an even split of views on the matter under debate and since there was originally majority of 80% in favor of the use of cadavers in undergraduate medicine Professor McMenamin declared the ‘No we do not’ house to have won the debate and congratulated both houses for their presentations.

 

 


Med Teach. 2018 Oct;40(10):1020-1029. doi: 10.1080/0142159X.2018.1485884. Epub 2018 Sep 28.

Do we really need cadavers anymore to learn anatomy in undergraduate medicine?

Affiliations collapse

Affiliations

1a Department of Anatomy & Developmental Biology, Faculty of Medicine, Nursing and Health Sciences , Monash University , Melbourne , Australia.

2b School of Medicine , Lancashire , UK.

3c Department of Cell and Molecular Medicine , Rush University , Chicago , IL , USA.

4d Cleveland Clinic Lerner College of Medicine , Cleveland Clinic , Cleveland , OH , USA.

5e Division of Anatomy, Leeds Institute of Medical Education, School of Medicine , University of Leeds , Leeds , UK.

6f Developmental Tissue Biology, Academic Division, The University of Newcastle (UON) , Callaghan , Australia.

7g Institut für Anatomie, Medizinische Hochschule Brandenburg - Theodor Fontane , Neuruppin , Germany.

PMID: 30265177

DOI: 10.1080/0142159X.2018.1485884

Abstract

With the availability of numerous adjuncts or alternatives to learning anatomy other than cadavers (medical imaging, models, body painting, interactive media, virtual reality) and the costs of maintaining cadaver laboratories, it was considered timely to have a mature debate about the need for cadavers in the teaching of undergraduate medicine. This may be particularly pertinent given the exponential growth in medical knowledge in other disciplines, which gives them valid justification for time in already busy medical curricula. In this symposium, the pros and cons of cadaver use in modern medical curricula were debated and audience participation encouraged.

해부학 지식의 영향: 주장의 종합(Clinical Anatomy, 2014)
Influences on Anatomical Knowledge: The Complete Arguments
ESTHER M. BERGMAN,1,2* INGE W.H. VERHEIJEN,3 ALBERT J.J.A. SCHERPBIER,4 CEES P.M. VAN DER VLEUTEN,1 AND ANIQUE B.H. DE BRUIN1

 

 

서론
INTRODUCTION

의학교육에서 기초과학의 역할과 지위가 논의되고 있다. 기초과학은 일반적으로 [임상추론과 의학적 실천의 과학적 토대]로 정의된다. 기초과학 지식의 확고한 토대는 좋은 임상적 추론을 위해 필수적인 것으로 간주되며, [정상적인 구조와 기능에 대한 건전한 지식]은 [비정상적인 구조와 기능에 대한 적절한 이해]에 필요한 것으로 간주된다. 예를 들어, [단학제 교육]에서 [통합 학습]으로, [사실과 세부 사항]에 초점을 맞춘 교육에서 [일반적 원칙, 기전, 개념에 초점을 두는 교육으로의 기초 과학의 역할은 극적으로 변화하고 있다(Bergman and de Goeij, 2010).

The role and position of the basic sciences in medical education are under debate (Norman, 2000, 2012; Fincher et al., 2009). Basic sciences are generally defined as the scientific foundations of clinical reasoning and medical practice (Kaufman et al., 2008); a firm foundation of basic science knowledge is considered indispensable for good clinical reasoning, and a sound knowledge of normal structure and function is deemed necessary for a proper understanding of abnormal structure and function (Swanson and Case, 1997). The role of basic sciences in medical education is changing dramatically owing to shifts in educational concepts, for example, from monodisciplinary teaching to integrated learning and from a focus on facts and details to a focus on general principles, mechanisms and concepts (Bergman and de Goeij, 2010).

해부학적 지식에 미치는 영향
INFLUENCES ON ANATOMICAL KNOWLEDGE

오늘날 의대생들 사이에서 해부학적 지식이 감소했다는 경험적 증거는 없지만, 이러한 주장은 다음의 8가지 요인 중 하나 또는 몇 가지에 기인한다고 생각하는 저자들에 의해 문헌에서 지속적으로 강조되고 있다(표 1). 

  • (1) 의학적으로 자격이 없는 교사들에 의한 수업, 
  • (2) 핵심 해부학 커리큘럼의 부재로 인해 
  • (3) 해부를 가르치는 도구로서 사용하는 것을 줄였습니다. 
  • (4) 해부학을 맥락에 맞게 가르치는 것의 부족, 
  • (5) 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼), 
  • (6) 해부학적 지식에 대한 부적절한 평가, 
  • (7) 해부학을 가르치는 시간이 줄었고, 
  • (8) 해부학 교육의 수직적 통합에 대한 무시 

Although there is no empirical evidence that anatomical knowledge has declined among today's medical students, the claim is persistently emphasized in the literature by authors who attribute it to one or several of the following eight factors (Table 1):

  • (1) teaching by nonmedically qualified teachers,
  • (2) the absence of a core anatomy curriculum,
  • (3) decreased use of dissection as a teaching tool,
  • (4) lack of teaching anatomy in context,
  • (5) integrated curricula (problem-based learning or systems-based curricula),
  • (6) inadequate assessment of anatomical knowledge,
  • (7) decreased anatomy teaching time, and
  • (8) neglect of vertical integration of anatomy teaching.

이 요소들은 32개의 논문(29개의 다른 제1저자)에서 추출되었으며, 그 중 9개는 해부학 부서에서 주요 직책을 맡았다. 2011년에는 의대생들의 해부학적 지식에 미치는 8가지 요인의 영향을 검증할 수 있는 경험적 증거를 찾기 위한 연구를 발표했다. 그러나 기존 문헌 내의 정보의 질은 어떤 주장을 뒷받침하기에 충분하지 않았다(표 1).

These factors were extracted from 32 articles (29 different first authors, nine of whom held their primary posts in anatomy departments (see Bergman et al., 2011). In 2011, we published a study aimed at finding empirical evidence to verify the influences of the eight factors on medical students' anatomical knowledge. However, the quality of information within the existing literature was insufficient to support any of the claims (Table 1).

 

분명히, 이러한 요인들이 갑자기 나타난 것은 아니다. 몇몇 작가들은 이 공룡들이 영향력이 있다고 언급했고, 그 기원을 설명했다. 각각의 요소 뒤에는 이야기가 있습니다. 이 리뷰를 쓰는 우리의 목적은 이러한 이야기들을 독자와 공유하는 것이다. 문헌에서 찾은 32편의 논문 저자들이 내레이션한 인식과 경험을 바탕으로 한 이야기이기 때문에 주로 인용과 일화를 통해 공유한다. 우리가 "저자"에 대해 말할 때, 우리는 그들 자신을 지칭하는 것이 아니라 그들을 지칭한다. 우리는 그 논문들의 저자들이 그 이야기에 책임이 있다는 것을 강조하고 싶으며, 이 리뷰에서 그 이야기를 서술하는 것은 우리가 그들과 동의한다는 것을 의미하지는 않는다! 그러나, 이 리뷰에서 우리는 이 이야기가 해부학 교육의 추가 연구와 개선을 위한 중요한 소설 추천으로 이어질 수 있다고 느끼기 때문에 이야기를 충분히 탐구하기를 원한다. 비록 우리가 경험적 자료로 그들의 이야기를 뒷받침할 수는 없더라도, 우리는 그 29명의 작가들이 우리에게 말하고 있는 것에 대해 교훈이 있다고 느낀다.
Obviously, these factors did not emerge out of the blue. Several authors have cited them as influential and have described their origins. So behind each factor there is a story. Our aim in writing this review is to share these stories with our readers. Since the stories are based on the perceptions and experiences narrated by the authors of the 32 papers we found in the literature, we share them mainly via quotations and anecdotes. When we speak of “the authors,” we refer to them, not to ourselves. We wish to emphasize that the authors of those papers are responsible for the stories and our narrating them in this review does not imply that we agree with them! However, in this review we want explore the stories fully, as we feel this could lead to important novel recommendations for further research and improvement of anatomy education. We feel there is a lesson in what those 29 authors are telling us, even if we cannot underpin their stories with empirical data (yet)!

요인 1: 의료인 면허가 없는 교수자가 해부학을 가르친다.
Factor 1: Anatomy Is Taught by Nonmedically Qualified Teachers

저자들은 해부학적 지식의 감소에 대한 한 가지 설명은 해부학이 헌신적이고, 잘 훈련되고, 의학적으로 자격을 갖춘 총 해부학자들에 의해 가르쳐지는 것이 극히 드물어지고 있다는 것이라고 생각한다. 해부학 교육은 연구가 주 관심사인 교수진에 의해 제공되며, 이들은 교육을 중요한 책임이라기보다는 성가신 일, 달갑지 않은 일로 간주한다. 저자들은 교수진이 보통 연구 기술과 수입(연구 보조금)을 창출할 수 있는 잠재력을 위해 모집되고 특정 분야의 교수 수요를 충족시키지 않기 때문에 이는 놀라운 일이 아니라고 주장한다.
The authors feel that one explanation for the decline of anatomical knowledge is that it is becoming extremely rare for anatomy to be taught by dedicated, well-trained, medically qualified gross anatomists (Cahill and Leonard, 1999; Older, 2004). It is claimed that anatomy education is provided by faculty whose first interest is research and who look upon teaching as an annoyance, an unwelcome chore, rather than a key responsibility (Fraser, 1991; Halasz, 1999; Monkhouse and Farrell, 1999). The authors argue that this should come as no surprise since faculty are usually recruited for research skills and potential for generating income (research grants), and not to meet teaching needs in particular areas (Cahill and Leonard, 1999; Cahill et al., 2000).

게다가, 저자들은 교육에 전념하는 교수진들은 종종 연구 부서가 나열할 수 있는 연구 출판물의 질보다는 그 수로 측정되는 연구 생산성에 대한 불균형적인 중요성에 의해 전복된다고 말한다. "내거나 죽거나"라는 대학 풍습이 바로 그것이다. 기초과학과 임상과학 양쪽에서 교육은 (학문적 활동으로서 연구보다 가치가 낮기 때문에) 우선순위가 낮다고 한다(Older, 2004).
Moreover, the authors state that faculty who are committed to teaching are subverted by the disproportionate importance placed on productivity in research, often measured by the number rather than the quality of research publications a department can list: the university mores of “publish or perish” (Fraser, 1991; Monkhouse and Farrell, 1999). Teaching in both basic and clinical sciences is said to have low priority because, as an academic activity, it is valued less than research (Older, 2004).

의학적으로 자격을 갖춘 교사들은 무엇보다도 [가르치는 것이 아니라 환자 치료에 관심이 많다는 것]이 저자들의 또 다른 설명이다. 교육에 관심이 있더라도 바쁜 임상 서비스의 업무량과 압력에 제약을 받는 경우가 많습니다. 일부 국가에서, 이 문제는 임상적 자격을 갖춘 모든 사람이 교직을 맡는 것을 지연시키는 눈에 띄게 매력적이지 않은 급여 구조로 인해 더욱 복잡해진다(Older, 2004).
Another explanation given by the authors is that teachers who are medically qualified are first and foremost concerned with patient care and not with teaching. Even if they are interested in teaching, they are often restricted by workloads and pressures from a busy clinical service (Halasz, 1999; Raftery, 2006). In some countries, this problem is compounded by a distinctly unattractive salary structure deterring anyone with clinical qualifications from taking up teaching (Older, 2004).

Halasz (1999)는 다른 유형의 전문학교는 그들이 가르치는 전문직으로서 프랙티스practice를 하지 않는 교수진이 교육하는 커리큘럼의 거의 절반을 차지하지 않는다고 주장한다. [비의학 해부학 교사들]은 [왜 이 과목을 가르치는지] 또는 [왜 그것이 임상적 관점에서 관련이 있는지]에 대한 개념이 없다고 하기 때문에, 의학적으로 자격을 갖춘 해부학 교사의 감소는 학생들의 해부학 지식 숙달의 위협으로 저자들에 의해 저자들은 의학적으로 자격을 갖춘 해부학 교사의 감소를 보고 있다.
Halasz (1999) argues that in no other type of professional school is almost half of the curriculum (i.e., the basic sciences) taught by faculty who do not practice the profession they teach. Since nonmedical anatomy teachers are said to have no notion why the subject is taught or why it is relevant from a clinical perspective, the decline in medically qualified anatomy teachers is viewed by the authors as a threat to students' mastery of anatomical knowledge (Monkhouse, 1992; Pabst, 1992; Monkhouse and Farrell, 1999; Older, 2004; Raftery, 2006).

요인 2: 핵심 해부학 커리큘럼의 부재
Factor 2: The Absence of a Core Anatomy Curriculum

저자는 해부학 교육에 사용하는 시간이 최근 수십 년 동안 감소했다고 지적하고(인자 7 참조), 어떤 경우에는 할당된 시간 내에 해부학을 맞추려는 시도가, 의료전문직과의 연관성에도 불구하고, 해부학의 모든 측면(신체 부위, 기관 시스템 또는 배아학과 같은 주제)을 다소간 제거하도록 이끌었다. 저자들은 이것이 미래의 의사들이 안전하게 의술을 실천하는 능력에 직접적인 영향을 미친다고 느낀다. 기록, 검사, 촉진, 타진, 청진, 영상, 수술은 모두 세포, 조직, 장기 시스템 수준에서 신체가 어떻게 구성되는지에 대한 지식을 요구한다. 시술 직전에 해부학적 사실과 사진을 찾는 것은 해부학에 대한 엄격한 지식을 대체할 수 없습니다(Auer and McDonald, 2003).
The authors indicate that the amount of time available for teaching anatomy has fallen during recent decades (see also factor 7) and, in some cases, attempts to fit anatomy within the allocated time have led to all aspects of anatomy (body regions, organ systems, or topics such as embryology) being pruned to a greater or lesser extent, notwithstanding their relevance for the medical profession (Monkhouse, 1992; Cahill et al., 2000; Older, 2004). The authors feel this directly affects the ability of future doctors to practice medicine safely. History-taking, inspection, palpation, percussion, auscultation, imaging, and surgery all require knowledge of how the body is constructed at the cell, tissue, and organ system levels. Looking up anatomical facts and pictures just before a procedure is no substitute for a rigorous knowledge of anatomy (Auer and McDonald, 2003).

앞의 주장과는 대조적으로, 임상의사들은 종종 해부학자들이 의학 실무와 관련된 해부학적 지식(예를 들어 질 높은 치료를 제공하는 방법)으로 정의하지 않고 너무 많은 세부 사항을 가르친다고 비난한다. 이러한 비판을 설명하기 위해, 학부 교육의 진정한 목적은 잊혀졌다고 주장한다: 학부 의학 교육의 산물은 의사가 "되기 위해" 훈련된 학생이다.
In stark contrast to the preceding arguments, clinicians frequently blame anatomists for teaching too many details and not what they define as the anatomical knowledge relevant to medical practice (such as how to provide high-quality care) (Pabst, 1994; Whitcomb, 2006). To explain this criticism, it is argued that the true purpose of undergraduate education has been forgotten: the product of undergraduate medical education is the student trained “to become” a physician (Fraser, 1991; Drake, 1999; Whitcomb, 2006).

저자들은 이 문제가 (국가) 핵심 해부학 커리큘럼의 부재 또는 재평가/재향성 부족 때문에 발생했다고 주장한다. 그러한 핵심 커리큘럼은 실제 임상 관련 주제를 다루고 학생들이 구조와 기능 사이의 관계를 잘 이해할 수 있도록 할 것이다. 만약 그것이 시행된다면, 교사들(기초과학 및 임상)은 학생들이 무엇을 배우기를 기대하는지 알고 그들이 그 지식을 얻도록 도울 수 있을 것이다(Bergman et al., 2011).

The authors claim this problem has arisen because of the absence, or insufficient re-evaluating/re-orientation, of a (national) core anatomy curriculum (Monkhouse, 1992; Halasz, 1999; Older, 2004; Raftery, 2006). Such a core curriculum would cover topics of real clinical relevance and equip students with a good grasp of the relationship between structure and function (Pabst, 1994; Raftery, 2006). If it were in place, teachers (basic science and clinical) would know what their students were expected to learn and would be able to help them attain that knowledge (Bergman et al., 2011).

요인 3: 해부를 교육 도구로 사용하는 것이 감소
Factor 3: Decreased Use of Dissection as a Teaching Tool

커리큘럼 개혁은 의대생들에게 주어진 해부학적 정보의 양뿐만 아니라 그것이 제시되는 형식도 변화시켰다고 저자들은 생각한다(Drake, 1999). 저자들은 오늘날의 의대생들이 다르다는 것을 인정한다. "우리 학생들의 세계는 멀티모달과 자극에 의존합니다. […] 대다수의 일반 학생들은 더 이상 '자르기', '읽기', '듣기'에만 반응할 수 없습니다." 값비싼 해부실(해부를 위한 것이든 아니든)은 임상 기술 실험실과 컴퓨터실(또는 수익을 창출하는 연구 공간)로 대체되었지만, 저자들이 가장 우려하는 것은 시체 해부라는 오랜 방법에 의한 해부 교육의 감소이다. 그들은 해부학이 이제 해부학 수업을 (기껏해야), 문제 기반 튜토리얼, 특수 학습 모듈 (학생이 선택한 구성 요소), 컴퓨터 보조 교육, 그리고 (최악의) 플라스틱 모델을 통해 배운다고 지적한다. 그들은 모델, 이미지, 그리고 오디오 비주얼의 사용이 학생들에게 실제 조직의 조사적 해부에서 오는 만큼 많은 해부학적 지식을 제공하지 못한다고 생각한다. 그러나 이 주장을 뒷받침할 실질적인 자료가 거의 없다는 것도 인정된다.
Curricular reform is thought by the authors to have altered not only the amount of anatomical information imparted to medical students but also the format in which it is presented (Drake, 1999). The authors acknowledge that today's medical students are different. “The world of our students is multimodal and stimulus dependent. […] the greater majority of average students can no longer solely respond to ‘cut,’ ‘read’ and ‘listen’” (Reidenberg and Laitman, 2002). Expensive anatomy rooms (whether or not for dissection) have been replaced by clinical skills laboratories and computer rooms (or revenue-generating research space) (Monkhouse and Farrell, 1999; Cahill et al., 2000), but what the authors consider most worrying is the increasing decline of anatomy teaching by the time-honored method of cadaveric dissection. They point out that anatomy is now taught via prosections (at best), problem-based tutorials, special study modules (student-selected components), computer-assisted instruction, and plastic models (at worst) (Raftery, 2006). They think that the use of models, images, and audiovisuals fails to provide students with as much anatomical knowledge as comes from the investigative dissection of real tissue. But it is also acknowledged that there are very few substantive data to support this contention (Cahill et al., 2000; Reidenberg and Laitman, 2002; Older, 2004).

요인 4: 해부학을 맥락 속에서 가르치지 않습니다.
Factor 4: Anatomy Is not Taught in Context

저자들의 의견으로는 해부학 교육을 표면 해부학, 살아있는 (방사선) 해부학, 임상 기술까지 확장함으로써 학생들 사이의 해부학 지식이 향상될 수 있다. 해부학은 환자의 신체 검사(예: 청진기, 복부 촉진, 말초 펄스, 인대, 근육 그룹 및 반사)와 영상의 해석(예: X선, CT, MRI, 초음파 및 스코프를 통한 최소 침습적 시각)의 맥락에서 제시되어야 한다고 생각된다. 레이덴버그와 라이트만(2002)은 해부학 프로그램이 "물질의 통합과 학제간 교육과 학습을 위한 집"의 최전선이 되어야 한다고 말하는 반면, 몽크하우스(1992)는 그러한 통합 없이는 "의대생들이 해부학을 연구해야 하는 직업적 필요성에 대한 근거를 발견하는 것"이 불가능하다고 주장한다. 또한, 저자들은 맥락에서의 교육이 임상 문제를 해결하기 위해 해부학적 지식을 사용하는 것을 의미할 수 있다고 제안한다. "학생들이 배우는 개념을 임상적 문제를 이해하고 설명하는 데 적극적으로 적용하지 않는 한, 그 지식은 비활성 상태로 남아 곧 잊혀질 것이다."(Norman, 2007).

Anatomical knowledge among students can, in the opinion of the authors, be enhanced by extending anatomy education to surface anatomy, living (radiological) anatomy, and clinical skills. It is felt that anatomy should be presented in a context of physical examination of patients (e.g., stethoscope, abdominal palpation, peripheral pulses, testing of ligaments, muscle groups, and reflexes) and interpretation of images (e.g. X-rays, CT, MRI, ultrasound, and minimally invasive views through scopes) (Monkhouse, 1992; Pabst, 1992; Reidenberg and Laitman, 2002; Older, 2004; Raftery, 2006). Reidenberg and Laitman (2002) even state that anatomy programs “must be at the forefront of integration of material and a home for interdisciplinary teaching and learning,” while Monkhouse (1992) argues that without such integration it is impossible to “see any grounds for the vocational necessity for medical students to study any anatomy.” Additionally, the authors suggest that teaching in context can mean using anatomical knowledge to solve clinical problems: “unless students actively apply the concepts they are learning to understanding and explaining clinical problems, the knowledge will remain inert and will be soon forgotten” (Norman, 2007).

요인 5: 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼)
Factor 5: Integrated Curricula (Problem-Based Learning or Systems-Based Curricula)

오늘날 일부 의과대학은 기초 의학에 대한 공식적인 교육을 대부분 포기하고 학생들이 문제 기반 학습(PBL) 접근 방식만을 통해 이러한 중요한 영역을 탐색하도록 남겨두었다. 저자들은 이것이 학생들의 해부학적 지식에 두 가지 방식으로 영향을 미칠 것이라고 우려한다.
Some medical schools today have largely abandoned the formal teaching of basic medical sciences, leaving students to explore these crucial areas through the problem based learning (PBL) approach alone (Williams and Lau, 2004). The authors fear this will affect the students' anatomical knowledge in two ways.

첫째, 저자들은 일부 지역에서는 자기 주도 학습이 교수자가 학습자에 대한 책임을 포기하는 단순한 구실이 되었다고 주장한다(Monkhouse and Farrell, 1999). 또한 PBL은 유능한 교사가 촉진자(종종 해부학적으로 훈련되지 않은 비의학 과학자; 요인 1 참조)로 대체될 수 있으므로 학생들이 영감을 주고 지식이 풍부한 멘토와의 접촉을 박탈하여 해부학적 지식을 덜 습득할 수 있다고 여겨진다. 둘째, 저자들은 PBL이, 학생이 해부학적 정보의 수용된 본문을 학습해야 한다는 사실을 무시하기 때문에, 기본적인 과학적 지식을 습득하는 비논리적이고 비효율적인 방법이라고 주장한다 (Williams and Lau, 2004). 학생들이 호기심과 실험을 통해 이러한 지식을 얻도록 요구하는 것은 귀중한 시간과 자원의 낭비이다.

First, the authors argue that in some places, self-directed learning has become a mere excuse for staff to abandon their responsibilities to students (Monkhouse and Farrell, 1999). It is also felt that PBL can lead to competent teachers being replaced by facilitators (often anatomically untrained nonmedical scientists; see also factor 1), thereby depriving students of contact with inspirational and knowledgeable mentors, so they acquire less anatomical knowledge (Cahill et al., 2000; Williams and Lau, 2004; Fasel et al., 2005). Second, the authors argue that PBL is an illogical and inefficient way to acquire basic scientific knowledge (Williams and Lau, 2004) because it ignores the fact that the student must simply learn an accepted body of anatomical information; requiring students to gain this knowledge through curiosity and experiment is a waste of valuable time and resources (Monkhouse and Farrell, 1999).

몽크하우스와 파렐(1999)은 장기계통 기반 교육이 학생들이 전신의 해부학에 대한 일관된 견해를 얻는 것을 막을 수 있다는 위험성을 더욱 지적했다. 시스템 기반 교육에서, 해부학은 전체 유기체와 무관하게 작은 부분으로 가르치기 때문에, 불가피하게 학생들은 그 분야에 대한 단편적인 지식만 갖게 된다. 저자들은 의사들이 인체 해부학에 대한 건전한 실무 지식을 가져야 한다는 것은 자명하다고 생각한다; 최악의 경우, 그들은 신체의 부분, 다른 부분과의 관계, 그리고 신체 표면에 대한 그들의 관계, 그리고 개입이 필요할 때 어떻게 그들이 안전하게 접근할 수 있는지에 대한 지식에 의해 불이익을 받지 않을 것이다.

Monkhouse and Farrell (1999) further point to the danger that systems-based teaching can prevent students from gaining a coherent view of the anatomy of the whole body. In systems-based teaching, anatomy is likely to be taught in small segments with no regard to the whole organism, inevitably leaving students with only fragmented knowledge of the discipline. The authors consider it self-evident that doctors should have a sound working knowledge of human anatomy; at the very worst, they will not be disadvantaged by knowledge of the parts of the body, their relationships to another and to the body surface, and how they can be approached safely when intervention is necessary.

요인 6: 해부학적 지식을 평가하는 방법
Factor 6: The Way Anatomical Knowledge Is Assessed

저자들은 해부학적 지식이 불충분하게 평가되어 잘 유지retained되지 않는다고 반복해서 말한다. 실용성의 이유로 (해부학) 시험에 대한 문제들이 점점 더 다양해지고 있는 것으로 느껴지는데, 이 시험은 오답 보기를 제거하는 전문성 때문에 잘 하는 "시험보기 능력자"들이 종종 잘 보는 경우가 많다. 또한, 저자들은 평가되는 각 분야의 최소 역량에 대한 요구사항이 없어질 것을 우려하고 있다: "[USMLE] Step 1 Examination에서 직접적인 해부학 문제가 몇 개밖에 없는데 왜 학생들이 전체 해부학을 배워야 하는가?" (Cahill and Leonard, 1999) "해부학에서 정말 어려운 시험이 있어야 하며, 이것은 지원자들이 환자들에게 연습을 시작하기 전에 그들의 해부를 확실히 알기 위한 매우 초기 단계여야 합니다." (래터리, 2006)

The authors repeatedly state that anatomical knowledge is assessed inadequately, so it is poorly retained. It is felt that for reasons of practicality, questions on (anatomy) tests are increasingly of the multiple choice variety, in which good “power-test takers” often do well because of their expertise in eliminating distracter items (Cahill and Leonard, 1999; Paalman, 2000; Ellis, 2002; Older, 2004; Raftery, 2006; Turney, 2007). Furthermore, the authors fear the requirement for minimal competence in each of the disciplines tested is being eliminated (Ellis, 2002; Raftery, 2006; Purkayastha et al., 2007): “why should students learn gross anatomy anyway when there are only a few direct anatomy questions on the [USMLE] Step 1 Examination?” (Cahill and Leonard, 1999). “There should be a really tough examination in anatomy and this should be at a very early stage to be certain that candidates know their anatomy before they start practicing on patients” (Raftery, 2006).

요인 7: 해부학 수업 시간 감소
Factor 7: Decrease in Anatomy Teaching Time

저자들은 최근 수십 년 동안 과학 지식의 폭발로 인해 의료 행위와 관련된 잠재적인 과학적 정보의 양이 강사나 학생들이 학습하기에 너무 많아졌다고 말했다. 기초과학과 임상의학의 관련성은 과정 시간의 단축과 의료 교육의 강조의 변화에 직면하여 불가피하게 재평가되고 있다고 한다(Drake, 2002). 이 문제를 다루기 위한 커리큘럼 개정이 모든 수준의 해부학 교육자들에게 계속 도전하고 있다고 주장한다. 해부학 커리큘럼에 포함할 과목에 대한 선택은 분명히 이루어져야 했지만, 저자들은 이러한 선택이 해부학을 너무 많이 또는 너무 적게 가르쳤다고 생각한다.
The authors stated that the explosion of scientific knowledge during recent decades has made the amount of basic scientific information with potential relevance to medical practice too large for instructors to teach or for students to learn. The relevance of basic sciences to clinical medicine is said to be undergoing re-evaluation, inescapable in the face of reduced course hours and the shifting emphases of medical education (Drake, 2002). It is argued that curricular revision to deal with this problem continues to challenge educators in the anatomical sciences at every level (Carmichael et al., 2002). Clearly, choices about which subjects to include in the anatomy curriculum had to be made, but the authors feel that these choices have led to the teaching of either too much or too little anatomy (see Factor 2).

요인 8: 해부학 교육의 수직적 통합의 무시
Factor 8: Neglect of Vertical Integration of Anatomy Teaching

기초과학 교육은 임상 전 커리큘럼의 큰 부분을 차지한다(Norman, 2007). 안타깝게도 수직적 통합이 임상적으로 가치 있는 기초과학만 가르치도록 돕는다고는 하지만, 그것은 흔히 단방향성으로만 존재한다. 임상 주제는 의학 커리큘럼의 초기 단계(전통적으로 기초과학 교육을 위한 시간표)에 정기적으로 통합되지만, 기초과학을 임상실습 학년에 교육하는 것은 훨씬 드물다. 이러한 개혁으로 인해 (일부에서는 25년 동안 50% 이상 감소했다고 주장하지만) 해부학 교육의 내용(요소 2와 7 참조) 둘 다 시간이 단축되었으며, 이는 전통적인 교수법의 실험실 부분에서 가장 급격한 감소로 이어진 것으로 보인다. 저자들은 학부 총 해부학 교수법이 세계적으로 쇠퇴하고 있으며, 진자가 너무 심하게 흔들려 해부학 교수법이 의학 교육에서 완전히 사라질 위기에 처했을 수 있다고 우려한다. 그래서 해부학 교육의 수직적 통합을 소홀히 하는 것은 총 해부학 교육의 감소를 초래하고, 이는 다시 학생들의 해부학 지식 부족을 초래한다.

Basic science teaching takes up a huge proportion of the preclinical curriculum (Norman, 2007). Unfortunately, although vertical integration is said to help ensure that only clinically valuable basic science is taught (Monkhouse and Farrell, 1999), the authors often experience it as unidirectional. While clinical topics are regularly integrated into the early years of medical curricula (traditionally the time slot for basic science teaching), it is much less common for basic sciences to be taught in later years (traditionally clinical teaching time) (McCrorie, 2000). It is felt that this reform has led to reductions in both the time for (some claim reductions of more than 50% over 25 years) and the content of anatomy education (see also Factors 2 and 7), the most drastic cut being in the laboratory parts of traditional teaching (Cahill and Leonard, 1999; Monkhouse, 1992; Older, 2004). The authors state that undergraduate gross anatomy teaching is in decline worldwide, and it is feared that the pendulum could have swung too far, putting anatomy teaching in danger of disappearing completely from medical education (Fasel et al., 2005; Raftery, 2006). So, neglect of vertical integration of anatomy teaching leads to a decline in gross anatomy teaching, which in turn leads to deficiencies in students' anatomical knowledge.

이에 대응하기 위해 저자들은 전체 의학 커리큘럼(교육과정 후반에 통합된 생물의학에서 도출된 내용)에 걸쳐 더 많은 해부학이 통합되어야 한다고 권고한다. 이것은 또한 [학습이란 새로운 지식을 기존 지식에 통합하는 것으로 구성된다(scaffolding)]는 인지심리학의 근본적인 아이디어에 대한 교육을 적응시킬 것이라고 명시되어 있다. 모든 것을 한꺼번에 가르칠 필요는 없다(Norman, 2007). 피츠제럴드(1992)가 말했듯이: "[…] 시간 제약으로 인해 많은 임상 관련 요점들이 해부학 강좌에서 누락되어야 합니다. 이 딜레마에서 벗어날 수 있는 유일한 방법은 수직적 통합을 통해 임상의가 각 해부학적 공을 차례대로 집어내는 것이다."

To counteract this, the authors recommend that more anatomy should be integrated throughout the entire medical curriculum (content drawn from the biomedical sciences integrated into the later years of the curriculum) (Beaty, 1990; Older, 2004; Whitcomb, 2006). It is stated that this will also adapt education to the fundamental idea from cognitive psychology that learning consists in the integration of new knowledge into existing knowledge (scaffolding); there is no need to teach everything all at once (Norman, 2007). As Fitzgerald (1992) puts it: “[…] many clinically relevant points have to be omitted from the anatomy course owing to time constraints. The only way out of this dilemma (it seems to me) is by way of vertical integration, whereby clinicians pick up each anatomical ball in turn”.

토론 및 권장 사항
DISCUSSION AND RECOMMENDATIONS

우리는 8가지 요인(표 1에 나열)이 의대생들 사이의 해부학적 지식의 감소에 기여했다는 여러 저자들의 주장을 설명했다. 우리의 2011년 검토에서는 이러한 주장을 뒷받침할 경험적 증거가 발견되지 않았으며, 우리는 문맥, 수직적 통합 및 평가 전략에서의 교수 구현에 대한 추가 연구를 권고했다(Bergman et al., 2011). 다음과 같은 추가 권장 사항은 요인 뒤에 숨겨진 이야기에 대한 현재 검토 중에 광범위한 탐색에서 비롯된다. 첫 번째와 두 번째 권장 사항 - 교수에 대한 인지도를 높이고 해부학자의 전문적 인지도를 높이는 -은 최근 문헌에서 다른 저자들의 지지를 얻고 있다. 세 번째 권장 사항은 보다 혁신적입니다. 해부학자들이 교육적 연구에 참여하도록 장려하는 것이다.

We have described the arguments of different authors that eight factors (listed in Table 1) have contributed to the decline of anatomical knowledge among medical students. Our 2011 review revealed no empirical evidence to support these claims, and we recommended further research on the implementation of teaching in context, vertical integration, and assessment strategies (Bergman et al., 2011). The following additional recommendations arise from our extensive exploration during the present review of the stories behind the factors. The first and second recommendations—increasing recognition for teaching and enhancing the professional recognition of anatomists—find support from other authors in the recent literature. The third recommendation is more innovative: to encourage anatomists to participate in educational research.

교수에 대한 인정
Recognition for Teaching

만약 교육이 아카데믹한 가치를 더 많이 인정받는다면, 교사들은 다음의 개발 및/또는 구현에 더 많은 시간과 돈을 투자할 수 있을 것이다. 자신의 해부학적, 임상적 지식과 교육적 기술(인자 1), 핵심 해부학 커리큘럼(인자 2), 다양한 교육 방법(인자 3), 맥락적 교육(인자 4), 평가 전략(인자 6), 수직적 통합(인자 8)이 그것이다.

If teaching received more recognition for its academic value, teachers would have more time and money to invest in the development and/or implementation of: their own anatomical and clinical knowledge and didactic skills (Factor 1), a core anatomy curriculum (Factor 2), different teaching methods (Factor 3), teaching in context (Factor 4), assessment strategies (Factor 6), and vertical integration (Factor 8).

[의대생에게 해부학을 가르치는 것]은 [기초 과학자를 위한 연구 활동]이나 [임상의사를 위한 환자 치료 의무(및 연구 과제)]와 떼어둘 수 없다. 의과대학들은 의과대학 학생들이 의사가 되기 위해 더 진지하게 준비할 책임을 지도록 촉구한다. 대부분의 의과대학에서 결정적이지만 불행하게도 잘 발달되지 않은 분야는 [인적 자원 관리와 교수 업적의 보상]이다. 기초과학과 임상과학의 교육은 학문적 활동으로 평가받지 못하고 결과적으로 낮은 우선 순위를 받는다. 보상에 대한 선택(홍보, 공간, 기부 의자 등)은 교육 및 임상 역량이 아닌 출판물 수와 보조금 기금에 거의 전적으로 기초한다.

Teaching (anatomy to) medical students is almost invariably combined with research activities for basic scientists or patient care duties (and research tasks) for clinicians (Ten Cate et al., 2011). Medical schools are urged to take their responsibility for preparing medical students to become doctors more seriously (Fraser, 1991). A crucial but unfortunately poorly developed area in most medical schools is human resource management and the rewarding of teaching accomplishments (Bergman and de Goeij, 2010). For academic staff, there is a strong emphasis on research targets, whereas teaching in both basic and clinical sciences is less valued as an academic activity and consequently receives low priority (Older, 2004). Selection for rewards (promotions, space, endowed chairs, etc.) is almost exclusively based on the number of publications and grant funding, not on teaching and clinical competence (Cahill and Leonard, 1999; Fasel et al., 2005).

학부 및 기관의 문화에 교육이 가치있게 여겨지고, 장려되며, 내면화될 필요가 있다. (해부학) 교육의 미래 발전과 개선은 우수하고 열정적인 교사들과 교육자들이 그들의 기관의 교육의 질을 향상시키기 위해 기꺼이 노력함으로써 성취될 수 있다(Bergman and de Goeij, 2010). "교사는 훈련을 받아야 하고, 좋은 교사는 생산적인 연구원들과 마찬가지로 보상을 받아야 하며, 가난한 교사는 상담을 받아야 한다."

Teaching needs to be valued, encouraged, and internalized into the culture of the department and institution (Ten Cate et al., 2011). Future developments and improvements in (anatomy) education can only be accomplished by rewarding excellent and enthusiastic teachers and educationalists willing to work to improve the quality of education in their institution (Bergman and de Goeij, 2010). “Teachers should be trained; good teachers should be rewarded, as are productive researchers; and poor teachers should be counseled” (Monkhouse, 1992).

교수 성과를 보상하지 못하는 것은 부분적으로 의학 교육자로서 성공하기 위해 필요한 복잡한 기술을 인식하지 못했기 때문일 수 있다. 최근의 문헌에는 교육학 및 기타 학습 관련 활동에 대한 학문을 입증하는 데 초점을 맞춘 교육학에 대한 흥미로운 출판물이 포함되어 있다. 과거 기관들이 개인의 학술적 성취를 평가하는 학술활동의 주요 기준은 연구, 과학적 결과에 대한 동료평가, 새로운 지식의 보급이었다. 그러나 의학교육의 혁신, 발전, 변화는 그들의 연구와 환자 치료 임무 외에도 많은 의과대학에서 [교육적 사명의 중요성]에 대한 인식을 증가시켰다. 결과적으로, 학술활동의 정의가 넓어지면서, 각각의 보상 시스템의 상응하는 변화와 함께 나타났다. 가르치는 것은 학문적인 행위일 수 있지만, 심지어 많은 일류 학술 기관들에서도 모든 가르침이 학문적인 것은 아니다. 

The failure to reward teaching accomplishments could in part be due to failure to recognize the complex skills necessary to succeed as a medical educator. The recent literature contains interesting publications on scholarship in education, focusing on demonstrating scholarship in teaching and other learning-related activities (in contrast to educational research, which can be assessed and rewarded using the same types of evidence as basic science or clinical research) (Turner et al., 2012). In the past, the main criteria for scholarly activities by which institutions evaluated individuals' academic progress were research, peer review of scientific results, and dissemination of new knowledge (Srinivasan et al., 2011; Turner et al., 2012). However, innovation, development, and changes in medical education have entailed a growing appreciation of the importance of the educational mission at a number of medical schools, besides their research and patient care missions (Pawlina and Drake, 2010; Turner et al., 2012). In consequence, broader definitions of scholarship have emerged along with corresponding changes in the respective reward systems (Turner et al., 2012). Teaching can be a scholarly act, but even in many top academic institutions not all teaching is scholarly (Beckman and Cook, 2007).

지속적인 학술활동 기록이 학계에서 발전의 기초가 되기 때문에, 교수학자들의 연구를 구현하고 평가하기 위해 교수에 대한 학술활동 평가 기준을 정의하기 위한 다양한 이니셔티브가 발표되었다. 학술적 가르침은 학생들의 자기지식을 변화시키고 확장시켜야 하며, 대중에게 공개되어야 하며, 검토의 대상이 되어야 하며, 다른 교육자들과 교류할 수 있어야 한다는 데 동의한 것 같다(Beckman and Cook, 2007). [가르치는 것과 배우는 것을 위한 학술활동에 참여하는 것]은 해부학자들이 그들이 제공하는 교육적 제품이 품질을 가지고 있고 학생, 기관, 그리고 전문 커뮤니티에 의해 가치를 인정받는 것을 확실히 하기 위한 바람직한 단계로 보인다. 이 검토의 범위를 넘어 실용성에 대해 더 자세히 논의하지만, 우리는 핀처와 동료들(Turner 등, 2012)과 Simpson 등(2007)을 관심 있는 모든 사람이 더 많이 읽을 수 있는 출발점으로 추천할 것이다.

Since a sustained record of scholarship is the foundation for advancement in academia, various initiatives to define criteria for evaluating scholarship in teaching have been published, in order to implement and assess teaching scholars' work (e.g. (Whitcomb, 2003; Moses et al., 2006; Simpson et al., 2007; Fincher et al., 2009; Turner et al., 2012). There seems to be agreement that scholarly teaching must

  • transform and extend students' self-knowledge,
  • be open to the public,
  • be subjected to review, and
  • be accessible for exchange with other educators (Beckman and Cook, 2007).

To engage in scholarship for teaching and learning seems a desirable step for anatomists to ensure that the educational product they deliver has quality and is valued by students, institutions, and professional communities (Srinivasan et al., 2011). It goes beyond the scope of this review to discuss the practicalities further, but we would recommend Fincher and colleagues (Turner et al., 2012) and Simpson et al. (2007) as a start for further reading for anyone interested.

해부학자가 되기 위한 훈련: 전문적 인식 제고
Training to Become an Anatomist: Enhancement of Professional Recognition

해부학자가 되기 위해 공인된 훈련 프로그램을 이수해야 한다면, 전문 그룹으로서 해부학자들은 더 큰 인정을 받게 될 것이다. 그것은 또한 더 넓은 범위의 사람들이 해부학 분야에서 직업을 추구하도록 영감을 줄 가능성이 높으며, 특히 가르치는 것에 주된 관심이 있는 사람들에게도 영감을 줄 것이다. 그것은 또한 해부학자들에게 관리, 교육, 연구에서의 행동과 결정의 질을 향상시켜줄 것이다.
If becoming an anatomist requires completion of an accredited training program, anatomists as a professional group will gain greater recognition. It is also highly likely that it will inspire a wider range of people to pursue careers in anatomy, especially those whose principal interest lies in teaching. It will also give anatomists a much more solid base for, and therefore improve the quality of, actions and decisions in management, education, and research.

많은 나라들은 해부학에서 국가적으로 승인된 훈련 프로그램이 부족하다. 예를 들어, 네덜란드에서, 원하는 사람은 누구나 해부학자라고 부를 수 있다. 이 직함은 일반적으로 해부학 부서에서 자리를 얻자마자 사용됩니다. 영국, 미국, 호주, 뉴질랜드에서도 비슷한 상황이 발생한다. "아나토미스트"라는 직함이 인정된 전문적 자격에 기초하지 않고 결과적으로 존경/명예 또는 매력적인 급여 구조를 가지고 있지 않다는 사실은 여전히 남아 있다. 게다가, 해부학 교육의 현재 상태에서는, 그 과목에 대한 경험이 거의 없는 사람들은 종종 그들에게 실질적으로 알려지지 않은 영역에서 조치를 취하고 결정을 내려야 한다. 
Many countries lack a nationally endorsed training program in anatomy. In the Netherlands, for example, anyone who wishes can call themselves an anatomist. The title is generally used as soon as a position in an anatomy department is acquired. Similar situations obtain in the UK, USA, Australia, and New Zealand. The fact remains that the job title “anatomist” is not founded on an acknowledged professional qualification and consequently carries no regard/prestige or attractive salary structure. Moreover, in the present state of anatomy education, people with little experience of the subject often have to take action and make decisions in areas that are practically unknown to them.

그러나 일부 국가에서는 엄격한 훈련 프로그램을 수료한 사람에게만 해부학자라는 칭호를 수여한다. 예를 들어 독일에서는 (수의학) 의대 졸업자들이 외과나 산부인과 대학원 교육과 비슷하게 "해부학 전문의"가 되기 위해 여러 기관의 훈련 프로그램에 참가할 수 있다. 생물의학 졸업생들을 위해, 독일 해부학 협회는 "전문 해부학자"가 되기 위한 프로그램을 제공한다. 이 프로그램들은 해부학, 배아학, 조직학, 그리고 신체 기증과 시체 보존에 대한 지식을 포함한다. 그들은 시체 해부와 조직학적 고정, 절단, 색칠에 대한 기술 훈련을 제공한다. 훈련을 마쳤다는 것은 봉급이 오르고 해부학부에서 영구적인 지위를 얻을 수 있는 더 좋은 기회를 의미한다. 그러나 앞서 언급한 모든 훈련 프로그램은 [생물의학 연구]에 대한 참여에 초점을 맞추고 있고, [교육 기술]에 대해서는 일반적으로 무시하고 있음을 보여준다.

However, in some countries, the title “anatomist” is only awarded to those who have completed a rigorous training program. In Germany, for example, (veterinary) medical graduates can enter training programs in several institutions to become “medical specialists in anatomy,” similar to postgraduate training in surgery or gynecology. For biomedical graduates, the German Anatomical Society offers a program to become a “professional anatomist.” These programs cover knowledge of (radiological) anatomy, embryology, and histology, and also body donation and cadaver preservation. They offer skills training in cadaver dissection and histological fixation, cutting and coloring. Completion of training means a rise in salary and a better chance of a permanent position in an anatomy department. However, all the aforementioned training programs focus on participation in biomedical research, showing a general neglect of educational skills.

현재 문헌에서는 해부학 분야에서 경력을 쌓기를 원하는 교사들의 전망을 개선하는 데 거의 관심이 없다. 인도와 나이지리아에서의 연구 결과는 [직업적 기회와 적절한 연구 시설의 부족]이 해부학과 같은 비임상 교수 전공을 임상 전공보다 거리어로서 훨씬 덜 매력적인 선택지로 만든다는 것을 보여준다. 해부학자가 되는 것에 관심이 있는 인도 학생들이 공식적인 교수 과정에 대한 소망을 표명한 것은 놀라운 일이다(Anand et al., 2004).

In the current literature, scant attention is paid to improving the prospects of teachers who wish to pursue a career in anatomy. Results from studies in India and Nigeria show that scarcity of job opportunities and of adequate research facilities make nonclinical teaching specialties such as anatomy far less attractive as career options than clinical specialties (Anand et al., 2004; Onakpoya et al., 2009). It is striking that Indian students interested in becoming anatomists expressed a wish for a formal course in teaching (Anand et al., 2004).

우리는 국가 해부학 협회가 자국의 해부학 부서와 협의하여 해부학자들을 위한 공인된 훈련 프로그램을 설치하는 것이 현명하다고 생각한다. 그러한 프로그램은 의학을 전공한 학생들에게 개방되어야 한다. 이상적으로, 훈련은 학생들이 해부학 부서에서 자리를 차지하는 파트타임으로 이루어져야 한다. 프로그램은 최소한 학생들의 해부학적 지식, 해부 및 시체 보존 기술, 그리고 마지막으로 교육 지식과 기술에 초점을 맞추어야 한다. 훈련은 또한 해부학자들이 교육과 연구 모두에서 의료 및 생물의학 직원들과 함께 작업한다는 것을 고려해야 한다. 원하는 경우, 학생들은 생물의학 또는 교육 분야에서 박사 학위를 취득하는 동안 해부학 훈련을 받을 수 있어야 한다.

We feel it would be wise for national anatomical associations, in consultation with the anatomy departments of their countries, to set up accredited training programs for anatomists. Such programs should be open to students with degrees in (bio)medical studies. Ideally, training should be part-time, with students holding a position in an anatomy department. Programs should at least focus on increasing students' anatomical knowledge, on skills in dissection and preservation of cadavers, and last but not least, on educational knowledge and skills. Training should also take into account that anatomists work together with medical and biomedical staff in both education and research. If desired, students should be able to train in anatomy while working toward a PhD in the biomedical or educational field.

교육 업무과 해부학자라는 직업에 대한 더 많은 인정이 있을 때, 해부학 부서는 [연구는 잘하지만, 교육은 잡일로 간주하는 교수진]을 고용할 필요가 없을 것이다. 또한, 그들은 현재 자주 일어나는 것처럼 그 자리를 차지하기 위해 은퇴한 임상의에게 의존할 필요가 없을 것이다. 왜냐하면 구인광고는 상당한 수의 적합한 지원자들을 끌어들일 수 있기 때문이다.

When there is more recognition for teaching and for the profession of anatomist, anatomy departments will be unlikely to have to hire more faculty who are great researchers but regard teaching as a chore. Also, they will not have to rely on retired clinicians to take up those position as often happens at present, because job advertisements might then attract a significant number of suitable applicants.

교육연구 참여
Participation in Educational Research

우리는 각 해부학 부서가 학습 이론과 원칙을 탐색하고, 교육 문헌에 정통하며, 교육 연구에 참여/수행하고, (국제) 교육 회의에 참석할 의향이 있는 (그리고 가능한) 해부학 교사 약 2명을 임명해야 한다고 제안한다. 이러한 방법을 통해, 교육 기술의 개발 및/또는 구현, 핵심 해부학 커리큘럼(요소 2)과 다른 교육 방법(요소 3)과 맥락에서의 교육(요소 4), 평가 전략(요소 6), 수직 통합(요소 8)은 증거에 기초하여 이론에 의해 알려지고 목적적 평가를 받을 수 있다.
We suggest that each anatomy department should appoint about two anatomy teachers (not educationalists!) who are willing (and enabled) to explore learning theories and principles, keep abreast of the educational literature, participate in/perform educational research, and attend (inter)national educational conferences. By these means, the development and/or implementation of didactic skills, a core anatomy curriculum (Factor 2), different teaching methods (Factor 3), teaching in context (Factor 4), assessment strategies (Factor 6), and vertical integration (Factor 8) can be informed by theory, based on evidence, and subjected to purposeful evaluation.

우리는 해부학자들이 해부학 교육을 인수받는 것이 아니라, 해부학자들이 교육 연구에 참여해야 한다는 것을 강조하고 싶습니다. 일부 해부학자들은 이미 교육 과정의 소유권을 교수진으로부터 교육 과정 위원회에 빼앗겼다고 느낀다. 그 후, "무엇을 어떻게 가르치고 있는가"에 대한 그들의 결정은 의대생들의 해부학적 지식에 부정적인 방식으로 영향을 미친 것으로 비난 받는다.
We want to stress that anatomists should engage in educational research, not that educationalists should take over anatomy education. Some anatomists already feel that ownership of the curriculum has been taken away (hijacked) from the teaching faculty to (or by) the curriculum committee. Subsequently, their decisions on “what is being taught and how” are blamed for influencing the anatomical knowledge of medical students in a negative way.

의과대학에서 해부학과는 보통 가장 많은 교수량을 가진 학과 중 하나이다. 그러나 해부학 부서 내의 연구 관심사는 교육적 지향보다는 생의학적 지향을 더 가지고 있다. 또한 해부학과의 직원과 경영진의 배경 때문에 명확한 교육 전략이 없는 경우가 많습니다.

In medical schools, the anatomy department is usually one of those with the highest teaching load. However, research interests within an anatomy department are more often biomedically than educationally directed. Also, owing to the background of staff and management in an anatomy department, a clear educational strategy is often absent.

일부 해부학 교실에서는, 교육이 그들의 핵심 사업이자, "존재의 이유"이지만 안타깝게도 해부학 교사들이 교육 연구에 관심을 나타낼 때 눈살을 찌푸리는 것은 드문 일이 아니다. 놀라운 일이다. 연구 및 진료소에서 상대방의 정기적인 임무에는 최신 문헌 읽기, 최신 접근, 개발 및 이론에 대한 지향, 적절한 경우 기존 습관을 새로운 습관으로 대체하고 비판적인 동료 검토에 그들의 작업을 제출하는 것이 포함된다는 것은 자명하다. 의학에서 [증거 기반 실천]은 널리 받아들여지고 있으며 "[…] 개별 환자의 치료에 대한 결정을 내릴 때 현재 최선의 증거를 양심적이고 명시적이며 현명하게 사용하는 것"으로 정의되어 왔다(Sackett et al., 1996). 이와는 대조적으로, "최고의 증거에 기초한 교육의 방법과 접근방식을 교사들의 실무에 의해 구현"하는 "최고의 증거 의학 교육"은 매우 드물게 구현된다.

For some anatomy departments, teaching is their core business, their “raison d'être,” but unfortunately it is not uncommon for anatomy teachers to be frowned upon when they express interest in educational research. This is remarkable: it is self-evident that the regular duties of their counterparts in research and the clinic include reading the latest literature, being oriented toward the latest approaches, developments and theories, replacing existing habits with new ones when appropriate, and submitting their work to critical peer review (van der Vleuten et al., 2000). In medicine, evidence-based practice is widely accepted and has been defined as “[…] the conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients” (Sackett et al., 1996). In sharp contrast, Best Evidence Medical Education, defined as “the implementation, by teachers in their practice, of methods and approaches to education based on the best evidence available” (BEME-Group. 2000), is very rarely implemented.

결론들
CONCLUSIONS

경험적 증거가 없음에도 불구하고, 8가지 요인들이 오늘날 의대생들 사이에서 해부학적 지식의 감소를 야기시킨다고 종종 비난 받는다. 수십 년 동안 이러한 감소에 대한 불만이 있었기 때문에, 해부학적 지식 수준이 떨어졌다는 인식이 세대 갈등에서 발생한다고 제안한다. 그러나, 진실을 밝히기 위해 더 많은 연구가 필요하다.
Despite the absence of empirical evidence, eight factors are often blamed for causing the decline in anatomical knowledge among today's medical students. Since there have been complaints about this decline for decades, we suggest that the perception that anatomical knowledge levels have fallen arises from a generation conflict (Bergman et al., 2011); however, further research is necessary to determine the truth.

비록 그 범위에 대한 다른 의견들이 있지만, 의대생들은 해부학적 지식 없이는, 결과적으로 해부학 교육 없이는 절대 할 수 없다는 일반적인 의견들이 있다. 기관 내에서의 교수 업적, 해부학의 국가 훈련 프로그램, 그리고 그들 부서 내의 해부학자들이 교육, 학습 및 교육 연구에 참여하기 위한 헌신적인 시간에 대한 인식을 증가시키는 것은 획득, 보존 및 전달에 기여하는 요소를 식별하는 데 도움이 될 수 있다.해부학적 지식 및 해부학 교육이 가능한 한 효과적으로 이루어질 수 있는 방법에 대한 집중력을 높입니다.

Although there are different opinions regarding its scope, there is a general consensus that medical students definitely cannot do without anatomical knowledge, and consequently without anatomy education. Increasing recognition for teaching accomplishments within an institution, a national training program in anatomy, and dedicated time for anatomists within their departments to involve themselves in the science of teaching, learning, and educational research, could help to identify factors contributing to the acquisition, retention, and transfer of anatomical knowledge and increase the focus on how anatomy education can be made as effective as possible.

 


Clin Anat. 2014 Apr;27(3):296-303. doi: 10.1002/ca.22341. Epub 2013 Dec 19.

Influences on anatomical knowledge: The complete arguments

Affiliations collapse

Affiliation

1Department of Educational Development and Research, School of Health Professions Education, Maastricht University, Maastricht, The Netherlands; Department of Anatomy, Radboud University Medical Centre Nijmegen, Nijmegen, The Netherlands.

PMID: 24357119

DOI: 10.1002/ca.22341

Abstract

Eight factors are claimed to have a negative influence on anatomical knowledge of medical students: (1) teaching by nonmedically qualified teachers, (2) the absence of a core anatomy curriculum, (3) decreased use of dissection as a teaching tool, (4) lack of teaching anatomy in context, (5) integrated curricula (problem-based learning or systems-based curricula), (6) inadequate assessment of anatomical knowledge, (7) decreased anatomy teaching time, and (8) neglect of vertical integration of anatomy teaching. A recent review revealed a lack of evidence underpinning any of the claims owing to the poor quality of papers, and recommendations were made for education and research on teaching in context and the implementation of vertical integration and of assessment strategies. In this article, we will describe the alleged factors fully, revealing additional recommendations for improving anatomy education by promoting recognition for teaching in institutions, by enhancing the professional recognition of anatomists through the implementation of a national postgraduate training program, and by encouraging anatomists to participate in educational research.

Keywords: anatomical knowledge; anatomy education; anatomy teaching; basic sciences; medical education.

의학교육에서 동료지원학습(PAL): 체계적 문헌고찰과 메타분석(Med Educ, 2021)
Peer-assisted learning in medical education: A systematic review and meta-analysis
Clarissa Brierley BSc MSc1 | Leila Ellis BSc MBChB2 | Emily Roisin Reid BA MA1

 

 

1 도입
1 INTRODUCTION

동료 지원 학습(PAL)은 '전문 교사가 아닌 유사한 사회 집단의 사람들이, 서로 돕고 가르침을 통해, 스스로 학습하는 것'으로 정의되며, 의과대학에서 종종 시행되는 보충 교육의 한 형태이다. PAL은 고학년 학생들이 저학년 학생들을 가르치는 '니어 피어 티칭'과 같은 수준의 학생들이 교습과 튜터의 역할을 번갈아 맡는 '피아 투 피어 티칭'을 포함한 다양한 교육 방법을 포괄하는 용어이다. PAL은 의대생에게 졸업 시 GMC(General Medical Council)가 요구하는 교육 기술을 개발할 기회를 제공할 뿐만 아니라 선행학습 강화와 학업성취도 향상시킵니다. 또, 연구 결과, 커리큘럼내의 PAL은 스탭의 시간을 최적화해, 전체적인 자원의 가용성을 높이는 것으로 나타났습니다. PAL은 교직원과 학생 사이의 접촉 기회를 줄인다는 비판을 받아왔으며, PAL 학생들은 문제 기반 학습(PBL)의 맥락에서 문제를 독립적으로 분석하는 데 어려움을 겪고 있다. 따라서 PAL이 가장 큰 가치가 있는 맥락은 의학 교육에서 추가적인 관심 분야이다.

Peer-assisted learning (PAL), defined as ‘people from similar social groupings who are not professional teachers helping each other to learn and learning themselves by teaching’, is a form of supplemental teaching often implemented in medical schools.1, 2 PAL is an umbrella term encompassing a range of teaching methods, which include ‘near-peer teaching’, where students of a higher year teach students of a lower year, and ‘peer-to-peer teaching’, where students at the same level interchangeably take on the roles of tutors and tutees.3-5 PAL not only provides the opportunity for medical students to develop the teaching skills required by the General Medical Council (GMC) on graduating but also additionally helps reinforce their prior learning and improves their own academic performances.6, 7 Research has also shown that intra-curricular PAL increases overall resource availability by optimising staff time.8, 9 PAL has been criticised for reducing opportunity for contact between faculty and students, and in the context of problem-based learning (PBL), PAL students have reported difficulties in independently analysing problems.10 The context in which PAL is of greatest value is therefore an additional research area of interest within medical education.

PAL은 수십 년 동안 고등교육에 편입되어 왔으며, 영국 의과대학에서 채택되기 전에는 미국에서 시험 성적과 긍정적인 상관관계가 나타났다. 2010년 미국의 한 조사에 따르면, 응답한 의과대학 중 76%가 의학 교육 중에 어떤 형태로든 학생이 PAL에 참여하였다. PAL은 처음에는 저성취 학생을 대상으로 한 튜토리얼 프로그램 또는 이미 확립된 교육에 학생 교사를 포함시키는 프로그램의 형태를 취했습니다. 
PAL has been incorporated into tertiary education for decades, and a positive correlation with exam performance was shown in the United States before it was adopted by medical schools in the United Kingdom.11-13 A 2010 survey in the United States indicated that 76% of responding medical schools had students who engaged in some form of PAL during their medical education.14 PAL initially took the form of tutorial programmes targeted at low achieving students, or programmes that incorporated student teachers into already established teaching.12, 15-19

PAL은 1990년대 초반부터 학부 교육에서 실시되어 왔지만, PAL이 학생에게 미치는 영향에 대한 연구는 질적 연구 및 추적 기간이 짧은 학생에 대한 연구 형태로 이루어져 왔다. 이들은 학생들의 능력에 대한 인식 향상뿐만 아니라 학생들의 자기 보고 자신감 향상, 학생들의 기술과 지식의 개발도 보고했다. 2016년 체계적인 검토는 동료 교습을 통해 가르친  성과와 교직원이 가르친 성과를 비교했다. 그룹 간에 유의하게 다른 결과가 식별되지는 않았지만, PAL은 PAL의 혜택이 다를 수 있는 [다양한 교육 맥락에서 PAL 전달의 이질성]을 반영하려는 시도 없이, (마치 모든 PAL이) 단일하고 균일한 것처럼 취급되었다. 
Although PAL has been implemented in undergraduate education since the early 1990s, research into PAL's impact on students has been in the form of qualitative studies and those with short follow-up durations.8, 20-23 These reported an improvement in students' self-reported confidence, the development of students' skills and knowledge, as well as improved perception of students' abilities.8, 20-23 A systematic review in 2016 compared outcomes for undergraduate medical students taught through peer teaching with those taught by faculty.24 Although no significantly different outcomes between groups were identified, PAL was treated as a single, uniform entity, with no attempt to reflect the heterogeneity of PAL delivery in varying educational contexts, where the benefit of PAL may differ.24

본 연구는 의대생을 대상으로 실시한 PAL의 모든 무작위 연구를 체계적으로 검토했다. PAL의 효과를 확립하는 것이 주된 목적이었고, 그 대신 학업성취도를 선택했다. 두 번째 목표는 PAL이 가치를 부가할 수 있는 특정 의료 교육 환경을 식별하는 데 초점을 맞춘다. 우리는 중장기적으로 평가했을 때 임상 전과 학생의 성과, 절차적 기술 또는 이론적 지식의 가르침, 그룹 간 PAL이 학업 성취도에 미치는 영향 사이의 차이를 식별하기 시작했다.

This study systematically reviewed all randomised studies of PAL conducted using medical students as subjects. The principal aim was to establish the effectiveness of PAL, choosing academic performance as a proxy measure. The secondary aims focus on identifying the specific medical education setting where PAL may add value. We set out to identify any differences between the performance of preclinical and clinical students, the teaching of procedural skills or theoretical knowledge, and the impact of PAL on academic achievement between groups when assessed in the medium to longer term.

2 방법
2 METHODS

2.1 프로토콜 및 등록
2.1 Protocol and registration

이 검토는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)과 증거 합성 보고 교육(STORYS) 진술에 대한 STructured approach를 준수했다. 윤리적 승인이 필요하지 않았다.
This review conformed to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) and STructured apprOach to the Reporting In healthcare education of Evidence Synthesis (STORIES) statements.25, 26 No ethical approval was required.

2.2 검색 전략
2.2 Search strategy


4개의 전자 데이터베이스(MEDLINE, Ovid Embase, Web of Science and Education Research Complete)에 대한 문헌 검색은 2020년 4월에 C. B.에 의해 수행되었고 2021년 7월에 업데이트되었다. PAL에 대한 다양한 변형이 의료 교육 내에서 시행되고 있으며, 이 용어는 종종 서로 바꿔서 사용됩니다.4 이 다양성은 가능한 많은 관련 연구를 얻기 위해 사용된 검색어에 반영되었다. 각 데이터베이스에 대한 전자 검색 전략에는 의료 주제 제목(MeSH) 용어, 부울 조합 및 20개 키워드의 잘라내기 사용이 포함되었다. 검색어 개발 중에 대상 사서에게 상담했습니다. Embase 검색 전략은 표 S1에 요약되어 있습니다.
A literature search of four electronic databases (MEDLINE, Ovid Embase, Web of Science and Education Research Complete) was conducted by C. B. in April 2020 and updated in July 2021. Many different variations on PAL are being practised within healthcare education, and the terminology is often used interchangeably.4 This variety was reflected within the search terms used in order to obtain as many relevant studies as possible. The electronic search strategy for each database included the use of Medical Subject Headings (MeSH) terms, Boolean combinations and truncations of 20 keywords. A subject librarian was consulted during search term development. Our Embase search strategy is summarised in Table S1.

검색은 저널 기사를 포함했고 제목, 추상, 인간 연구 및 영어로 된 기사들로 제한되었다. 회색 문헌은 포함되지 않았다. 출판 시기에 대한 제한은 없었다. 검토에 포함된 모든 논문의 참조 목록에서 관련 기사를 검색했습니다. 모든 레퍼런스에 대해 전방 인용 검색을 실시했습니다. 모든 원본 연구 기사는 검토를 위해 검색되었으며, 참고 문헌 관리 프로그램인 ENDNOTE X9.2를 사용하여 검색 라이브러리를 만들었습니다.

The search incorporated journal articles and was limited to titles, abstracts, human studies and those in the English language. No grey literature was included. No limits were imposed on the time of publication. The reference lists of all papers included in the review were searched for relevant articles. We performed forwards citation searching for all references. All original research articles were retrieved for examination, and a search library was created using ENDNOTE X9.2, a bibliography management program.

2.3 연구의 선택
2.3 Study selection

기사 제목과 요약은 표 1의 포함 및 제외 기준에 따라 한 명의 검토자(C. B)가 체계적인 검토를 위해 선별 및 선정하였다.

Article titles and abstracts were screened and selected for systematic review by one reviewer (C. B.) based on the inclusion and exclusion criteria in Table 1.


학생의 학습에 영향을 주는 변수의 수를 최소한으로 억제하고, 리모트 또는 온라인 교습을 포함함으로써 발생하는 추가 편견을 피하고 싶기 때문에, 교습이 직접 행해진 연구만을 포함했습니다. 전문 스크리닝은 두 명의 저자(C. B.와 L. E.)가 수행했으며, 합의 수준은 96.4%였다. 갈등은 토론과 합의에 의해 해결되었다.

We only included studies where teaching had occurred face to face as we wished to minimise the number of variables influencing student's learning and avoid the additional biases caused by including remote or online teaching. Full-text screening was performed by two authors (C. B. and L. E.), with the agreement level being 96.4%. Conflicts were resolved by discussion and consensus.

연구는 모든 무작위 연구 암에 대해 평가에서 얻은 전체 평균 및 표준 편차 또는 표준 오차/신뢰 구간(CI)의 보고에 기초해 메타 분석에 포함되도록 선택되었다.

Studies were selected for inclusion in the meta-analysis based on the reporting of, at a minimum, the overall mean and standard deviation or standard error/confidence interval (CI) obtained at assessment for all randomised study arms.

2.4 데이터 수집
2.4 Data collection

적격 연구의 데이터 추출은 두 명의 독립 검토자(C. B.와 L. E.)에 의해 수행되었고, 이후 데이터를 교차 검사했다. 데이터 추출 양식은 학습 설계, 설정, 사용된 용어, 학생 교사와 학습자의 수와 특성, 학습 포함/제외 기준 및 1차 및 2차 결과와 같은 개별 학습 요소를 기록하기 위해 구성되었다. 개입 구분, 제공된 동료 교사 훈련, 제공된 교육의 빈도, 기간 및 세부 사항이 기록되었습니다. 연구 결과는 기록되었고, 가능한 경우 평균, 표준 편차, p 값, 표준 오차, 시험 점수 및 최대 가능 점수로 제한되었다. 피어 티칭 상호작용의 영향은 '커크패트릭의 학습 수준'의 수정된 모델을 사용하여 분류되었다. 데이터가 누락되거나 보고되지 않은 경우 해당 작성자에게 연락하여 응답이 없는 경우 2차 연락하여 4개월의 시간을 부여하였다. 개인이 포함된 연구의 품질은 Cochrane Risk of Biases Tool을 사용하여 평가되었다. 
Data extraction of eligible studies was conducted by two independent reviewers (C. B. and L. E.) who subsequently cross-checked data. A data extraction form was constructed to record individual study elements, such as study design, setting, terminology used, numbers and characteristics of student teachers and learners, study inclusion/exclusion criteria as well as the primary and secondary outcomes. Details of intervention arms, any peer teacher training provided, as well as the frequency, duration and details of teaching provided were recorded. Study outcomes were recorded and, where available, were limited to mean, standard deviation, p value, standard error, test score and the maximum possible score. The impact of peer-teaching interaction was classified using modified models of ‘Kirkpatrick's levels of learning’.27 In the event of missing or unreported data, corresponding authors were contacted and, where there was no response, contacted a second time and given 4 months to respond. The quality of the individual included studies was assessed using the Cochrane Risk of Bias Tool.28

2.5 데이터 분석
2.5 Data analysis

연구에 보고된 개입 후 평가 점수는 교육 방법의 효과성에 대한 객관적인 척도로 사용되었다. 객관식 설문지(MCQ)와 객관식 구조 임상 검사(OSCE)를 통해 학생을 평가한 경우, 가르친 자료를 검토했다. 교육에 포함된 자료가 이론적인 경우 필기 시험 결과를 연구의 주요 결과로 선택한 반면, 실용적이라면 OSCE 결과를 보고했습니다. 연속 데이터를 추출할 수 있는 경우, 95% CI의 표준화 평균 차이(SMD)가 각 연구 비교에 대해 계산되었다. 평균 또는 SD 결과가 보고되지 않은 경우 저자에게 요청하거나, 가능한 경우 답변이 없는 경우 Wan 등의 공식을 사용하여 계산했다. 
Postintervention assessment scores reported in the studies were used as an objective measure of teaching method effectiveness. Where students were assessed by both a multiple-choice questionnaire (MCQ) and an objective structured clinical examination (OSCE), the material taught was reviewed. If the material covered in teaching was theoretical, the written exam outcome was chosen as the primary outcome of the study, whereas, if practical, then the OSCE outcome was reported.29-34 Where continuous data could be extracted, the standardised mean differences (SMDs) with 95% CI were calculated for each study comparison. Where the mean or SD results were not reported, these were requested from the authors or, where possible and in the absence of a reply, calculated using the formula of Wan et al.35

또한 계획된 [하위그룹 분석]이 포함되었습니다.

  • 임상 전 의료 교육 대 임상 의료 교육에서 동료 교육의 효과 분석
  • 동료 교육이 실무/절차적 기술에 미치는 영향 분석(OSCE에 의해 평가됨) 대 이론적 지식(서면에 의한 시험에 의해 평가됨) 
  • 그리고 단기적 지식 보유와 중기적 지식 보유에 대한 동료 교육 효과 분석.

Additionally, planned subgroup analyses included

  1. analysis of effect of peer teaching in preclinical versus clinical medical education;
  2. analysis of impact of peer teaching on practical/procedural skills (assessed by OSCE) versus theoretical knowledge (assessed by written examination); and
  3. analysis of effect of peer teaching on short-term versus medium-term knowledge retention.

적절한 데이터를 추출할 수 없고, 해당 저자에게 연락하여 자료를 구할 수 없어, 메타분석에 포함되지 않은 기사는 6건이었다. 포함된 연구 사이의 이질성을 설명하기 위해 무작위 효과 모델을 사용했다. 연구 간의 이질성은 I2 테스트를 통해 평가되었다. 통계 분석은 검토 관리자에 대해 수행되었다. Stata를 사용하여 깔때기 그림을 만들었습니다. 

Six articles were not included in the meta-analysis as the appropriate data could not be extracted and could not be sourced by contacting the respective corresponding authors.36-41 We used a random-effect model to account for the heterogeneity amongst the included studies. The heterogeneity between studies was assessed with the I2 test. Statistical analyses were performed on Review Manager.42 The funnel plot was created using Stata.43

두 명의 검토자는 교육 개입의 결과를 평가하는 데 널리 사용되는 방법인 커크패트릭 프레임워크의 수정된 버전을 사용하여 각 연구의 교육적 영향을 독립적으로 평가했다. 참가자의 학습경험에 대한 인식(레벨 1), 참가자의 개입에 대한 인식 수정(레벨 2a)과 그들의 지식 및/또는 기술(레벨 2b), 직장으로의 학습 이전(레벨 3), 조직 관행의 변화(레벨 4a) 및 파티의 이익에 따른 연구를 분류한다.(레벨 4b)27 PRISMA가 권장한 선택, 성능, 소모, 검출 및/또는 보고 편향의 위험에 대한 연구도 분석되었다. 

Two reviewers independently assessed each study for their educational impact using the modified version of the Kirkpatrick framework, a widely used method of appraising the outcome of educational interventions.27, 44 It classifies studies according to the inclusion of

  • participants' perceptions of the learning experience (Level 1),
  • modification of participants' perceptions of the intervention (Level 2a) and
  • their knowledge and/or skills (Level 2b),
  • transfer of learning to the workplace (Level 3),
  • change in organisational practice (Level 4a) and
  • benefits to patients (Level 4b).27 

Studies were also analysed for risk of selection, performance, attrition, detection and/or reporting bias, as recommended by PRISMA.25

3 결과
3 RESULTS

3.1 연구의 선택
3.1 Study selection

전자 데이터베이스 검색에서 4731개의 기록을 확인했다(그림 1). 중복 제거 후, 3098개의 기록이 제목과 요약별로 선별되었고, 3033개는 포함 기준을 충족하지 못해 제외되었다. 포함된 연구의 참조 목록을 수동으로 검토한 결과 포함 대상인 다른 두 개의 연구가 확인되었다. 총 65개의 전문 기사가 적격성을 평가받았고, 38개는 제외되었다. 제외 사유는 그림 1과 같다. 체계적 검토와 정성 분석에 총 27개의 연구가 포함되었다. 이 중 21개 연구는 메타 분석에 포함하기에 충분한 데이터(각 코호트에 대해 보고된 평균 점수, SD 및 참가자 수)를 포함했다.

The electronic database search identified 4731 records (Figure 1). After removal of duplicates, 3098 records were screened by title and abstract, and 3033 were excluded for failure to meet inclusion criteria. Manual review of reference lists of included studies identified another two studies for inclusion.2932 A total of 65 full-text articles were assessed for eligibility, and 38 were excluded. Reasons for exclusion are shown in Figure 1. In total, 27 studies were included in the systematic review and qualitative analysis. Of these, 21 studies contained sufficient data (mean scores, SD and number of participants reported for each cohort) to be included in the meta-analysis.

3.2 연구특성
3.2 Study characteristics

포함할 수 있는 27개 기사는 표 S2에 요약되어 있다. 학생 2656명, 교사 225명(8개 기사 포함) 27개 연구 중 13개 연구는 임상 전 학생을 대상으로 한 반면 14개 연구는 임상 학생을 대상으로 했다. 프로그램을 설명하는 데 사용되는 용어는 매우 다양했으며 피어 트레이닝, 피어 튜터링, 피어 티칭, 니어 피어 티칭, 피어 주도 티칭, PAL 및 피어 어시스트 티칭이 포함되었습니다. 

The 27 articles eligible for inclusion are summarised in Table S2. A total of 2656 students and 225 student teachers (eight articles did not report the number of student teachers included30, 34, 38, 40, 41, 45-47). Of the 27 studies, 13 involved preclinical students as subjects, whereas 14 studies involved clinical students. Terminology used to describe the programmes varied greatly and included peer training,36, 45 peer tutoring,29, 39, 47 peer teaching,31, 32, 48-50 near-peer teaching,37 peer-led teaching,38 PAL31, 33, 34, 40, 41, 46, 51-57 and peer-assisted teaching.30, 58, 59

OSCE 결과 데이터는 17개 연구에서 사용되었고 MCQ 결과는 4개 연구에서 사용되었습니다. 13개의 연구에서, 참가자들은 여러 스터디 세션이 아닌 단일 학습 이벤트에 노출되었고, 주로 절차적 실무 기술을 가르쳤다. 지시의 빈도는 가변적이었다.

OSCE results data were used in 17 studies30-34, 37, 45-48, 50, 52, 53, 55, 57-59 and MCQ results for four studies.29, 49, 52, 56 In 13 studies, participants were exposed to a single learning event,32-34, 38, 40, 46-50, 53, 55, 59 rather than multiple study sessions, and it was primarily procedural practical skills that were taught. The frequency of instruction was variable.

3.3 편견의 위험
3.3 Risk of bias

포함된 연구의 편향 위험은 그림 2에 요약되어 있다. 12개 연구는 무작위화 방법을 보고하지 않았으며, 24개 연구는 배분이 은폐되었는지 여부를 명확하게 기록하지 못했다. 실험 참가자들의 눈을 멀게 하는 연구는 없었다. 9개의 연구에서 블라인딩에 대한 불충분한 정보가 제공되었지만, 검토된 대부분의 연구에서 검출 편향이 여전히 낮았다. 과반수는 모든 결과 데이터를 보고했고, 따라서 낮은 소모attrition 편향을 보였으며, 4개의 연구는 최종 분석에서 참가자가 제외되었기 때문에 보고 편향이 높았다. 그림 3에서 볼 수 있는 SMD의 깔때기 그림은 유의한 비대칭을 나타내며, 이는 연구가 결합된 효과 크기에 대해 대칭적으로 분포되지 않기 때문에 출판 편향을 시사한다.

The risk of bias of the included studies is summarised in Figure 2; 12 studies did not report the methods of randomisation, and 24 failed to clearly record if allocation was concealed. No studies overtly blinded participants. In nine studies, insufficient information was provided on blinding; however, detection bias remains low in the majority of studies reviewed. The majority16 reported all their outcome data and therefore had low attrition bias, and four studies had high reporting bias due to participants being excluded from the final analysis.32, 45 The funnel plots for SMD seen in Figure 3 show significant asymmetry, suggesting publication bias as the studies are not distributed symmetrically about the combined effect size.

 

 

3.4 결과의 종합
3.4 Synthesis of results

자격 기준을 충족하는 27개 연구 중 6개는 전체 코호트에 대한 적절한 측정 가능 결과의 보고 부족으로 인해 메타 분석에 포함될 수 없었다. 메타 분석에 포함된 모든 연구의 결과는 그림 4의 숲 그림에 요약되어 있다. 

Of the 27 studies meeting eligibility criteria, six could not be included in the meta-analysis due to a lack of reporting of appropriate measurable outcomes for the entire cohort. Results of all studies included in the meta-analysis are summarised in the forest plot in Figure 4.29-34, 37, 45-53, 55-59

메타 분석에 포함될 수 있는 연구 내에서 PAL에 참여하는 의대생은 비 PAL 수단으로 학습한 학생에 비해 중재 후 평가 결과가 개선되었다(SMD = 0.52 [95% CI 0.18 - 0.85]; 21개 연구, n = 2267; I2 = 93%) (그림 4). 5개의 연구에서 PAL 교습을 경험한 학생들의 중재 후 테스트 점수가 유의하게 향상되었음을 보여주었고, 15개의 연구는 유의미한 차이를 보여주지 않았으며, 1개의 연구에서는 (PAL보다) [PAL이 아닌 것이 더 나음]을 보여주었다. Z 점수는 3.02였고, 전체 p 값은 .003이었습니다. [초판 후 2020년 11월 8일 수정 추가] 이 항의 데이터 값은 이 버전에서 수정되었습니다.]

Within the studies eligible for inclusion in the meta-analysis, the medical students participating in PAL had improved results in their postintervention assessment compared with those who were taught by non-PAL means (SMD = 0.52 [95% CI 0.18 to 0.85]; 21 studies, n = 2267; I2 = 93%) (Figure 4). Five studies demonstrated significantly improved postintervention test scores for those students who had experienced PAL teaching, 15 studies showed no significant difference and one study showed that non-PAL was better than PAL. Z score was 3.02, with an overall p value of .003. [Correction added on 8 November 2020 after first publication. The data values in this paragraph have been corrected in this version.]

3.5 임상전 의대생 동료교육의 효과
3.5 Effect of peer teaching in preclinical versus clinical medical students

그림 S1A에서 볼 수 있듯이, PAL 교육은

  • [임상 학생]의 개입 후 평가 점수를 크게 향상시켰다. (SMD = 0.63 [95% CI 0.12 - 1.14]) 11개 연구, n = 1516, I2 = 95%, p 값 = 0.02, Z 점수 = 2.42)입니다. 
  • [임상 전 학생]에 대한 영향은 유의하지 않았다(SMD = 0.39[95% CI -0.04 - 0.82]; 10개 연구, n = 751, I2 = 87%, p 값 = 0.08, Z 점수 = 1.77)입니다. 

As shown in Figure S1A, PAL teaching led to a significant improvement in postintervention assessment scores of clinical students (SMD = 0.63 [95% CI 0.12 to 1.14]; 11 studies, n = 1516; I2 = 95%; p value = .02; Z score = 2.42). The impact on preclinical students was not significant (SMD = 0.39 [95% CI −0.04 to 0.82]; 10 studies, n = 751; I2 = 87%; p value = .08; Z score = 1.77). [Correction added on 8 November 2020 after first publication. The data values in the last sentence have been corrected in this version.]

3.6 동료 교습이 실제 기술 교습에 미치는 영향 대 이론적 지식
3.6 Effect of peer teaching on teaching practical skills versus theoretical knowledge

그림 S1B에서 볼 수 있듯이, PAL 교육은

  • 술기를 가르친 학생들의 중재 후 평가 점수를 크게 향상시켰다(SMD = 0.69 [95% CI 0.28 ~ 1.10]; 17개 연구, n = 1758, I2 = 94%, p 값 = .001, Z 점수 = 3.27)입니다.
  • 이론을 가르친 학생에 대한 영향은 크지 않았다(SMD = -0.11 [95% CI -0.29 - 0.06]; 
    네 가지 연구, n = 509, I2 = 0%, p 값 = .21, Z 점수 = 1.27)입니다.

As shown in Figure S1B, PAL teaching led to a significant improvement in postintervention assessment scores of students taught practical skills (SMD = 0.69 [95% CI 0.28 to 1.10]; 17 studies, n = 1758; I2 = 94%; p value = .001; Z score = 3.27). The impact on students taught theory was not significant (SMD = −0.11 [95% CI −0.29 to 0.06]; four studies, n = 509; I2 = 0%; p value = .21; Z score = 1.27).

3.7 동료교육이 단기 및 중기 지식 보유에 미치는 영향
3.7 Effect of peer teaching on short-term versus medium-term knowledge retention

중간값과 범위 학습 시점 평가는 각각 6주, 4~8주였습니다. 그림 S1C에서 보듯이,

  • 과정 완료 후 4주 이후에 테스트한 학생들은 PAL 방법(SMD = 1.20 [95% CI 0.07 ~ 2.34)으로 학습한 경우 훨씬 더 좋은 성과를 보였다. 5가지 연구, n = 659, I2 = 97%, p 값 = 0.04, Z 점수 = 2.08)입니다. 
  • 과정 이수 후 4주 이내에 평가된 학생들은 PAL 방법과 비 PAL 방법으로 학습한 경우(SMD = 0.12[95% CI -0.10 - 0.33]) 큰 차이를 보이지 않았다. 13개 연구, n = 1309, I2 = 71%, p 값 =.28, Z 점수 = 1.09)

The median and range time to point of study assessment was 6 weeks and 4 to 8 weeks, respectively. As shown in Figure S1C,

  • students tested over 4 weeks after course completion performed significantly better if they had been taught by PAL methods (SMD = 1.20 [95% CI 0.07 to 2.34]; five studies, n = 659; I2 = 97%; p value = .04; Z score = 2.08).
  • Students assessed within 4 weeks of course completion did not perform significantly differently if taught by PAL versus non-PAL methods (SMD = 0.12 [95% CI −0.10 to 0.33]; 13 studies, n = 1309; I2 = 71%; p value = .28; Z score = 1.09).

각 연구의 광범위한 교육적 영향을 평가하기 위해 수정된 커크패트릭 모델을 사용하여, 17개의 연구는 개입에 대한 참가자들의 반응을 보고했다(레벨 1), 15개의 태도 변화(레벨 2A), 26개의 기술 지식 수정(레벨 2B). 2명은 행동 변화(레벨 3), 1명은 조직 관행의 변화(레벨 4A), 그리고 참가자의 학생이나 동료의 변화(레벨 4B)에 주목했다. 리뷰에서 발견된 가장 높은 영향은 레벨 4A였다. 이는 저자들이 신체검사를 1학년까지 가르칠 때 4학년 지도교사만을 교사로 삼는 계획이 진행 중이라고 보고한 것에 의해 달성되었다. 그들은 그들의 연구에서처럼 신체검사가 성공할 것으로 예상했기 때문이다. 표 S2는 검토한 각 기사에 의해 달성된 영향 수준을 요약한다.

Using the modified Kirkpatrick model to evaluate the wider educational impact of each study,

  • 17 studies reported the reactions of participants to the intervention (Level 1),
  • 15 a change in attitude (Level 2A) and
  • 26 a modification of knowledge of skills (Level 2B).
  • Two noted a change in behaviour (Level 3),
  • one a change in the organisation practice (Level 4A) and
  • none a change amongst the participants' students or colleagues (Level 4B).

The highest impact found in the review was Level 4A. This was achieved by the authors reporting that plans were underway to only use fourth-year student preceptors as teachers when teaching physical examination to first years as they anticipated it being as successful as in their study.28 Table S2 summarises the impact levels achieved by each article reviewed.

4 토론
4 DISCUSSION

4.1 전체적인 결과
4.1 Overall outcome

이 체계적 검토의 주요 결과는 [동료들의 참여가 의대생들의 학업 성취도를 크게 향상시킨다는 것]이다. 이 연구는 21개의 PAL 프로그램을 객관적으로 평가하기 위한 정량적 척도를 배치하고, 의료 교육 내 PAL 사용 증가를 뒷받침하는 문헌에 기여한다. 
The principal finding of this systematic review is that peer involvement significantly improves medical students' academic performance. This study deploys quantitative measures to objectively assess 21 PAL programmes and contributes to the literature supporting the increased use of PAL within medical education.11, 13, 24, 60-62

2차 결과는 의대생 코호트와 PAL이 가장 유익한 맥락을 식별하려고 했다. 리뷰는 PAL이 교육의 [임상 단계에서 학생들에게 특히 유용하다]는 것을 확인했다. 학생들은 일반적으로 이 단계에서 더 독립적이며, 임상 환경에서 기술을 습득하는 데 더 많은 시간을 할애하고 교육 세션에서 더 적은 시간을 보낸다. 이러한 맥락에서 PAL의 성공은 PAL이 독립적인 학생 학습을 지원하는 데 적합한 도구라는 것을 의미합니다.
The secondary outcomes sought to identify the medical student cohorts and the context in which PAL is most beneficial. The review identified that PAL is particularly useful to students in the clinical stages of their education. Students are generally more independent at this stage, spending more time acquiring skills in clinical settings and less time at didactic teaching sessions. The success of PAL in this context implies that it is a suitable tool to support independent student learning.

또한, 연구결과는 PAL이 [practical and procedural 임상기술 교육]에 가장 적합하며, [이론적인 지식]만으로 평가한 학생에 비해, 실제 평가 결과가 크게 향상된다는 것을 보여준다. 이러한 [기술을 습득하는 것]은 의대생을 후배 의사로 만드는 데 매우 중요합니다. 분명히, [임상 과제clinical tasks]는 소그룹의 동료 보조 교육이 도움이 되며, 여기서 학생들은 그들의 기술을 연습하고 연마하면서 튜터와 동료 모두로부터 배울 수 있다. 이러한 중요한 발견을 고려할 때, 의과대학 커리큘럼은 의대생을 가까운 또래의 교육에 공식적으로 통합하는 것을 고려해야 한다. 주니어 닥터에 대한 수요가 의대생 졸업생 수를 계속 앞지르고 있고, 코호트 규모가 클수록 학교의 교육 능력 증가가 요구된다는 점을 고려하면 특히 가치가 있을 수 있다.63,64 이러한 증가된 역량은 학생들이 필요한 교육 기술을 배울 수 있도록 지원하는 한편 PAL 프로그램의 확대에 의해 제공될 수 있다. 졸업과 동시에 모든 참가자가 학습을 강화할 수 있도록 합니다.

Furthermore, findings demonstrate that PAL lends itself best to the teaching of practical and procedural clinical skills, resulting in a significant improvement in practical assessment outcomes when compared with students assessed on theoretical knowledge alone. The acquisition of these skills is critical in shaping medical students into junior doctors. Evidently, clinical tasks lend themselves to small-group, peer-assisted teaching, where students can learn both from the tutor and each other while practising and honing their techniques. Given this significant finding, medical school curricula should consider formally integrating medical students in the teaching of their near peers. This may be particularly of value given that demand for junior doctors continues to outstrip medical student graduate numbers, and larger cohort sizes demand increased teaching capacity of the schools.63, 64 This increased capacity could be delivered by the expansion of PAL programmes, while supporting students to learn teaching skills required of them upon graduating and allowing all participants to fortify their learning.6

이 리뷰는 또한 PAL이 학생의 성적에 [더 오랫동안 영향을 미친다는] 것을 확인했다. PAL에 참여하는 학생들은 수업 종료 후 [1개월 이상 경과한 후 평가]했을 때 비참가자보다 훨씬 나은 성과를 보였지만, [피어티칭 발생 직후 평가했을 때]는 개입 간에 큰 차이가 없었다. 포함된 연구는 장기적인 결과를 보고하지 않았지만, 이러한 중간 시점에서도 볼 수 있는 차이는 관심 대상이다. 정성적 연구에 따르면 PAL의 실제 경험에 영향을 미치는 [상황적 요인]이 학습 과정의 핵심이다. 이것들은 정량적으로 평가하기에는 복잡하지만, [학습에 대한 PAL의 영향]이 [중기-장기] 차원에서 확인된다는 연구의 관찰을 설명할 가능성이 높다
This review also identified that PAL has a longer lasting impact on student performance. Students participating in PAL performed significantly better than non-participants when assessed more than 1 month after the teaching ended, whereas there was no significant difference between the interventions when students were assessed shortly after teaching occurred. No included studies reported long-term outcomes, yet the difference seen even at these medium-term time points is of interest. Qualitative studies have suggested that contextual factors impacting on the lived experience of PAL are core to the learning process.65, 66 These are complex to evaluate quantitatively but likely account for our study's observation that PAL's effect on learning is seen in the medium to long term.

중기-장기 차원에서 PAL의 효과가 확인된다는 것과 연관된 사실은 다음이 있다.. 

  • 덜 공식적인 PAL 교육 환경이 뒷받침될 때 학생들의 신뢰수준이 시간이 지남에 따라 높아진다. 
  • PAL 환경의 역동적이고 상호작용적인 특성이 기억 형성에 도움이 된다.  
  • 각 학생이 질문 형성과 질문에 참여할 때, 다른 또래의 학습 과정에 노출되면 상호 이해도가 높아집니다.

PAL 프로그램이 이 실습에 참여하는 의대생들의 단기 및 장기 학업 성과에 미치는 긍정적 및 부정적 영향을 규명하기 위해 여러 연구가 이전에 모색되었다. 그들은 또한 의과대학에서 동료 교사의 장기적인 효과에 대해 어떠한 결론도 도출할 수 없다고 결정했다.

They include the fact

  • that student confidence levels increase over time when supported by the less formal PAL teaching setting,
  • that the dynamic and interactive nature of the PAL environment aids with memory formation and
  • that the exposure to other peers' learning processes as each student participates in question forming and asking leads to greater mutual understanding.6768 

Several studies have previously sought to establish the positive and negative effects that PAL programmes have on the short- and long-term academic outcomes of the medical students engaged in this practice.16, 60, 69-73 They also determined that it was not possible to draw any conclusions about the long-term effects of peer teaching during medical school.61, 62

주관적인 학생 평가를 이 검토의 범위를 벗어난 것으로 간주하여, 이러한 결과는 커크패트릭 프레임워크를 사용하여 각 연구에서 PAL의 교육적 영향을 분류할 때 통합되었다. 이전의 연구에 따라, 이러한 보건 교육 개입은 더 넓은 조직에 대한 영향이 없다는 점에서 더 높은 커크패트릭 수준(3과 4)에서 영향을 보여주지 못했다. 
Having regarded the subjective student assessments as beyond the scope of this review, those findings were incorporated when categorising the educational impact of PAL in each study using the Kirkpatrick framework.74 In line with previous research, these health education interventions failed to show impact at the higher Kirkpatrick levels (3 and 4) in that there was no impact demonstrated on the wider organisation.27, 75, 76

여기에 보고된 예비 조사 결과는 PAL 프로그램을 지원하고 장기적인 학업 성과를 지속적으로 평가하는 것의 중요성을 더욱 강조한다.

The preliminary findings reported here further underscore the importance of supporting PAL programmes and continuing to assess long-term academic outcomes.

4.2 연구의 강점 
4.2 Study strengths

이 검토의 주요 강점은 의과대학 환경에서 PAL의 영향을 객관적으로 평가한 고품질 연구에 대한 포괄적인 평가라는 것이다. PAL에 발표된 무작위 연구의 대부분에 대해 객관적 결과 측정이 보고된다. 평균과 SD를 사용할 수 없는 경우 SMD를 계산하고 데이터 집합을 극대화하기 위해 원시 데이터에 대해 작성자에게 직접 연락했다. 이를 통해 메타 분석에 11%(3/27)의 연구가 추가되었다. 또한, 이 검토는 PAL이 의료 교육을 강화할 수 있는 특정 환경에 새로운 초점을 두고 PAL의 영향을 평가하는 가장 포괄적인 체계적 검토이다.

The principal strength of this review is that it is a comprehensive assessment of high-quality studies, which have objectively assessed the impact of PAL in the medical school setting. Objective outcome measures are reported for the majority of randomised studies published in PAL. Where the mean and SD was not available, authors were contacted directly for the raw data to allow the computation of the SMD and maximise the dataset. In doing so, an additional 11% (3/27) of studies were added to the meta-analysis. Furthermore, this review is the most comprehensive systematic review evaluating the impact of PAL with a novel focus on the specific settings in which PAL may enhance medical education.

4.3 연구의 한계와 향후 연구 방법
4.3 Study limitations and future avenues of research

이 검토에는 몇 가지 본질적인 한계가 있다. 깔때기 그림(그림 3)은 연구의 유의한 출판 편향을 보여준다. 이들은 인구, 통제 그룹, 교육 환경 및 방법론이 서로 다른 고도로 이질적이었다. 추가적인 편견은 교육 시험이 그 성격상 임상시험만큼 정확하게 통제될 수 없다는 사실에서 비롯되며, 긍정적 결과 발표만을 선호하는 편향은 덜 바람직한 효과를 보이는 연구의 부재를 설명할 수 있다. 마찬가지로, 표준 오차(SE)에 대해 표시된 SMD의 깔때기 그림은 왜곡되기 쉬우며, 이는 출판 편향의 존재와 정도를 과대평가할 수 있다. 따라서 이 또한 근본적인 원인으로 배제할 수 없다.77.
This review has several intrinsic limitations. The funnel plot (Figure 3) shows the significant publication bias of the studies. They were highly heterogeneous, with different populations, control groups, educational settings and methodologies. Further bias stems from the fact that educational trials by their very nature cannot be controlled as precisely as clinical trials, and the bias in favour of publishing positive results may explain the absence of studies showing a less favourable effect. Equally, it has been found that funnel plots of the SMD plotted against the standard error (SE) are susceptible to distortion, which may lead to an overestimation of the existence and extent of publication bias—this therefore also cannot be excluded as the underlying cause.77

추가적인 한계는, 많은 연구에서 자원자를 사용했다는 것이고, 이는 높은 자기 선택 편향으로 이어졌을 수 있다. 이상적으로는, 장래의 연구에는, PAL의 개입을 실시하거나 받는 학생의 랜덤 배정이 포함됩니다.
An additional limitation is the use of volunteers in many of the studies, which may have led to a high self-selection bias. Ideally, future studies would include the random allocation of students to both deliver and receive the PAL intervention.

이 리뷰는 또한 PAL 프로그램에서 가르칠 학생으로 선택된 [의대생들에게 요구되는 교육 역량]에 대해서도 다루지 않았다. 교육 역량은 어떤 연구에서도 진정으로 통제되지 않았으며, 이에 대해 평가하거나 보고한 연구는 거의 없었습니다. 이것은 자주 연구되지 않는 PAL의 또 다른 측면과 관련되어 있습니다. PAL이 학생 교사에게 미치는 영향은 무엇입니까? PAL에 종사하는 172명의 최종 학년 시험에 대한 2014년 소급 분석에서는 이 학생들이 동시대 학생들보다 1-3% 더 우수한 것으로 확인되었으며, 12명의 해부학 PAL 튜터를 대상으로 한 2018년 비교 연구에서도 이러한 연구 결과가 뒷받침되었습니다. 이러한 연구결과는 PAL의 튜터로 하여금 주요 스킬을 강화하고 지식 통합을 강화해주기에, 튜티학생에게만 PAL의 교육적 영향이 있는 것이 아님을 시사한다. 관찰된 낮은 Kirkpatrick 수준에 반영되어 있는 이 문제를 다루는 빈약한 증거 기반에 접근하는 한 가지 가능한 방법은 학생 교사가 되는 학생들의 성과를 종방향으로 연구하는 것일 수 있다.

This review also did not address what teaching competencies are required of those medical students who choose to teach on PAL programmes. Teaching competency was not truly controlled for in any studies, and few studies assessed or reported on them. This relates to a further aspect of PAL, which is not often researched; what is the impact of PAL on the student teachers? A 2014 retrospective analysis of final-year examinations of 172 students engaged in PAL did establish that those students outperformed their contemporaries by 1–3%, and a 2018 comparative study of 12 anatomy PAL tutors supported these findings.7, 78 These findings point towards the educational impact of PAL being further reaching than on the tutees alone, with the delivery of PAL reinforcing key skillsets and enhancing consolidation of knowledge in the peer tutor. One potential means of approaching the poor evidence base addressing this question (as reflected in the low Kirkpatrick levels observed) may be to longitudinally study the performance of students progressing to student teachers.

메타 분석 결과를 해석할 때 고려해야 할 마지막 고려사항은 포함된 모든 연구의 커리큘럼, 학습 주제 및 그룹 크기에서 유의미한 이질성이다. 이는 표 S2에 표시된 데이터에서 명확하다. 의학 교육을 표준화하고 종합하는 것은 분명 어렵기 때문에 이러한 결과를 바탕으로 취해야 할 조치를 마련하는 것이 더욱 어려워진다. 우리의 2차 결과는 PAL이 가치가 있는 정확한 시나리오를 제시함으로써 이 복잡성을 인정하고 설명하려고 노력했고, 따라서 데이터의 본질적인 이질성을 감소시켰다.
A final consideration that must be taken into account when interpreting the results of our meta-analysis is the significant heterogeneity in the curricula, topics taught and group sizes of all included studies, which are clear from our data displayed in Table S2. It is clearly hard to standardise and synthesise medical education and thus also makes it more challenging to formulate actions to be taken based on these results. Our secondary outcomes sought to acknowledge and account for this complexity by teasing out the exact scenarios where PAL is of value, thus decreasing the intrinsic heterogeneity in the data.

5 결론
5 CONCLUSIONS


이 체계적인 검토는 PAL이 PAL에 참여하는 의대생들의 학업 성취에 큰 영향을 미친다는 것을 뒷받침하는 강력한 데이터를 제공한다. 이는 비 PAL 개입에 비해 의대생이 PAL 개입 후 더 나은 성과를 보였으며, 그 효과는 실제 임상 기술을 습득하는 동안 임상 연도의 학생에서 가장 두드러졌다. 이 효과는 중기적으로 유지되었다. 궁극적으로, 이 연구는 의대생 커리큘럼에 PAL의 공식 통합이 교육 능력의 개발을 지원하고 중장기적으로 유지되는 특히 임상 능력의 측정 가능한 향상을 보장한다는 고무적인 증거를 제공한다.

This systematic review provides robust data to support that PAL has a significant effect on the academic achievements of medical students who engage in it. It demonstrates that medical students performed better after PAL interventions compared with non-PAL interventions, with the effect being most pronounced in students in the clinical years of training during the acquisition of practical clinical skills. This effect was maintained in the medium term. Ultimately, the study provides encouraging evidence to suggest that the formal integration of PAL in medical student curricula supports both the development of teaching skills and confers a measurable improvement in academic performance, particularly in clinical skills, which are maintained in the medium to long term.

 

 


Med Educ. 2022 Apr;56(4):365-373.  doi: 10.1111/medu.14672. Epub 2021 Oct 24.

Peer-assisted learning in medical education: A systematic review and meta-analysis

Affiliations collapse

Affiliations

1Warwick Medical School, University of Warwick, Coventry, UK.

2Torbay and South Devon NHS Foundation Trust, Torquay, UK.

PMID: 34595769

DOI: 10.1111/medu.14672

Abstract

Objectives: The prevalence of peer-assisted learning (PAL) featuring alongside the core medical curriculum is increasing; however, the evidence base for PAL's efficacy on academic performance is limited. This systematic review of randomised studies of PAL in medical school sets out to assess the impact of PAL on academic outcomes in medical school and evaluate whether PAL confers a benefit in specific educational contexts.

Methods: A literature search was conducted across MEDLINE, Ovid Embase, Web of Science and Education Research Complete. Titles and abstracts were screened, and records were selected following strict eligibility criteria. Following full-text assessment for eligibility, two reviewers independently extracted data from the final selection of records and a meta-analysis was performed. Studies were classified using a modified version of Kirkpatrick's levels of learning. Student test scores were standardised by calculating the standardised mean difference (SMD).

Results: Twenty-seven randomised controlled trials were eligible for inclusion, and twenty-one provided sufficient and complete data to enable meta-analysis. There was a significant improvement in the academic performance of medical students who received PAL compared with those in the control group (SMD = 0.52 [95% confidence interval 0.18-0.85]; p = .003). The impact of PAL was greater amongst clinical medical students (SMD = 0.63; p = .02) than preclinical medical students (SMD = 0.39; p = .08) and when used for teaching practical skills (SMD = 0.69; p = .001) compared with theory (SMD = -0.11; p = .21). Students taught by PAL also achieved better results in assessments conducted more than four weeks after course completion (SMD = 1.20; p = .04). [Correction added on 8 November 2020 after first publication. The data values in the Results section have been corrected in this version.] CONCLUSIONS: Medical students experiencing PAL benefit in terms of academic performance, relative to those not receiving PAL. PAL is of greatest value in the clinical stages of training and for practical skills. The long-term outcomes of PAL remain a priority for future research.

침묵 또는 질문? 학생-중심 교육에서 토론 행동의 문화간 차이(Studies in Higher Education, 2014)
Quiet or questioning? Students’ discussion behaviors in student-centered education across cultures
Janneke M. Frambacha*, Erik W. Driessena, Philip Behb and Cees P.M. van der Vleutena

 

 

서론
Introduction

많은 연구들이 커뮤니케이션 스타일이 문화적 맥락에 따라 다르다는 널리 알려진 개념을 확인했습니다. 이는 학생들이 또래 및 선생님과 소통하는 방식에도 적용됩니다. 최근, 종래의 교사 중심의 대처와는 본질적으로 다른, 학생 중심의 교육을 도입하는 고등 교육 기관의 수가 세계적으로 꾸준히 증가하고 있다. 학생중심교육은 교사의 가르침보다는 학생의 학습에 초점을 맞추는 것을 목표로 하고 있다(캐논과 뉴블 2000). 교육기관들이 이 접근방식을 수용하는 것은 부분적으로 학생들이 평생학습, 비판적 사고, 동기 부여 및 독립적인 문제 해결 기술을 자극하는 것으로 여겨지는 그들 자신의 학습을 하도록 장려하기 때문이다. 학생 중심 교육의 교육 도구 중 하나는 학생들이 학습 주제, 문제 사례 또는 프로젝트에 대한 비판적인 토론에 적극적으로 참여할 것으로 기대되는 소그룹 작업입니다. 토론에 적극적으로 참여하는 것은 학생들의 협업 능력, 독립성, 동기 부여 및 비판적 사고를 향상시키는 것을 전제로 한다.

Many studies have confirmed the widely acknowledged notion that communication styles differ across cultural contexts (e.g. Gudykunst 2005; Hu and Fan 2011; Smith 2011). This also applies, by implication, to the way students communicate with their peers and their teachers (Hofstede 1986). In recent years, there has been a steady increase in the number of higher education institutions worldwide that have introduced student-centered education, which is intrinsically different from traditional teacher-centered approaches. The former aims to focus on students' learning rather than on teachers' teaching (Cannon and Newble 2000). Institutions embrace this approach partly because it encourages students to take charge of their own learning, which is assumed to stimulate lifelong learning, critical thinking, motivation, and independent problem-solving skills (Barrows 1996; Cannon and Newble 2000; Lonka and Ahola 1995). One of the educational tools in student-centered education is small group work, where students are expected to actively engage in critical discussions about learning topics, problem cases, or projects. Active participation in discussions is assumed to enhance students' collaborative skills, independence, motivation, and critical thinking (Del Favero et al. 2007; Schmidt and Moust 1998).

몇몇 작가들은 이러한 유형의 [상호작용적이고 독립적인 행동]이 개인주의와 언어적 상호작용에 대한 집중과 같은 전형적인 서구적 가치를 반영한다고 주장해왔다. 다른 문화의 가치들은 학생 중심의 접근법에 존재하는 서양의 가치들과 양립할 수 없을 수도 있다. 이는 학생 중심의 교육에서 다른 문화권의 학생들의 의사소통 스타일이 어떻게 표현되고 형성되는지에 대한 질문으로 이어지며, 이는 학생 중심의 고등교육에서 과정과 결과의 문화 간 차이를 밝혀줄 수 있다(아마 의도하지 않을 수도 있다). 연구에 따르면 학생 중심 교육에서 대화형, 팀 기반 및 교사 독립적인 토론은 [서구 이외의 환경에서 학습 접근법 및 커뮤니케이션 스타일에 부합하지 않기 때문에] 긴장을 유발할 수 있다. 학생 중심 교육에서 학생들은 목소리를 높이고, 질문을 하고, 다른 사람들의 의견에 도전하는 등 다소 적극적인 행동을 보일 것으로 예상되며, 이에 대한 학생들의 반응은 문화마다 다를 수 있으며, 이로 인해 학습 과정과 결과가 다른 방식으로 형성될 수 있습니다.

Several authors have contended that this type of interactive and independent behavior reflects typically Western values, such as individualism and a focus on verbal interaction (Altinyelken 2010; Frambach et al. 2012; Nguyen et al. 2009). Values of other cultures may not be compatible with the Western values residing in the student-centered approach. This leads to the question as to how the communication styles of students from different cultures are expressed and shaped in discussions in student-centered education, which might shed light on – possibly unintended – cross-cultural differences in processes and outcomes in student-centered higher education. Research has indeed indicated that interactive, team-based and teacher-independent discussions in student-centered education can cause tensions due to their not being consistent with learning approaches and communication styles in non-Western settings (Frambach et al. 2012; Gwee 2008; Khoo 2003; Wang, Harding, and Mai 2012). In student-centered education, students are expected to show rather assertive behaviors – such as speaking up, asking questions, and challenging the opinions of others – and students' responses to this may vary between cultures thereby shaping learning processes and outcomes in different ways.

특히 동서양의 문화에서 커뮤니케이션 스타일의 문화적 차이는 광범위하게 연구되어 왔다. 동양 문화는 개인주의로 여겨지는 서양 문화와는 대조적으로 종종 집단주의로 특징지어진다. 집단주의는 개인보다는 집단에 관심을 갖는 것, 집단 구성원의 상호의존성, 집단 규범과 가치관에 의해 형성되는 행동들을 말한다. 그러나 동서양의 [지역 내 문화적 다양성]은 [지역 간 문화적 다양성]보다 클 수 있으며, 집단주의 또는 개인주의로 직설적으로 특징지을 수 없다는 점에 유의해야 한다. 그러나 기존연구는 동양 문화에서는 [개인주의 문화의 보다 대립적이고 직접적이며 거침없는 스타일]보다, [조화로운 그룹 관계, 갈등의 회피, 간접적인 의사소통을 선호하는 경향이 있는 집단주의적 의사소통 스타일]을 일반적으로 선호한다는 것을 보여주었다. 따라서 개인주의 서양문화와 집단주의 동양문화의 구분이 학생 중심의 교육 논의에서 학생들에 의해 입증되는 의사소통 행동에서 문화 간 차이로 이어질 가능성이 높다고 가정하는 것이 타당해 보인다.

Cross-cultural differences in communication styles have been extensively researched, particularly in Eastern and Western cultures (e.g. Brew et al. 2011; Smith 2011; Yeung and Kashima 2012). Eastern cultures are often characterized as collectivistic, in contrast to Western cultures, which are regarded as individualistic (Hofstede 2001; Triandis 1995). Collectivism refers to being concerned with the group rather than the individual, interdependence of group members, and behaviors that are shaped by group norms and values (Hui and Triandis 1986). It should be noted though that cultural diversity within Eastern and Western regions can be larger than across, and they cannot be characterized straightforwardly as either collectivistic or individualistic. Previous research has, however, shown a general preference of Eastern cultures for collectivistic communication styles, which tend to favor harmonious group relations, avoidance of conflict, and indirect communication as opposed to a more confrontational, direct, and outspoken style of individualistic cultures (Brew et al. 2011; Oetzel et al. 2001; Smith 2011). Consequently, it seems logical to assume that the distinction between individualistic Western cultures and collectivistic Eastern cultures is likely to lead to cross-cultural differences in communicative behaviors demonstrated by students in discussions in student-centered education.

이 사회문화 연구는 서로 다른 문화 지역에 있는 3개 고등교육 기관의 학생 중심 교육에서 학생들의 의사소통 행동 전개와 토론 과정을 조사함으로써 이러한 문화 간 차이의 존재와 성격을 확인하려고 시도했다. 동아시아, 중동, 서유럽. 이와 같이, 이 연구는, 학생 중심 교육에서, 커뮤니케이션 스타일의 크로스 컬쳐의 차이가 어떻게 표현되고 형성되는지, 그리고 이것이 고등 교육에서 학생 중심 방법의 크로스 컬쳐 적용성에 어떻게 영향을 미칠 수 있는지에 대한 통찰력을 제공하는 것을 목표로 하고 있다.

This sociocultural study attempted to identify the existence and nature of such cross-cultural differences by investigating the discussion process and the development of students' communicative behaviors in student-centered education in three institutions of higher education in different cultural regions: East Asia, the Middle East, and Western Europe. This way, the study aims to provide insight into how cross-cultural differences in communication styles are expressed and shaped in student-centered education, and how this may impact on the cross-cultural applicability of student-centered methods in higher education.

문제 기반 학습
The case of problem-based learning

문제 기반 학습(PBL)은 이 사례 연구의 대상으로 선정된 학생 중심의 교육 모델입니다. 원래 서양에서 개발된, 더 구체적으로 1960년대 캐나다의 의학 교육에서 개발된 PBL은 비록 그 효과는 논란의 여지가 있지만, 전 세계의 다른 분야와 국가로 퍼져나갔다. PBL은 교사 중심의 강의 기반 교육 접근과 달리 학생들이 자신의 학습 과정을 지시하고 적극적으로 지식을 구축하며 문제 해결 및 팀 커뮤니케이션 기술을 개발하도록 장려함으로써 교육 과정의 중심에 놓입니다. 튜토리얼은 PBL에서 중심적인 역할을 하며, 이 기간 동안 소수의 학생들이 지식 전달자가 아닌 퍼실리테이터 역할을 하는 튜터의 도움을 받아 문제 사례로 제시된 학습 문제를 공동으로 논의합니다(Barrows 1996).
Problem-based learning (PBL) is the student-centered educational model that was selected as the object of this case study. Originally developed in the West, more specifically in medical education in Canada in the 1960s, PBL has spread to different disciplines and countries around the world (Barrows 1996; Gwee 2008; Savin-Baden 2000), though its effect remains controversial (Dochy et al. 2003; Kirschner, Sweller, and Clark 2006; Schmidt et al. 2009). In contrast to teacher-centered, lecture-based educational approaches, PBL places students at the center of the educational process by encouraging them to direct their own learning processes, construct knowledge actively, and develop problem-solving and team communication skills (Dolmans et al. 2005; Visschers-Pleijers 2006). Tutorials take a central role in PBL, during which a small group of students collaboratively discusses a learning issue presented as a problem case, aided by a tutor who acts as a facilitator rather than a knowledge transmitter (Barrows 1996).

PBL이 전 세계에 퍼져있음에도 불구하고, PBL의 문화 간 적용가능성에 의문이 제기되어 왔다.

  • Walker, Bridges, Chan(1996)은 중국 내에서의 PBL의 구현에 대한 연구에서 문화적 긴장이 그룹 역학, 토론 과정 및 커뮤니케이션 문제에 영향을 미치고 있으며, 중국 학생들은 공손함, 화합, 일치의 강한 의식을 보이고 있으며, 토론에서 직접적으로 논쟁을 도입하는 것을 꺼린다는 것을 발견했다.
  • Khoo(2003)는 대립에 대한 두려움, 권위에 대한 의존과 존중, 거침없는 것에 대한 혐오, 질문하는 것을 꺼리고, 수업 토론에 대한 낮은 참여 등 PBL과 양립할 수 없는 여러 아시아 문화 태도를 묘사했다. 그러나 그는 또한 강한 자기 훈련과 학생들 간의 협업 등 PBL과 상당히 양립할 수 있는 측면을 식별했다.
  • 또, Hussain씨등(2007)은, 아시아의 3개 대학에서 PBL에 대해 긍정적인 반응을 보이고 있지만, 동시에, PBL 세션에서는, 학생이 비판적인 사고를 전개하는 것을 억제하고 있어, 대립하지 않는 태도로 일관하고 있다. 그러나 그들은 서양 대학에서도 비판적 사고를 달성하는 것이 학생들에게 어려울 수 있다고 강조한다(Hussain et al. 2007)

Despite PBL's spread around the world, its cross-cultural applicability has been questioned.

  • In a study of the implementation of PBL in a Chinese context, Walker, Bridges, and Chan (1996) found that cultural tensions affected group dynamics, the discussion process, and communication issues, with Chinese students showing a strong sense of politeness, harmony, and conformity as well as reluctance to directly introduce arguments in the discussion.
  • Khoo (2003) described several Asian cultural attitudes that might be incompatible with PBL, such as fear of confrontation, dependency on and respect for authority, a distaste for outspokenness, reluctance to ask questions, and low participation in class discussions. He also identified aspects, however, that seem quite compatible with PBL, such as strong self-discipline and collaboration among students.
  • Also Hussain and others (2007) report positive reactions to PBL in three Asian universities, but at the same time they show inhibitions to students' development of critical thinking during PBL sessions, due to a non-confrontational attitude. However, they emphasize that in Western universities too the achievement of critical thought might be difficult for students (Hussain et al. 2007).


비서구권 환경에서의 PBL의 실시에 관한 연구는 동아시아에서 실시되고 있지만, 중동에서 실시되고 있는 몇 안 되는 연구에서는 PBL에 관한 유사한 과제나 어려움이 이 지역에서 발생하고 있으며, 적어도 부분적으로 문화적 요인에 기인하고 있는 것으로 보인다. 이러한 고려사항을 바탕으로 PBL은 본 연구에서 검토해야 할 토론 기반, 학생 중심의 교육 모델로 선정되었습니다.

Although the majority of studies on the implementation of PBL in non-Western settings has been conducted in East Asia, the few studies that were conducted in the Middle East suggested that similar issues and difficulties with PBL are encountered in this region, and that these seem to be, at least partially, attributable to cultural factors (Bridger 2007; Frambach et al. 2012; Mpofu 1999; Yazigi, Nemr, and Abou Jaoude 2004). Based on these considerations, PBL was selected as the discussion-based, student-centered educational model to be examined in this study.

사회문화적 접근법
A sociocultural approach

서구와 비서구 환경에서 학생 중심 교육에 대한 경험적 비교 연구가 부족하기 때문에, 문화뿐만 아니라 교육 및 가능한 다른 요소들이 학생들의 토론 행동에 미치는 영향을 탐구하기 위해 [사회문화적 접근법]을 사용했다. [사회문화이론]은 러시아 학자들, 특히 비고츠키(1978)의 연구에 기초하고 있으며, 다른 학자들, 예를 들어 로고프(1993)와 엥게스트롬(1999)의 연구에 대해 자세히 설명하고 있다. [사회문화이론가]들은 개인은 본질적으로 환경에 의해 영향을 받거나 중재되며, 환경을 벗어나서는 이해될 수 없다고 강조한다. 개인은 자신의 사회적, 문화적, 맥락적 환경을 지속적으로 [내면화]하면서, 동시에 자신의 내적 가치와 신념을 [외부화]함으로써 주변 환경에 영향을 미칩니다. 이러한 사회문화적 관점은 다음과 같은 질문으로 이어졌다: 세 문화권의 학생들은 그들의 문화적 배경을 외부화하고 동시에 PBL의 토론 측면을 내부화하는 것, 그리고 이것이 그들의 토론 행동과 기술을 어떻게 형성하는가?
Because of the paucity of empirical comparative studies of student-centered education in Western and non-Western settings, a sociocultural approach was used to explore the impact not only of cultural but also of educational and possibly other factors on students' discussion behaviors. Sociocultural theory is based on the work of several Russian scholars, notably Vygotsky (1978), on which others have elaborated, e.g. Rogoff (1993) and Engeström (1999). Sociocultural theorists emphasize that individuals are inherently influenced, or mediated, by their environment and cannot be understood outside of it (Rogoff and Chavajay 1995; Vásquez 2006). Individuals continuously internalize their social, cultural, and contextual surroundings, while at the same time influencing their surroundings by externalizing their inner values and beliefs (Engeström and Miettinen 1999). This sociocultural perspective led to the following research question: to what extent do students across three cultures externalize their cultural backgrounds and simultaneously internalize the discussion aspect of PBL, and how does this shape their discussion behaviors and skills?

위에서 설명한 바와 같이, 사회문화적 접근방식은 PBL과 학생들의 문화적 배경 외에 학생들의 토론 행동을 중재할 수 있는 다른 요소들을 고려할 수 있다. 흥미롭게도, [서양에서의 PBL의 실시에 관한 연구]도 PBL 과정의 문제점, 특히 소그룹 논의의 피상적인 문제를 밝혀냈다. 제도적, 조직적, 교육적 측면과 같은 문화적 요소 외에 더 많은 맥락적 요소들이 역할을 할 수 있다. 탐구적이고 개방적인 사회문화적 관점을 채택함으로써, 본 연구는 맥락적 요소를 폭넓게 포괄하여 문화 전반에 걸친 학생 중심의 고등교육에서 학생들의 토론 행동과 기술을 형성하는 영향을 포괄적으로 파악하는 것을 목표로 했다. 문제 기반 학습에서 학생들의 행동과 발전을 연구하기 위해 사회문화 이론을 어떻게 사용할 수 있는지에 대한 보다 광범위한 논의는 Frambach et al. 2012를 참조한다.

As remarked above, a sociocultural approach allows for consideration of other factors – besides PBL and students' cultural backgrounds – which might mediate students' discussion behaviors. Interestingly, research on the implementation of PBL in the West has also revealed problems with the PBL process, notably superficiality of small group discussions (Moust, Van Berkel, and Schmidt 2005). More contextual factors besides cultural ones may play a role, such as institutional, organizational, and curricular aspects. By adopting an explorative and open sociocultural perspective, this study aimed for broad coverage of contextual factors to build a comprehensive picture of the influences shaping students' discussion behaviors and skills in student-centered higher education across cultures. For a more extensive discussion of how sociocultural theory can be used to study students' behavior and development in problem-based learning see Frambach et al. 2012.

방법
Method

방법론
Methodology

이 연구를 이끈 사회문화적 관점과 일관되게, 참가자들은 자연스러운 환경에서 조사되었다. [비교적, 도구적 사례 연구](Stake 2000)는 특정 이슈를 [문화적 및 맥락적 설정을 포괄하는 전체적 현상]으로 조사할 수 있게 하면서, 여러 사례를 비교하면 사례 간의 차이와 유사성에서 발생하는 통찰력을 제공할 수 있기 때문에 이러한 목적에 적합하다고 간주되었다.

Consistent with the sociocultural perspective that guided this study, the participants were investigated in their natural setting. A comparative, instrumental case study (Stake 2000) was deemed suitable for this purpose, because it enables investigation of an issue as a holistic phenomenon, encompassing its cultural and contextual setting, while comparison of multiple cases could provide insight arising from differences and similarities across cases.

설정
Setting

PBL은 의학 교육(원래 개발된 분야)에서 가장 널리 사용되고 있기 때문에 이 연구는 의과대학에서 실시되었습니다. 정보 비교를 가능하게 하기 위해 서로 다른 비서양 환경의 서양 의과대학 1개와 의과대학 2개를 포함하기로 결정했다. 후자의 선발을 위해 9명의 국제 의학 교육 전문가에게 다음 기준을 충족하는 의대를 제안하도록 요청되었다.

  • (1) 비서양 문화 환경에서의 위치 
  • (2) 학부 커리큘럼에서 실질적인 교육 방법으로서의 PBL 
  • (3) 5년 이상의 PBL 커리큘럼 경험 

As PBL is most widely used in medical education – the discipline where it was originally developed – the study was conducted in medical schools. To enable informative comparisons, it was decided to include a Western medical school and two medical schools in different non-Western settings. For selection of the latter, nine international medical education experts were asked to suggest medical schools that met the following criteria:

  • (1) location in a non-Western cultural setting;
  • (2) PBL as a substantial teaching method in the undergraduate curriculum;
  • (3) more than five years of experience with PBL in the curriculum.

22개의 제안 중 11개는 모든 기준을 충족했으며, 그 중에서 홍콩의 의과대학과 중동의 아랍 지역의 의과대학이 서로 다른 동양 문화 지역에서의 위치에 따라 선택되었다. 중동학교는 익명을 원했기 때문에 국가적인 위치는 밝혀지지 않았다. 중동 국가들이 공유하고 있지만 문화적인 특징도 분명히 다르기 때문에, 문화적인 요소들과 다른 맥락적 요소들에 대한 두터운 서술이 중동이라는 용어의 폭을 극복하기 위해 사용되었다. 네덜란드의 한 의대를 서양의 사례로 선정한 것은 실용적인 이유에 의한 것이지만, 그 학교는 선정 기준 2와 3을 충족시켰지만, 필연적으로 기준 1에 불합격했다. 이 연구는 홍콩과 중동 학교의 윤리 심사 위원회에서 승인되었지만 네덜란드 학교에서는 승인할 필요가 없었다.

Eleven of 22 suggestions met all criteria, from which a medical school in Hong Kong and a medical school in the Arab part of the Middle East were selected based on their locations in different Eastern cultural regions. Since the Middle Eastern school wished to remain anonymous, its national location is not revealed here. Thick description of cultural and other contextual factors was used to overcome the wideness of the term Middle East, as Middle Eastern nations share but evidently also differ in cultural characteristics. The selection of a medical school in the Netherlands as a Western case was based on pragmatic reasons, but the school met selection criteria two and three, while of necessity failing criterion one. The study was approved by the ethical review boards of the Hong Kong and the Middle Eastern schools, while no approval was required for the study at the Dutch school.

표 1은 3개 학교의 PBL 측면을 몇 가지 나열한 것입니다. 설립 이래, 네덜란드와 중동의 학교에서는, PBL을 학부시절의 주요한 교육 방법으로 사용해, 교사 중심의 강의는 비교적 적었습니다. 홍콩학교는 1990년대 PBL을 전통적인 교사 중심의 교육과정에서 학생 중심의 교육과정으로 전환하는 것을 목표로 전반적인 교육과정 개혁의 일환으로 시행했다. 이 개혁으로 인해 강의 기반과 PBL이 혼재된 커리큘럼이 탄생했습니다.

Table 1 lists several PBL aspects for the three schools. Since their foundation, the Dutch and the Middle Eastern school had used PBL as the major educational method in the undergraduate years, with relatively few teacher-based lectures. The Hong Kong school had implemented PBL as part of an overall curriculum reform in the 1990s aimed at moving from a traditional teacher-centered curriculum to a student-centered one. The reform resulted in a hybrid curriculum that was partly lecture-based and partly PBL.

데이터 수집
Data collection

연구는 PBL의 문화 간 적용 가능성에 대한 광범위한 연구 프로젝트의 틀 안에서 이루어졌기 때문에, 데이터 수집 방법은 그룹 논의 외에 다른 PBL 측면에도 초점을 맞췄다. 각 기관에서는 2009년 11월부터 2010년 4월까지 1개월간의 현장조사 기간 동안 데이터가 수집되었다. 중동 및 홍콩 학교에서는 첫 번째 저자가 데이터를 수집하고 네덜란드 의과대학에서는 외부 연구 보조자가 데이터를 수집하여 해당 학교의 외부인이 데이터를 수집했음을 확인했습니다. 몇 가지 정성적 데이터 수집 방법을 사용했다.
As the study was conducted within the framework of a broader research project on the cross-cultural applicability of PBL (Frambach et al. 2012), data collection methods focused also on other PBL aspects besides group discussions. In each of the institutions, data were collected during one month of fieldwork between November 2009 and April 2010. In the Middle Eastern and Hong Kong schools, data were collected by the first author and in the Dutch medical school by an external research assistant to ensure that data collection was done by an outsider to the school in question. Several qualitative data collection methods were used.

첫째, PBL에 관여하는 학생, 튜터, 주요 스탭을 대상으로, 각각 평균 1시간씩, 총 88명의 심층 인터뷰를 실시했습니다. 인터뷰는 다음 질문을 중심으로 반구조화되어있었다.

  • PBL과 관련된 관행, 경험, 인식, 선호도 및 어려움
  • PBL 토론 세션 
  • PBL 및 PBL 토론에 대한 학생들의 적응적 행동 
  • 토론 및 기타 PBL 관련 기술 개발 
  • 연도별 변화 및 차이, 
  • 학생의 과거 교육 경험 
  • 문화적 및 기타 맥락적 요소의 특성, 의미 및 영향 

First, a total of 88 individual in-depth interviews were conducted with students, tutors, and key staff involved in PBL, lasting an average of one hour each. The interviews were semi-structured, with questions focusing on

  • practices, experiences, perceptions, preferences, and difficulties relating to PBL;
  • PBL discussion sessions;
  • adaptive behaviors of students in response to PBL and PBL discussions;
  • the development of discussion and other PBL-related skills;
  • changes and differences between year levels;
  • students' past educational experiences; and
  • the nature, meaning, and influence of cultural and other contextual factors.

참가자들은 구두 및 서면 동의를 요구받았고, 그들은 감사의 의미로 상징적인 선물을 받았다. 인터뷰는 오디오 녹음과 문자 그대로 녹음되었다.

The participants were asked to give oral and written informed consent, and they received a symbolic gift as gratitude. The interviews were audio recorded and transcribed verbatim.

인터뷰 참가자들은 남녀 학생, 서로 다른 PBL 그룹의 학생, 그리고 지역 환경에서 태어나고 자란 학생들을 포함하기 위해 의도적으로 모집되었다. 이것은 더 풍부한 비교 정보를 얻을 수 있을 것으로 기대되었기 때문에, 얼마 동안 다른 나라에서 살고 학교를 다닌 많은 학생들도 포함되었습니다. 경험된 어려움과 토론 행동과 기술에 대한 차이를 감지하기 위해 1학년과 3학년 학생 수가 거의 동일했다. 학생들은 강의와 PBL 세션에서 발표를 통해 모집되었다. 이 튜터들은 또한 다른 교육 배경을 가진 튜터들과 1학년과 3학년 때부터 튜터들을 포함시키기 위해 의도적으로 선발되었다. 표 2는 학생 및 튜터 샘플에 대한 인구통계학적 데이터를 보여줍니다. PBL과 관련된 핵심 인력은 눈덩이 샘플링을 통해 선발되었다. 각 기관에서는, 처음부터 PBL의 실시에 관여해, 다양한 코디네이트 역할을 완수해 온, (이전) 의학·교육부장, 의학교육부장, 및 스탭이 포함되어 있었다.
Interview participants were recruited purposively to include both male and female students, students from different PBL groups, and students born and raised in the local setting. A number of students who had lived and attended school in another country for some time were also included, because this was expected to yield richer comparative information. Approximately equal numbers of students from the first and the third year were included to detect differences with respect to experienced difficulties and discussion behaviors and skills. The students were recruited through announcements in lectures and in PBL sessions. The tutors were also selected purposively to include tutors with different disciplinary backgrounds, and tutors from the first and third year. Table 2 presents demographic data on the student and tutor samples. Key staff involved in PBL were selected through snowball sampling. At each institution they included (former) deans of medicine and/or education, directors of medical education departments, and staff who were involved in the PBL implementation from the beginning and had performed a range of coordinating roles.

 

둘째, 총 32개의 PBL 토론 세션이 관찰되었습니다. 토론 행동, 학습과 커뮤니케이션의 문화적 차이, 그리고 토론에 영향을 미칠 수 있는 다른 문맥적 요소에 초점을 맞춘 관찰 시트가 개발되었습니다. 관측치의 경우 첫 번째 및 세 번째 해의 서로 다른 PBL 그룹이 랜덤하게 선택되었습니다. 세션에 앞서, 연구자가 간략하게 소개되었고 학생들은 평상시와 같이 세션을 진행하도록 요구받았다. 연구자는 세션에 참여하지 않고 현장 메모를 하고 관찰 시트를 작성했다. 표 3은 세 기관에 걸쳐 관찰과 인터뷰가 어떻게 분포되었는지를 보여준다.
Secondly, a total of 32 PBL discussion sessions were observed. An observation sheet was developed which focused on discussion behaviors, cultural differences in learning and communication, and other contextual factors that might affect the discussions. For the observations, different PBL groups from the first and the third year were randomly selected. Before the session, the researcher was briefly introduced and the students were asked to conduct the session as usual. The researcher took field notes and filled in the observation sheet, without participating in the session. Table 3 shows how the observations and interviews were distributed over the three institutions.

 

셋째, PBL의 실시 및 적용에 관한 문서는 주요 직원으로부터 입수하였으며, 여기에는 학생용 안내 책자, 코스 일정, 문제 사례, 학생 평가를 위한 양식, 커리큘럼에 대한 정보, PBL의 일반적인 평가 등이 포함되어 있습니다. 마지막으로, 강의, 교무실, 여가 활동 중 참가자의 관찰을 통해 제도 및 지역 문화에 대한 추가적인 상황별 정보를 수집했다. 연구원들은 이 정보를 연구 저널에 기록했다.
Thirdly, documents about the implementation and application of PBL were obtained from key staff, such as information booklets for students, course schedules, problem cases, forms to evaluate students, information about the curriculum, and general evaluations of PBL. Finally, additional contextual information about the institutional and local culture was collected by participant observation during lectures, in faculty offices, and during leisure activities. The researchers recorded this information in a research journal.

 

데이터 분석
Data analysis

특정 단계별 주제 분석 유형인 템플릿 분석을 사용하여 데이터를 분석하였다(King 2004, 2010). Template Analysis에서는 [계층적으로 구조화된 테마로 구성된 일련의 코딩 템플릿]을 개발하여, 데이터에 반복적으로 적용하는 과정에서 [분석 진행에 따라 테마가 지속적으로 변경]된다. 그림 1은 다양한 템플릿과 관련 단계를 보여줍니다. 우선, 연구진은 학생들이 토론 세션에서 겪는 어려움이나 세션에 대처하기 위해 개발한 전략과 같이 분석에서 식별될 것으로 예상되는 선험적인 주제를 공식화했다. 첫 번째와 두 번째 저자는 인터뷰 녹취록의 하위 샘플을 이러한 주제로 독립적으로 코드화했다. 이 과정에서 새로운 주제를 식별하고, 기존 주제를 수정하고, 중복된 주제를 삭제했다. 코딩은 정성 데이터 분석용 소프트웨어 프로그램인 Atlas.ti 버전 6.2를 사용하여 수행되었습니다. 두 저자는 토론을 통해 주제 발생 및 해석에 대한 합의를 이룬 후 인터뷰 성적서의 절반에 적용되는 초기 코딩 템플릿을 개발했다.
Template Analysis, a specific step-wise type of thematic analysis, was used to analyze the data (King 2004, 2010). In Template Analysis a succession of coding templates consisting of hierarchically structured themes is developed and iteratively applied to the data with themes being modified continuously as the analysis progresses. Figure 1 presents the different templates and the related steps. To start with, the researchers formulated themes that were a priori anticipated to be identified in the analysis, such as difficulties that students encountered in the discussion sessions, or strategies which they developed to deal with the sessions. The first and second author independently coded a subsample of the interview transcripts with these themes, during which they identified new themes, modified existing themes and deleted redundant themes. Coding was performed using Atlas.ti Version 6.2 (Scientific Software Development, GmbH, Berlin, Germany), a software program for qualitative data analysis. After reaching agreement on the occurrence and interpretation of themes through discussion, the two authors developed an initial coding template, which was applied to half of the interview transcripts.

최종 템플릿이 개발되고 녹취록의 절반에 반복적으로 적용된 후, 연구원들은 PBL 토론의 긴장과 어려움, 학생들의 변화와 발전, 그리고 변화에 영향을 미치는 요소들에 대한 패턴, 원인, 빈도, 의미, 그리고 경도의 식별에 초점을 맞추면서 연구 결과를 해석했다.3개 기관 간의 비교 및 기관 간 및 기관 내 1학년과 3학년 간의 비교.

After the final template was developed and iteratively applied to the first half of the transcripts, the researchers interpreted the findings while focusing on the identification of patterns, causes, frequency, meaning, and salience with regard to

  • tensions and difficulties in PBL discussions,
  • students' change and development,
  • factors influencing student behaviors, and
  • comparisons between the three institutions and between first-year and third-year students across and within the institutions.

해석에서 얻어진 초점 템플릿은 증거확인을 위해 특히 주의를 기울여 나머지 절반의 녹취록에 적용되었으며, 관찰 시트, 현장 노트, 문서 및 연구 저널 분석에도 사용되었다. 최종 해석은 문화와 다른 문맥적 요소, 학생들의 의사소통 행동에서의 문화 간 차이, PBL 토론과 관련된 발전 사이의 관계를 포함하는 개념적 모델을 낳았다.

The focused template that resulted from the interpretation was applied to the remaining half of the transcripts with particular attention for disconfirming evidence, and was also used to analyze the observation sheets, field notes, documents and research journal. A final interpretation resulted in a conceptual model encompassing the relationships between cultural and other contextual factors, cross-cultural differences in students' communicative behaviors and development in relation to PBL discussions.

신뢰도
Trustworthiness

연구의 신뢰성을 높이기 위해 몇 가지 조치가 취해졌다.

  • 첫째, 여러 데이터 수집 방법을 통해 데이터의 삼각측량을 달성했습니다.
  • 둘째, 포화 상태가 될 때까지 데이터 수집을 계속했다.
  • 셋째, 코드화 과정은 반복적이었고, 검증되지 않는 증거에 대한 검색을 포함했으며, 두 연구자에 의해 독립적으로 수행되었다.
  • 넷째, 연구자의 편견에 대한 인식을 높이기 위해 연구자는 현장조사 중에 반사적인 연구일지를 작성했다.
  • 다섯째, 조사기관의 외부인 연구자가 수집한 자료로 참가자의 솔직한 답변을 유도할 수 있다고 가정했다.
  • 마지막으로 인터뷰 참가자 샘플 중 회원 체크를 실시했습니다. 예비 결과의 요약에 동의하고 코멘트를 제공할 것인지를 묻는 질문에 대해 확인 응답과 함께 몇 가지 추가 코멘트와 설명을 받았다. 후자는 데이터의 분석과 해석에서 고려되었다.

Several measures were taken to enhance the study's trustworthiness.

  • First, triangulation of data was achieved through multiple data-collection methods.
  • Second, data collection continued until saturation occurred.
  • Third, the coding process was iterative, included a search for disconfirming evidence, and was conducted independently by two researchers.
  • Fourth, to increase awareness of researcher bias the researchers kept a reflexive research journal during fieldwork.
  • Fifth, the data were collected by researchers who were outsiders to the institutions they investigated, as this was assumed to encourage participants to give honest answers.
  • Finally, a member check among a sample of the interview participants was conducted. In response to the question asking whether they agreed with summaries of preliminary results and would provide comments, confirmatory responses were received as well as some additional comments and clarifications. The latter were taken into account in the analysis and interpretation of the data.

 

결과.
Results

4개의 데이터 소스(인터뷰, 관찰, 문서 및 컨텍스트 정보)의 결과는 통합된 방식으로 표시됩니다. 이들 3개 학교의 학생들은 PBL을 내면화하고 문화적 배경을 다른 정도로 외부화하는 것으로 조사돼 토론 행태에서 문화 간 차이를 보였다. 토론에서 목소리를 높이고, 질문을 하고, 다른 사람에게 도전하는 행동은 네 가지 문화적 요인에 의해 영향을 받는 것으로 나타났습니다. 

  • (1) 불확실성과 전통, 
  • (2) 그룹 관계와 체면  
  • (3) 위계적 관계 및 
  • (4) 성취와 경쟁

The results from the four data sources (interviews, observations, documents, and context information) are presented in an integrated manner. Students of the three schools were found to internalize PBL and externalize their cultural backgrounds to different degrees, which led to cross-cultural differences in discussion behaviors. Behaviors of speaking up, asking questions, and challenging others in the discussion were found to be influenced by four cultural factors:

  • (1) uncertainty and tradition,
  • (2) group relations and face,
  • (3) hierarchical relations, and
  • (4) achievement and competition.

서양의 경우와 비교해 보면, 비서구권의 경우 이들 요인이 토의 과정에 더 큰 영향을 주었고, 대체로 부정적인 쪽이었다.
Compared with the Western case, the two non-Western cases showed a stronger impact of these factors, which generally had an adverse effect on the discussion process.

그러나 다음과 같은 6가지 맥락적 요인도 토론 행동을 억제하거나 강화하는 것으로 확인되었기 때문에 이러한 관계는 간단하지 않았다. 

  • (1) 선행 중등교육의 특성
  • (2) PBL 구현 범위, 
  • (3) 학생의 개인적인 특성, 
  • (4) 교육의 언어 
  • (5) 튜터의 행동 
  • (6) 평가 시스템 

This relationship, however, was not straightforward, as six other contextual factors were also found to either inhibit or enhance discussion behaviors:

  • (1) the nature of students' prior school education,
  • (2) the scope of PBL implementation,
  • (3) students' personal characteristics,
  • (4) language of instruction,
  • (5) tutor behavior, and
  • (6) the assessment system.

3개 학교에서 1학년부터 3학년까지의 학생들의 토론 행동과 기술, 그리고 그들의 발전은 문맥적 요소, 문화적 요소, PBL 토론 세션 간의 복잡한 상호작용에 의해 형성되었다. 개념 모델은 그림 2에 나와 있습니다. 이하에서는, 모델내의 다양한 요소 및 그 상호작용에 대해, 중요도가 아니고, 그 요소에 대해 설명합니다.또, 인터뷰의 인용문을 참조해 설명하겠습니다. 표 4는 토론 역학을 억제하거나 강화할 수 있는 상황적 요인의 가능성에 대한 자세한 개요를 제공한다.

In the three schools, the students' discussion behaviors and skills and their development from the first to the third year were shaped by complex interactions between contextual factors, cultural factors, and the PBL discussion sessions. The conceptual model is presented in Figure 2. Below, the different factors in the model and their interactions are discussed – not in order of importance – and illustrated by quotes from the interviews. Table 4 provides a detailed overview of the potential of the contextual factors to inhibit or enhance discussion dynamics.

 

 

불확실성과 전통
Uncertainty and tradition

중동의 경우, [불확실성의 감정]학생들이 토론에서 목소리를 내는 것을 방해하는 것으로 보인다. 특히 1학년 학생들은 PBL 토론회에서 불확실성을 경험했고, 이는 중등교육에서의 교사 중심적 성격으로 인해 악화되었다(아래 선행교육에 대한 설명 참조). 관련 사전 지식 없이 문제 사례를 논의해야 하는 것은 불확실한 감정을 불러일으켜 학생들이 목소리를 낼 수 없게 했다. 튜터의 설명대로:
In the Middle Eastern case, feelings of uncertainty appeared to inhibit students from speaking up in the discussion. First-year students in particular experienced uncertainty in the PBL discussion sessions, which was aggravated by the teacher-centered nature of their secondary school education (see the discussion on prior education below). Having to discuss a problem case without relevant prior knowledge gave rise to feelings of uncertainty, which prevented students from speaking up. As a tutor explained:

1학년은 학생들에게 어렵다. 그들은 많은 어려움에 직면해 있다. 교육제도는 중등학교의 제도와는 다르다. 토론회에서 그들은 아직 의학 지식이 없었기 때문에 매우 화가 났고 혼란스러웠다. 그래서 그들은 아무 말도 하지 않았다…. 그들은 아무 말이나 생각하는 것을 두려워한다. (중동 가정교사 5)
The first year is difficult to students. They face many difficulties…. The system of education is different from the system in secondary schools. In the discussion meeting, they were very angry and confused, because they did not yet have any medical knowledge. So they did not say anything…. They are afraid to say anything, to think. (Middle East tutor 5)

그러나 중동 학생들은 불안감에 대처하기 위한 [불확실성 저감 전략]을 개발하여 토론회에서 불확실성을 해소하였다. 예를 들어, 토론 세션 전에 선배 학생에게 문제 사례의 토픽에 대해 물어보았다(사례가 매년 조금씩 바뀌었기 때문에).이것에 의해, 상급생은 세션을 준비할 수 있었습니다. 또한, 일부 학생들은 실제 세션 전에 비공식 미팅을 조직하여 모든 학습 주제가 다루어졌는지 확인하고 누가 무엇을 말할 것인지에 대해 합의함으로써, 튜터와의 공식적인 토론 세션의 불확실성을 대부분 없앴다. 한 3학년 학생은 다음과 같이 말했다.
However, the Middle Eastern students developed uncertainty-reducing strategies to cope with their anxiety, thereby mitigating their feelings of uncertainty in discussion sessions. For example, before the discussion session, they asked about the topic of the problem case from senior students – since the cases changed only slightly year to year – which enabled them to prepare for the session. Also, some students organized informal meetings before the actual session, in which they checked if all the learning topics had been covered and agreed on who would talk about what, thereby eliminating most of the uncertainties for the formal discussion session with the tutor. A third-year student commented:

보고 세션 전에, 우리는 학급 그룹과 작은 미팅을 갖고 정보에 대해 논의하려고 합니다. 그래서 세션 전에 우리는 모든 학습 목표를 달성하려고 노력하고, 그 후에 세션에서는 모두가 모든 점에서 문제를 논의할 준비가 되어 있습니다.(중동 3학년)
Before the debriefing session, we have a small meeting with a group of the class and try to discuss the information…. So before the session we try to fulfill all the learning objectives and after that, in the session, everyone is ready to discuss the problem from all points. (Middle East third-year student 3)

 

홍콩에서도 학생 사이에 불확실성이 발견되었지만, PBL의 실시 범위(이하의 실시 범위에 대한 설명 참조)에 의해, 학생의 목소리를 억제하지 않는 범위까지 불안감을 경감할 수 있었다. 네덜란드의 경우, 불확실한 느낌도 있었지만, 다른 두 기관에 비해 덜했다. 네덜란드 1학년 학생들은 [예상되는 토론의 깊이]에 대해 불확실하다고 말했다. 인터뷰와 관찰의 또 다른 결과는 3학년 학생들이 1학년 학생들보다 적극적으로 참여하고 토론에 소통하는 데 더 자신감이 있다는 것이다.

In Hong Kong, uncertainty among students was also found, but the scope of PBL implementation (see discussion on the scope of implementation below) enabled students to reduce their anxiety to the extent that it did not inhibit them from speaking up. In the Dutch case, feelings of uncertainty were also present, but to a lesser degree compared with the other two institutions. First-year Dutch students indicated that they felt uncertain about the expected depth of the discussion. Another result from the interviews and observations was that in all three institutions, third-year students were more confident than first-year students in participating actively and communicating in the discussions.

중동의 경우 주로 발견된 요인은 [전통]이었는데, 이는 불확실성과 강하게 관련되어 있었다. [불확실성]이 모호한 상황과 더 연관이 있었다면, [전통]은 전통을 존중하여 변화를 반대하고, 온건하고 겸손하며, 독실한 태도를 자극하는 것이었다. 이것은 질문을 억제하는 효과가 있었다. 한 직원은 [전통적인 종교적 관점]이 학생들이 토론에서 질문하기를 꺼리는 데 어떻게 기여할 수 있는지를 설명했습니다.
A factor that was mainly found in the Middle Eastern case was tradition, which was strongly related to uncertainty – though the latter related more to ambiguous situations, whereas the former was about opposing change out of respect for tradition, and stimulating a moderate, humble, and devout attitude. This had the effect of inhibiting questioning. A staff member explained how a traditional religious perspective could contribute to students' reluctance to ask questions in the discussion:

이슬람에서는 [하람]이 금지되어 있고, 만약 당신이 그것을 저지르면, 당신은… 그것은 악마이며… 당신은 결코 낙원을 볼 수 없을 것이다. [할랄]은 정반대입니다.그것은 받아들일 수 있는 것입니다.그것은 좋은 일입니다.그리고 그렇게 하면 낙원에 가게 됩니다. 아이의 첫 번째 달갑지 않은 질문(예를 들어, 신에 대한 질문, 생명을 발견하려는 아주 어린 아이들의 매우 환상적인 질문을 알고 있다)과 함께, 우리는 그에게 이것은 하람이며 금지되어 있다고 말한다. "당신은 이 질문을 해서는 안 된다." 그래서 질문 자체가 금지되어 있습니다. 아기에게 이 말을 계속하면 얼마 후 그는 하람이나 할랄로 생명을 빼앗고 하람을 피하려고 한다.(중동 직원 5)

In Islam, Haram is prohibited, and if you commit it, you will go to … it is evil … you will never see paradise. Halal is the opposite, it is something acceptable, it is good to do, and if you do it, you will go to paradise. With the first unwelcome question from a child [referring to previous quote: questions about God for example, you know the very fantastic questions of the very young children trying to discover life], we tell him that this is Haram and this is prohibited, ‘you should not ask this question’. So the question itself is prohibited. When you keep telling your baby this, after some time, he takes life as Haram or Halal and he tries to avoid what is Haram. (Middle East staff 5)

그러나 중동과 홍콩 참가자들 모두 [전통적인 가치관이 사회 전반에 걸쳐 변화하고 있다]는 점에 주목했다(아래 위계관계에 대한 논의 참조).
However, it was noted by both Middle Eastern and Hong Kong participants that traditional values were changing throughout society (see the discussion on hierarchical relations below).

선행 교육 제도
Prior education system


중등교육이 전통적이고 교사 중심일수록, 토론에 참가하는 데 있어서 장해가 되는 것을 알 수 있었다(표4). 중등교육은 중동과 홍콩 응답자 모두에게 교사 중심이라는 특징이 있었다. 네덜란드의 중등학교는 보다 학생 중심적인 것이 특징이며, 네덜란드 학생들은 중고등학교 교육을 PBL 토론에 참여하는 데 장애물로 보지 않았다. 그럼에도 불구하고 그들은 PBL 시스템에 익숙해질 시간이 필요했다. 학생들이 어려움을 겪는 정도에 영향을 미칠 수 있는 측면은 나이였다. 표 2는 중동 학생들이 대학에 입학할 때 홍콩이나 네덜란드 학생들보다 평균 연령이 낮았고, 이것은 부분적으로 더 높은 불안감의 원인이 될 수 있다는 것을 보여준다.

The results indicated that the more traditional and teacher-centered the secondary education of students had been, the more obstacles they experienced to participating in discussions (Table 4). Secondary school education was characterized as teacher-centered by both the Middle Eastern and Hong Kong respondents. Dutch secondary schools were characterized as more student-centered, and Dutch students did not see their previous education as an obstacle to participating in PBL discussions. Nevertheless, they also needed time to get used to the PBL system. An aspect that might also be of influence on the degree to which students experienced difficulties was age. Table 2 shows that the Middle Eastern students had a lower average age than the Hong Kong and Dutch students when entering university, which might partly account for a higher level of anxiety.

흥미롭게도, 홍콩과 중동의 경우, 국제 중등학교에 다닌 경험이 있거나 서양의 교육 경험이 있는 학생(표2)은, 영어의 유창함이나 태도에 있어서, 보다 목소리가 큰 것이 특징이다. 이것은 선행 교육 경험의 영향을 강조한다. 홍콩의 한 가정교사는 다음과 같이 설명했다.
Interestingly, in the Hong Kong and Middle Eastern cases, students who had attended international secondary schools or who had had Western educational experiences (Table 2) were characterized as more vocal, in terms of both fluency in the English language and attitude. This underlines the influence of prior educational experiences. A Hong Kong tutor explained:

(국제 중등학교에 다녔던) 학생들은 표현과 의사소통을 매우 잘 합니다. 그들은 그곳에 갈 수 있는 것이 얼마나 중요한지 알고 있다. 많은 지역 학생들은 아직 그것을 모른다. '만약 뭔가를 알면, 객관식 문제도 풀 수 있고, 좋은 직업도 가질 수 있을 것'이라고 생각해요.(홍콩 가정교사1)
These students are very much coached to express and communicate…. They know how important it is to be able to go out there. Many local students don't know that yet. They think, ‘If I know it, I can do multiple choice and I will have a good career.’ (Hong Kong tutor 1)

 

실시 범위
Scope of implementation

그 결과, PBL 세션이 아니라 [강의를 통해 학습 내용을 많이 다룰수록], 학생들이 자신의 지식을 구축하기 위해 PBL 세션에서 비판적이고 심도 있는 토론에 참여할 가능성은 낮아졌습니다(표 4). Hong Kong School의 하이브리드 강의 기반 접근법(표 1)에서는 학생들은 종종 PBL 세션에서 [강의에서 배운 사실적 지식을 반복]했으며, [비판적인 질문을 하거나 기존의 견해에 도전함으로써 자신의 지식을 구축하려는 시도]를 하지 않았다. 한편, 홍콩 하이브리드 어프로치는 불확실성을 줄여, 학생들이 토론에서 목소리를 내는 것을 두려워하지 않게 했다. 왜냐하면 강의의 결과로서 사전 지식이 높기 때문이다.

The results indicated that the more learning content was covered in lectures instead of in PBL sessions, the less likely students were to engage in critical and in-depth discussions during the PBL sessions to construct their own knowledge (Table 4). In the hybrid, partly lecture-based approach of the Hong Kong school (Table 1), the students often repeated factual knowledge from the lectures in the PBL sessions rather than asking critical questions about it or trying to construct their own knowledge by challenging existing views. On the other hand, the Hong Kong hybrid approach reduced uncertainty, making students less afraid to speak up in the discussions, because of their higher degree of prior knowledge as a result of the lectures.

그룹 관계 및 체면
Group relations and face

중동 학생들은 그룹 관계에 강한 가치를 두는 것으로 밝혀졌는데, 이는 그들이 아직 다른 그룹 구성원을 알지 못한다면 토론에 참여하는 것을 불편하게 만들 수 있다.
Middle Eastern students were found to lay strong value on group relations, which could make them feel uncomfortable about taking part in the discussion if they did not know the other group members yet.

특히 1학년 때는 우리 반에 아는 사람도 없었고, 아는 학생도 없었다. 우리는 모두 수줍음을 많이 탔고, 토론 시간에 전혀 말을 하지 않았다, 그것은 좋지 않았다. 부끄러워서 말을 많이 안 했어요.(중동 3학년 2)
Especially in the first year, I didn't know the people in my class, I didn't know anyone of the students. We were all very shy, we didn't talk at all in the discussion session, that was not nice. I felt shy, I didn't talk too much. (Middle East third-year student 2)

 

하지만 잠시 후, 학생들이 친구가 되고 서로를 신뢰하게 되자, 그들은 참여에 더 자신감을 느꼈다. 학교는 이러한 그룹 포커스에 맞게 정책을 조정했고, 네덜란드에서는 6주, 홍콩에서는 1학기까지 그룹이 함께 지낼 수 있도록 허용되어 토론에 편안하게 참여할 수 있는 안전한 그룹 환경이 조성되었습니다. 반면 네덜란드 학생들은 6주마다 그룹을 바꾸는 것에 만족한다고 말했는데, 이것은 그들에게 지속적인 참여 도전을 의미했다.

After a while, however, when students became friends and grew to trust one another, they felt more confident in participating. The school had adapted its policy to this group focus, and groups were allowed to stay together for one year, as opposed to six weeks in the Dutch case and up to one semester in Hong Kong, which created a safe group environment to comfortably participate in discussions. Dutch students on the other hand indicated they were happy about changing groups every six weeks, which for them meant a continuous challenge to participate.

홍콩에서도 학생들이 집단 관계에 집중하는 것을 발견했는데, 이는 주로 학생들이 [다른 사람 앞에서 자신과 다른 사람들의 체면을 유지하는 것]에 대한 우려로 표현되었다. 이는 그들이 목소리를 높이고, 질문을 하고, 동료들에게 도전할 준비가 덜 되었다는 점에서 그들의 행동에 영향을 미쳤다. 예를 들어, 학생들은 [체면을 구기는 것]을 우려했기 때문에, 내용과 발음이 모두 정확하다고 확신할 때에만 무언가를 말할 것이라는 것을 의미한다.
In Hong Kong too, students were found to focus on group relations, which was mainly expressed in students' concern about maintaining their own and others' face in front of the group. This affected their behavior in that they were less ready to speak up, ask questions, and challenge their peers. For example, concern about losing face meant that students would only say something if they were sure it was correct, both content-wise and pronunciation-wise (see the discussion on language of instruction below).

중국인에게 체면은 매우 중요합니다. 얼굴이란 내가 일을 잘못하면 모두가 나를 비웃을 것이고 나는 기분이 안 좋을 것이라는 뜻이다. 저는 제 자신을 부끄럽게 했고, 학교 교육도, 부모님도 부끄럽게 했습니다. 아마도 그것은 말을 많이 하지 않는 것과 관련이 있을 것이다. 우리 부모님은 항상 나에게 수다를 떨기보다는 듣는 것이 더 낫다고 가르치셨다. 일반적으로 중국인들은 좀 더 내성적이다. 두 번째, 말을 할 때는 말을 잘 해야 합니다. 말을 잘 못하면 말을 못하는 두 가지 이유가 있다. 내 생각에 그 중 하나는 그들이 매우 당황한다는 것이다. 그래서 단어를 발음하는 대신 시도조차 하지 않는다.(홍콩 직원 1)
You see, for the Chinese, face is very important. Face means that if I do a poor job everyone will laugh at me, and I'll feel terrible. I have shamed myself; I've shamed my school education, my parents. Probably that is related to not speaking too much. My parents have always taught me it's better to listen than to blablabla. Generally the Chinese are more reserved. Secondly, if you speak, then make sure you speak well. If you can't speak well then there's a double reason for not speaking. I think an element of that is that they're very embarrassed. So instead of pronouncing a word they don't even try. (Hong Kong staff 1)

 

게다가 홍콩 학생들은 [질문을 하는 것]을 지식 부족을 드러내는 것으로 해석해서 질문하기를 주저했고, 이는 그룹 앞에서 체면을 구기는 것으로 인식됐다. 홍콩과 중동의 학생들도 조화롭고 우호적인 그룹 관계를 중시했기 때문에 그들의 [그룹 구성원의 체면 상실에 대해 걱정]했다. 그 결과, 그들은 동료들과 직접 대화하거나, 비판적인 질문을 하거나, 그들의 발언을 반대하거나, 토론회에서 그들의 행동에 대해 언급하는 것을 꺼렸다. 네덜란드 학생들은 그룹 관계보다는 토론 과정에 더 관심이 많았고, 그룹 구성원에 대한 비판을 더 기꺼이 표현하는 것으로 밝혀졌다.

Furthermore, Hong Kong students were hesitant to ask questions, because they interpreted this as revealing a lack of knowledge, which they perceived as loss of face in front of the group. Hong Kong and Middle Eastern students were also concerned about their group members' face loss, because they valued harmonious and friendly group relations. Consequently, they were reluctant to challenge their peers by directly speaking to them, asking them critical questions, opposing their statements, or commenting on their behavior in the discussion session. Dutch students were found to be more concerned with the discussion process than with group relations, and were more ready to express criticism of group members.

당신은 그저 '당신은 너무 많은 말을 하고 항상 방해하고 있는 것 같아요'라고 말한다. 그냥 그렇게 말해. 그리고 당신은 '나는 당신이 항상 준비가 잘 되어 있고 그룹에 대한 당신의 기여가 마음에 든다'고만 말한다. 그래, 그냥 솔직하게 말해. (네덜란드 3학년 2)
You just say, ‘I think you talk way too much and you are interrupting all the time’. You just say that. And also, you just say, ‘I think you are really well prepared always and I like your contributions to the group’. Yeah, you just say it honestly. (Dutch third-year student 2)

그러나 중동과 홍콩 학생들은 PBL의 목적과 과정에 익숙해진 반면, 토론에서 비판적인 발언을 할 준비가 되어 있었다.
However, while gaining familiarity with the purpose and process of PBL, Middle Eastern and Hong Kong students were more ready to make critical comments in the discussion.

글쎄요, 가끔 동료들에게 말하기 어려운 것도 있지만, 그것이 동료들에게 도움이 되기 때문에, 나는 그들에게 말하지 않으면 안 됩니다.(중동 1학년)
Well, sometimes there are some things that are hard to say to my colleagues, but it is for their own good, so I have to tell them. (Middle East first-year student 2)

마지막 블록의 튜터 선생님은 비판을 매우 강조했습니다. 그는 의사로서 다른 사람의 의견에 감탄하지 말고 비판적인 사고를 가져야 한다고 말한다. 때로는 그렇게 직접적으로 비판하는 것이 부끄럽지만, 나는 이것이 피할 수 없는 단계라고 생각한다.부끄럽거나 도망치려고 하지 말고 익숙해져야 한다고 생각한다.(홍콩 1학년 7)
My tutor of the last block, he emphasized criticism very much. He says that being a doctor, you should have critical thinking instead of admiring others' opinions…. Sometimes it embarrasses me to criticize so directly, but I think this is a step that you cannot avoid so we should get used to it, not feeling ashamed or trying to escape from it. (Hong Kong first-year student 7)

성격의 차이
Personality differences

세 기관 모두 학생 개개인의 토론 행태에서 큰 차이가 관찰되었다. 성별에 따른 차이(표 2)는 발견되지 않았다. 매우 조용하거나 매우 지배적인 학생들은 그룹에 의해 평가받지 못했다(표 4).

In all three institutions, large differences in discussion behaviors were observed between individual students. Differences based on gender (Table 2) were not found. Very quiet or very dominant students were not appreciated by the group (Table 4).

나는 아무도 말을 하지 않는 그룹에 속했다. 말을 시키려면 사람들을 가리켜야 한다.
I was in a group in which nobody said anything, you had to point at people to get them to talk. (Dutch third-year student 3)

몇몇은 꽤 지배적이고 그들은 단지 말을 많이 할 것이다. 그럼 목소리를 낼 기회도 없어. (홍콩 3학년 2)
Some are quite dominating and they will just talk a lot. Then you don't have a chance to speak up. (Hong Kong third-year student 2)

수업에 쓰는 언어
Language of instruction

토론 행동은 수업에 쓰는 언어에 의해서도 영향을 받았다(표 4). 홍콩 세션은 대부분의 학생들과 튜터들의 제2외국어인 영어로 진행되었고, 이는 영어 실력이 기준에 미치지 못한다고 느끼는 사람들에게 문제가 되었다. 대부분의 교사들은 영어 수준이 적절했지만, 학생 개개인에 따라 큰 차이가 발견되었다(현지 학생과 국제 중등학교에 다녔던 학생의 언어 차이는 아래의 선행 교육 제도에 대한 논의를 참조). 체면을 구기는 것에 대한 우려는, 비록 그들이 정말로 할 말이 있다고 느꼈을지라도, 단지 [어떻게 말해야 할지 모른다는 이유]만으로 이 학생들이 침묵하게 만들 것이다. 중동의 경우, 학생들은 세션 동안 비공식적으로 아랍어를 말할 수 있게 되었고, 이는 상호작용과 참여를 강화시켰다.
Discussion behaviors were also affected by the language of instruction (Table 4). The Hong Kong sessions were conducted in English, the second language of most students and tutors, which was a problem for those who felt their English fluency was not up to standard. While most tutors had an adequate level of English, large differences were found between individual students (see the discussion on the prior education system below for language differences between local students and students who had attended international secondary schools). Concerns about loss of face would cause these students to remain silent – even if they felt they really had something to say – just because they did not know how to say it. In the Middle Eastern case, the students were informally allowed to speak Arabic during the sessions, which enhanced interaction and participation.

계층적 관계
Hierarchical relations

홍콩과 중동의 경우, 위계적 관계에 초점을 맞춘 것이, 튜터에게 접근하는 방법에 있어서 학생들의 토론 행동에 영향을 주는 것으로 밝혀졌다. 1학년 학생에 대해 설명했듯이 학생들은, 자신보다는, 튜터를 지식의 원천으로 의존하는 경향이 있었다.

In the Hong Kong and Middle Eastern cases, a focus on hierarchical relations was found to influence students' discussion behaviors in terms of how they approached the tutor. Students were inclined to depend on their tutor as a source of knowledge, rather than on themselves, as this tutor explained about first-year students:

그들은 뭔가 말하고 싶거나 의논하고 싶을 때마다 나를 쳐다본다. 나는 그들에게 나를 보지 말라고 말하려고 한다. 나는 세션의 중심이 아니라 그들이 세션의 중심이다. 하지만 그들은 여전히 선생님이 모든 것의 중심이 되어야 하고, 답을 주는 사람이어야 하며, 그들보다 우위를 점해야 한다고 생각합니다. 지금도 이런 느낌이지만, 제가 말씀드린 것처럼 조금 지나면 그 반대의 느낌이 들 거라고 생각합니다.(중동 과외3)
Every time they want to say something or to discuss anything, they look at me. I try to tell them not to look at me. I am not the center of the session, they are the center of the session…. But they still feel that the teacher should be the center of everything, should be the one to give the answers, and should be the one who has the upper hand on them…. They still feel like this, but I think it will take a transition time, as I told them, after a while, you will feel the reverse. (Middle East tutor 3)

그 결과는 실제로 학생들이 토론하는 동안 튜터 대신 [스스로에게 의지하는 법을 점점 더 많이 배웠다는 것]을 보여주었다. 홍콩에서는 PBL 도입 이후 학생과 교직원 간의 관계가 전반적으로 위계성이 낮아지고 있다는 점에 주목했다.
The results did indeed show that students increasingly learned to depend on themselves instead of on the tutor during the discussions. In Hong Kong, it was noted that relations between students and staff had generally become less hierarchical since the implementation of PBL.

정말 좋은 건 지난 10년 동안 학생들이 날 보고 웃었다는 거야. 길거리와 병동에서 학생들이 저를 보고 웃는 것을 보고 '왜 저 남자가 저를 보고 웃는 거죠? 맞아, 그는 내 PBL 그룹에 있었어. 'X교수님 안녕하세요'라고 합니다. 대단하지 않나요? 옛날에는 X교수가 강의하는 것을 알면 내가 질문할까 봐 도망가려고 했을 것이다. (홍콩 직원 1)
What is so nice is that in the last ten years I've students smiling at me, you know. I see students smiling at me on the streets and on the wards, and I say ‘Why is that guy smiling at me? Oh yes, he was in my PBL group’. They say ‘Hi Professor X’. Isn't that nice? In the old days, if they know you're Professor X giving a lecture, they would be trying to run away, because they're afraid I would ask them a question. (Hong Kong staff 1)

중동과 홍콩의 사례에서 위계(및 그룹) 관계의 중요성의 또 다른 효과는 학생들이 튜터를 도전해서는 안 된다고 느꼈다는 것이다. 선생님에 대한 존경심은 학생들에 의해 높이 평가되었고, 학생들이 선생님에 대해 실제로 반대할지라도 공개적으로 반대하는 것은 무례한 것으로 간주되었다.
Another effect of the importance of hierarchical (and group) relations in the Middle Eastern and Hong Kong cases was that students felt the tutor should not be challenged. Respect for the teacher was valued highly by the students, and openly disagreeing with a teacher was considered disrespectful, even though students might actually disagree with the teacher.

나는 일반적으로 중국인들이 도전challenge하려는 의지가 적다고 생각한다. 그들은 끝까지 질문을 안 할 것이다. 그들이 반드시 독자 분께 납득이 가는 것은 아니지만, 그들의 의견 차이를 말하지 않을 수도 있습니다. 그것은 위계적 수준속에서 평온하다는 증거이다. 그들은 더 조용하다. (홍콩 가정교사 1)
I think Chinese people in general are less willing to challenge. They are the last ones to question. It is not that they are necessarily convinced by you, but they may not voice their disagreement. It is proof of serenity on hierarchical level. They are quieter. (Hong Kong tutor 1)

흥미롭게도, 홍콩과 중동의 경우, 응답자들은 그들의 사회가 전통적인 가치에서 벗어나고 있으며, 사람들은 더욱 목소리를 높이고 권위에 도전하려고 하고 있으며, 이는 토론이나 다른 곳에서 학생들의 행동에 반영되었다.
Interestingly, in both the Hong Kong and Middle Eastern cases, respondents characterized their society as moving away from traditional values, with people becoming more vocal and willing to challenge authority, which was reflected in students' behavior in the discussions and elsewhere.

확실히 90년대 이후 세대의 학생들은 권위에 도전할 용의가 훨씬 더 많다. (홍콩 과외 3)
Certainly the post-nineties generation of students is far more willing to challenge authority. (Hong Kong tutor 3)

이 세대의 학생들은 우리 세대와는 다르다. 그들 세대는 더 자신감이 있다…. 몰라, 우리는 노인들에 대해 더 존경심을 느꼈어. (중동 가정교사1)
Students in this generation are different from our generation. They are more confident as a generation…. I do not know, we felt more respect for the older people. (Middle Eastern tutor 1)
 
네덜란드의 경우, 튜터에 대한 비판적인 태도는 드물지 않았고, 심지어 몇몇 튜터는 격려하기도 했다.

In the Dutch case, a critical attitude towards the tutor was not unusual, and was even encouraged by some tutors

제가 항상 말하죠. 제 모든 그룹에게요. 예를 들어, 제가 어떻게 하고 있는지에 대해 동의하지 않는 것이 있다면, 그렇게 말씀하셔야 합니다. 그리고 학생들은 그렇게 한다. (네덜란드 과외 4)
I always say, every time to all of my groups, like, if there is anything you don't agree with, about how I'm doing it, you should say so. And students do that. (Dutch tutor 4)


네덜란드 사회는 일반적으로 비서구 사회보다 덜 위계적인 것으로 특징지어졌고, 이것은 학생들이 토론하는 동안 그들의 지도교사에게 접근하는 방법에 영향을 미쳤다고 주장되었다.
Dutch society was generally characterized as less hierarchical than non-Western societies, and it was argued that this affected how students approached their tutor during the discussions.

모든 사람이 평등하고 모든 사람의 의견이 중요하며 모든 사람이 발언권을 가지고 있기 때문이라고 생각합니다. 그리고 종종 임상의사이기도 하고 물론 제 위에 서기도 하지만 그 차이는 그리 크지 않습니다. 우리는 그를 비판하거나 비판적인 질문을 하지 않을 정도로 수줍음을 타지 않는다. (네덜란드 3학년 5명)
I think it is due to, everybody is equal and everyone's opinion is important and everyone has a voice…. And there is the tutor, who often is a clinician and of course he stands above me, but the gap is not very big. We are not so shy as to never dare to criticize him or never dare to ask a critical question. (Dutch third-year student 5)

 

튜터의 행동
Tutor behaviors

각 기관마다 튜터의 토론 진행 방법에 큰 차이가 있었고, 학생의 토론 행동에 큰 영향을 주었다. 학생이 발언할 기회가 전혀 없을 정도로 토론을 지배하고 있는 튜터도 있는 반면, 다른 튜터들은 학생들이 막혔을 때 토론을 자극하거나 설명하지 않고, 의욕이 결여된 채 수업 중에 소극적인 태도를 보였다. 어떤 행동도 학생들이 활발한 토론에 참여하도록 자극하지 않았다.
Within each of the institutions, large differences were found in the way tutors facilitated the discussion sessions, and this had a major impact on students' discussion behaviors. While some tutors dominated the discussion to the extent that students had no opportunity to speak at all, other tutors displayed a lack of motivation, remaining passive during the sessions, neither stimulating the discussion nor giving explanations when students got stuck (Table 4). Neither type of behavior stimulated students to engage in a lively discussion.

한때는 모든 토론을 직접 하는 튜터가 있었다. 그리고 우리는 그녀의 말을 잘 듣고 있었고, 우리는 그녀가 말하는 것에 대해 확신하고 있었지만, 우리는 토론하고 있지 않았습니다. 만약 튜터가 말하고 싶어 하면, 우리는 그녀에게 닥치라고 말할 수 없다. (중동 3학년 2)
I once had a tutor who would do the entire discussion herself. And we just listened to her, she was talking very well and we were convinced by what she was saying, but we were not discussing you know…. If the tutor just wants to talk we can't tell her or him to shut up. (Middle East third-year student 2)

성과와 경쟁
Achievement and competition

홍콩과 중동에서는, 응답자의 사회가 성취에 중점을 두는 것이 특징이며, 성공과 최고가 높이 평가되고 있다고 느끼고 있다.
In Hong Kong and the Middle East, respondents felt their society was characterized by a strong focus on achievement, and being successful and being the best were highly valued.

홍콩 학생이나 홍콩 선생님, 홍콩 학부모들이 성적과 시험 성적, 성적에 많은 스트레스를 주는 것은 일반적인 조건이라고 생각합니다. (홍콩 3학년 1)
I think it is a general condition that Hong Kong students or Hong Kong teachers or Hong Kong parents lay a lot of stress on your grades and the exam results, on your performance. (Hong Kong third-year student 1)

모든 학생은 자신의 커리어에서 가장 위대한 학생이 되고자 하며 훌륭한 교수가 되고자 한다. 우리 교수진에서 나는 최고의 의사가 되는 것을 꿈꾼다. (중동 3학년)
Every student seeks to be the greatest one in his career and wants to be a great professor. In our faculty, I dream of becoming the greatest doctor. (Middle East third-year student 3)

경쟁은 성취와 밀접한 관련이 있었고, 학생들은 그들의 또래들 사이에서 최고가 되기 위해 지속적으로 경쟁했다. 토론 세션 후 일부 학생들은 동료들과 정보를 공유하는 것을 꺼렸다.
Competition was closely related to achievement, with students continuously competing to be the best among their peers. A consequence for the discussion sessions was that some students were reluctant to share the information with peers.

학생들 중 최고가 되겠다는 생각을 하게 되면, 세션 사이에 발견한 정보를 비밀로 하게 된다.그걸 혼자만 알고 있는 거예요. 그들은 다른 학생들과 정보를 교환하는 것은 다른 학생들이 너보다 더 잘할 것이라고 생각한다. (중동 3학년)
The idea of being the best one on the list, or the top of the list, in the minds of some students is that you have to keep the information that you find between the sessions secret, you keep it to yourself. They think that exchanging information with other students will mean that the other students will be better than you. (Middle East third-year student 3)


성취와 경쟁의 문화적 요소들은 네덜란드 학생들 사이에서 덜 두드러지는 것으로 확인되었지만, 이 학생들 역시 시험에 초점을 맞춘 것으로 특징지어졌다. 그러나, 모든 기관에서, 궁극적으로 시험 지향의 초점이 어느 정도까지 토론 행동을 억제하거나 강화했는지를 결정하는 것은 평가 시스템의 특성이었다.

The cultural factors of achievement and competition were found to be less prominent among the Dutch students, although these students too were characterized as exam focused. In all the institutions, however, it was the nature of the assessment system that ultimately determined to what extent an exam-directed focus inhibited or enhanced discussion behaviors.

평가 시스템
Assessment system

토론 세션에서의 평가는 토론 행동에 영향을 미쳤다(표 4). 홍콩의 경우, 지도교사가 학생들의 참여와 의사소통 측면을 지속적으로 평가하여 학생들의 최종 성적에 기여하였다. 이 평가와 성취에 초점을 맞춘 결과, 홍콩 1학년 학생들은 토론에 참여할 것에 대한 불안감을 극복하고 동료들의 참여와 토론, 도전을 갈망하게 되었다.

Assessment during the discussion sessions influenced discussion behaviors (Table 4). In the Hong Kong case, the tutor continuously assessed students on participation and communication aspects, which contributed to students' final grades. As a result of this assessment and their focus on achievement, first-year Hong Kong students managed to overcome their anxiety about contributing to the discussions, and became keen to participate, debate, and challenge their peers.

처음 2년 동안은 말을 많이 할수록 점수가 높아지기 때문에 말하기 위해 싸우고 있다.(홍콩 3학년)
In the first two years … you are just fighting to talk, because the more you talk supposedly the higher the mark you get. (Hong Kong third-year student 4)

대부분의 학생들은 지속적인 평가에 집중한다. 그들은 항상 점수 때문에 걱정한다. 그래서 우리는 튜토리얼에서 무언가를 말해야 한다.그렇지 않으면 그날 점수가 나오지 않을 것이다.(홍콩 1학년4)
Most of the students focus strongly on the continuous assessment. They are always worrying about the scores… They say, ‘So we have to say something in the tutorial, otherwise there will no score that day.’ (Hong Kong first-year student 4)

반면 홍콩 3학년생은 1학년생보다 활동성이 떨어지는 것으로 나타났다. 그들은 PBL 평가에서 낙제하는 것은 사실상 불가능하다는 것을 알아냈다. 왜냐하면 매우 극단적인 경우에만 튜터가 학생들을 낙제시키기 때문이다. 이것은 학생들이 수업 시간에 열심히 할 필요가 없게 만들었다. 네덜란드 사례에서도 학생들은 세션에서 자신의 행동에 대한 평가가 실질적인 결과를 가져오지 않는다고 느꼈다. 중동의 경우, 학생들은 토론에 대한 기여의 내용에 대해 평가받지 못했다는 것을 깨달았기 때문에 목소리를 낼 수 있다는 자신감을 느꼈다.

Third-year Hong Kong students, by contrast, were observed to be less active than the first-year students. They had discovered that, in practice, it was virtually impossible to fail the PBL assessment, because only in very extreme cases tutors would fail students. This made it unnecessary for the students to try hard in the sessions. In the Dutch case too, students felt that the assessment of their behavior in the sessions had no substantial consequences. In the Middle Eastern case, students felt more confident to speak up as they realized they were not assessed on the content of their contributions to the discussion.

우선 나는 우리 반에서 말을 많이 하지 않았다. 하지만 그 후, 학위나 시험과 관련된 것이 아니라는 생각을 하게 되었습니다. 우리는 그 주제에 대해 우리가 알고 있는 것에 대해 자유롭게 말할 수 있을 뿐이다.(중동 3학년 10)
First I was not talking much in our class. But after, I got the idea that it is not something related to degrees and exams and something like that. We are just free to talk about what we know about that subject. (Middle Eastern third-year student 10)

 

논의
Discussion

주요 조사 결과
Main findings

이 연구의 목적은 PBL 토론에서 3개 문화에 걸친 학생들의 문화적 배경이 어떻게 표현되었는지, 그리고 이것이 학생들의 토론 행동과 기술을 어떻게 형성했는지 조사하는 것이었다. 학생들의 배경과 관련된 4가지 문화적 요소가 학생들에 의해 외부화 되어 토론 과정에 방해가 되었다. [불확실성과 전통, 그룹 관계와 체면, 위계적 관계, 성취와 경쟁]은 일반적으로 학생들이 토론에서 목소리를 높이고 질문을 하고 다른 사람들에게 도전하는 것을 방해하는 것으로 밝혀졌다. 다만, 중동의 경우는 그룹 관계에 초점을 맞추고, 홍콩의 경우는, 평가 제도의 성격과 함께 성과에 초점을 맞추고 있는 것으로, 논의의 역학 관계도 개선되고 있는 것을 알 수 있었다. 네덜란드 사례의 문화적 가치는 이 연구에서 확인된 네 가지 문화적 요인의 덜 존재하는 것을 반영하는 것으로 보였으며, 이는 일반적으로 토론 역학을 강화하는 것으로 밝혀졌다.
The aim of this study was to investigate how the cultural backgrounds of students across three cultures were expressed in the PBL discussions, and how this shaped students' discussion behaviors and skills. Four cultural factors related to students' backgrounds were externalized by the students, causing interference with the discussion process. Uncertainty and tradition, group relations and face, hierarchical relations, and achievement and competition were generally found to inhibit students from speaking up, asking questions, and challenging others in discussions. However, a focus on group relations in the Middle Eastern case and, in the Hong Kong case, a focus on achievement coupled with the nature of the assessment system were found to improve discussion dynamics as well. Cultural values in the Dutch case seemed to reflect a lesser presence of the four cultural factors identified in this study, which in general was found to enhance discussion dynamics.

이전의 연구에서는 이러한 [문화적 요소들이 의사소통 행동과 관련이 있다]는 사실도 밝혀졌습니다. 예를 들어, 황 교수와 다른 사람들(2003)은 체면 감퇴에 대한 우려와 질문하기를 꺼리는 것의 관계를 지적했다. 구디쿤스트의 문화 간 의사소통 이론은 불확실성, 집단 관계, 그리고 위계 관계 사이의 관계를 그리고 다른 한편으로는 낯선 사람이나 더 높은 지위의 사람들과의 의사소통에 대한 더 높은 수준의 불안감을 가정한다. Fassinger(1995)는 성취와 교실 상호 작용 사이의 관계를 보고했으며, 만약 학생들의 성적이 긍정적인 영향을 미칠 것이라고 인식한다면 학생들의 참여가 증가하였다. [불확실성과 전통]뿐만 아니라 [그룹 관계와 체면]이라는 문화적 요소는 각각 두 개의 개별적인 요소를 포함한다고 주장할 수 있다. 그러나 조사 대상 주제에 대한 상호 관련성이 높기 때문에, 본 연구에서는 문화 및 문화 요소를 분류하고 개념화할 수 있는 다양한 가능성과 관점이 존재함을 유의해야 한다.

Previous research has also found these cultural factors to be related to communication behaviors. Hwang and others (2003), for example, pointed to a relation between concern about face loss and reluctance to ask questions. Gudykunst's intercultural communication theory posits relationships between uncertainty, group relations, and hierarchical relations on the one hand and higher levels of anxiety about communicating with strangers or higher status persons on the other hand (Gudykunst 2005). Fassinger (1995) reported a relationship between achievement and classroom interaction, with students' participation increasing if they perceived it would have a positive effect on their grades. The cultural factor of uncertainty and tradition, as well as group relations and face, can be argued to include two separate factors each. Because of the high degree of interrelatedness with regard to the topic under investigation, however, in this study they were conceptualized as single factors, though it should be noted that a range of different possibilities and perspectives for categorizing and conceptualizing culture and cultural factors exists (e.g. Geertz 1973; Hofstede 2001; Trompenaars and Hampden-Turner 1998).

문화적 요인 외에도, 학생들의 토론 행동을 억제하거나 강화하는 6가지 맥락적 요인이 확인되었다. 모든 요소가 상호 관련성이 있기에, [문화적인 요소]와 [맥락적인 요소]를 구별한다는 것이 때로는 어려웠지만, 이 여섯 가지 요소는 문화보다는 [조직적인 결정이나 개인의 특징]과 더 관련이 있었다. 3개 기관 모두 중등 학교의 성격, PBL의 실시 범위, 학생의 인성, 지도 언어, 지도자의 행동, 평가 시스템이 논의에 영향을 미치는 것으로 나타났다.
In addition to cultural factors, six mediating contextual factors were identified that, depending on their nature, either inhibited or enhanced students' discussion behaviors. While the distinction between cultural and other contextual factors was sometimes hard to make considering the interrelatedness of all factors, these six factors related more to either organizational decisions or individual characteristics rather than culture. In the three institutions alike, the nature of the secondary school system, the scope of PBL implementation, students' personalities, language of instruction, the behavior of tutors, and the assessment system were found to impact on the discussions.

이것은 이전의 연구보고에 따르면 다음과 같은 강력한 영향력과 일치한다.

  • 중동 및 홍콩 학생을 대상으로 한 전통적인 교사 중심 및 시험 중심 중등학교
  • 서양 교육 모델에서 비서양 학생의 언어 문제
  • PBL 실행 범위, 학생 간의 성격 차이, 평가 시스템, 토론 세션에서 튜터의 주요 중재 역할의 중요성

This is consistent with previous research reporting the strong influence of

  • traditional, teacher-centered and exam-focused secondary schools on students in the Middle East and Hong Kong (Al Kadri et al. 2011; Bridger 2007; Chan 1999; Leung, Ginns, and Kember 2008);
  • language difficulties of non-Western students in Western educational models (Bridger 2007; Khoo 2003; Ladyshewsky 1996); and
  • the importance of the scope of PBL implementation, personality differences between students, the assessment system, and the major mediating role of the tutor in discussion sessions (Dochy et al. 2003; Dolmans et al. 2005; Moust, Van Berkel, and Schmidt 2005).

[개인 간 차이]가 [선호하는 의사소통 스타일에 대한 문화적 차이]보다 크다는 것을 발견한 이전 연구에서 [성격차이]의 역할이 더욱 강조되었다(Park et al. 2012).

The role of personality differences is furthermore emphasized by previous research that found individual variations to be larger than cultural variations in preferences for direct communication styles (Park et al. 2012).

현재의 연구는 맥락적 요인, 문화적 요인, 그리고 학생 중심의 교육 모델 사이의 상호작용이 학생들이 PBL의 토론 측면을 어떻게 내면화하고 결과적으로 그들의 토론 기술이 어떻게 발전하는지를 결정한다는 것을 보여주었다. 각 교육기관에서는 1학년에서 3학년으로 넘어감에 따라 이러한 능력이 증가하는 것으로 나타났다. 일반적으로 학생들은 자신감을 얻었고, 토론에 참여하고, 질문을 하고, 다른 사람의 발언이나 행동에 대해 비판하고, 이의를 제기하는 데 있어서 때로는 그들 자신의 대처 전략에 의해 도움을 받는 것을 더 편안하게 느꼈다. 그러나 토론행태와 기술발달률에서 3개 기관의 학생들은 상당한 차이를 보였다. 
The current study showed that interactions between contextual factors, cultural factors, and the student-centered educational model determined how students internalized the discussion aspect of PBL, and consequently how their discussion skills developed. In each of the institutions, these skills were found to increase as students moved from first to third year. Generally, students gained confidence and felt more comfortable – sometimes helped by their own coping strategies – in participating in the discussions, asking questions, and criticizing and challenging the statements or behaviors of others. The students at the three institutions differed considerably, however, in the rate of development of discussion behaviors and skills.

비서구 의과대학에서 [4대 문화요소의 영향]이 서구 의과대학보다 강하다는 것은, 일반적으로 비서구 학생들이 학생 중심의 토론에 더 많은 어려움을 겪었다는 것을 의미하며, 이는 교사 중심의 중등교육 시스템의 전통적인 특성으로 인해 더욱 커진 문제이다. PBL의 실시 범위에서의 두 비서방 기관 간의 차이는 토론 행동과 기술 개발의 차이를 고려했다. 홍콩에서의 하이브리드 실장은 학생들이 적극적으로 토론에 참여하도록 자극했지만, 중동(또는 네덜란드)의 경우와 같이 '온전한' PBL의 도입은 학생들이 토론을 통해 지식을 쌓도록 장려하여 학생들이 더 비판적으로 참여하도록 자극했다.정기적인 논의

The stronger impact of the four cultural factors in the non-Western schools compared to the Western school generally meant that students experienced more difficulty in engaging in student-centered discussions, a problem that was augmented by the traditional nature of their teacher-centered secondary school systems. The difference between the two non-Western institutions in the scope of PBL implementation accounted for differences in the development of discussion behaviors and skills. While the hybrid implementation in Hong Kong stimulated students to actively engage in discussions because the lectures reduced their feelings of uncertainty, the ‘full’ PBL implementation in the Middle Eastern case – and in the Dutch case – encouraged students to use the discussions to build knowledge, which stimulated them to engage in more critical discussions.

 

시사점
Implications

문화적 및 상황적 과제
Cultural and contextual challenges


이 연구결과는 [학생 중심 교육의 문화 간 적용 가능성에 대해 제기된 의구심]을 정당화한다. 그들은 또한 학생 중심의 토론 기반 교육 모델이 서구 문화보다 비서양 문화에서 더 많은 어려움이 많고, 학생들의 토론 행동과 기술 면에서 다른 과정과 결과를 초래한다는 것을 보여준다. 서구 사례와 두 개의 비서구 사례의 비교는 학생 중심의 토론에서 학생들의 행동과 기술에 영향을 미치는 [문화 간 차이의 개념적 모델]을 산출했다. 이 연구는 다른 맥락적 요소를 모델에 포함시킴으로써 [문화적인 요소]와 [연관된 맥락적 요소]의 주요 매개 역할을 강조하고, [문화적 요소와 토론 행동 및 기술 간의 관계가 간단하지 않다]는 가정을 정당화한다. 게다가 [맥락적 요인이 상당부분 관여한다는 것]은, 학생 중심의 토론 기반의 교육 방법이 [그 방법과 문화적 가치가 양립할 수 있는 서양 문화]를 포함하여, [모든 문화에서 어려움이 발생할 가능성]이 높으며, 여기에 [맥락적 요인이 더해져서 학생들의 적응을 복잡하게 할 수 있다]는 것을 암시한다. 그러나, 이러한 과제에도 불구하고, 이 연구는 다른 문화권에서 고등교육에서 학생 중심의 접근방식을 사용하는 것이 상당히 실현 가능하다는 것을 증명하는 것으로 보인다. 이 주장은 세 기관이 각각 10년 이상 이 모델을 적용해왔다는 사실에 의해 뒷받침된다. 분명히, 어려움은 학생 중심의 고등교육에서 문화적으로 다르고, 맥락에 따라 다르면서도 탄탄한 토론 과정과 공존할 수 있다.

The findings justify doubts that have been expressed (see the introductory discussion) about the cross-cultural applicability of student-centered education. They also show that a student-centered, discussion-based educational model poses more challenges in non-Western cultures than in a Western culture, leading to different processes and outcomes in terms of students' discussion behaviors and skills. The comparison of a Western case and two non-Western cases yielded a conceptual model of cross-cultural differences affecting students' behaviors and skills in student-centered discussions. By incorporating other contextual factors in the model, the study underscores the major mediating role of contextual factors in relation to cultural factors, and justifies the assumption that the relationship between cultural factors and discussion behaviors and skills is not straightforward. Moreover, the substantial involvement of contextual factors implies that a student-centered, discussion-based educational method is likely to pose challenges in any culture, including Western cultures in which cultural values might be compatible with the method, but other contextual factors could complicate students' adaptation. Despite these challenges, however, this study appears to demonstrate that it is quite feasible to use a student-centered approach in higher education in different cultures – a claim that is supported by the fact that the three institutions had each been applying the model for over a decade. Apparently, difficulties can coexist with cross-culturally different, context-specific, yet solid discussion processes in student-centered higher education.

개인주의의 복잡성-집단주의
The complexity of individualism–collectivism

이 연구는 집단주의적 동양문화와 개인주의적 서양문화의 구분이 학생들의 의사소통 행동에 반영되어 집단주의적 성향으로 인해 학생 중심의 교육이 비서양적 환경에서 더 많은 도전을 초래할 것이라는 기대를 확인하는 것으로 보인다. 이전의 연구는 [불확실성과 전통, 집단 관계와 체면, 위계 관계]와 같은 문화적 요소들이 모두 [집단주의]라는 문화적 개념과 관련이 있으면서, 상호 연관되어 있다는 것을 보여주었다. 하지만, 두 비서구적인 사례들은 또한 [경쟁과 성취]에 강한 초점을 두고 있었으며, 이는 종종 집단주의보다는 [개인주의]와 관련이 있다.
This study appears to confirm the expectation that a distinction between collectivistic Eastern cultures and individualistic Western cultures would be reflected in students' communication behaviors, and consequently, that student-centered education may pose more challenges in non-Western settings due to their collectivist orientation. Previous research showed that the cultural factors of uncertainty and tradition, group relations and face, and hierarchical relations are interrelated, while they were all related to the cultural concept of collectivism (Gudykunst 2005; Oetzel et al. 2001). However, the two non-Western cases were also characterized by a strong focus on competition and achievement, which is often associated with individualism rather than collectivism (Fontaine et al. 2008; Liao and Bond 2011).

이전의 많은 연구들은 [집단주의와 개인주의의 개념]이 일반적으로 생각하는 것보다 훨씬 더 복잡하다는 것을 시사했다. 예를 들어, 참여자들이 개인주의와 집단주의적 얼굴의 관심사 모두에서 높은 점수를 받은 홍콩의 연구들에서 증명되었다. 따라서, 어떤 사회는 어떤 측면에서는 집단주의로 정의될 수 있지만, 다른 측면에서는 개인주의로 정의될 수 있는데, 이것은 이 연구의 결과와 일치하는 것처럼 보인다. 문제는 이것이 토론 중심, 학생 중심 교육의 간문화적cross-cultural 구현에서 어떻게 이루어지느냐는 것이다. 본 연구의 결과는 성취의 개인주의적 요소에 초점을 맞추는 것이 집단주의적 요소의 효과를 완화할 수 있음을 보여준다. 다만, 이는 특정 맥락적 요소에 크게 의존적이며, 특히 평가 시스템이 그러하다. 추가 연구는 어떻게 집단주의와 개인주의적인 요소들이 문화 전반에 걸친 고등교육에서 토론 과정을 최적화하기 위한 균형으로 사용될 수 있는지 조사할 수 있다.

A number of previous studies has suggested that the concepts of collectivism and individualism are far more complex than is generally thought, as for example is evidenced by studies in Hong Kong, in which participants scored high on both individualism and collectivistic face concerns (Hwang, Francesco, and Kessler 2003; Liao and Bond 2011). Thus, some societies may be defined as collectivistic in certain aspects, but as individualistic in others, which seems consistent with this study's findings. The question is how this plays out in the cross-cultural implementation of discussion-based, student-centered education. The results of the current study suggest that a focus on the individualistic factor of achievement – which also other studies have found to be of major importance in Hong Kong and of influence on Hong Kong students (Brown and Wang 2011) – can mitigate the inhibiting effects of collectivistic factors, although this depends heavily on certain contextual factors, notably the assessment system. Further research might investigate how collectivistic and individualistic factors can be used as a balance to optimize discussion processes in higher education across cultures.

학습 접근법의 유연성
The flexibility of learning approaches

학생 중심 교육은, 비서구 환경에 있는 학생이나 교사와 특정의 과제에 직면하고 있는 것처럼 보이지만, 그 결과, 비서구권 학생은 어느 정도, 커뮤니케이션이나 토론에 관한 학습 행동을 서구 학생 중심 모델에 맞추어 조정하고 있는 것을 알 수 있다. 그러나 동시에, 비서양의 문화적 배경과 맥락적 배경은 이러한 행동과 기술의 개발을 방해할 수 있다. 흥미롭게도, 이전 연구들은 [서양에서 공부하던 중국 학생들]이 서양의 방식에 맞게 다른 학습 방식을 적응시킬 수 있거나, 적어도 [같은 과정을 중국에서 수강하는 학생들]보다 그들의 방식을 더 잘 적응시킬 수 있다는 것을 보여주었다. 그래서, 학생들이 다른 문화 환경에서 배우는 경우 그들의 학습 방식을 매우 바꿀 수 있는 반면, 그들 자신의 문화 환경(학습 및 토론 접근방식이 덜 유연하지만, 여전히 변화할 수는 있는)에 새로운 방법을 적용하면 더 많은 문제에 직면할 수 있다.

Although student-centered education seems to confront students and teachers in non-Western settings with specific challenges, the results indicate that non-Western students, to a certain degree, do adapt their learning behaviors in respect of communication and discussion to fit with the Western student-centered model. At the same time, however, a non-Western cultural and contextual background may inhibit the development of these behaviors and skills. Interestingly, previous studies have showed that Chinese students who were studying in the West were very capable of adapting their different learning approach to fit with the Western method (Gieve and Clark 2005; Gu and Schweisfurth 2006), or at least adapted their approaches more than students taking the same course in China (Wang, Harding, and Mai 2012). So, while students might be very able to change their learning approach when learning in a different cultural environment, they may encounter more problems when a new method is applied in their own cultural setting, in which their learning and discussion approaches seem to be less flexible, but still able to change.

제한사항 및 결론
Limitations and conclusions

본 연구의 한계는 자체 보고 인터뷰 데이터에 대한 의존도가 높다는 점이며, 이는 주의 깊게 해석되어야 한다. 그러나 데이터의 신뢰성은 서로 다른 소스 및 서로 다른 참가자 그룹의 데이터를 삼각측량함으로써 향상되었다. 두 번째 한계는 종적이 아닌 단면적 학생 표본이 개별 학생의 실제 장기 발달에 대한 조사를 방해했다는 것이다. 그러나 면접에서 3학년 학생들은 대학에 입학한 이후 그들의 발전에 집중하라는 요구를 분명히 받았다. 1학년이 된 기분이 어땠는지에 대한 그들의 기억은 연구에서 1학년 학생들이 표현한 견해와 대체로 일치했다.
A limitation of the study is its heavy reliance on self-reported interview data, which should be interpreted with caution. The trustworthiness of the data, however, was enhanced by triangulation of data from different sources and different groups of participants. A second limitation is that the cross-sectional rather than longitudinal student sample prevented investigation of the actual long-term development of individual students. However, in the interviews the third-year students were explicitly asked to focus on their development since their enrolment in university. Their recall of what it felt like to be a first-year student generally coincided with the views expressed by the first-year students in the study.

이 정성적 연구의 결과는 일반화에 도움이 되지 않는다. 그러나, 연구자는 관련 인자에 대한 두꺼운 설명을 제공함으로써 연구의 전이가능성이 향상되었기 때문에, 자신의 환경에 적용할 수 있다고 생각하는 측면과 시사점을 결과로부터 얻을 수 있다. 미래의 연구는 비슷한 문화적 환경뿐만 아니라 다른 다양한 상황에서 더 많은 사례를 조사할 수 있으며, 나아가 논의의 측면을 넘어 학생 중심 교육의 다른 측면에 초점을 맞출 수도 있다. 이 연구에서 제시된 개념 모델은 그러한 연구의 출발점이 될 수 있다.
The findings from this qualitative study do not lend themselves to generalization. However, researchers might take from the results those aspects and implications they deem applicable to their own setting, as the study's transferability was enhanced by providing thick description of the factors involved. Future research might investigate more cases in different as well as in similar cultural settings, and furthermore focus on other aspects of student-centered education beyond the discussion aspect. The conceptual model presented in this study could serve as a starting point for such research.

이번 연구결과는 여러 문화에 걸쳐 고등교육자들이 문화간cross cultural 차이에 대한 미래 연구는 [맥락적 요소의 역할]을 고려해야 하며, 특히 [문화적 요소의 영향을 중재하는 맥락적 요소]를 연구해야 한다. 다른 문화 발견의 맥락화를 통해 연구의 생태학적 타당성은 실제 상황에 더 잘 근접할수록 증가할 수 있다. 맥락과 문화의 영향에 초점을 맞춤으로써, 이 연구는 [학생 중심 교육]의 과정과 결과, 또는 학생의 행동과 기술이 [맥락]에 따라 다를 수 있다는 것을 인정하면서도, 학생 중심 교육의 문화 간cross-cultural 적용 가능성에 대한 증거를 제공했다.

The results of the current study emphasize that educationalists in higher education across cultures, and future research on cross-cultural differences in education should consider the role of contextual factors, specifically in mediating the effects of cultural factors. By contextualization of cross-cultural findings the ecological validity of a study can be increased as it better approximates real-life situations. By focusing on the influence of context and culture, this study has provided evidence for the cross-cultural applicability of student-centered education, although it should be accepted that its process and outcome, or students' behaviors and skills, are likely to differ across contexts.

 

 


Abstract

A tool used in student-centered education is discussion among students in small learning groups. The Western origin of student-centered education, coupled with cross-cultural differences in communication styles, may detract from its cross-cultural applicability. This study investigates how in student-centered education, students' cultural backgrounds are expressed in discussions and shape students' discussion behaviors and skills. A comparative case study using problem-based learning as a student-centered model was conducted in three medical schools located in East Asia, Western Europe and the Middle East. Four cultural factors were found to potentially cause students, especially those in the non-Western schools, to refrain from speaking up, asking questions, and challenging others in discussions. Six contextual factors mediated the influence of the cultural factors. The findings were incorporated in a conceptual model. The conclusion seems justified that student-centered education is feasible in different cultural contexts, but across these contexts, processes and outcomes are likely to differ.

 

학습 대 수행: 통합적 문헌고찰 (Perspectives on Psychological Science, 2015)
Learning Versus Performance: An Integrative Review
Nicholas C. Soderstrom and Robert A. Bjork

 

 

강의실에서든 현장에서든 교육의 주요 목표는 학습자에게 내구성과 유연성을 모두 갖춘 지식 또는 기술을 갖추게 하는 것입니다. 우리는 지식과 기술이 사용하지 않는 기간 동안에도 계속 사용할 수 있고, 단순히 교육 중에 경험하는 것과 일치하는 컨텍스트에서뿐만 아니라 관련성이 있는 다양한 컨텍스트에서 접근할 수 있다는 점에서 유연하기를 원합니다. 즉, 교육은 [학습]을 촉진하기 위해 노력해야 하며, 이는 [장기적인 유지와 전이를 지원하는 행동이나 지식의 비교적 영구적인 변화]를 의미한다. 그러나 역설적으로 이러한 학습은 획득 과정 중 또는 직후에 관찰되고 측정될 수 있는 행동 또는 지식의 일시적인 변동을 의미하는 [수행]와 구별되어야 한다.

Whether in the classroom or on the field, the major goal of instruction is, or at least should be, to equip learners with knowledge or skills that are both durable and flexible. We want knowledge and skills to be durable in the sense of remaining accessible across periods of disuse and to be flexible in the sense of being accessible in the various contexts in which they are relevant, not simply in contexts that match those experienced during instruction. In other words, instruction should endeavor to facilitate learning, which refers to the relatively permanent changes in behavior or knowledge that support long-term retention and transfer. Paradoxically, however, such learning needs to be distinguished from performance, which refers to the temporary fluctuations in behavior or knowledge that can be observed and measured during or immediately after the acquisition process.

학습과 수행의 구별은 중요한데, 이는 현재 상당한 학습이 수행이 향상되지 않은 상태에서 발생할 수 있고, 반대로 수행의 상당한 변화가 종종 해당 학습의 변화로 변환되지 않는다는 것을 보여주는 압도적 경험적 증거가 존재하기 때문이다. 아마도 훨씬 더 설득력 있는, 특정 실험 조작은 학습과 성과에 반대 효과를 주는 것으로 보여져, 획득 중에 가장 많은 오류를 생성하는 조건이 종종 가장 많은 학습을 생성하는 바로 그 조건이다. 그러한 결과는 사람들이 자신의 학습에 대해 판단을 내리도록 요구받거나 연구원, 교육자, 학생들과의 비공식 대화 중에 정기적으로 불신에 직면한다. 그러나 실제와 이론적 관점 모두에서 흥미롭고 중요한 것은 학습과 수행의 구별에 대한 [반직관적인 특성]입니다.
The distinction between learning and performance is crucial because there now exists overwhelming empirical evidence showing that considerable learning can occur in the absence of any performance gains and, conversely, that substantial changes in performance often fail to translate into corresponding changes in learning. Perhaps even more compelling, certain experimental manipulations have been shown to confer opposite effects on learning and performance, such that the conditions that produce the most errors during acquisition are often the very conditions that produce the most learning. Such results are regularly met with incredulity, whether in the context of metacognitive research in which people are asked to make judgments about their own learning or during informal conversations with researchers, educators, and students. It is, however, the counterintuitive nature of the learning–performance distinction that makes it so interesting and important from both practical and theoretical perspectives.

우리는 [장기 보존 또는 이전으로 측정되는 학습]과 [획득 중 측정되는 성과] 사이의 중요한 차이와 관련된 증거에 대한 첫 번째 통합 검토를 제공한다. 우리는 메타인지 관련 작업과 함께 운동 및 언어 학습 영역의 연구를 통합하려고 시도한다. 그러나 다른 많은 기사에서 학습과 성능의 차이를 소개하고 그 차이를 설명하는 주요 결과를 요약하고 있습니다. 또한, 우리(Soderstrom & Bjork, 2013)는 매년 갱신될 예정인 주석 첨부 참고 문헌 목록을 발행하여 연구자, 교육자 및 기타 연구자들이 주제와 관련된 최신 연구에 보조를 맞출 수 있도록 하고 있습니다.

We provide the first integrative review of the evidence that bears on the critical distinction between learning, as measured by long-term retention or transfer, and performance, as measured during acquisition. We attempt to synthesize research from both the motor- and verbal-learning domains, as well as relevant work in metacognition. We note, however, that a number of other articles provide an introduction to the learning versus performance distinction and summarize key findings that illustrate the distinction (e.g., R. A. Bjork, 1999; Christina & Bjork, 1991; Jacoby, Bjork, & Kelley, 1994; Kantak & Winstein, 2012; Lee, 2012; Lee & Genovese, 1988; Schmidt & Bjork, 1992; Schmidt & Lee, 2011; Wulf & Shea, 2002). As well, we (Soderstrom & Bjork, 2013) have published an annotated bibliography that is slated to be updated annually so as to keep researchers, educators, and others abreast of the newest research relevant to the topic.

 

기초 연구
Foundational Studies

수십 년 전에 수행된 연구는 [수행에 변화가 없으면서도 상당한 학습이 발생할 수 있다는 것]을 보여줌으로써 학습과 성과 사이의 구별을 필요로 했다. 예를 들어, 쥐의 미로 학습은 그들의 행동이 목적이 없는 것처럼 보이는 자유 탐험 기간을 허용함으로써 향상될 수 있다(즉, 성과가 불규칙하다). 수행이 점근선("오버러닝")에 도달한 후 제공되는 추가 연습 시험 결과 망각 속도가 느려지고 재학습 속도가 빨라졌다. 그리고 피로가 앞으로 해야 할 운동 작업의 수행을 방해할 때, 학습은 여전히 진행될 수 있습니다. 이 섹션에서는 이러한 기초 연구를 검토합니다.
Studies conducted decades ago necessitated the distinction between learning and performance by showing that considerable learning could occur in the absence of changes in performance. For example, rats’ learning of a maze could be enhanced by permitting a period of free exploration in which their behavior seemed aimless (i.e., performance was irregular); additional practice trials provided after performance was at asymptote (“overlearning”) resulted in slowed forgetting and more rapid relearning; and when fatigue stalled performance of to-be-learned motor tasks, learning could still transpire. This section reviews these foundational studies.

잠복 학습
Latent learning

[잠복 학습]은 [명백한 강화나 눈에 띄는 행동 변화 없이 발생하는 학습]으로 정의된다. 학습은 '잠재적' 또는 '숨김'이라고 하는데, 그 이유는 그것을 드러내기 위해 어떤 종류의 강화가 도입되지 않는 한 전시되지 않기 때문이다. 예를 들어, 최근 새로운 도시로 이사한 사람이 운전에 대해 우려하여 매일 시내버스를 타고 출근한다고 가정해 보자. 매일 버스를 타고 다니면서, 그 경로는 관찰을 통해 학습될 것이지만, 그러한 학습은 그러한 동기가 필요한 경우에만(예를 들어, 그 사람이 스스로 운전해서 일할 필요가 있을 때) 명확해질 것이다. 잠복 학습의 초기 발견은 흥미롭고 논란이 많았는데, 이는 학습이 강화가 있을 때만 일어날 수 있다는 널리 알려진 가정에 도전했기 때문이다. 초기 잠복학습 연구의 고전적인 리뷰를 위해, 우리는 "인지적 지도cognitive map"의 개념이 도입된 톨만(1948년)을 추천한다. 이 용어는 [자신의 공간 환경의 정신적 표현]을 가리킨다.

Latent learning is defined as learning that occurs in the absence of any obvious reinforcement or noticeable behavioral changes. Learning is said to be “latent,” or hidden, because it is not exhibited unless a reinforcement of some kind is introduced to reveal it. Consider, for example, a person who recently moved to a new city and, apprehensive about driving, decides to ride the city bus each day to work. Riding the bus day after day, the route would be learned through observation, but such learning would only be evident if an incentive was present that required it—say, when it was necessary for the person to drive to work on his or her own. The early findings of latent learning were intriguing and controversial because they challenged the widely held assumption that learning could occur only in the presence of reinforcement. For a classic review of the early latent learning studies, we recommend Tolman (1948), in which the concept of “cognitive maps” was introduced, a term that refers to the mental representation of one’s spatial environment.

Blodgett(1929년), Tolman(1930년)과 Honzik(1930년)에 의해 처음 입증되었지만, 그 결과는 학습과 기억력에 관한 대부분의 교과서에 보고되어 있는 잠복 학습에 대한 고전적인 실험으로 여겨지고 있다. 본질적으로 Blodgett의 복제인 그들의 실험에서, 세 그룹의 쥐들은 총 17일 동안 매일 복잡한 T-maze에 놓였습니다. 한 그룹의 쥐는 골 박스에 도달하기 위해 강화되지 않았습니다.골 박스에 도달할 때마다 다른 그룹은 음식으로 강화되었습니다. 세 번째 그룹은 11일째까지 골대에 도달한 것에 대해 보상을 받지 못했으며, 그 후 정기적으로 보상을 받았다. 이 실험의 결과는 그림 1과 같다. 당연하게도 17일 동안 골박스 찾기에서 오류가 가장 적은 그룹은 정규 강화 그룹이었고, 강화되지 않은 그룹은 오류가 가장 많았다. 잠재 학습의 개념과 일관되게, 지연 강화 그룹은 즉각적인 개선이 발생한 11일째(식품이 도입된 날)까지 단 한 번도 강화하지 않은 그룹과 동일한 오류 수를 보였으며, 오류율은 정규 강화 그룹과 비슷한 수준으로 떨어졌다. 따라서, 보강을 늦추는 것은 쥐들이 실제로 보강이 이루어지지 않은 상태에서 미로를 배운다는 것을 드러냈고 그들의 행동은 오히려 목적 없는 것처럼 보였다. 수행은 정체된 상태로 학습이 이뤄졌다는 얘기다.
Although first demonstrated by Blodgett (1929), Tolman and Honzik (1930) are credited for providing what is now considered the classic experiment on latent learning, the results of which are reported in most textbooks on learning and memory. In their experiment, which is essentially a replication of Blodgett’s, three groups of rats were placed in a complex T-maze every day for a total of 17 days. One group of rats was never reinforced for reaching the goal box—they were simply taken out of the maze when they found it—whereas another group was reinforced with food every time the goal box was reached. A third group was not rewarded for reaching the goal box until Day 11, after which time they were regularly rewarded. The results of this experiment are presented in Figure 1. Unsurprisingly, the group that made the fewest errors in finding the goal box over the 17-day period was the regularly reinforced group, and the group that was never reinforced made the most errors. Consistent with the notion of latent learning, the delayed-reinforcement group showed the same number of errors as the never-reinforced group until Day 11—the day the food was introduced—when an immediate improvement occurred, dropping their error rate to a level comparable to that of the regularly reinforced group. Thus, delaying reinforcement revealed that the rats did, indeed, learn the maze while no reinforcement was provided and their behavior seemed rather aimless. In other words, learning occurred when performance was stagnant.

 

Blodgett(1929)와 Tolman and Honzik(1930)의 연구는 쥐의 잠복학습에 대한 수많은 후속 실험을 촉진하여 이 현상에 대한 우리의 이해를 더욱 향상시켰다. 예를 들어, Seward(1949)는 잠복학습이 30분간의 자유탐험 후에 일어날 수 있으며, 나아가 강화 없이 미로에서 보내는 시간(따라서 성능의 변화가 식별되지 않는 시간)이 미로 학습과 긍정적인 관련이 있음을 보여주었다(Bendig, 1952; 레이놀즈, 1945 참조).
The studies by Blodgett (1929) and Tolman and Honzik (1930) spurred numerous follow-up experiments on latent learning in rats, further refining our understanding of this phenomenon (see Buxton, 1940; Spence & Lippitt, 1946). Seward (1949), for example, showed that latent learning could occur after just 30 min of free exploration and, furthermore, that the amount of time spent in the maze with no reinforcement—and thus during a time when no changes in performance were discernible—was positively related to learning the maze (see also Bendig, 1952; Reynolds, 1945).

잠복학습이 쥐에게만 국한된 것이 아니라는 것도 수십 년 전에 분명해졌다. 그들의 영향력 있는 연구에서, Postman and Tuma(1954)와 Stevenson(1954)은 잠복 학습이 인간에서도 경험적으로 입증될 수 있다는 것을 보여주었다. Stevenson의 실험에서, 3살 정도의 어린 아이들은 상자를 열 수 있는 열쇠를 찾기 위해 일련의 물체를 탐험했습니다. 중요한 것은 탐색된 환경에는 키 이외의 오브젝트 또는 태스크와 무관한 오브젝트도 포함되어 있다는 것입니다. 문제는 핵심 관련 물체를 탐색하는 동안 아이들이 이러한 주변 물체의 위치를 학습할 것인지 여부였다. 즉, 아이들이 잠재 학습을 보일 것인지 여부였다. 실제로 아이들에게 중요하지 않은 물건을 찾으라고 했을 때, 아이들은 그 물건들이 탐색된 환경에 있을 때 상대적으로 더 빨리 찾을 수 있었습니다. 스티븐슨은 또한 아이들에게서 관찰된 잠복 학습의 양이 나이가 들수록 증가한다는 것을 발견했다. 
It was also made clear decades ago that latent learning is not limited to rats. In their influential studies, Postman and Tuma (1954) and Stevenson (1954) showed that latent learning is also empirically demonstrable in humans. In Stevenson’s experiment, children—some as young as 3 years old—explored a series of objects to find a key that would open a box. Critically, the explored environment also contained nonkey objects, or those that were irrelevant to the task. The question was whether the children would learn the locations of these peripheral objects during the exploration of the key-relevant objects—that is, whether the children would show latent learning. Indeed, when the children were asked to find the irrelevant, nonkey objects, they were relatively faster in doing so when those objects had been contained in the explored environment. Stevenson also found that the amount of latent learning observed in the children increased with age.

과잉학습과 피로
Overlearning and fatigue

이미 연주할 수 있음에도 불구하고 계속 연습하는 바이올리니스트, 즉 획득한 퍼포먼스가 이미 점근점에 도달한 바이올리니스트를 생각해 보십시오. 작업에 대한 숙달 기준이 달성된 후에도 작업에 대한 이러한 지속적인 연습은 "[오버러닝]"이라고 하며, 포스트마스터리 시행 횟수를 숙달에 필요한 시행 횟수로 나눈 것으로 나타낼 수 있습니다. 예를 들어 바이올리니스트가 한 곡을 마스터하기 위해 10번의 연습시험이 필요한 후에 추가로 5번 연습했다면, 오버러닝의 정도는 50%가 될 것이다. 난센스 음절을 사용한 에빙하우스(1885/1964)의 유명한 연구로 시작된 과잉학습의 많은 초기 연구는 정보와 기술의 장기적 학습을 향상시키는 방법으로서 과잉학습의 힘을 증명했다. Fitts(1965)는 이러한 발견을 언급하며, "일부... 기준에 도달한 시점을 넘어서까지의 지속적인 연습의 중요성은 아무리 강조해도 지나치지 않다"고 말했다(p.195).

Consider a violinist who continues to practice a musical piece despite already being able to perform it—that is, after acquisition performance is already at asymptote. Such continued practice on a task after some criterion of mastery on that task has been achieved is referred to as “overlearning” and can be expressed by the number of postmastery trials divided by the number of trials needed to reach mastery. For example, if the violinist practiced a piece 5 additional times after needing 10 practice trials to master it, then the degree of overlearning would be 50%. Many early studies of overlearning—starting with Ebbinghaus’s (1885/1964) famous study using nonsense syllables—demonstrated the power of overlearning as a method for enhancing the long-term learning of information and skills. Referencing these findings, Fitts (1965) stated, “The importance of continuing practice beyond the point in time where some . . . criterion is reached cannot be overemphasized” (p. 195).

크루거(1929)는 오버러닝에 대해 가장 많이 인용된 연구를 수행했다. 그의 중요한 실험에서, 두 그룹의 참가자들은 모든 단어를 기억할 수 있을 때까지 반복적으로 단어 목록을 연구했다. 이 시점에서, 대조군은 연구 단계를 끝낸 반면, 오버러닝 그룹의 참가자들은 자료를 계속 연구했습니다. 사실, 그들은 자료를 100% 더 많이 학습했습니다. 즉, 대조군보다 두 배 더 많은 연구 실험에 노출되었습니다. 최대 28일 후에 수행된 보존 테스트에서, 오버러닝 그룹의 참가자들은 연구 단계에서 자료를 습득했지만 오버러닝하지 않은 대조 그룹의 참가자보다 더 많은 항목을 리콜했습니다. 또한 과잉학습의 정도에 따라 보유율이 증가하였다. 후속 연구에 따르면, 오버러닝(과잉학습)은 산문 구절과 같은 보다 복잡한 구두 자료를 유지하는 데 도움이 되며, 재학습relearning 속도, 즉 다소 지연된 후 해당 자료를 다시 학습하는 데 필요한 시간을 단축하는 것으로 나타났습니다.
Krueger (1929) carried out the most frequently cited study on overlearning. In his seminal experiment, two groups of participants repeatedly studied lists of words until all of the words could be recalled. At that point, the control group was finished with the study phase, whereas participants in the overlearning group continued studying the material—in fact, they overlearned the material by 100%, meaning that they were exposed to twice as many study trials as the control group. On a retention test administered up to 28 days later, the participants in the overlearning group recalled more items than participants in the control group, who had mastered the material during the study phase but had not overlearned it. Additionally, retention increased as a function of the degree of overlearning. Subsequent research showed that overlearning aids in the retention of more complex verbal materials, such as prose passages, and accelerates the rate of relearning—that is, the amount of time required to learn the material again after some delay (e.g., Gilbert, 1957; Postman, 1962; see also Ebbinghaus, 1885/1964).

오버러닝(과잉학습)은 또한 운동 기술을 배우는 데 도움이 된다. 크루거(1929)가 단어에 대한 과도한 학습을 보여준 다음 해, 그는(크루거, 1930) 미로 추적 작업에 대해 비슷한 이점을 보였다. 참가자들은 처음에 100% 정확도에 도달할 때까지 과제를 수행했고, 그 후 50%, 100% 또는 200% 더 많이 학습했습니다. 언어 자료와 마찬가지로, 과잉 학습의 양은 장기 보존과 긍정적으로 관련되었습니다. 이후 작업은 M60 기관총의 조립 및 분해(Schendel & Hagman, 1982)를 포함하여 단순하고 복잡한 운동 기술에 대한 오버러닝의 이점을 재현했다(예: Chasey & Knowles, 1973; Melnick, 1971; Melnick, Lersten, Lockhart, 1972). 오버러닝은 다양한 업무에 효과적인 학습 도구인 것 같습니다.

Overlearning also benefits the learning of motor skills. The year after Krueger (1929) demonstrated overlearning for words, he (Krueger, 1930) showed similar benefits for a maze-tracing task. Participants first performed the task until they reached 100% accuracy, after which they overlearned it by 50%, 100%, or 200%. As with the verbal materials, the amount of overlearning was positively related to long-term retention. Later work replicated the benefits of overlearning for simple and more complex motor skills (e.g., Chasey & Knowles, 1973; Melnick, 1971; Melnick, Lersten, & Lockhart, 1972), including the assembly and disassembly of an M60 machine gun (Schendel & Hagman, 1982). Overlearning seems to be an effective learning tool for a wide range of tasks (for a meta-analytic review, see Driskell, Willis, & Cooper, 1992).


과잉학습에 대한 연구와 유사하게, 피로에 대한 초기 연구는 피로가 획득 중에 성능의 추가적인 향상을 방해한 후에도 학습이 발생할 수 있음을 시사했다. 예를 들어 애덤스와 레이놀즈(1954년)는 공군 기초 훈련병들에게 회전바퀴에 달린 목표물을 지팡이로 수동으로 추적해야 하는 회전 추격 임무를 배우게 했다. 시험 사이의 휴식 간격을 바꾸면 피로가 성능 향상을 제한하거나 제거했을 때, 피로가 사라진 후 과제에 대한 후속 테스트에서 드러났듯이 그럼에도 불구하고 학습이 발생하는 것으로 나타났다. 15년 후, Stelmach(1969)는 다양한 훈련 일정이 사다리 오르기 과제의 학습과 수행에 어떻게 영향을 미치는지 조사했다. 한 그룹의 참가자들은 그들이 쉬었던 것보다 더 많이 연습했고, 다른 그룹은 그들이 연습한 것보다 더 많이 쉬었습니다. 훈련 중 성과는 주어진 시험에서 상승한 단의 수로 정의되며, 더 많은 보간 휴식이 허용된 그룹에 유리했다. 다른 그룹은 시험 사이에 휴식을 거의 받지 못했기 때문에 훈련 중에 점점 더 피곤해진다는 것을 고려하면 이 결과는 놀라운 일이 아니다. 그러나 지연된 후, 유지 테스트에서 휴식을 거의 받지 못한 그룹이 잘 쉬었던 그룹을 따라잡은 것으로 밝혀졌는데, 표면적으로는 피로가 단기 성과에서 이득을 억제했을 때, 상당한 학습이 일어났다는 것을 증명했다.

Similar to research on overlearning, early work on fatigue suggested that learning could occur even after fatigue prevented any further gains in performance during acquisition. Adams and Reynolds (1954), for example, had basic trainees from the Air Force learn a rotary pursuit task, which requires one to manually track a target on a revolving wheel with a wand. Varying the length of rest intervals between trials showed that when fatigue limited or eliminated gains in performance, learning nonetheless occurred, as revealed by a subsequent test on the task after the fatigue had dissipated. Fifteen years later, Stelmach (1969) examined how different training schedules affect learning and performance on a ladder-climbing task. One group of participants practiced more than they rested; another group rested more than they practiced. Performance during training, which was defined as the number of rungs climbed on a given trial, favored the group that was permitted more interpolated rest. This finding is not surprising given that the other group, as a result of receiving little rest between trials, became increasingly fatigued during the training. After a delay, however, a retention test revealed that the group that received little rest caught up to the well-rested group, ostensibly demonstrating that substantial learning had occurred when fatigue had stifled any gains in short-term performance.

대응하는 개념상의 차이
Corresponding conceptual distinctions

잠재 학습, 과잉 학습, 피로 및 기타 고려사항에 대한 초기 실험은 훈련 또는 획득 중 관찰할 수 있는 행동(즉, 성과)을 구별하기 위해 초기 학습 이론가(예: Estes, 1955a; Guthrie, 1952; Hull, 1943; Skinner, 1938; Tolman, 1932)를 주도했고 상대적으로 영구적인 변화를 가져왔다. 향후 그러한 행동을 나타낼 수 있는 능력(즉, 학습)에서 발생한다.

  • 헐은 반응의 습관 강도와 반응의 순간적인 반응 잠재력이라는 용어를 사용했고,
  • 에스테스는 그의 변동 모델에서 습관 강도와 반응 강도를 언급했고,
  • 스키너는 반사 예비력과 반사 강도를 구별했다.

경험적으로, 습관 강도 또는 반사 예비력(즉, 학습)은 소멸 또는 망각에 대한 저항성 또는 재학습 속도에 의해 지수화되는 것으로 가정한 반면, 순간 반응 잠재력, 반응 강도 또는 반사 강도(즉, 성과)는 반응의 현재 확률, 속도 또는 대기 시간에 의해 지수화되는 것으로 가정했다.
The early experiments on latent learning, overlearning, and fatigue, plus other considerations, led early learning theorists (e.g., Estes, 1955a; Guthrie, 1952; Hull, 1943; Skinner, 1938; Tolman, 1932) to distinguish between behaviors that can be observed during training, or acquisition (i.e., performance), and the relatively permanent changes that occur in the capability for exhibiting those behaviors in the future (i.e., learning).

> Hull used the terms habit strength of a response and the momentary reaction potential of that response;
> Estes, in his fluctuation model, referred to habit strength and response strength; and
> Skinner differentiated between reflex reserve and reflex strength.

Empirically, habit strength, or reflex reserve (i.e., learning), was assumed to be indexed by resistance to extinction or forgetting, or by the rapidity of relearning, whereas momentary reaction potential, response strength, or reflex strength (i.e., performance) was assumed to be indexed by the current probability, rate, or latency of a response.


인간의 언어 학습 분야에서, Tulving과 Pearlstone의 구분(1966)은 각각 "이용 가능성"(즉, 메모리에 저장된 것)과 "접근가능성"(즉, 주어진 시간에 검색 가능한 것)을 학습과 성과에 완벽하게 매핑한다. 마지막으로, R. A. Bjork와 Bjork(1992)는 인간의 언어 및 운동 학습에 대한 연구의 광범위한 발견을 설명하기 위해 학습과 수행의 구별이 각각 저장 강도와 검색 강도에 의해 색인화되는 새로운 학습 이론을 공식화했다. 이 설명과 학습-성과 구별에 관한 다른 현대의 이론적 관점은 나중에 논의한다.

In the domain of human verbal learning, Tulving and Pearlstone’s (1966) distinction between “availability” (i.e., what is stored in memory) and “accessibility” (i.e., what is retrievable at any given time) also maps, albeit not perfectly, onto learning and performance, respectively. Finally, R. A. Bjork and Bjork (1992), in an effort to account for a wide range of findings in research on human verbal and motor learning, formulated a new theory of learning in which the distinction between learning and performance is indexed by storage strength and retrieval strength, respectively. This account, as well as other contemporary theoretical perspectives regarding the learning–performance distinction, is discussed later.

 

요약
Summary

학습 대 수행의 차이는 잠재 학습, 과잉 학습 및 피로를 연구한 연구자들이 [실제로 학습이 이루어지고 있다는 징후가 없는 상태에서도 훈련 또는 수행의 습득 중에 장기간 학습이 발생할 수 있다는 것을 증명]한 수십 년 전으로 거슬러 올라갈 수 있다. 특히 잠복학습의 결과는 당시 설득력 있고 논란이 많았는데, 이는 학습을 드러내기 위해서는 강화가 필요하지만 학습을 유도할 필요는 없다는 것을 입증했기 때문이다. 요약하자면, 이 초기 작업은 [수행 없는 학습]을 보여주었다. 다음 몇 절에서는 그 반대가 사실임을 보여주는 보다 최근의 증거를 검토한다. 특히, 성능의 향상은 더 많은 성능 오류를 유발하는 조건에 비해 종종 사후 훈련 학습을 방해한다.

The learning versus performance distinction can be traced back decades when researchers of latent learning, overlearning, and fatigue demonstrated that long-lasting learning could occur while training or acquisition performance provided no indication that learning was actually taking place. The results of latent learning studies, in particular, were both compelling and controversial at the time because they verified that, although reinforcement is necessary to reveal learning, it is not required to induce learning. In sum, this early work showed learning without performance. In the next several sections, we review more recent evidence showing that the converse is also true—specifically, that gains in performance often impede posttraining learning compared with those conditions that induce more performance errors.

 

프랙티스의 분산
Distribution of Practice

학습과 수행의 상관관계는 학습해야 할 기술이나 정보의 학습일정을 조작함으로써 반복적으로 발견되어 왔다. 연습 또는 스터디 세션을 몰아치기(즉, 같은 것을 반복해서 연습하거나 공부하는 것)하는 것은 일반적으로 단기 성과에 도움이 되는 반면, 연습 또는 스터디 세션을 시간 또는 다른 활동과 분리하는 것은 일반적으로 장기적인 학습을 촉진합니다. 이 절에서는 실습의 분포가 학습과 성과에 다른 영향을 미치는 것으로 나타난 운동 및 구두 학습 영역의 실험을 차례로 제시한다.
The dissociation between learning and performance has been repeatedly found by manipulating the study schedules of to-be-learned skills or information. Massing practice or study sessions—that is, practicing or studying the same thing over and over again—usually benefits short-term performance, whereas distributing practice or study—that is, separating practice or study sessions with time or other activities—usually facilitates long-term learning. This section presents, in turn, experiments from the motor- and verbal-learning domains in which the distribution of practice was shown to have differential influences on learning and performance.

 

운동 학습
Motor learning

수영하는 사람이 앞, 뒤, 접영을 개선하려고 한다고 가정합니다. 수영 선수의 훈련이 하루에 1시간으로 제한된다고 가정해 보자. 한 가지 훈련 옵션은 다른 스트로크를 20분씩 연습한 후 다음 훈련 세션에서 이전에 연습한 스트로크로 돌아가지 않고 매스(또는 차단)하는 것입니다. 또는 각 스트로크가 다음 스트로크로 넘어가기 전에 10분 동안 연습하도록 연습 일정을 분배(또는 무작위화)할 수 있습니다. 이 일정에 따라 훈련 세션 동안 각 스트로크를 한 번 더 재방문할 수 있습니다. 이 섹션에서는 매스 연습이 훈련 중 빠른 성과 향상을 촉진할 수 있지만, 연습을 분산하면 해당 기술을 장기간 유지할 수 있음을 시사하는 연구를 검토한다.

Suppose a swimmer wishes to improve his or her front, back, and butterfly strokes. Suppose further that the swimmer’s training is restricted to 1 hr per day. One training option would be to mass (or block) the different strokes by practicing each for 20 min before moving on to the next, never returning to the previously practiced strokes during that training session. Alternatively, he or she might distribute (or randomize) the practice schedule such that each stroke is practiced for 10 min before moving on to the next stroke. This schedule would permit each stroke to be revisited one more time during the training session. In this section, we review research that suggests that, whereas massing practice might promote rapid performance gains during training, distributing practice facilitates long-term retention of that skill.

배들리와 롱맨(1978년)과 J.B. Shea와 Morgan(1979)은 연습을 분배하는 것이 단순한 운동 기술의 학습과 수행에 차별적인 영향을 미친다는 것을 보여주는 두 가지 고전 연구를 발표했다. 영국 우체국의 의뢰를 받아, Baddelley와 Longman은 새로 도입된 우편 번호를 키보드에 입력하는 우체국 직원들의 능력을 최적화하는 방법을 조사했다. 문제는 우체국 직원들이 하루 몇 시간씩 연습하면서 가능한 한 빨리 새로운 시스템을 배워야 하는지, 아니면 연습이 더 많이 보급되면 학습이 가장 이득이 될 것인가 하는 것이었다. 매일 연습량과 연습이 발생한 일수를 변화시키면서, 더 분산된 연습은 타자기의 키 입력의 보다 효과적인 학습을 촉진했다. 그러나, 기준에 도달하는 일수 대 시간 수로 측정되는 기술 습득의 효율성에 관해서는 그 반대였다.기준에 도달하기 위해서: 즉, 분산 그룹은 매스 그룹에 대해 특정 수준의 퍼포먼스에 도달하기 위해 더 많은 일수가 필요했습니다. 요약하면, 몰아치기massed 연습은 키 입력의 신속한 습득을 지원했지만, 분산 연습은 기술의 장기 보유를 향상시켰다(Simon & Bjork, 2001 참조). 

Baddeley and Longman (1978) and J. B. Shea and Morgan (1979) published two classic studies that showed that distributing practice has differential effects on learning and performance of a simple motor skill. Commissioned by the British Postal Service, Baddeley and Longman investigated how to optimize postal workers’ ability to type newly introduced postcodes on the keyboard. The question was whether the postal workers should learn the new system as rapidly as possible, practicing several hours per day, or whether learning would profit most if practice was more distributed. Varying the amount of practice per day and the number of days in which practice occurred, more distributed practice fostered more effective learning of the typewriter keystrokes; however, the opposite was true in regard to the efficiency in which the skill was acquired, as measured by the number of days to reach criterion versus the number of hours to reach criterion—that is, the distributed group required more days to reach any given level of performance relative to the massed group. In sum, massed practice supported quicker acquisition of the keystrokes, but distributed practice led to better long-term retention of the skill (see also Simon & Bjork, 2001).

J. B. Shea와 Morgan(1979)은 또한 운동 기술을 장기간 유지하는 데 도움이 된다는 것을 보여주었다. 그들의 중요한 실험에서, 참가자들은 세 가지 다른 움직임 패턴을 배웠는데, 각각의 움직임에는 정해진 순서에 따라 세 개의 작은 나무 장벽(6개 중 한 개)을 넘어뜨리는 것이 포함되었습니다. 두 가지 다른 연습 일정, 즉 차단과 랜덤이 구현되었습니다. 블록 프랙티스 조건에서는 3가지 동작 패턴 각각이 18회 연속적으로 연습된 반면 랜덤 프랙티스 조건에서는 참가자의 입장에서 예측할 수 없는 방식으로 각 패턴의 18회 동작이 다른 패턴에 대한 시험 사이에 혼재되었다. 따라서 중요한 것은 세 가지 작업에 대한 연습 시간이 두 가지 다른 연습 조건에 걸쳐 동일하다는 것이다. 관심사는 서로 다른 연습 일정이 팔 움직임이 실행되는 속도에 어떻게 영향을 주느냐였다. 

J. B. Shea and Morgan (1979) also showed that distributing practice benefits the long-term retention of a motor skill. In their seminal experiment, participants learned three different movement patterns, each of which involved knocking over three (of six) small wooden barriers in a prescribed order. Two different practice schedules were implemented: blocked and random. In the blocked-practice condition, each of the three movement patterns was practiced for 18 trials in succession, whereas in the random-practice condition, the 18 trials of each pattern were intermingled among the trials on the other patterns in a way that was unpredictable from a participant’s standpoint. Importantly, therefore, practice time for the three tasks was equated across the two different practice conditions. Of interest was how the different practice schedules affected the rapidity in which the arm movements were executed.

J.B.의 결과. Shea와 Morgan(1979)은 그림 2에 나와 있다. 첫째, 획득 중에 팔 움직임을 수행하는 데 필요한 짧은 시간에서 알 수 있듯이, 차단된 연습 조건에 할당된 참가자가 무작위 연습 조건의 참가자들보다 더 나은 성과를 보였다. 하지만 각 그룹이 습득한 기술을 얼마나 잘 유지할 수 있을까요? 10분 및 10일 후에 실시되는 유지 테스트에서는 참가자는 블록(B) 또는 랜덤(R) 방식으로 각 스킬에 대해 테스트를 실시하여 참가자의 4개의 서브그룹(B-B, B-R, R-B 및 R-R)을 생성했습니다. 쌍의 첫 번째 문자는 획득 중에 실습이 어떻게 스케줄 되었는지를 나타내며, 두 번째 문자는 각 그룹이 어떻게 테스트되었는지를 나타낸다. 그림 2에서 볼 수 있듯이, 인수 시 차단된 관행의 이점은 지연 후 더 이상 명확하지 않습니다. 실제로 10분 및 10일 후에 학습이 평가될 때 패턴이 역전되었습니다. 즉, 전반적으로 무작위 순서로 기술을 처음 연습한 사람들이 가장 많은 학습을 보였습니다. 블록 방식으로 테스트된 그룹(B-B 대 R-B)을 비교한 결과, 이 연구는 획득 중 [무작위 실행]이 획득 중 [블록식 실행]보다 더 낫다는 것을 보여주었다. 이러한 패턴은 연구자들이 지연된 테스트에서 무작위 순서(B-R 대 R-R)로 테스트된 그룹을 비교했을 때 극적으로 입증되었다. 따라서 Baddeley와 Longman(1978년)과 마찬가지로, Shea와 Morgan은 여러 가지 학습된 이동 패턴의 블록식 관행이 획득 성과를 촉진하는 반면, 동일한 이동 패턴의 인터리빙 관행이 장기 보존을 촉진한다는 것을 보여주었다(이 발견의 복제 및 연장은 Lee & Magill, 1983 참조). 그림 2에는 나타나지 않았지만 Shea와 Morgan은 인터리빙의 전송 이점도 발견했기 때문에 처음에 랜덤 방식으로 스킬을 연습한 참가자들은 새로운 응답 패턴, 즉 연습하지 않은 응답 패턴을 비교적 잘 수행할 수 있었습니다. 

The results of J. B. Shea and Morgan (1979) are shown in Figure 2. First, it is clear that during acquisition, participants assigned to the blocked-practice condition performed better than those in the random-practice condition, as evidenced by shorter times required to perform the arm movements. But how well would each group retain the acquired skills? On retention tests given after 10 min and 10 days, participants were tested on each skill in either a blocked (B) or random (R) fashion, which produced four subgroups of participants: B-B, B-R, R-B, and R-R. The first letter in the pair denotes how practice was scheduled during acquisition; likewise, the second letter denotes how each group was tested. As can be seen in Figure 2, the advantage of blocked practice during acquisition was no longer evident after a delay. In fact, the pattern reversed when learning was assessed after 10 min and 10 days—that is, overall, those who initially practiced the skills in a random order exhibited the most learning. Comparing the groups that were tested in a blocked fashion (B-B vs. R-B), the study showed that random practice during acquisition was better than blocked practice during acquisition. This pattern was dramatically demonstrated when researchers compared the groups that were tested in a random order (B-R vs. R-R) on the delayed test. Thus, similar to