- 보건시스템과학: 기본의학교육의 "브로콜리" (Acad Med, 2019)
Health Systems Science: The “Broccoli” of Undergraduate Medical Education
Jed D. Gonzalo, MD, MSc, and Greg Ogrinc, MD, MS
높은 의료 지출에도 불구하고 건강 결과가 좋지 않다는 증거가 증가함에 따라, 미국의 보건 시스템은 [환자의 진료 경험 향상, 인구 건강 개선, 비용 절감, 제공자의 일과 삶의 균형 개선]이라는 4중 목표를 더 잘 달성하기 위해 의료 제공 모델을 변화시키고 있다.
With increasing evidence suggesting poor health outcomes in spite of high health care spending, U.S. health systems are transforming care delivery models to better achieve the Quadruple Aim of enhancing patients’ experiences of care, improving population health, lowering cost, and improving providers’ work–life balance.1,2
[이 과정에서 중요한 니즈]는 새로운 치료 모델을 실천하고 선도할 수 있는 제공자의 능력이다. 이러한 변화는 [의과대학과 레지던시 프로그램]이 다음 세대의 [협력적으로 효과적인 시스템 기반 의사]를 훈련시킬 수 있는 새로운 커리큘럼 영역에 더 초점을 맞추게 요구한다. 의료 교육자들과 보건 시스템 지도자들은 보건 시스템 내에서 매우 필요한 변화를 촉진시키기 위해 교육 연속성을 따라 중요한 개혁을 요구해 왔다.
A critical need in this process is providers’ ability to practice and lead in new care models. These changes require medical schools and residency programs to increase focus on new curricular areas that allow for the training of the next generation of collaboratively effective, systems-based physicians.3–8 Medical educators and health system leaders have made calls for significant reform along the education continuum to catalyze much-needed change within health systems.6,9–13
의대 학생들이 21세기 의료 시스템에서 성장할 수 있도록 준비하기 위해, 많은 의대들은 건강 시스템 과학(HSS) 커리큘럼을 새로운 건강 시스템 요구에 맞추고 있다. 이전에 우리는 HSS를 기초 기초 및 임상 과학을 보완하는 세 번째 교육 축으로 설명하였다.8 HSS는 "의료 시스템 내에서, 환자와 모집단에 대한 의료 전달의 품질, 결과 및 비용을 향상시키는 원칙, 방법 및 실천"으로 정의된다. HSS 요소는 가치 기반 관리, 인구 보건, 전문가 간 협업, 보건 시스템 개선 및 시스템 사고와 관련된 종합적인 역량 프레임워크를 제공한다.
To prepare medical students to thrive in a 21st-century health care system, many medical schools are aligning health systems science (HSS) curricula with emerging health system needs. Previously, we have described HSS as the third educational pillar that complements the foundational basic and clinical sciences.8 HSS is defined as the “principles, methods, and practice of improving quality, outcomes, and costs of health care delivery for patients and populations within systems of medical care.”14 The HSS pillar provides a comprehensive framework of competencies related to value-based care, population health, interprofessional collaboration, health system improvement, and systems thinking.8,15,16
의과대학은 새로운 HSS 강좌를 이끌고 가르칠 수 있는 교육자를 위해 자원을 할당하고, 커리큘럼 공간을 찾고, 식별하기 위해 노력하고 있다. 17,18 그러나, HSS 강의에서 가장 중요한 도전 중 하나는 학생들의 수용성과 참여이다. 많은 학생들이 완전히 참여하는 반면, 다른 학생들은 "높은 수익률"로 인식되지 않는 역량에 전념하는 교육 시간에 불만족스러워 한다.
Medical schools are struggling to allocate resources for, find curricular space for, and identify educators able to lead and teach new HSS coursework.17,18 Perhaps one of the most significant challenges in HSS teaching, however, is students’ mixed receptivity and engagement.19–21 Many students are fully engaged while others are dissatisfied with curricular time dedicated to competencies not perceived as “high yield.”19,22,23
문제가 더 복잡해지는 것은, 학생들이 학습 환경에서 [HSS 역량에 대한 지원 및 역할 모델링]의 차이가 매우 큰 상황highly variable에 직면하기 때문이다. HSS 학습은 일부 학생들에게 "브로콜리"입니다. 그들은 그것이 그들에게 유익하다는 것을 깨닫고 앞으로 그들에게 이익을 줄 수도 있지만, 도입 단계에서 입맛에 맞지 않을 수도 있고, 그들은 그 순간에 그것을 인식하지 못할 수도 있다. 그 결과 많은 의과대학에서 HSS에 대한 열의가 커리큘럼에서 "최저 성과자"의 위치로 전이되어 학생과 교직원의 불만이 높아지고 HSS 과정 이사와 교육 리더십이 잠재적으로 취약한 위치에 놓이게 될 수 있다.
This is compounded when students encounter highly variable support for and role modeling of HSS competencies in learning environment settings.24,25 HSS learning is “broccoli” for some students—they may realize it is good for them and will benefit them down the road, but it may not be palatable during introductory phases, and they may not appreciate it in the moment. As a result, at many medical schools, enthusiasm for HSS may devolve into a position of “lowest performer” in the curriculum, furthering student and faculty dissatisfaction and placing HSS course directors and education leadership in potentially vulnerable positions.
문헌에서, HSS 커리큘럼의 학생 수용성과 관련된 struggle은 잘 설명되지 않는다. 우리의 경험에서, 투쟁은 종종 다른 의과대학의 교육자들 사이의 비밀스럽고 개인적인 대화에서 확인된다. 의료 시스템의 지속적인 변혁을 위해, 의료 교육은 실시간 문제에 대한 건강한 대화를 촉진하고 이러한 요구에 부합하기 위해 자체의 변화를 가속화해야 한다.
Struggles related to student receptivity of HSS curricula are not well articulated in the literature. In our experience, the struggles are often identified in confidential, personal conversations amongst educators from different medical schools. For the continued transformation of health systems, medical education must promote healthy dialogue about real-time challenges and accelerate its own changes to align with these needs.
우리는 글로벌 HSS 커리큘럼 개혁에서 11년 이상의 결합된 경험을 가진 2개의 미국 의대를 대표한다. 우리의 커리큘럼은 초기 구현 단계를 훨씬 넘어섰다.26 커리큘럼 구현 "성과 격차" 개념을 지침으로 삼아, 우리는 HSS 커리큘럼에 대한 [학생 참여]의 성공과 과제를 탐색하고, HSS 혁신의 근본적인 과제에 대한 광범위한 이해를 해결할 수 있는 5가지 주요 문제의 재검토를 요구한다.
We represent 2 U.S. medical schools with over 11 years of combined experience in global HSS curricular reform, and our curricula are well beyond initial implementation phases.26 Using the curricular implementation “performance gap” concept as a guide, we explore successes and challenges of student engagement in HSS curricula and call for a reexamination of 5 key issues that may address the broader understanding of underlying challenges of HSS innovations.26,27
컨텍스트 및 과정 작업
Context and Coursework
다트머스의 가이젤 의과대학과 펜 주립 의과대학(PSCOM)은 모두 HSS에 통합된 종방향 콘텐츠를 구축한 몇 년간의 경험을 가지고 있다. 가이젤은 의료 전달 과학 제목을 사용하는 반면, PSCOM은 HSS를 사용하지만 도메인, 콘텐츠 및 기술은 유사합니다(표 1). 이 두 가지 종단 커리큘럼은 모두 학생들이 임상 전 해에 기본 개념을 배우고, 서기에 적용하며, 의과대학이 거의 끝나갈 즈음에 캡스톤 경험을 할 수 있도록 만들어졌다.
Both Geisel School of Medicine at Dartmouth and Penn State College of Medicine (PSCOM) have several years of experience building integrated, longitudinal content in HSS. Geisel uses the Health Care Delivery Science title, while PSCOM uses HSS, but the domains, content, and skills are similar (Table 1).14,16,26,28 Both of these longitudinal curricula were built for students to learn the basic concepts in the preclinical years, apply those in the clerkships, and then have a capstone experience near the end of medical school.
HSS 강좌의 성공 사례
Successes of HSS Coursework
HSS 과정 연구는 여러 단계에서 성공을 거두었다.
- 건강 시스템과 환자의 관점에서, 이 강좌는 새로운 교육자들을 학문적 임무에 포함시키고 의대와 보건 시스템 사이의 교량 건설을 촉진하는 기회를 만들었다.
- 시스템 역할에서 일하는 학생들은 환자 진료(2014년 이후 학생 작업에 의해 긍정적인 영향을 받은 1,100명 이상의 Penn State Health 환자)와 시스템 수준 변화(Geisel 및 PSCOM의 4학년 학생들이 지난 5년간 완료한 60개 이상의 품질 개선 [QI] 프로젝트)에 차이를 보이고 있다.
- 커리큘럼은 전문직 간 교육 및 서비스 학습을 위한 의료 교육 표준 연락 위원회와 여러 미국 의학 대학 협회(AAMC) 졸업 설문지 항목과 관련하여 우리 학교를 긍정적으로 위치시켰다.
- 학습 관점에서, 학생들은 건강의 사회적 결정요소에 이르기까지 지역 마이크로 시스템에 영향을 미치는 QI 프로젝트 설계에 이르기까지 새로운 HSS 역량 획득을 보여준다.
The HSS coursework has shown successes at several levels.
- From a health system and patient perspective, the coursework has created opportunities for incorporating new educators into the academic mission and stimulated bridge building between the medical school and health system.
- Students working in systems roles are making a difference for patient care (over 1,100 Penn State Health patients positively impacted by student work since 2014) and for system-level changes (more than 60 quality improvement [QI] projects completed by fourth-year students at Geisel and PSCOM over the past 5 years).20,29,30
- Additionally, the curricula have positioned our schools positively with regard to the Liaison Committee on Medical Education standards for interprofessional education and service learning and several of the Association of American Medical Colleges (AAMC) Graduation Questionnaire items.31
- From a learning perspective, students demonstrate their acquisition of new HSS competencies, spanning social determinants of health to the design of QI projects that impact local microsystems.20,32
커리큘럼 변경의 성능 격차 재분석
Reimagining the Performance Gap in Curricular Change
우리의 커리큘럼 작업은 계획, 시작 및 실행 단계를 거쳤고 제도화 단계로 접어들고 있습니다.33 예상대로, 우리의 커리큘럼은 몇 가지 과제에 직면했다.33 학생의 "과목 퀄리티" 평가등급(단기 평가를 위해 쉽게 이용할 수 있는 기본 측정 기준)은 다른 과목에 대한 각 학교의 평균보다 훨씬 낮으며, 경우에 따라서는 모든 과목 중 가장 낮은 점수이다. "성능 격차" (또는 "실현 딥")와 일치하여, 구현 과정의 낮은 점수는 우리가 예상했던 것이다.
Our curricular work has gone through the planning, initiation, and implementation phases and is settling into the institutionalization phase.33 As anticipated, our curricula have encountered several challenges.33 Students’ ratings of “course quality” (the primary, readily available metric for short-term evaluation) are well below our respective schools’ mean for other courses and, in some cases, are the lowest scores of any course. Aligned with the “performance gap” (or “implementation dip”), we expected low scores during implementation.27,33,34
"성과 격차performance gap"는 ipmlementation 후 성능 저하가 발생하는 것으로, 커리큘럼 변화 중에 나타나는 현상이며, 몇 번의 반복 후에 "신규 최고치new highs"로 상승한다(그림 1). 성과 격차는 이론적으로는 [인식 또는 성과 기반 평가와 같은 모든 평가 메트릭]을 사용하여 설명이 가능하지만, HSS에 관해서는 다른 성능 메트릭이 없다는 점을 고려할 때 우리는 학생 인식 점수를 사용했다. 초기 몇 년 동안, 새로운 세션이 시범 운영되었고, 새로운 교육자들이 교육 환경에 적응하고 있었다. 지속적인 개선을 통해 세션은 변경, 추가 또는 삭제되었고, 교육자들은 의과대학 교육환경에 대한 기술과 친숙함을 향상시켰으며, 코스 디렉터는 적용가능성을 높이기 위해 과정을 더 잘 구성하였다.
The performance gap is a phenomenon seen during curricular change where a decrease in performance occurs after implementation, followed by a rise to “new highs” after several iterations (Figure 1).27,34 The performance gap can theoretically be illustrated using any evaluation metric, such as perceptions or performance-based assessments, but given the lack of other performance metrics in HSS, we have used student perception scores. During initial years, new sessions were piloted, and new educators were being acclimated to the teaching environment. With continuous improvement, sessions were changed, added, or dropped; educators improved their skills and familiarity with the medical school teaching environment; and course directors better framed courses to increase applicability.
그러나, 우리는 커리큘럼 파일럿의 초기 시험과 새로운 콘텐츠의 도입을 훨씬 넘어선다. 초급 과정에 노출된 첫 학생들이 졸업했다. 시간의 경과와 상당한 개선에도 불구하고, 도전은 학생들의 만족에 남아 있다. 매년, 우리는 일반적으로 각 학급의 학생 중 3분의 1이 고학년 학생들의 약간 더 높은 평점을 가지고, (1) 불량, (2) 평균, (3) 양호로 그 과정을 평가할 것이라는 것을 발견했다. 대부분의 커리큘럼에 대한 예상 복구와 HSS 커리큘럼에 대한 경험 사이의 이러한 차이를 우리는 "HSS 성과 격차"라고 부른다(그림 1B 참조).
However, we are well beyond initial trials of curricular pilots and introduction of new content. The first students exposed to initial courses have graduated. Despite the passing of time and significant improvements, challenges remain in student satisfaction. Annually, we have generally found that one-third of students in each class will rate the coursework as (1) poor, (2) average, and (3) good, with slightly higher ratings from upper-year students. This gap between the expected recovery for most curricula and our experience in HSS curricula we term the “HSS performance gap” (see Figure 1B).
표면적인 수준에서, 의과대학은 새로운 교육자, 방법 또는 평가와 같은 기술적 수단을 통해 "고치려는" 충동이 들 수 있다. 그러나 더 깊은 차원에서 볼 때, HSS의 성과 격차는 핵심 교육 임무 내에서 복잡한 긴장을 암시한다. 근본 원인과 높은 수준의 솔루션은 개별 세션의 가장자리를 맴도는 수준을 넘어 해결해야 하는 시스템 관련 요소 네트워크를 포함한다. 이러한 변화는 [어느 한 의대의 영역 밖]에 있을 수 있으며, [의학교육에 존재하는, 시간과 전략이 필요한, 더 큰 문화적 문제]를 반영할 수도 있지만, 원하는 결과를 얻기 위해 적극적으로 추구할 필요가 있다.
From a superficial level, a medical school’s impulse may be to “fix it” through technical means, such as new educators, methods, or evaluations. On a deeper level, though, the HSS performance gap suggests a complex tension within the core educational mission. Root causes and high-leverage solutions likely lie beyond tinkering around the edges of individual sessions and involve a systems-related network of factors that need to be addressed. These changes may lie outside the purview of any one medical school and reflect larger cultural issues in medical education that require time and strategy, but they need to be pursued aggressively to achieve desired outcomes.
HSS 과정에는 대부분의 다른 커리큘럼과 차별화되는 고유한 요소가 있어 "성과 격차"를 재평가할 수 있다. 대부분의 커리큘럼에서의 implementation dip에 뒤따르는 수 개월에서 수 년의 복구와 달리, HSS 과정 연구는 전체 복구와 지역 및 대규모 의료 교육 변화의 조합을 위해 최소 몇 년의 시간이 필요할 것으로 본다. 우리의 경험을 바탕으로, 우리는 HSS 성능 격차의 6가지 주요 원인을 탐구한다.
HSS coursework has unique factors that differentiate it from most other curricula, prompting a reimagining of the “performance gap.” Rather than months to several years of recovery following the implementation dip for most curricula, we believe that HSS coursework will require at least several years for a full recovery and a combination of both local and larger-scale changes in medical education. Based on our experiences, we explore 6 key drivers of the HSS performance gap.
HSS 코스의 소외
Marginalization of HSS coursework
커리큘럼을 시작하기 전에, 우리는 HSS 과정 연구에서 교육학적 난제를 파악하기 위해 의대생들과 질적인 연구를 수행했다.19 학생들은 HSS 역량이 "가능한 최고의 의사가 되기 위해 중요하다"고 보고했지만, 이것은 이사 시험과 성적에 의해 움직이는 교육 시스템과 상충되었다. 그 결과, 학생들은 HSS에 대해 상당한 우려를 나누었다. 몇 년을 빠르게 진행하면, 우리는 우리의 연구 결과가 예상했던 대로 이루어졌다는 것을 알 수 있습니다. 전임상 학생들은 보드 시험과 성적에 대한 집중력이 강하며, 일부 학생들은 HSS를 경쟁사 '콘텐츠'나 '소프트 스킬'로 보고 있어 트랙션과 몰입도를 제한한다. 우리의 의과대학에서 접근 방식은 학생들이 임상 환경에 완전히 몰입하지 않고 보건 시스템 문제의 현실에 고심하는 동안 교과과정에 HSS를 조기에 통합하는 것으로, 이는 추가 참여를 제한할 수 있다.
Before launching our curricula, we performed a qualitative study with medical students to identify pedagogical challenges in HSS coursework.19 Students reported that HSS competencies were important to “become the best doctor possible,” but this was at odds with an educational system driven by board examinations and grades. As a result, students shared significant apprehensions about HSS. Fast forward several years, and we see that our findings have played out as expected. Preclinical students have a strong focus on board examinations and grades, and some students view HSS as competitor “content” or “soft skills,” which limits traction and engagement. The approach at our medical schools has been to integrate HSS early in the curriculum during a time when students are not fully immersed in clinical environments and grappling with the realities of health system issues, which may be limiting additional engagement.
100년이 넘는 기간 동안 의과대학들은 미래 성공의 주요 예측 요소로 기초 및 임상 과학 역량(즉, 과학 성적)을 강조해 왔다. 2013년까지 AAMC는 의과대학이 [학부 과학 준비]에서, (서비스, 문화적 민감성 및 대인관계 기술에 대한 동일한 가치를 부여하는) 좀 더 [전체적인 접근법]으로 주요 중점을 옮겨야 한다고 제안했다.35 이러한 역사적 맥락은 HSS 과정에 대한 대화에 매우 중요하다. 왜냐하면, [학생 참여]의 variability는 [의과대학에서 무엇을 가르치고 배워야 하는지에 대한 깊이 뿌리내린 기대]에 달려있을 수 있기 때문이다. 보건 시스템 문제에 대한 학생들의 집중을 넓히는 것은 우리의 교육 시스템에 변화된 변화를 요구하는 더 큰 문화적 도전일 수 있다.19,24
For over 100 years, medical schools have emphasized basic and clinical science competence (i.e., science grades) as the principal predictor of future success. Not until 2013 did the AAMC suggest that medical schools should shift their principal emphasis away from undergraduate science preparation to a more holistic approach that gives equal value to commitment to service, cultural sensitivity, and interpersonal skills.35 This historical context is critical to the conversation about HSS coursework because variability in student engagement may be driven by deeply entrenched expectations about what should be taught and learned in medical schools. Broadening students’ focus to health systems issues may be a larger cultural challenge that requires transformational change in our education system.19,24
마지막으로, [HSS 과정이 주변부화marginalization이 되는 근원]은 [학생들이 HSS로 그리는 것]과 [커리큘럼에서 제시하는 내용] 사이의 불일치라고 믿는다. 예를 들어, 우리 학생들 중 많은 학생들이 의료 차별과 옹호에 강한 관심을 가지고 있으며, 결과적으로, 그들은 이러한 분야(예: 정책 개요 작성 방법)에만 교과 과정이 집중되기를 바란다. 이는 시스템, 개선, 환자 안전 및 생체 통계의 기본 개념에 초점을 맞춘 보다 포괄적인 HSS 프레임워크와 상충된다. 이렇게 하면 강의실에서 HSS 자료를 프레임으로 구성할 때와 강의 중에 기대치를 설정할 때 문제가 발생합니다.
Lastly, we believe that the root of some marginalization of HSS coursework is a mismatch between what students envision as HSS and what content is presented in the curriculum. For example, many of our students have a strong interest in health care disparities and advocacy, and as a result, they expect coursework to focus exclusively on these areas (e.g., how to write a policy brief). This is at odds with a more comprehensive HSS framework focusing on underlying concepts of systems, improvement, patient safety, and biostatistics. This creates a challenge when framing HSS material in the classroom and when setting expectations throughout the coursework.
분야별 HSS의 유아기
Infancy of HSS as a field
기초과학과 임상과학에 비해 HSS는 아직 상대적으로 젊다. 기초과학은 어떤 것을 그릴 것인가에 대한 수세기간의 경험적 증거를 가지고 있으며, 임상과학은 지난 세기 동안 비약적으로 성장해 왔다.11,36 시스템, 특히 의료시스템이 어떻게 구조화되고 기능하며 실패하며 개선되었는가에 대한 과학은 단지 수십 년밖에 되지 않았다. HSS의 인식론적 기반은 여전히 형성되고 있으며, 이것은 이 자료를 학생(그리고 HSS 역량을 운용하기 위해 일하는 교수 교육자)에게 더 모호하게 느끼게 할 수 있다. 우리는 보건 시스템의 과학이 성장함에 따라 학생들의 관심을 끌고 최고의 교육 방법이 뒤따를 것으로 기대한다.
Compared with basic and clinical sciences, HSS is still relatively young. Basic foundational sciences have centuries of empirical evidence on which to draw, and clinical sciences have grown by leaps and bounds over the past century.11,36 The science of how systems, and especially health care systems, are structured, function, fail, and improve is only several decades old. The epistemological foundation of HSS is still being formed, and this can make the material feel more nebulous to students (and also to faculty educators who work to operationalize HSS competencies). We anticipate that as the science of health systems grows, student traction and best teaching methods will follow.
커리큘럼과 교육자의 상대적 초창기
Relative nascence of curricula and educators
많은 HSS 교육자들은 그들의 역할에 대해 처음이며 이전에 의과대학 환경에 적응하지 못했다. 우리 의과대학에서 HSS를 가르치는 교육자들은 종종 [(의료 시스템을 민첩하게 유지하고 원하는 결과에 따라 조정하는) 시스템 리더]입니다.18 예를 들어, 커리큘럼의 교육자에는 최고 품질 책임자, 최고 운영 책임자, 품질 부회장, 지역사회 홍보 책임자, 예술 및 과학 교수 및 학장이 포함된다. 일부 교육자, 특히 QI나 환자 안전 환경의 교육자들은, 전통적으로 자신을 교육자로 보지 않아왔으나, HSS 강좌에 대한 고무적인 열정을 가지고 있다.
Many HSS educators are new to their role and have not previously been acclimated to the medical school environment. Our educators are often system leaders who keep the health system nimble and aligned with desired outcomes.18 For example, educators in our curricula include the chief quality officer, chief operating officer, vice chair(s) for quality, director of community outreach, professors from arts and sciences, and dean. Some educators, particularly those from the QI or patient safety environment, have not traditionally viewed themselves as educators, yet have an inspiring passion for HSS coursework.
매년, 우리는 학생 피드백에 따라 세션을 수정하고, 어떤 세션은 꼬인 부분을 해결하기 위해 몇 번의 반복이 필요합니다. 각 세션마다 의대 HSS 교수진과 콘텐츠 전문가 간의 긴밀한 협업이 필요한데, 이들 중 많은 수가 의대 목표, 목표 및 과정에 익숙하지 않을 수 있으며, 스스로 의대 교수라고 생각하지 않는 사람들이 많다. 하지만 그들은 HSS 교육에 절대적으로 중요하며, 교육과 보건 시스템의 많은 부분에서 옵니다. 예를 들어 시간이 보호되고 "교육자" 정체성이 확립된 보건학과Department of public health sciences와 달리, HSS는 (의과대학에 의해 높은 수준의 조정이 필요한) 파편화된 교육자 네트워크를 가지고 있다. 이러한 복잡성은 [(다른 과정과 다른) 고유한 강의실 기반 세션의 특징]으로 이어지고, 이것이 [일부 학생들의 기대와 인지적 차이divide]를 만들어낸다. 교수진과 콘텐츠의 이동 목표는 일관성 및 품질 검사에 대한 실시간 문제real-time challenge를 야기합니다.
Each year, we modify sessions based on student feedback, and some require several iterations to work out the kinks. Each session requires close collaboration between the medical school’s HSS faculty and content experts, many of whom may not be familiar with medical school goals, objectives, and processes and many of whom do not consider themselves medical school faculty. But they are absolutely critical to HSS education, and they come from many parts of the education and health system. Unlike a department of public health sciences, for example, with dedicated faculty with protected time and established “educator” identity, HSS has a fragmented educator network that requires a high degree of alignment by the medical school. These complexities create unique features for classroom-based sessions that are different from other courses, creating a cognitive divide for some students’ expectations. The moving target of faculty and content creates real-time challenges for consistency and quality checks.
HSS 교육학의 이질성
Heterogeneity of HSS pedagogies
HSS 교육의 핵심에는 [단순 암기 방식]에서 [(의료 서비스 제공에서 발생하는 복잡한 적응형 문제에 대한) 시스템 사고 적용]으로 전환이 있다. 즉, HSS 역량은 시스템과 환자 구조 내에서 고도로 맥락화되어있다. 전문가 중심 강의에 도움이 될 수 있는 엽산 합성, 크렙스 사이클 또는 혈관염의 병리학 같은 기본 또는 임상 과학 학습과는 달리, HSS는 능동적인 학습과 시스템 구성요소의 상호 관련성 이해에 고심해야 한다.
At the core of HSS education lies a shift away from rote memorization toward application of systems thinking to complex adaptive challenges occurring in health care delivery.37–39 HSS competencies are highly contextualized within a system and a patient construct.40,41 Unlike basic or clinical science learning, such as folate synthesis, Krebs cycle, or pathology of vasculitis, all of which may be conducive to expert-driven lectures, HSS requires active learning and grappling with understanding the interrelatedness of system components.41,42
그 결과, HSS에서는 미니 강의, 워크숍, 환자 및 지역사회 기반 패널, 대규모 그룹 설정에서의 상호 전문가 활동 및 그룹 프로젝트가 일반적이다. 신입 의대생들은 대학 과정과 의대 동시 수업(예: 위장 출혈에 대한 강의)에서 수동적인 학습 방법에 더 익숙할 수 있다. 일부 학생들은 이런 형식에 대해 '비효율적'이라며 '내가 알아야 할 것만 말해달라'고 목소리를 높이고 있다.
As a result, mini-lectures, workshops, patient- and community-based panels, interprofessional activities in large-group settings, and group projects are the norm. New medical students may be more accustomed to passive learning methods from college coursework and concurrent medical school classes (e.g., lecture on gastrointestinal bleed). Some students are vocal in their dissatisfaction with such formats, stating that they are “inefficient,” and commenting, “Just tell me what I need to know.”
학생들의 직업적 역할에 대한 인식으로 인한 긴장감
Tension with students’ perception of their professional role
HSS 경험을 통해 학생들은 환자 건강에 영향을 미치는 건강 시스템의 과제에 대해 배운다. 이것은 또한 이러한 현실에 대해 배우는 것에 대한 좌절감을 유발한다. 일부 학생들은 자신이 변화를 줄 수 있는 입장이 못 된다거나, '할 수 있는게 없다'거나, 명확한 답이 없다고 보고 좌절한다. 대신, 다른 학생들은 시스템 문제를 "고칠fix" 명확한 해답을 보기 때문에 좌절한다.43 일부 교수 멘토들이 그러하듯, 일부 학생들은 건강 시스템을 알고 개선하는 것이 [그들의 직업적인 역할의 일부가 아니라]고 단정짓는다. 이 과제는 [시스템 마인드를 갖춘 의사가 되는 것]이 [지식 습득]만큼 새로운 전문적 정체성을 개발해야 한다는 사실 때문에 더욱 복잡해진다.44-46 대부분의 의과대학에서 하나의 과목은 몇 주 동안 지속되며, 단일 장기 시스템에 초점을 맞추고 과목에 대한 인식된 "숙달성"을 허용한다.
Through HSS experiences, students learn about the challenges in health systems that are affecting patient health. This also causes frustration with being taught about these realities. Some students are frustrated because they believe that they are not in a position to make changes, that there is “nothing to do about it,” or that there is no clear answer. Alternatively, other students are frustrated because they see clear answers to “fix” systemic problems.43 Along with some faculty mentors, some students make it clear that knowing and improving health systems is not part of their professional role. This challenge is compounded by the fact that being a systems-minded physician requires the development of a new professional identity as much as knowledge acquisition.44–46 Most medical school courses last several weeks, focusing on a single organ system and allowing for a perceived “mastery” of the subject.
그러나 HSS 교육 과정은 시스템 시민으로서의 새로운 전문적 정체성을 향한 여정입니다. 이제 막 시작한 지 얼마 안 되어서는 끝을 알 수 없습니다.
- 이 진화하는 직업적 정체성은 이타주의, 신뢰도, 다른 사람에 대한 존중과 같은 전통적인 의사적 특성을 필요로 하는 것이다.
- 그러나, 그것은 또한 전문적인 역할의 의무적인 측면으로서 시스템의 부족한 부분을 돌보고 해결해야 하는 확장된 사고방식을 포함한다.
처음 몇 년간의 과정 공부 후에, 학생들은 아직 여행의 결실을 보지 못했고 그들이 곧 방문할 장소를 알지 못한다. 그러나 의과대학 마지막 학년이 가까울 때, 우리는 HSS 학습과 의료 시스템의 복잡성에 대한 학생들의 평가가 증가하고 있음을 본다.
HSS coursework, however, is a journey toward a new professional identity as a systems citizen—it is hard to see the end when you have only just started.26,46–48 This evolving professional identity is one that requires the traditional physician traits, such as altruism, trustworthiness, and respect for others.45,46 However, it also involves an expanded mindset that necessitates caring for and addressing insufficiencies in the system as obligatory aspects of the professional role.26,49 After the first few years of coursework, students have not yet seen the fruits of their travels and do not know the places they will soon visit. Near the final years of medical school, however, we see our students’ growing appreciation for HSS learning and complexities of the health care system. This is reflected in personal statements where systems experiences are highlighted, and many upper-year students are realizing that these experiences are prized by residency programs when they are discussed at length during interviews.
HSS 통합에 대한 비실용 문화
Unconducive culture to HSS integration
임상 회전 중에, 학생들이 레지던트, 동료, 그리고 주치의가 특정한 행동을 구체화하는 것을 볼 때, 학생들은 HSS 커리큘럼에서 추구하는 "새로운" 전문적인 역할을 보지 못할 수도 있다. 학생들이 항상 높은 기능을 하는 임상 팀에 포함되는 것은 아니며, 의과대학 교육과정이 이상적인 HSS 학습 사이트를 만드는 것은 어려울 수 있다. 우리 학생들 중 일부는 우리에게 "왜 우리는 비현실적이거나 현실적이지 않은 것을 배우고 있는가?"라고 물었습니다. 학생은 다른 의료 전문가에 대해 의사로부터 경멸적인 의견을 들을 수 있으며, 의사가 HSS 활동에 의미 있게 참여할 수 없는 것을 목격할 수 있다(예: 임상에서 말기 치료 계획을 다루기에 시간이 충분하지 않은 의사의 좌절).
While on clinical rotations, when students see residents, fellows, and attending physicians embody certain behaviors, they may fail to see the “new” professional role that is being sought in HSS curricula.45,46 Students are not always embedded in high-functioning clinical teams, and it can be challenging for a medical school curriculum to create ideal HSS learning sites. Some of our students have asked us, “Why are we being taught something that is impractical or not reality?” Students may hear derogatory comments from physicians about other health care professionals, and they may witness a physician’s inability to participate meaningfully in HSS activities (e.g., a physician’s frustration with insufficient time in clinic to address end-of-life care planning).
학생들은 많은 우수한 레지던트, 교직원, 의료 전문직 종사자들과 함께 일하지만, "현실의" 의료 전달에 대한 몇 마디 말이면 학생이 HSS 콘텐츠로부터 disengage 되는 데에 충분하다. 우리는 HSS 콘텐츠가 각각 모든 커리큘럼 영역과 진료 전달 시스템에 완전히 통합되는 교육 및 임상 시스템을 구축해야 한다. 이것이 일어나기 전까지, 우리는 교육자들이 계속해서 유사한 투쟁을 겪을 것이라고 믿는다.
Students work with many excellent residents, faculty, and health care professionals, but it only takes a few comments about the “real” delivery of care for a student to become disengaged with HSS content. We need to build both educational and clinical systems where the HSS content is fully integrated into all curricular areas and the care delivery system, respectively.25,50,51 Until this occurs, we believe that educators will continue to encounter similar struggles.
주요 문제 재점검
Reexamination of Key Issues
우리는 이러한 5개 영역을 해결하면 implementation dip의 복원과 HSS 수행능력 gap의 일부 폐쇄가 가속화되고 HSS 커리큘럼의 "new highs" 달성이 용이해질 것으로 가정한다.
We believe that these drivers influencing student receptivity of HSS coursework and the HSS performance gap (Figure 1B) prompt a reexamination of 5 key issues for medical schools (see Table 2 for descriptions and strategies). We hypothesize that addressing these 5 areas will accelerate recovery of the implementation dip and some closure of the HSS performance gap and will facilitate achievement of “new highs” for HSS curricula.
의과대학 모집과정
Medical school recruitment processes
의료 교육이 의료 시스템 진화에 있어 실습하는 차세대 의사를 준비할 사회적 책임이 있다면, 이러한 결과를 달성하기 위해 입학 절차를 조정하는 것도 우리의 책임인가? 많은 학생들이 HSS 자료에 완전히 참여하고, 훌륭한 질문을 하고, 교수진과 함께 HSS와 관련된 학문적 연구를 추구한다. Engage하지 않은 학생들은 HSS 학습을 "deal with"해야 하는 것에 대한 불만을 가질 수 있다.
If medical education has a social responsibility to prepare the next generation of physicians for practicing in evolving health systems, is it also our responsibility to adapt our admissions processes to achieve this outcome? Many students are fully engaged in HSS material, ask excellent questions, and pursue HSS-related scholarly work with faculty. Those who are not engaged can be vocal about their dissatisfaction with having to “deal with” HSS learning.
- HSS 교육의 "얼리 어답터"가 되고 시스템 분석과 개선을 전문적 책임으로 완전히 받아들일 잠재력을 가진 의대생을 더 많이 모집하는 것이 우리의 책임인가?52
- 학생들이 의대에 입학할 때 HSS에 대한 초점을 완전히 이해하고 있는가?
- 대학들은 학생들이 의과대학과 건강관리라는 새로운 문화에 들어갈 수 있도록 준비하고 있는가?
- Is it our responsibility to be recruiting more medical students who will be “early adopters” of HSS education and who will have the potential to fully embrace systems analysis and improvement as a professional responsibility?52
- Do students fully understand the focus on HSS when they are entering medical school?
- Are colleges and universities preparing students ably to enter this new culture of medical school and health care?
이러한 질문의 모든 측면에 중요한 의미가 있으며, 이는 HSS가 학부 의학교육에서 진화하고 자리매김함에 따라 반드시 고려되어야 한다.
There are important implications on all sides of these questions, which must be considered as HSS evolves and establishes itself in undergraduate medical education.
교수개발
Faculty development
많은 HSS 교육자들은 HSS 원칙을 교육받지 못했거나 의과대학 환경의 가장 좋은 교육 방법과 더 큰 맥락에 익숙하지 않기 때문에, 이러한 교육자들은 학습자의 요구를 충족시키기 위해 의과대학과 보건 시스템의 도움을 받아야 한다. 상당한 투자가 필요하지만, HSS 기술 격차를 해소하기 위한 교육을 교수진에게 제공해야 할 필요성이 커지고 있다.
Since many HSS educators have not been educated in HSS principles and/or are unfamiliar with the best teaching methods and larger context of the medical school environment, these educators need to be assisted by the medical school and health system to meet learners’ needs. Although requiring significant investment, there is a growing need to provide faculty with education to address their gaps in HSS skills.10,39,53
교수교육을 위한 전국 컨퍼런스(예: 품질 및 안전 교육자 아카데미)가 존재하지만, 이러한 프로그램은 지역적 상황적 요인이 없는 짧은 몰입형 프로그램이며, 몇 가지 핵심 HSS 역량 영역을 생략한 "QI"에 더 좁게 초점을 맞춘다. 이스트 캐롤라이나 대학의 질 아카데미 교사, 펜 스테이트의 건강 시스템 과학 아카데미, 다트머스 대학의 의료 전달 과학 석사 프로그램은 지역 교육 이니셔티브가 어떻게 만들어져서 지역 요구를 충족시킬 수 있는지를 보여주는 예이다.
National conferences for faculty education exist (e.g., Quality and Safety Educators Academy); however, these programs are short immersive programs, devoid of local contextual factors, and focus more narrowly on “QI,” missing several key HSS competency areas.54 The Teachers of Quality Academy at East Carolina University, Health Systems Science Academy at Penn State, and Master of Health Care Delivery Science program at Dartmouth are examples of how local education initiatives can be created to help fill local needs.55
또한, 성인 학습 이론을 사용하는 교육 방법 내에서 보다 완전하게 수용하기 위해 교육자의 교육 기술 개발에 초점을 맞춘 교육 프로그램과 개입을 만들 필요가 있다. 우리는 (HSS로 변화하는 데) 속도 제한 단계가 현재 HSS 역량을 가르치는 교육자들에 대한 기대의 변화라고 믿는다.
In addition, there is a need for creating educational programs and interventions focused on developing educators’ teaching skills to more fully embrace adult learning theories within the instructional methods they use.18 We believe a rate-limiting step is a transformational change in expectations for educators currently teaching HSS competencies.
HSS 학술적 "보금자리" 구축
Building an HSS academic “home”
교수진 개발 외에도, 우리는 의료 시스템 과학을 구축하기 위한 교수진과 시스템을 개발할 기관들을 강력히 지지한다. 많은 기관들이 이러한 연구자들과 개선자들을 위한 [학술적 보금자리] 역할을 하는 센터를 만들었다. 보건정책 및 임상실천을 위한 다트머스 연구소, Mayo Clinic Kern Center for the Science of Health Care Delivery Science, 뉴욕 대학교의 의료 전달 과학 부서가 몇 가지 예에 불과하다.
In addition to faculty development, we strongly advocate for institutions to develop the faculty and systems to build the science of health systems. Many institutions have created centers that serve as an academic home for these researchers and improvers. The Dartmouth Institute for Health Policy and Clinical Practice, the Mayo Clinic Kern Center for the Science of Health Care Delivery, and the Division of Healthcare Delivery Science at New York University are but a few examples.
미국에서는 국립보건원이 국립중개과학진흥센터를 설립하고, 보훈처 국가VA품질학사 프로그램은 의료개선 과학 분야의 의사와 박사 준비 간호사를 대상으로 교육을 실시하고 있다. 이러한 센터와 프로그램은 서로 다른 명칭을 사용하지만, 의료 서비스의 품질, 안전 및 가치를 향상시키고 학술적 환경에서 HSS의 인지도를 높이기 위한 체계적이고 학술적인 노력을 증진한다는 공통의 목표에 의해 결속되어 있다.
In the United States, the National Institutes of Health created a National Center for Advancing Translational Sciences, and the Department of Veterans Affairs national VA Quality Scholars program provides training for physicians and doctoral-prepared nurses in the science of health care improvement. Even though these centers and programs use different titles, they are bound together by a common goal of advancing the systematic, scholarly efforts to improve the quality, safety, and value of health care services and raise the profile of HSS in academic settings.56,57
또한, SQIRE(품질 개선 보고 우수성 표준) 및 StaRI(구현 연구 보고 표준)와 같은 출판 지침은 학술 문헌에서 HSS 작업을 공유하기 위한 템플릿을 제공한다. 이와 함께, 이러한 노력은 HSS의 학문적 인지도를 높이고 HSS를 위한 학문적 "가정"을 만들 것이다.
Additionally, publication guidelines like SQUIRE (Standards for Quality Improvement Reporting Excellence) and StaRI (Standards for Reporting Implementation Studies) provide templates for sharing HSS work in the scholarly literature.56,58 Together, these efforts will raise the academic profile of and create an academic “home” for HSS.
평가
Evaluations
HSS가 아직 초기 영역이라는 점을 감안할 때, 여전히 학생 만족도 점수가 주된 "성과" 척도로 남아 있다. 현재 임상 환경 또는 시스템 관련 프로젝트를 통해 수행되는 학생에 대한 고차역량 평가는 불충분하다.17 HSS가 점점 더 확립되는 학부 의학교육 영역이 되려면 더 강력한 평가와 결과 데이터가 필요하다.
- 학습자가 HSS 관련 지식 기반 보드 시험에서 더 높은 점수를 획득하고 있는가?
- 시스템 기반 실무 및 QI 관련 이정표에 대한 학습자의 진행은 그러한 커리큘럼에 대한 노출로 더욱 가속화되고 있는가?
- 학습자가 인턴십, 거주지 및 실습으로 전환함에 따라 환자 및 시스템 결과가 개선되도록 어떻게 보장할 수 있습니까?
- 또한 HSS 관련 추가 영역이 포함된 AAMC 졸업 설문지를 변경하면 의과대학의 HSS 교육에 대한 집중을 촉진하고 이러한 영역에서 학생들의 학습에 대한 인식을 확대하는 데 도움이 될 수 있다.
Given that HSS is still a nascent field, student satisfaction scores remain a primary “outcome” measure. Current higher-order competency assessments for students performing in clinical environments or through systems-related projects are insufficient.17 If HSS is to become an increasingly established area of undergraduate medical education, then more robust assessments and outcome data are required to further establish the field.
- Are learners achieving higher scores on HSS-related, knowledge-based board examinations?
- Is learners’ progression in systems-based practice and QI-related milestones more accelerated with exposure to such curricula?
- How can we ensure that patient and system outcomes are improved as learners transition into their internships, residencies, and practice?
- Also, changes to the AAMC Graduation Questionnaire that include additional HSS-related areas can help facilitate a medical school’s focus on HSS education and expand students’ perceptions of learning in these areas.
우리는 HSS 교육자와 의과대학이 학생 만족도 등급을 넘어, HSS 지식 평가, 기술 평가 및 학습자 태도 평가를 지속적으로 개발함으로써, 학습자가 의료 환경에서 의미 있는 HSS 작업에 통합될 수 있는 기회를 구축할 것을 강력히 권장한다. 궁극적으로 HSS 커리큘럼의 성공은 환자, 가족 및 지역사회에 대한 더 나은 결과와 더 나은 진료 제공 시스템에 반영되어야 한다.
We strongly encourage HSS educators and medical schools to look beyond student satisfaction ratings and continue to develop assessments of HSS knowledge, evaluation of skills, and assessments of learner attitudes while building opportunities for learners to be integrated into meaningful HSS work in health care settings.29,30,59,60 Ultimately, the success of HSS curricula should be reflected in better outcomes for patients, families, and communities and better systems of care delivery.
의과대학 간 투명한 협업
Transparent collaboration between medical schools
HSS 커리큘럼을 구현하는 의과 대학과의 협력에서, 우리는 그들의 고군분투가 우리와 비슷하다는 것을 배웠다. 그러나 문헌은 이러한 문제들에 대해 투명하지 않다. 이는 효과적인 개입과 파일럿 프로젝트의 설명에 대한 출판 편향 때문일 가능성이 높다. 예를 들어, 캘리포니아 대학교 샌프란시스코의 예비 자료는 HSS 교육과 관련된 유사한 긴장감을 제시했으며, 학생들은 HSS 강좌에 대한 불만을 보고하고 있다.
In our collaborations with medical schools implementing HSS curricula, we have learned that their struggles are similar to ours. The literature, however, is not transparent regarding these issues. This is likely due to publication bias of effective interventions and descriptions of pilot projects. For example, preliminary data from the University of California, San Francisco have suggested similar tensions related to HSS education, with students reporting some dissatisfaction with HSS coursework.22
불행하게도, 우리의 가장 좋은 예는 HSS 커리큘럼에 대한 그들의 "공포 이야기"를 토론하는 교육자들과의 개별 토론에서 나온다. 한 교육자는 2000년대 초에 HSS 과정을 시행했던 의과대학의 이야기를 공유했다. 5년 동안 학교는 학생들의 불만과 불만과 싸웠고, 학교는 결국 모든 자료를 4학년 말 과정으로 옮겼다. 여느 신진 분야developing field와 마찬가지로 선봉에 선 사람들이 가장 많은 저항을 받게 될 것이다. 의료 교육 전반에 걸친 HSS의 성공적인 확산을 포함하는 진정한 패러다임의 변화는 교육자들에게 무엇이 효과가 있고 무엇이 효과가 없는지, 누구를 위해 그리고 어떤 상황에서 효과가 없는지 공유하도록 요구한다. 진정한 과학은 다른 사람들이 우리의 일에서 배우고 비슷한 실수를 하지 않도록 우리의 성공과 실수를 공유할 것을 요구한다.
Unfortunately, our best examples come from individual discussions with educators who discuss their “horror stories” of HSS curricula. One educator shared a story from a medical school where he implemented an HSS course in the early 2000s. For 5 years the school battled students’ dissatisfaction and unhappiness, and the school ultimately moved all of the material to an end-of-fourth-year course. As with any developing field, those on the vanguard will receive the most resistance. A true paradigm shift that includes the successful spread of HSS across medical education requires educators to share what works and what does not work, for whom, and under what circumstances. True science demands that we share our successes as well as our missteps so that others may learn from our work and not make similar mistakes.
결론Conclusion
의료 시스템이 발전함에 따라, 의학교육은 환자의 요구에 맞춰 교육 프로그램을 빠르게 적응시키고 있으며, 여기에는 HSS에 대한 집중도가 증가하고 있다. HSS 교육에 대한 몇 가지 주요 과제가 확인되었으며, 특히 의학교육 혁신에서 "performance gap"를 식별하는 데 사용할 수 있는 일차적이고 쉽게 이용할 수 있는 지표인 학생들의 혼합 수용성과 만족도가 확인되었다. Performance gap는 의대에서 개발 및 구현될 때 보다 객관적인 HSS 평가 지표를 사용하여 추가로 추적할 수 있다. 의과대학의 목표가 HSS 기술과 시스템 시민으로서의 새로운 직업적 정체성을 개발하는 것이라면 의과대학은 변화를 가속화하기 위해 의과대학에서 일어나는 근본적인 투쟁과 씨름해야 한다.
As health systems evolve, medical education is rapidly adapting education programs to align with patient needs, which includes an increased focus on HSS. Several key challenges to HSS education have been identified, particularly students’ mixed receptivity and satisfaction, which is the primary, readily available metric to use in identifying the “performance gap” in medical education innovation. The performance gap can be further tracked using more objective HSS evaluation metrics as they are developed and implemented in medical schools. If a medical school’s goal is to develop HSS skills and a new professional identity as a systems citizen, then medical schools must grapple with the underlying struggles occurring in medical schools to accelerate change.
Acad Med. 2019 Oct;94(10):1425-1432.
doi: 10.1097/ACM.0000000000002815.
Health Systems Science: The "Broccoli" of Undergraduate Medical Education
Affiliations collapse
Affiliation
- 1J.D. Gonzalo is associate professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: https://orcid.org/0000-0003-1253-2963. G. Ogrinc is professor of medicine, Dartmouth Institute for Health Policy and Clinical Practice, and senior associate dean for medical education, Geisel School of Medicine at Dartmouth, Hanover, New Hampshire.
- PMID: 31149925
- DOI: 10.1097/ACM.0000000000002815Abstract
- Health system leaders are calling for reform of medical education programs to meet evolving needs of health systems. U.S. medical schools have initiated innovative curricula related to health systems science (HSS), which includes competencies in value-based care, population health, system improvement, interprofessional collaboration, and systems thinking. Successful implementation of HSS curricula is challenging because of the necessity for new curricular methods, assessments, and educators and for resource allocation. Perhaps most notable of these challenges, however, is students' mixed receptivity. Although many students are fully engaged, others are dissatisfied with curricular time dedicated to competencies not perceived as high yield. HSS learning can be viewed as "broccoli"-students may realize it is good for them in the long term, but it may not be palatable in the moment. Further analysis is necessary for accelerating change both locally and nationally.With over 11 years of experience in global HSS curricular reform in 2 medical schools and informed by the curricular implementation "performance gap," the authors explore student receptivity challenges, including marginalization of HSS coursework, infancy of the HSS field, relative nascence of curricula and educators, heterogeneity of pedagogies, tensions in students' perceptions of their professional role, and culture of HSS integration. The authors call for the reexamination of 5 issues influencing HSS receptivity: student recruitment processes, faculty development, building an HSS academic "home," evaluation metrics, and transparent collaboration between medical schools. To fulfill the social obligation of meeting patients' needs, educators must seek a shared understanding of underlying challenges of HSS innovations.
'Articles (Medical Education) > 교육과정 개발&평가' 카테고리의 다른 글
보건시스템과학 과목의 예후: 현재 학생들로부터의 관측(Acad Med, 2018) (0) | 2021.05.31 |
---|---|
의료시스템과학을 의학교육에 통합할 때 우려와 반응(Acad Med, 2018) (0) | 2021.05.28 |
의학교육의 보건시스템과학: 변혁을 촉진하기 위한 요소의 통합(Acad Med, 2020) (0) | 2021.05.28 |
21세기 보건의료 시스템을 위한 교육: 기초, 임상, 시스템과학의 상호의존적 프레임워크(Acad Med, 2017) (0) | 2021.05.28 |
기본의학교육에서 보건시스템과학(HSS) 교육과정: 잠재적 교육과정 프레임워크 탐색 및 정의 (Acad Med, 2017) (0) | 2021.05.27 |