Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

기본의학교육에 성공적인 보건기스템과학의 통합과 유지를 위한 우선순위 영역과 잠재적 해결책(Acad Med, 2017)

Priority Areas and Potential Solutions for Successful Integration and Sustainment of Health Systems Science in Undergraduate Medical Education
Jed D. Gonzalo, MD, MSc, Elizabeth Baxley, MD, Jeffrey Borkan, MD, PhD, Michael Dekhtyar, Richard Hawkins, MD, Luan Lawson, MD, MAEd, Stephanie R. Starr, MD, and Susan Skochelak, MD, MPH

교육자, 정책 입안자 및 보건 시스템 지도자들은 의료 시스템의 진화하는 요구에 부응하기 위해 학부 의학 교육(UME)과 대학원 의학 교육(GME) 프로그램의 중요한 개혁을 요구하고 있다. 권고되는 개혁의 중요한 요소 중 하나는 의사 교육에 가치 기반 관리, 보건 시스템 개선, 임상 정보학, 인구 및 공공 보건과 같은 주제를 포함하는 보건 시스템 과학(HSS)을 담는 것이다. 
Educators, policy makers, and health systems leaders are calling for significant reform of undergraduate medical education (UME) and graduate medical education (GME) programs to meet the evolving needs of the health care system.1–3 One critical component of recommended reforms is physician education in health systems science (HSS), which includes topics such as value-based care, health system improvement, clinical informatics, and population and public health.4,5 

기존의 기초과학과 임상과학이 통합된 "제3의 과학"으로 간주되는 HSS는 [환자와 환자 모집단에 대한 의료 전달의 품질, 결과 및 비용을 개선하는 방법과 원칙]으로 볼 수 있다. HSS의 교육은 환자와 사회의 요구를 충족시키기 위해 의료 시스템을 더 잘 이끌 수 있는 보다 광범위하게 준비된 의사 인력을 개발할 수 있는 잠재력을 가지고 있다.

Considered the “third science” that integrates with the traditional basic and clinic sciences, HSS can be viewed as the methods and principles of improving quality, outcomes, and costs of health care delivery for patients and populations of patients. Education in HSS has the potential to develop a more broadly prepared physician workforce that is better able to lead the health care system to meet the needs of patients and society.5

의료 교육에서 HSS의 중요성에 대한 인식이 높아졌음에도 불구하고, 대부분의 의과대학은 HSS 관련 역량을 커리큘럼에 실질적으로 통합하지 못하였으며, 그 결과 의료 교육과 진화하는 의료 시스템의 필요성과 이 시스템 내에서 care를 받는 환자 사이의 불일치를 초래했다. 전국적으로 여러 의과대학이 교실과 근무지 학습 환경 모두에서 HSS 관련 혁신 커리큘럼을 시작했고, 최근 연구는 HSS 커리큘럼의 프레임워크를 만들었다. 그러나 UME 내 통합의 비교적 초기 단계를 고려할 때, 의과대학 전체에 걸친 HSS 커리큘럼의 성공적인 대규모 구현은 커리큘럼 설계, 평가, 문화 및 인증의 문제로 인해 어려움을 겪고 있다. 
Despite increasing awareness about the importance of HSS in medical education, most medical schools have not substantially integrated HSS-related competencies into their curricula, resulting in a mismatch between medical education and the needs of the evolving health care system and the patients cared for within this system.2,3,6,7 Nationally, several medical schools have initiated HSS-related innovative curricula in both classroom and workplace learning environments, and recent work has created a framework for HSS curricula.5,8–10 However, given the relatively nascent stage of integration within UME, the successful large-scale implementation of HSS curricula across medical schools is challenged by issues of curriculum design, assessment, culture, and accreditation, among others. 

2013년과 2015년 사이에 미국 의학 협회(AMA)의 11개 의과대학(ACE) 컨소시엄은 UME의 이 영역에서 진전을 진전시키기 위해 HSS 커리큘럼 구현의 과제를 구체적으로 해결하기로 결정했다. 

Between 2013 and 2015, the American Medical Association’s (AMA’s) Accelerating Change in Medical Education (ACE) consortium of 11 U.S. medical schools (see below) chose to specifically address the challenges of implementing an HSS curriculum to advance progress in this area of UME. 

ACE 컨소시엄 작업
ACE Consortium Work

2013년, 11개의 미국 의과대학으로 구성된 ACE 컨소시엄은 HSS 훈련을 위한 포괄적인 프레임워크를 식별하기 위해 광범위한 조사에 착수했다. 조사는 개별 학습자부터 의과대학별 프로그램, 협력적 국가 노력에 이르기까지 여러 단계에 걸쳐 이루어졌다.
In 2013, the ACE consortium of 11 U.S. medical schools undertook a broad-based investigation to identify a comprehensive framework for HSS training. The investigation spanned multiple levels from the individual learner, to medical-school-specific programs, to collaborative national efforts.

The 11 ACE consortium schools were

• the Warren Alpert Medical School of Brown University;
• Brody School of Medicine at East Carolina University;
• University of California, San Francisco, School of Medicine;
• University of California, Davis, School of Medicine;
• Indiana University School of Medicine;
• Mayo Medical School;
• University of Michigan Medical School;
• New York University School of Medicine;
• Oregon Health & Science University School of Medicine;
• Pennsylvania State University College of Medicine; and
• Vanderbilt University School of Medicine.11

HSS 작업 그룹
HSS workgroup

ACE 컨소시엄 회의
ACE consortium meeting

데이터 분석
Data analysis

HSS 진전을 위한 우선순위 영역
Priority Areas for Advancing HSS

분석은 일곱 가지 우선순위 영역을 식별하였다. 

• (1) 면허, 인증 및 인증 기관과 협력, 
• (2) 종합, 표준화 및 통합 커리큘럼 개발, 
• (3) 평가의 개발, 표준화 및 조정, 
• (4) UME에서 GME로의 이행 개선,
• (5) 교사의 지식과 기술 향상, 교사 인센티브 강화, 
• (6) 보건시스템에 더해진 가치(value added)를 입증 
• (7) 숨겨진 커리큘럼을 다룸

The analysis identified seven priority areas:

• (1) partner with licensing, certifying, and accrediting bodies;
• (2) develop comprehensive, standardized, and integrated curricula;
• (3) develop, standardize, and align assessments;
• (4) improve the UME to GME transition;
• (5) enhance teachers’ knowledge and skills, and incentives for teachers;
• (6) demonstrate value added to the health system; and
• (7) address the hidden curriculum.

확인된 각각의 우선순위 영역에 대해, 두 가지 구성요소가 고려되었다. 

• (1) 의료 교육에서 HSS를 구현하고 유지하기 위한 구체적인 과제(또는 과제), 
• (2) 분야 발전을 위한 잠재적 해결책 또는 개입. 

For each of the identified priority areas, two components were considered:

• (1) the specific challenge (or challenges) to implementing and sustaining HSS in medical education; and
• (2) the potential solutions, or interventions, to advance the field.

라이센스, 인증 및 인증 기관과 파트너
Partner with licensing, certifying, and accrediting bodies

과제들 Challenges.

의료 교육을 위한 국가 표준과 커리큘럼 내용에 대한 합의가 교육 커뮤니티에서 나타나고, 널리 수용이 이루어졌을 때, 이러한 표준은 LCME와 ACGME와 같은 인증 기관에 의해 성문화된다. 안전하고 효과적인 의사 진료와 관련된 커리큘럼 내용은 미국 의료 면허 시험 단계 시험 또는 전공의 훈련 시험과 같은 국가단위 평가 절차에 통합된다. 새로운 커리큘럼 콘텐츠의 광범위한 개발 및 채택과 새로운 국가 표준의 최종 발표를 포함한 새로운 합의를 위한 프로세스에는 긴 주기(보통 10년 이상)가 필요할 수 있다. (다양한 단계에서 의료 교육에 대한 전국적 합의가) 인증 및 평가 기관이 채택된 예시로는 문화적 역량(예: 문화적 역량 훈련을 위한 도구), 행동 과학의 통합, 학생 성과를 추적하기 위한 위탁 가능한 직업 활동(EPA)의 사용 등이 있다.21 이 기준 프로세스 및 관련 지연은 빠르게 진화하는 의료 환경에 적응하고자 하는 새롭고 혁신적인 교육 프로그램에 대한 특정 과제를 야기할 수 있다.

Consensus on national standards and curricular content for medical education emerges from the education community, and when widespread acceptance has occurred, these standards become codified by accrediting bodies, such as the Liaison Committee on Medical Education (LCME) and the Accreditation Council for Graduate Medical Education (ACGME). Curriculum content that is relevant to safe and effective physician practice is then incorporated into national assessment procedures, such as the United States Medical Licensing Examination Step exams or resident training exams. The process for emerging consensus, including the widespread development and adoption of new curricular content and eventual promulgation of new national standards, can require a lengthy cycle time (often a decade or longer). Recent examples of national consensus in medical education, in various stages of adoption by accrediting and assessment agencies, include cultural competence (e.g., the Tool for Assessing Cultural Competence Training),19 integration of behavioral science,20 and use of entrustable professional activities (EPAs) to track student performance.21 This process and the associated delays can create particular challenges for new and innovative educational programs seeking to be adaptive with the rapidly evolving health care landscape.

잠재적 해결책 Potential solutions.

혁신적인 교육 프로그램 도입에 대한 장벽과 도전을 완화하기 위해 커리큘럼 변화의 리더는 지속 가능한 개혁을 구현하기 위해 관련된 모든 이해관계자의 권고와 지침을 구해야 한다. 이해관계자에는 UME, GME, CME에 이르는 국가 라이선스 및 인증 기관 및 인증 기관이 포함된다. 면허, 인증 및 인증 기관은 가이드라인, 역량, 시험을 align하여 HSS 관련 콘텐츠의 학습을 필요로 하는 협업 프로세스를 촉진할 수 있다. 커리큘럼 개혁이 구현되고 평가되면, 기회는 임상 교수진과 실무practicing 의사가 정의된 HSS 지식과 기술에 대한 역량을 개발할 수 있도록 해야 한다. 이러한 변화는 현재 의사와 미래의 의사 모두에 대한 의사 면허, 인증 및 인증 요건 유지에 있어 개혁을 가져올 수 있다. 인증 기관의 이러한 시스템 수준의 변화 없이는, HSS 통합의 장기적인 성공은 한계가 있을 것이다.

To mitigate the barriers and challenges to introducing innovative educational programs, curriculum change leaders should seek the recommendations and guidance of all stakeholders involved to implement sustainable reform. These stakeholders include national licensing and certifying bodies and accrediting organizations across the continuum from UME, to GME, to continuing medical education (CME). Licensing, certifying, and accrediting agencies could catalyze the collaborative processes that would align guidelines, competencies, and exams to necessitate the learning of HSS-related content. Once curricular reforms have been implemented and evaluated, opportunities should enable clinical faculty and practicing physicians to develop competence in the defined HSS knowledge and skills. These changes may lead to reforms in physician licensure, certification, and maintenance of certification requirements for both current and incoming physicians. Without such systemic change from accrediting organizations, the long-term success of HSS integration will be limited.

종합적이고 표준화된 통합 커리큘럼 개발
Develop comprehensive, standardized, and integrated curricula

과제 Challenges.

HSS에서 적절한 교육을 보장하려면, 학생의 발달 궤도에서 [적절한 시기에 기초 및 임상 과학과 통합된 포괄적인 콘텐츠 프레임워크]가 필요하다. 이를 충족시키기 위해서는 의과대학들 간의, 특히 졸업생들이 전공의 수련단계와 그 이후에 전국적으로 분산되는 것을 고려할 때, 어느 정도의 표준화가 이상적일 것이다. 불행하게도, 종합 HSS 커리큘럼을 가진 의과대학은 거의 없고, 심지어 더 적은 수의 커리큘럼이 통합되고, 많은 학교들은 HSS 콘텐츠를 가르칠 수 있는 능력을 가진 교수진들이 부족하다.

Ensuring appropriate education in HSS requires a compre hensive content framework that is integrated with the basic and clinical sciences at the appropriate time in students’ developmental trajectory. To meet this end, some level of standardization between medical schools, particularly given the dispersion of graduates across the country as they transition to residencies and practice, would be ideal. Unfortunately, few medical schools have comprehensive HSS curricula, even fewer of these curricula are integrated, and many schools lack faculty members with the ability to teach HSS content.

또한 현재는 각 의과대학이 커리큘럼에 포함되어야 하는 HSS 영역(위 참조)에 대해 합의할 수 있는 표준이나 메커니즘이 없다. 의료 교육계는 의료 훈련 및 규제 부문(LCME, ACGME, USMLE 등)을 담당하는 조직과 함께 이 문제에 대한 조정된 접근 방식을 아직 개발하지 않았다. 의과대학이 HSS 콘텐츠를 교육과정에 추가했음에도 불구하고, 이렇게 추가된 것은 여러 UME 프로그램 사이에 거의 협업되지 않은 채로, 주로 지역적 니즈와 커리큘럼을 위해 개발되고 맞춤화되었다. 마찬가지로, HSS에 대한 의료 교육 문헌은 파편화되어 있으며, 의료 훈련 전체에 걸쳐 효과적인 HSS 커리큘럼을 개발하고 실행하기 위한 포괄적인 전략을 제공하려는 시도는 알려져 있지 않다.

Additionally, there are currently no standards or mechanisms allowing schools to reach agreement on which of the HSS domains (see above) should be included in the curriculum. The medical education community, along with the organizations responsible for segments of medical training and regulation (such as the LCME, ACGME, and United States Medical Licensing Examination), has not yet developed a coordinated approach to this issue. Although medical schools have added HSS content to their curricula, these additions have largely been developed for and tailored to local needs and curricula, with few collaborations across UME programs.20,22 Likewise, the medical education literature on HSS has been fragmented, with no known attempts to provide a comprehensive strategy for developing and executing effective HSS curricula across the whole of medical training.22

잠재적 해결책 Potential solutions.

종합적이고 표준화된 통합 HSS 커리큘럼을 위한 중요한 첫 단계는 [보건의료전문직 교육기관]이 이러한 역량 확대의 중요성과 필요성을 인식하는 것이다. HSS를 전담하는 [지역 및 국가 토론 포럼]은 이러한 필요성에 대한 인식을 높이고 이러한 커리큘럼에 포함될 핵심 내용과 개념에 대한 담론을 촉진할 수 있다. CME 인증 기관과 전문 위원회뿐만 아니라 allopathic and osteopathic UME 및 GME 프로그램 모두를 포함하면 이 작업에 가장 적합할 수 있으며 의료 교육 연속체를 처음부터 끝까지 다룰 수 있다. 
A critical first step toward comprehensive, standardized, and integrated HSS curricula will be for health professions schools to recognize the importance and necessity of expanding these competencies. Local and national discussion forums dedicated to HSS can raise awareness of this need and promote discourse around the core content and concepts to be included in such curricula.12 Inclusion of both allopathic and osteopathic UME and GME programs, as well as CME accrediting bodies and specialty boards, would best inform this work and allow the medical education continuum to be addressed from beginning to end. 

[표준화]를 달성하기 위한 노력은 [모든 trainee가 HSS 영역에서 역량을 확보하도록 충분히 엄격]해야 하지만, [의료 현실이 변화함에 따라 혁신이나 지속적인 평가를 저해할 정도로 경직되지 않아야] 한다. 이 분야의 리더십은 의료 교육 기관, 의료 기관 또는 훈련생으로부터 얻을 수 있으며, 모든 이해 관계자들 간의 협업 벤처가 가장 성공할 가능성이 크다.

Efforts to achieve standardization will need to be sufficiently rigorous to ensure that all trainees gain competencies in HSS domains, but not so inflexible that they discourage innovation or the ongoing evaluation of topics as health care realities change. Leadership in this area may come from medical education organizations, health care organizations, or trainees, with collaborative ventures among all stakeholders having the greatest chance of success.

평가 개발, 표준화 및 조정
Develop, standardize, and align assessments

과제 Challenges.

HSS 역량 달성에 있어 학습자의 진전을 보장하기 위해서는 고품질 평가 방법이 필수적이다. 또한 평가는 학생들의 학습을 촉진하고, 직장 기반 환경에서 기술 개발을 촉진합니다. 예를 들어, HSS 도메인을 대상으로 하는 검증된 평가 방법이 상대적으로 부족하다. HSS는 강력한 마일스톤, 역량, EPA 프레임워크를 가지고 있지 않다. UME에서 HSS 평가 방법을 개발하고 구현하는 한 가지 과제는 이러한 도메인에 대한 숙달에 대한 명확한 개발 패러다임이 없다는 것이다.
High-quality assessment methods are essential to ensure learner progress in achieving HSS competencies. In addition, assessment drives student learning, and facilitates skill development in workplace-based settings.23 There is a relative paucity of validated assessment methods targeting HSS domains; for example, HSS does not have a robust framework of milestones, competencies, and/or EPAs. One challenge to developing and implementing HSS assessment methods in UME is the lack of a clear developmental paradigm for mastery in these domains. 

현재 기초적인 HSS 지식은 어느 정도 정의되었으나, 학생들이 HSS 도메인에서 입증해야 할 잠재적인 역할과 기대 수준의 성과는 아직 설명되지 않았다. 또한, 합성적synthetic HSS 커리큘럼 프레임워크가 있든 없든, 주요 HSS 도메인의 지식을 평가하기 위해 고품질의 MCQ를 구성하기는 어려울 것이다(이전 우선순위 영역 참조). HSS에 대한 보다 현실적인 평가를 위하여 작업장에서 관찰 방법을 개발하고 구현해야 하며, 이 분야에서 평가 결과의 품질, 신뢰성, 타당성을 보장하기 위한 접근법이 진화하고 있다.

Foundational HSS knowledge is currently being defined, and the potential roles and expected level of performance that students should demonstrate in HSS domains have not yet been elucidated. Furthermore, it would be difficult to construct high-quality multiple-choice items to assess knowledge in key HSS domains with or without a synthetic HSS curricular framework (see previous priority area). Assessments of more practical aspects of HSS will require the development and implementation of observational methods in the workplace, where approaches to ensuring high-quality, reliable, and valid assessment outcomes are evolving.24,25

잠재적 해결책 Potential solutions.

HSS에서 핵심 커리큘럼, 목표 및 내용을 정의하기 위한 지속적인 작업은 필요한 새로운 평가 방법의 유형을 이해하는 데 있어 중요한 단계이다. 면허, 증명, 인증 기관과의 협력은 교육의 연속성을 따라 HSS 지식과 기술에 대한 포괄적인 평가를 개발하는 데 필수적이다. 핵심 지식, 기술 및 역량이 정의되면 검증된 평가를 요약한 매트릭스를 개발하고 HSS 도메인과 연계해야 한다. 
Ongoing work to define the core curriculum, objectives, and content in HSS is a critical step in understanding the types of new assessment methods that are needed.12 Collaboration with licensing, certifying, and accrediting bodies is essential for developing a comprehensive assessment of HSS knowledge and skills along the continuum of education.26 As core knowledge, skills, and competencies are defined, a matrix outlining validated assessments should be developed and aligned with the HSS domains. 

다행히 이 매트릭스 내에서 기존 평가 방법을 사용할 수 있으며 초기 교육 도구 키트를 제공할 수 있다. 예를 들어 팀워크, 품질, 안전성 및 증거 기반 실무와 관련된 평가 방법에는 객관식 시험, 지식 응용 시험, 작업 결과물 평가work product rating, 시뮬레이션 기반 도구, 간접 관찰 방법(예: 동료 평가, 다중 소스 피드백) 및 임상 활동의 직접 관찰이 포함된다. 
Fortunately, existing assessment methods could be used within this matrix and provide an initial educator tool kit. For example, assessment methods related to teamwork, quality, safety, and evidence-based practice include multiple-choice exams, knowledge application tests, work product ratings, simulation-based tools, indirect observation methods (e.g., peer assessment, multisource feedback), and direct observation of clinical activities.27–41 

불행히도 대부분의 평가 방법은 [국지적으로locally 개발된 도구]이거나, [심리측정 특성이 안정적이지 않은, 소규모 샘플만을 사용한 기존의 도구를 수정한 것] 정도이다. 이는 도구 사용에 inform하기 위한 기존 타당성 데이터를 사용하는 것을 금지하고, 연구 간의 비교를 방지하며, 새로운 도구의 엄격한 분석을 방해한다. 향후 연구는 평가 매트릭스가 각 도구의 품질과 효과적인 사용을 위한 권고사항에 관한 신뢰할 수 있는 정보를 포함하도록 하기 위해 기존 및 아직 개발되지 않은 검증된 도구를 사용한 협업 연구를 장려해야 한다.

Unfortunately, most assessment methods involve locally developed tools or modifications to existing national tools using small samples of students with variable psychometric characteristics. This forbids the use of existing validity data in informing the use of the tool, prevents comparisons across studies, and hinders rigorous analysis of new tools.42,43 Future work should encourage collaborative research using existing and yet-to-be-developed validated tools to ensure that the assessment matrix contains trustworthy information regarding each tool’s quality and recommendations for effective use.

UME에서 GME로의 전환 개선
Improve the UME to GME transition

과제 Challenges.

학습자가 UME에서 GME로 원활하게 이행할 수 있도록 보장하는 것은 HSS만의 과제가 아닙니다. GME가 ACGME Next Accreditation System의 일부로 마일스톤을 사용하고 있고 미국 의학 대학 협회(American Medical College Association)가 졸업하는 의대생을 위한 결과 목표로 EPA를 제공했지만, LCME는 어느 하나에 대한 선호도를 규정하지 않았다. EPA와 마일스톤(많은 학교에서 작성)은 서로 보완적으로 사용할 수 있지만, 교육적 핸드오프를 이상적으로 한다는 측면에서는 일관된 '평가 언어'가 없는 것이 문제가 된다. 
Ensuring learners’ smooth transition from UME to GME and beyond is not a challenge unique to HSS.2,3,7,44 While GME is using the language of milestones as part of the ACGME Next Accreditation System and the Association of American Medical Colleges has offered EPAs as outcome goals for graduating medical students, the LCME does not stipulate a preference for either.21,45,46 Although EPAs and milestones (being written by many schools) can be used in a complementary manner, ideal educational handoffs are hindered by the lack of a consistent assessment language.47 

ACGME 임상 학습 환경 검토 프로그램과 임상 실습과 교육의 reimagined integration을 통해 care를 개선하려는 임무는 HSS에서 UME에서 GME로의 전환의 중요성을 강화한다. 마지막으로, HSS에서 의대생 역량 졸업에 대한 GME 프로그램의 기대와 전공의 선발 과정에서 이러한 도메인의 평가 및 우선 순위 간의 차이는 UME에서 GME로의 전환의 격차를 더욱 강화한다.

The ACGME Clinical Learning Environment Review Program and its mission to improve care via a reimagined integration of clinical practice and education strengthens the importance of the UME to GME transition in HSS.48 Lastly, variation across GME programs’ expectations of graduating medical student competence in HSS and their assessment and prioritization of these domains in the residency selection process further reinforce gaps in the UME to GME transition.

잠재적 해결책 Potential solutions.

교육자는 (모든 단계에서) 의사가 [복잡하고 진화하는 팀 기반 치료 모델에 의미 있게 참여할 준비가 되어 있는지] 확인하기 위해, 특히 [HSS를 위한 학습과 평가를 guide하는 공통 언어]가 필요하다. 의과대학은 HSS와 관련된 AAMC의 EPA와 지역적으로 작성된 마일스톤(기존 GME 이정표에 근거)를 시험해야 한다. 전공의 프로그램은 HSS 도메인의 폭과 깊이가 만족스러운지 또는 시간이 지남에 따라 이러한 영역이 진화해야 하는지 여부를 검토해야 한다. 

Educators at all levels need a common language to guide learning and assessment, specifically for HSS, to reliably ensure that physicians are prepared to meaningfully participate in complex, evolving, team-based care models. Medical schools should pilot the Association of American Medical Colleges’ EPAs and locally written milestones (grounded in existing GME milestones) that pertain to HSS. Residency programs should examine whether the breadth and depth of the HSS domains are satisfactory or whether these need to evolve over time. 

여러 discipline에 걸쳐, UME 및 GME 교육자 파트너십을 이룬다면, 이상적인 교육적 핸드오프의 특징을 정의하고 UME-GME 연속체에 걸쳐 사용할 수 있는 평가 도구를 구현할 수 있다. 

Together, UME and GME educator partnerships across disciplines can define identifying features of ideal educational handoffs and implement assessment tools that can be used across the UME-GME continuum. 

교사의 지식과 기술, 교사에 대한 인센티브 향상
Enhance teachers’ knowledge and skills, and incentives for teachers

과제 Challenges.

HSS 콘텐츠를 이해하고, 연습하고, 효과적으로 가르치는 교수진을 식별하는 것이 HSS를 기존 커리큘럼에 통합하는 핵심이다. 일반적으로 [전통적으로 훈련된 임상 교수진]은 HSS 전문성을 강화해야 한다.2.7 이는 임상 교사가 (지속적으로 변화하는 환경에서) HSS를 배워가면서 동시에 가르쳐야 한다는 것을 의미한다.49 한정된 시간을 두고 여러 우선순위들이 경쟁하며, 자원 배분이 부적절하고, 점차 임상 생산성을 강조하는 상황은, 교수진이 집중적인 훈련을 수행하거나 새로 개발된 기술을 임상 실습 및 교육에 통합하는 것을 어렵게 한다. 
Identifying faculty who understand, practice, and effectively teach HSS content is key to integrating HSS into existing curricula. Traditionally trained clinical faculty typically need to enhance their own HSS expertise.2,7 This means that clinical teachers are challenged to teach HSS while they are learning it and simultaneously working in a continuously changing environment.49 Competing priorities for time and inadequate resource allocation, coupled with increased emphasis on clinical productivity, make it difficult for faculty to undertake intensive training or integrate newly developed skills into clinical practice and teaching.

교수진을 교육할 수 있는 대학 내 전문지식과 제도적 인프라가 없다면, 이러한 공백을 메우기 위해 외부 프로그램을 사용하는 경우도 있다. 그러나 이러한 프로그램은 비용이 많이 들고 교수들이 일상 업무 환경의 맥락에서 내용을 이해할 수 있는 기회를 제공하지 않는다. 보건 전문가 부문 전반에 걸친 협업 노력은 새로 학습한 개념을 연습에 일관성 있게 통합하고, 결과를 개선하고, 교육생과 동료에게 새로운 역량을 롤모델링하기 위해 필요하다.

Without in-house expertise and institutional infrastructure to educate faculty, external programs are sometimes used to fill this gap. However, these programs are costly and do not provide an opportunity for faculty to understand the content within the context of the daily work environment. Collaborative efforts across health professions’ disciplines are required to consistently integrate newly learned concepts into practice, improve outcomes, and role model new competencies to trainees and colleagues.

잠재적 해결책 Potential solutions.

의료 개선, 교육 혁신 및 HSS 학술활동 보급에 대한 교수 능력의 훈련 및 지원은 지속 가능한 임상 학습 환경을 조성한다. 또한 의료 시스템과의 협업을 통해 새로운 개념과 관행을 일상 업무 환경에 통합하는 데 필요한 실습 학습 기회를 제공합니다. [교육 모듈 및 자료의 공유 저장소]에 의해 서포트되는 온라인, 대면 및 체험 학습의 혼합물mixture를 사용한다면 기관 교수진 개발 프로그램과 학습 커뮤니티를 만들 수 있다. 
Training and support of faculty capabilities in care improvement, educational innovation, and dissemination of HSS scholarship facilitates a sustainable clinical learning environment, and collaboration with the health care system provides the hands-on learning opportunities required to integrate new concepts and practices into the daily work environment. Institutional faculty development programs and learning communities can be created using a mixture of online, face-to-face, and experiential learning that is supported by a shared repository of educational modules and materials. 

전문직업적 발달을 명예롭게 인정하고, 인증 유지 및 CME의 구조적 지원, 질 향상 개입을 촉진하기 위한 [간소화된 기관 검토 위원회 프로세스], 학습 및 교사의 진척을 위한 [보호된 시간], 임상 및 교육 환경에서의 [리더십 및 관련 경력 기회], 학술적 생산성에 대한 지원, [승진 가이드라인에 HSS 학술활동 포함] 등을 통해 교수진을 지원할 수 있다. [국가 자격증 프로그램]은 기관들이 지속적인 학습과 개선을 위해 지역 통합과 교수진 지원에 집중할 수 있도록 하는 동시에 광범위한 의료 교육자에게 정보의 보급을 촉진할 수 있다.

Institutions can support faculty by facilitating honorific recognition of professional development, structural support for maintenance of certification and CME, streamlined institutional review board processes to encourage quality improvement interventions, protected time to advance learning and teaching, leadership and career opportunities in related clinical and educational environments, assistance with scholarly productivity, and inclusion of HSS scholarship in promotion guidelines. A national certificate program could promote the dissemination of information to a broad base of medical educators while allowing institutions to focus on local integration and faculty support for continued learning and improvement.

보건시스템에 value added를 보여주는 것
Demonstrate value added to the health system

과제 Challenges.

전통적으로, UME는 미래에 환자를 돌보는 것을 목표로 기초 및 임상 과학에서 학생들의 지식과 기술의 개발에 주로 초점을 맞추었다. 그리고 임상 훈련 경험은 임상 치료 임무 동안 학생들을 전공의 및 주치의와 직접 연결시킨다. 50 이 견습 모델은 학생들을 지도하고 교육하는 시간을 필요로 하는데, 이는 종종 효율성을 떨어뜨리고 의사 생산성과 보건 시스템의 수익성에 부정적인 영향을 미친다.51-55 비용을 최소화하면서 효율성과 품질을 최적화하기 위한 의사 및 의료 제공 모델의 증가하는 필요성과 이 견습 모델에서의 의대생 멘토링 작업의 추가 작업을 재검토할 필요가 있다. 교수진과 학교들은 전통적으로 [학생들이 학생인 동안에는 환자 치료에 가치를 더할 수 없다]고 추정해왔다. 그러나, 학생들이 배우는 동안 건강 시스템에 가치를 더할 수 있도록 의과대학과 학생 활동을 학문적 보건 센터와 지역사회 건강 프로그램과 더욱 통합하기 위한 교육과 연구를 늘리기 위한 권고안이 만들어졌다.

Traditionally, UME has focused primarily on the development of students’ knowledge and skills in the basic and clinical sciences, with the goal of caring for patients in the future. And clinical training experiences continue to link students directly with resident and attending physicians during clinical care duties.50 This apprenticeship model requires time to mentor and educate students, which often decreases efficiency and negatively impacts physician productivity and the profitability of the health system.51–55 The increasing need for physicians and care delivery models to optimize efficiency and quality while minimizing cost, and the added work of mentoring medical students in this apprenticeship model, needs to be reexamined. Faculty and schools have traditionally presumed that students cannot add value to patient care while they are students. However, recommendations have been made for increased education and research into further integrating medical schools and student activities with academic health centers and community health programs so that students could add value to the health system while they learn.56,57

잠재적 해결책 Potential solutions.

교육자들은 의료 학생들이 의료 서비스 전달의 "진료"를 "공유share the care"할 수 있는 부가 가치 역할을 식별하고 제공하는 데 초점을 맞출 것을 권고했다. 의료 시스템 내의 경험적 역할에서 HSS를 적용하는 것은 종종 [기존의 생의학적 결정(예: 약 처방 오더)]에 비해 [저부담 단계(예: 건강 코칭)]가 될 수 있다. 이러한 주요 차이는 HSS를 학습하는 동시에 가치를 추가하고 환자 결과를 개선할 수 있는 진정한 시스템 기반 작업을 수행함으로써 의대 학생들이 보건 시스템에 참여할 수 있는 몇 가지 기회를 열어준다. 
Educators have recommended an increased focus on identifying and providing value-added roles for medical students to “share the care” of health care delivery.58,59 The application of HSS in experiential roles within the health care system can often be lower-stakes (e.g., health coaching) compared with traditional biomedical decisions (e.g., ordering medications). This key difference opens up several opportunities for medical students to engage with the health system by performing authentic systems-based tasks that can add value and improve patient outcomes, while also learning HSS.5,10,59 

학생들은 환자 네비게이터와 건강 코치의 역할을 하고, 효과적인 치료 전환transitino을 촉진하며, 약물 조정과 교육을 지원함으로써 가치를 더할 수 있다. 이러한 역할은 의료 시스템의 임상 치료 요구와 일치하며, 특히 재입원 감소, 진료 transition 개선, 환자 만족도 향상과 같은 결과에 초점을 맞춘다. 이러한 새로운 학생 역할은 시스템과 멘토에 대한 "부담"을 줄이고, HSS의 학생 교육을 강화하며, 잠재적으로 건강 결과를 개선할 수 있다.

Students can add value by serving as patient navigators and health coaches, facilitating effective care transitions, and assisting with medication reconciliation and education. These roles align with the clinical care needs of the health system, specifically focusing on outcomes such as reducing readmissions, improving care transitions, and improving patient satisfaction.60 These new student roles can lessen the “burden” on the system and mentors, enhance student education in HSS, and potentially improve health outcomes.

잠재 커리큘럼 해결
Address the hidden curriculum

과제 Challenges.

잠재 교육과정은 [제도적 구조와 문화가 학습환경에 미치는 영향]으로, 의사 자율성과 권위의 개념을 강화하는 경우가 많고, 이는 trainee가 교수의 행동을 따라model하기 때문에, 환자 가치와 의료팀 구성원의 역할에 대해 갖는 인식에 영향을 준다. 마찬가지로, [정책, 공식적인 커리큘럼, 시험, 그리고 교수진의 전문적 개발]은 제도적인 목표와 가치를 반영하고, 이는 다시 학습 환경에 영향을 미친다. 
The hidden curriculum is the influence of institutional structure and culture on the learning environment61 and often reinforces the notions of physician autonomy and authority, influencing trainees’ perceptions of patient worth and the roles of health care team members as they model faculty behaviors.62–64 Similarly, policies, the formal curriculum, exams, and professional development of faculty reflect institutional goals and values, which, in turn, affect the learning environment.65–67 

교육생들이 HSS 교육의 격차를 파악했지만, 이 내용은 인허가 및 이사회 시험이나 레지던트 배치 기준에 포함되지 않아 우선순위가 낮은 것으로 배정됐다. 새롭게 떠오르는 근거에 따르면, 자원 사용이 낮은 임상 환경에서 훈련하는 학생들이 향후 유사한 방법으로 practice할 가능성이 더 높으며, 이는 훈련 중의 역할 모델링이 학습자 개발에 매우 중요하다는 것을 시사한다. 역할 모델이 HSS-informed clinical practice를 보여주지 않는 경우, 학습자는 이러한 행동을 자신의 실제에 통합할 가능성이 줄어듭니다.

Although trainees have identified gaps in their HSS education, this content is assigned a lower priority because it is not included in licensing and board exams or residency placement criteria.68–71 Important, emerging evidence suggests that students who train in clinical environments with lower resource use are more likely to practice similar methods in the future, suggesting that role modeling during training is critical to learner development.72,73 If role models do not demonstrate HSS-informed clinical practice, learners will be less likely to incorporate these behaviors into their own practice.

잠재적 해결책 Potential solutions.

HSS 커리큘럼을 도입하기 위한 이니셔티브를 마련하려면 제도적 가치와 문화의 변화가 필요할 것이다. 이와 같이 각 기관의 구체적인 교육과정 변경에 대한 이행과 평가는 나머지 의학교육계에서의 기대가치 변화expected value를 모델링할 필요가 있을 것이다. 기관마다 학습환경에 대한 인식이 다르기 때문에 숨은 교육과정의 효과를 평가하는 노력이 각 특정 로케일specific locale로 향해야 한다. 
Creating initiatives to introduce HSS curricula will require a change in institutional values and culture. As such, implementation and evaluation of specific curricular changes at each institution will need to model the expected value changes for the rest of the medical education community. Because perceptions of learning environments vary between institutions, efforts to evaluate the effects of the hidden curriculum must be directed toward each specific locale.74 

[교육 변화에 대한 각 공동체의 준비 상태]를 이해하면, 해당 기관이 공식적인 HSS 커리큘럼을 도입할 때의 장벽과 긴장을 이해하는 데 도움이 되며, 이에 따라 교수진(자원 및 홍보를 통해)과 학생(시험을 통해)을 위한 인센티브 구조를 고안할 수 있다. 학생들이 자신의 경력에 HSS의 중요성에 대한 인식을 높이는 것은 학생들이 통합적이고 종적이며 의미 있는 환자 중심적인 경험에 노출시킴으로써 해결할 수 있다. 
Understanding each community’s readiness for educational change will assist that institution’s leadership in understanding the barriers and tensions to implementing a formal HSS curriculum and allow them to devise incentive structures for faculty (via resources and promotion) and students (via exams) accordingly. Increasing students’ recognition of the importance of HSS to their careers could be addressed by exposing students to integrated, longitudinal, and meaningful patient-centered experiences. 

보건 시스템 개선 노력에 대한 긍정적인 경험과 HSS 교육을 일치시키면, 커리큘럼의 격차를 줄이고 "유동적인fluid" 학습 환경을 조성할 수 있다. [국가 수준에서 HSS 교육에 대한 진화하는 담론]은 의사들의 실천과 교육에 HSS의 개념을 적용할 때 [의사의 책무에 대한 대화]를 포함해야 한다.

Aligning their HSS education with positive experiences in health systems improvement efforts may reduce gaps in the curriculum and create a “fluid” learning environment. Evolving discourse on HSS education at the national level should include conversations about physician accountability in espousing HSS tenets in their practice and teaching.

결론 Conclusions

보건 전문 학교의 커리큘럼 개혁을 요구하는 권고에도 불구하고, 가르치고 측정하는 것과 차세대 의사들에게 필요한 지식과 기술 사이에는 상당한 불일치가 남아 있다. HSS는 교육 개혁의 중추적인 부분으로 의과대학은 관련 분야에 초점을 맞춘 학습 활동을 설계하고 시행하고 있다. 의료 교육 개혁의 다음 물결에서는 HSS가 혁신의 주요 초점이 되어 의료 교육계의 전략적 사고와 행동이 대규모의 지속 가능한 개혁에 긍정적인 영향을 미칠 것을 요구할 것이다. HSS와 관련된 성공의 달성은 [의과대학, 보건 시스템, 면허, 인가 및 규제 기관, 자금 조달 파트너] 간의 새롭고 진화하는 협력 관계를 통해 가장 신속하게 이루어질 것이다. 

Despite recommendations calling for curricular reform in health professions schools, there remains a significant mismatch between what is taught and measured and the knowledge and skills that are required for the next generation of physicians. HSS is one pivotal piece in education reform, and medical schools are designing and implementing learning activities focused on related areas. In the next wave of medical education reform, HSS will be a primary focus of innovation, requiring strategic thinking and action by the medical education community to positively influence large-scale, sustainable reform. The achievement of success with regard to HSS will occur most expeditiously through new and evolving collaborative partnerships between medical schools; health systems; licensing, accrediting, and regulatory bodies; and funding partners. 

Acad Med. 2017 Jan;92(1):63-69.

 doi: 10.1097/ACM.0000000000001249.

Priority Areas and Potential Solutions for Successful Integration and Sustainment of Health Systems Science in Undergraduate Medical Education

Jed D Gonzalo 1, Elizabeth Baxley, Jeffrey Borkan, Michael Dekhtyar, Richard Hawkins, Luan Lawson, Stephanie R Starr, Susan Skochelak

Affiliations collapse

Affiliation

• 1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. E. Baxley is senior associate dean of academic affairs, Brody School of Medicine at East Carolina University, Greenville, North Carolina. J. Borkan is chair and professor of family medicine and assistant dean for primary care-population health program planning, Alpert Medical School of Brown University, Providence, Rhode Island. M. Dekhtyar is research associate, Medical Education Outcomes, American Medical Association, Chicago, Illinois. R. Hawkins is vice president, Medical Education Outcomes, American Medical Association, Chicago, Illinois. L. Lawson is assistant dean for curriculum, assessment, and clinical academic affairs and assistant professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. S.R. Starr is assistant professor of pediatric and adolescent medicine and director of science of health care delivery education, Mayo Medical School, Mayo Clinic College of Medicine, Rochester, Minnesota. S. Skochelak is group vice president of medical education, American Medical Association, Chicago, Illinois.

• PMID: 27254015
• DOI: 10.1097/ACM.0000000000001249Abstract
• Educators, policy makers, and health systems leaders are calling for significant reform of undergraduate medical education (UME) and graduate medical education (GME) programs to meet the evolving needs of the health care system. Nationally, several schools have initiated innovative curricula in both classroom and workplace learning experiences to promote education in health systems science (HSS), which includes topics such as value-based care, health system improvement, and population and public health. However, the successful implementation of HSS curricula across schools is challenged by issues of curriculum design, assessment, culture, and accreditation, among others. In this report of a working conference using thematic analysis of workshop recommendations and experiences from 11 U.S. medical schools, the authors describe seven priority areas for the successful integration and sustainment of HSS in educational programs, and associated challenges and potential solutions. In 2015, following regular HSS workgroup phone calls and an Accelerating Change in Medical Education consortium-wide meeting, the authors identified the priority areas: partner with licensing, certifying, and accrediting bodies; develop comprehensive, standardized, and integrated curricula; develop, standardize, and align assessments; improve the UME to GME transition; enhance teachers' knowledge and skills, and incentives for teachers; demonstrate value added to the health system; and address the hidden curriculum. These priority areas and their potential solutions can be used by individual schools and HSS education collaboratives to further outline and delineate the steps needed to create, deliver, study, and sustain effective HSS curricula with an eye toward integration with the basic and clinical sciences curricula.

보건시스템과학 과목의 예후: 현재 학생들로부터의 관측(Acad Med, 2018)

A Prognosis for Health Systems Science Courses: Observations From Current Students
Andrew R. Pines, Aditya Khurana, George M. Mastorakos, Kent R. Richter, and Walker L. Asprey

모든 정치 계열의 전문가들은 미국의 의료 제공 체계가 부당함과 비효율성으로 고군분투하고 있지만, 이러한 문제들을 어떻게 해결할 것인지에 대해서는 의견이 다르다. 예를 들어, 건강보험을 저렴하고 많은 사람들이 이용할 수 있도록 하기 위한 '적정 의료법'의 한 축인 건강보험 가입 권한은 최근에, 이 의무 조항이 법을 제정하는 데 용인되는 방법이라는 데 동의하지 않는 국회의원에 의해 법에서 삭제되었다. 행정부가 바뀜에 따라 보건 정책이 변경될 때, 미국 시민들에게 의료가 어떻게 전달될 것인지 예측하기 어렵습니다. 현재 시스템의 부당함, 비효율성 또는 부적절함으로 인해 고통 받고 있는 수백만 명의 사람들이 의료 서비스가 어떻게 전달될 것인지 예측하기 어렵습니다.
Experts of all political affiliations agree that the U.S. health care delivery system struggles with injustice and inefficiency, but disagree about how to address these challenges. For example, the mandate to purchase health insurance, a pillar of the Affordable Care Act intended to keep health insurance affordable and accessible to the majority of people, was just recently removed from law by lawmakers who disagreed that the mandate was an acceptable way to frame the law. When health policy changes with each political administration, it is difficult to predict the future of how health care will be delivered to citizens of the United States—millions of whom are suffering from injustices, inefficiencies, or inadequacies in the current system.

HSS 학습의 근거는 의사가 보건의료시스템에 긍정적인 기여를 할 의무가 있기 때문이며, 학생들은 그들의 의학교육 과정에서 이른 시점에 거기에 필요한 도구를 제공받아야 한다. 

The rationale for studying HSS is that physicians have a duty to make positive contributions to the health care system and that students should be given the tools to do so early in their medical training. 

SHCD 커리큘럼
SHCD Curriculum

Mayo Clinic School of Medicine의 SHCD 과정은 2015년 미네소타주 로체스터에서 시작되었으며, 2017년 애리조나 캠퍼스의 설립 수업 전체를 대상으로 가르치고 있다. SHCD 과정은 Mayo Clinic과 Arizona State University의 전문 교수진이 이끈다. 강좌의 내용은 다음의 6가지 영역으로 구성된다. 

• 의료 정책, 경제, 기술
• 고가치 진료,
• 리더십,
• 사람 중심 진료,
• 인구 중심 진료,
• 팀 기반 진료

The SHCD course at the Mayo Clinic School of Medicine began in 2015 in Rochester, Minnesota, and is being taught to the entire 2017 inaugural class on the Arizona campus. The SHCD course is led by expert faculty from Mayo Clinic and Arizona State University. The content of the course is organized into six domains:

• health care policy, economics, and technology;
• high-value care;
• leadership;
• person-centered care;
• population-centered care; and
• team-based care.

각 도메인에 대한 학습 결과는 표 1에 나와 있습니다.

The learning outcomes for each domain are shown in Table 1. 

수업 준비를 위해, 학생들은 지식의 기초를 확립하기 위해 고안된 온라인 모듈을 이수한다. 교실 활동은 우리가 배우는 주제를 생생하게 표현하기 위해 고안된, 교육적인 강의, 소그룹 작업, 학생 발표, 시뮬레이션 연습이 혼합된 것이다.

To prepare for class, students complete online modules designed to establish a foundation of knowledge. Classroom activities are a mix of didactic lectures, small-group work, student presentations, and simulation exercises, which are designed to help vivify topics we learn. 

경험적 연습에는 1차 진료소 내에서 환자 치료의 다양한 측면에 종사하는 다수의 직원을 섀도잉 하는 과정을 포함한다.

• 한 실습에서, 학생들은 나이와 관련된 질병을 흉내내기 위한 장비를 착용하고 일상 생활 활동을 한다.
• 다른 예로, 학생들은 관련 지역사회 자원에 접근하기 위해 가상의 서비스 미달 환자의 "생활 속의 하루"를 보낸다. 즉, 진료에 대한 접근을 제공하는 의료 서비스 전달 시스템에서 반복되는 장애에 부딪히는 환자이다.

The experiential exercises include shadowing a number of employees engaged in different facets of patient care within a primary care clinic.

• In one exercise, students engage in activities of daily living wearing gear meant to simulate age-related ailments.
• In another, students spend a “day in the life” of a hypothetical underserved patient trying to access pertinent community resources: a patient who is met by repeated obstacles in a health care delivery system that is supposed to provide access to care.4
  
  

SHCD 커리큘럼은 4년간의 종단적 강의실 수업과 관련 온라인 모듈로 구성된다. 의과대학 과정을 거치면서, 우리는 [수업에서 배우는 개념적 프레임워크]를 [실제 환자 경험]과 보완한다. SHCD 커리큘럼의 종단적 특성으로 인해 우리는 강의실로 돌아와 의료에 대한 경험을 통합하고, 새로운 아이디어를 조화시키며, 의료 전달을 개선하기 위한 새로운 전략을 배울 수 있다.

The SHCD curriculum comprises four years of longitudinal classroom instruction and associated online modules. As we progress through medical school, we complement the conceptual framework we learn in class with real patient experiences. The longitudinal nature of the SHCD curriculum allows us to return to the classroom to consolidate our experiences in health care, reconcile new ideas, and learn novel strategies for improving health care delivery.

1학년에, 2주짜리 세션을 두 차례 진행한다. 

• 첫 번째 세션은 또한 학생들이 우리 학교에서 듣는 첫 번째 수업이다. 이 세션은 학생들에게 의료 서비스 제공 영역을 소개하고 각 도메인이 직면한 과제에 대한 관심을 유도하기 위한 것이다.
• 두 번째 세션은 의과대학 1학년 중간쯤에 열린다. 두 번째 세션의 목적은 학생들이 각 영역에 대한 더 깊은 이해를 하게 하고, 학생들이 1년 내내 겪었던 병원 경험에 이러한 개념을 적용하도록 장려하는 것이다.

In the first year, the class meets for two 2-week sessions.

• The first session is also the first class that students take at our school. This session is intended to introduce students to the domains of health care delivery and induce interest in the challenges faced by each domain.
• The second session occurs midway into the first year of medical school. The objective of the second session is to give students a deeper understanding of each domain and encourage application of these concepts to the hospital experiences that students have had throughout their first year.

하루짜리 감성지능 강의도 기초과학 교육과정에 흩어져 있다. 이밖에도 종단적 건강코칭 과정도 마련돼 있어, 자원봉사자인 메이요클리닉 직원들이 [직원과 학생이 함께 설정한 웰빙 목표]를 개발하고 달성할 수 있도록 돕는 방법을 배우게 된다.

Single-day emotional intelligence lectures are also scattered throughout the basic science curriculum. In addition, there is a longitudinal health coaching course, in which the students are expected to learn how to help volunteer Mayo Clinic employees develop and achieve wellness goals that the employees and students set together.

초기 반응
Initial Reactions

1학년 SHCD 과정의 가장 가치 있는 결과 중 하나는 각 도메인에 제공되는 지식 기반과 주제를 비판적으로 이해하기 위한 프레임워크였다. 공통적으로 세 가지 교육적 혜택이 있었다.
One of the most valuable outcomes of the first-year SHCD course was the knowledge base provided for each domain and the framework for critically comprehending the subjects. three educational benefits that we shared in common.

첫째, 우리는 진료실, 수술실 또는 연구 활동에 참여했을 때 의료 서비스 제공에 대해 더 비판적으로 생각하기 시작했습니다. 

• SHCD 과정은 우리에게 미국에서 의료가 직면하고 있는 도전과 이러한 과제에 대한 해결책을 개발하기 위한 전략을 소개하였다. 이 과정을 수강한 이후, 우리는 HSS에 대해 더 잘 이해하고 병원 환경에서 전달 문제에 대해 더 잘 알고 있습니다. 
• 예를 들어, 수술실에서 섀도잉을 하면서 해부학과 술기 뿐만 아니라, 비용, 워크플로우 및 팀워크 전략도 배웠습니다.
• 외래 클리닉에서는, 우리는 약물과 보험 비용, 의사-환자 공유 의사 결정 모델, 그리고 이러한 문제가 어떻게 영향을 미칠 수 있는지에 대한 환자의 이해와 같이 환자에게 영향을 미칠 수 있는 문제에 더 주의를 기울였다.
• 우리는 또한 품질 개선을 위한 학술 연구에 참여하기 시작했습니다. 지난 몇 달 동안 마요클리닉 교수진과 협력해 현재 우리 등 학우들이 참여하고 있으며 의과대학 연수 기간 내내 계속 진행할 계획인 자발적인 질 향상 수업을 만들었다.

First, we began thinking more critically about health care delivery when we were in the clinic, in the operating room, or involved in research activities.

• The SHCD course introduced us both to challenges facing health care in the United States and to strategies for developing solutions to those challenges. Since taking this course, we have become more literate in HSS and more aware of delivery challenges in hospital settings.
• When we have shadowed in the operating room, for example, we learned not just about anatomy and procedures but also about costs, workflow, and teamwork strategies.
• When we have been in the clinic, we were more attentive to issues that might affect the patients, such as drug and insurance costs, physician–patient shared decision-making models, and patients’ understanding of how these issues might affect them.
• We have also begun participating in academic research for quality improvement. In the past months, we worked with faculty at Mayo Clinic to create a voluntary quality improvement class that we and other classmates are involved in now and that we plan to continue throughout our medical school training.

둘째, 우리는 의료 시스템의 복잡성에 대해 더 잘 이해하게 되었습니다. 

• 우리가 SHCD 수업을 듣기 전에, 우리는 HSS 문제를 비교적 단순한 방식으로 보았다. SHCD 과정의 첫 해는 의료 시스템이 얼마나 복잡한지, 그리고 그것이 다른 가치와 관심사에 의해 어떻게 형성되는지에 대한 우리의 감사를 강화시켰다. 
• 우리는 한 도메인에 대한 과제가 다른 도메인에 미치는 영향과 서로 다른 도메인에 걸쳐 모든 관심 이해 관계자를 수용하는 것을 목표로 하는 솔루션을 개발하는 방법을 배웠다. SHCD 커리큘럼은 우리가 해부학, 생리학, 그리고 건강에 영향을 줄 수 있는 사회경제적 이슈와 같은 기초 과학을 연결하는데 도움을 주었다. 
• 우리는 의료 문제가 환자가 사는 환경(예: 오염, 폭력, 빈곤)에 뿌리를 두고 있음을 더 잘 이해하게 되었다. 의료에 대한 결정은 환자의 사회적 제약을 고려해야 한다.
• 의료 문제의 복잡성을 더 밝혀내보고자, 우리는 SHCD 프로그램의 책임자와 협력하여 의료 지출에서 연방 기금 할당에 관한 토론을 설정했다. SHCD수업 1학년이 끝나자 많은 동료 학생들과 교수진의 참여로 한층 강화된 1시간 토론회를 준비하여 참여하였다. 비록 우리가 의료의 과제를 해결하기 위한 은탄을 생각해내지 못했을 수도 있지만, 이 논쟁은 건강에 영향을 미치는 다양한 요소들이 어떻게 절충을 만들어낼 수 있는지, 그리고 의사들이 해결책을 최적화하는 데 도움을 줄 수 있는 역할을 더 잘 이해하게 했다.

Second, we gained a better understanding of the complexity of the health care system.

• Before we took the SHCD class, we viewed HSS problems in a relatively simplistic fashion. The first year of the SHCD course enhanced our appreciation for how complex the health care system is and how it is shaped by different values and interests.
• We have learned how challenges to one domain affect others and how to develop solutions that aim to accommodate all interested stakeholders across different domains. The SHCD curriculum has helped us to connect basic sciences such as anatomy, physiology, and the socioeconomic issues that can influence health.
• We have a greater appreciation for how medical problems can have roots in the environments in which patients live (eg, pollution, violence, poverty). Decisions about health care must take into account the social constraints of patients.
• To further elucidate the complexity of health care issues, we worked with the director of the SHCD program to set up a debate regarding the allocation of federal funds in health care expenditures. At the end of the first year of the SHCD class, we prepared for and participated in the one-hour debate, which was enhanced by the participation of many fellow students and faculty. Although we might not have come up with silver bullets for solving challenges in health care, this debate has left us with a greater understanding of how various factors that impact health can create trade-offs, and the roles physicians can play in helping to optimize solutions.

셋째, 우리는 의료 서비스 제공의 여러 측면에 대한 더 큰 고려를 개발했습니다. 

• 우리들 중 많은 사람들은 기술, 경제, 소외된 지역사회에 대한 열정을 가지고 의과대학에 입학했습니다. SHCD 과정은 학생들이 아이디어를 공유하고 다듬을 뿐만 아니라 아직 탐구되지 않은 건강 관리의 측면에 대해서도 배울 수 있는 장을 제공했다. 
• 우리들 중 몇몇은 우리의 future practice에서 효율성의 중요성을 인식하지 못했고; 또 어떤 학생들은 제약회사의 정책이 어떻게 환자에게 생명을 바꾸는 영향을 미칠 수 있는지 깨닫지 못했습니다.
• 의사 리더십에 대한 우리의 관점도 바뀌었습니다. 우리는 이제 보건 시스템의 문제가 환자 치료에 영향을 미치는 문제로 전환된다는 것을 이해했고, 따라서 의사는 시스템을 개선할 의무가 있다.
• 첫 번째 SHCD 블록에 이어, 우리는 의료 서비스 제공 혁신에 대한 의학 컨퍼런스에 참석했습니다. 우리는 미국의 의료 시스템에 긍정적인 영향을 미칠 수 있는 변화에 대해 그 분야의 사상가들로부터 배웠다. 어쩌면 더 중요한 것은, 이 컨퍼런스가 의사를 시스템에 대한 의미 있는 변화의 주체로 간주하도록 영감을 주었다.

Third, we developed a greater consideration for the many facets of health care delivery.

• Many of us came into medical school with a passion for technology, for economics, and for serving in underserved communities. The SHCD course provided a forum for students not only to share and refine ideas but also to learn about yet-unexplored aspects of health care.
• Some of us had not appreciated the importance of efficiency in our future practice; others had not realized how pharmaceutical policies can have life-changing effects on patients.
• Our perspective of physician leadership also shifted: We now understand that problems in the health system translate into problems that affect patient care, and, therefore, physicians have a duty to improve the system.
• Following the first SHCD block, we attended a medical conference on innovations in health care delivery. We learned from thought leaders in the field about changes that could positively affect the U.S. health care system. Perhaps more important, this conference inspired us to view physicians as agents of meaningful change to the system.

SHCD 코스는 의료 서비스 제공 시스템을 개선하기 위해 활력을 불어넣고 있습니다. 이는 우리의 통제 위치 변화입니다. 우리 자신을 시스템의 작동의 대상이라고 보는 대신에, 우리는 이제 시스템을 개선하고, 그렇게 함으로써 환자의 삶의 질을 향상시킬 수 있다고 느낍니다.

The SHCD course has left us invigorated to improve the health care delivery system, which is a shift in our locus of control: Instead of seeing ourselves as subject to the workings of the system, we now feel empowered to ameliorate it, and, in so doing, to improve the quality of patients’ lives.

결론
Conclusion

1학년 학생들이 우리가 환자를 어떻게 치료할지 기술을 개발하기 시작하면서, 우리는 HSS를 초기에 강조하는 것이, 우리가 생각하고 있던 [미래에 환자 치료에 접근하는 방식]을 변화시켰다는 것을 발견했다. 환자에게 훌륭한 치료를 제공하기 위해, 우리는 이제 보건 시스템이 그들에게 어떤 영향을 미치는지 이해하고, 보건 시스템의 문제를 인식하고, 이러한 문제에 대한 혁신적인 해결책을 고안해야 한다는 것을 안다. 

As first-year students just beginning to develop skills for how we will treat patients, we found that early emphasis on HSS has altered the scope of how we plan to approach patient care in the future. To provide excellent care for our patients, we now know that we must understand how the health system affects them, recognize problems in the health system, and devise innovative solutions for these problems.

SHCD 코스는 건강 시스템 문제를 식별하고 6개의 다른 의료 영역에 대한 솔루션을 만들도록 우리를 훈련시켰다. 의료 서비스 제공 문제에 대한 다자간 접근법의 강조는 우리가 보건 시스템을 변경하는 것의 광범위한 영향을 이해하는 데 도움을 주었다. 우리는 [의료 시스템의 웰빙을 향상시키는 것]이 미래의 의료 제공자로서 우리의 의무라고 믿게 되었다. 무엇보다도, 이 과정은 우리에게 영감을 주고 힘을 실어 주었고, 우리는 HSS 과정이 모든 의과대학의 학생들에게 똑같이 할 수 있기를 바란다.

The SHCD course has trained us to identify health system problems and to create solutions for six different domains of health care. The emphasis on a multilateral approach to problems in health care delivery has helped us appreciate the far-reaching effects of altering a health system. We have come to believe that improving the well-being of the health care system is our duty as future care providers. More than anything else, this course has inspired and empowered us, and we hope that HSS courses can do the same for students at all medical schools.

Acad Med. 2018 Oct;93(10):1434-1436.

 doi: 10.1097/ACM.0000000000002369.

A Prognosis for Health Systems Science Courses: Observations From Current Students

Andrew R Pines 1, Aditya Khurana, George M Mastorakos, Kent R Richter, Walker L Asprey

Affiliations collapse

Affiliation

• 1A.R. Pines is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0001-6968-2829. A. Khurana is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0001-9148-9531. G.M. Mastorakos is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0002-6155-6788. K.R. Richter is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0003-1655-5767 . W.L. Asprey is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona.

• PMID: 30024476
• DOI: 10.1097/ACM.0000000000002369Abstract
• Certain medical schools have begun teaching courses in health systems science (HSS) to train medical students in skills aimed to improve health care in the United States. Although substantial research has been done on the potential benefit of HSS courses, reactions from students have not been reported. In this Invited Commentary, five medical students who have completed the first year of a longitudinal HSS course at the Arizona campus of the Mayo Clinic School of Medicine offer their observations of how early exposure to HSS affected their reactions to subsequent course work and current events in health care. The authors describe the HSS course and outline three benefits they have observed from their experience so far: (1) thinking more critically about health care delivery during all educational experiences, (2) gaining a better understanding of the complexity of the health care system, and (3) having a greater consideration for the many facets of health care delivery. The HSS course helped the authors identify health systems problems, develop solutions that incorporated diverse domains of health care delivery, and recognize the role and responsibility of the physician as an agent of change in a health care system.

21세기 보건의료 시스템을 위한 교육: 기초, 임상, 시스템과학의 상호의존적 프레임워크(Acad Med, 2017)

Educating for the 21st-Century Health Care System: An Interdependent Framework of Basic, Clinical, and Systems Sciences
Jed D. Gonzalo, MD, MSc, Paul Haidet, MD, MPH, Klara K. Papp, PhD, Daniel R. Wolpaw, MD, Eileen Moser, MD, MHPE, Robin D. Wittenstein, EdD, and Terry Wolpaw, MD, MHPE

프랭크 후일러1은 그의 논평 "거울 속의 여인"에서 술에 취해 호전적이고 급성 전심근경색을 앓고 있는 노숙자, 정신분열증 환자, 병적으로 비만인 여성과의 만남을 묘사하고 있다. 몇 주 전에 놓여진 스텐트는 주로 응고를 막는 비싸지만 중요한 약물이 없었기 때문에 응고되었다. 약을 공짜로 얻을 수 있는 준비에도 불구하고, 환자는 그것을 가지러 가는 버스비를 관리할 수 없었다.
In his Commentary “The Woman in the Mirror,” Frank Huyler1 describes his encounter with a homeless, schizophrenic, morbidly obese woman who presents to the emergency department drunk, belligerent, and suffering an acute anterior myocardial infarction. A stent placed several weeks earlier had clotted, due mainly to the absence of an expensive but important medication that prevents clotting. Despite arrangements to obtain the medication for free, the patient could not manage bus fare to pick it up.

몇 주 동안 병원에 입원한 후, 그리고 수십만 달러를 쓴 후에, 그녀는 살아남았습니다. 그리고 나서 그녀는 거리로 다시 퇴원했다. 어디서부터 시작할까요? 그건 알기 어렵다. 우리는 사회가 정신병을 어떻게 보고 치료하는지 살펴보는 것으로 시작하나요? 정신분열증 환자, 알코올 중독자, 길거리 사람들에게 스텐트를 주입한 심장병 전문의의 지혜에 의문을 품기 시작할까요? 터무니없이 비싼 약의 준수가 매우 중요할 수 있다는 것을 알면서 말이죠. 만약 심장전문의가 스텐트를 삽입하지 않았다면, 우리는 치료 기준을 제공하지 못한 그나 그녀를 탓할 수 있을까요? 환자에게 주거비와 식비를 제공하는 것을 고려하지 않는데 왜 우리는 스텐트에 7천 달러를 지출하는가?1
After weeks in the hospital and after many hundreds of thousands of dollars were spent, she survived. Then she was discharged back to the street…. Where to start? It’s hard to know. Do we start with examining how society views and treats the mentally ill? Do we start questioning the wisdom of the cardiologist who put a stent into a schizophrenic, alcoholic street person, knowing that compliance with an outrageously overpriced medication would then be vitally important? If the cardiologist had not put in the stent, would we fault him or her for failing to provide the standard of care? Why do we spend $7,000 on a stent, when we do not consider providing the patient with housing and food [or bus fare]?1

Huyler 박사는 의학과 의학교육에서 인문학이 차지하는 역할에 대해 쓰고 있었지만, 버스 이용권만 있으면 되는 환자를 구하기 위해 기술적으로 진보된 카테터화 실험실과 고도로 훈련된 전문가들을 활성화할 수 있는 미국의 의료 시스템에 대해 쓰고 있었을 수도 있다. 고비용이지만, 분절되어있고, 성능이 낮은 미국의 의료 시스템에 대한 증거는 새로운 것이 아니다.2 이러한 비효율성을 해결하기 위해, 경제적인 관리법과 같은 정책들은 의료 시스템이 대응, 재구성 및 통합하도록 유도하고 있으며, 이는 과거와는 근본적으로 다른 의료행위를 할 환경을 조성하고 있습니다. 
Dr. Huyler was writing about the role of the humanities in medicine and medical education, but could have been writing about the U.S. health care system, capable of activating a technologically advanced catheterization laboratory and highly trained specialists to save a patient who really only needed a bus voucher. The evidence for a high-cost, fragmented, and low-performing U.S. health care system is not new.2 To address these insufficiencies, policies such as the Affordable Care Act are prompting health care systems to react, reorganize, and consolidate, creating a practice environment fundamentally different from that of the past.

추세는 개인 의사에서 전문 팀 간 진료로 전환되고 있습니다.3 의료 결과는 개별 환자 건강에서 [환자의 경험 개선, 인구 건강 증진, 비용 절감]이라는 "3중 목표"로 진화하고 있습니다.4 전자 의료 기록, 데이터 관리 시스템 및 결제 시스템이 발전함에 따라 의료는 개인 환자에만 초점을 맞추기보다는 인구에 대한 질병의 사전 예방적 관리에 점점 더 초점을 맞출 것이다. 의료 분야의 이러한 새로운 방향은 의사의 전통적인 역할 기대치에 대한 근본적인 패러다임 변화를 나타낸다. 하지만, 우리의 교육은 여전히 동맥경화의 병리생리학 및 관상동맥질환의 치료에 집중되어 있다. 뭔가 빠져있다. 학습자에게 환자 경험 또는 시스템 과학에 대한 병렬 참여를 제공하는 곳은 어디입니까?

Trends are shifting away from the solo practitioner to care delivered by interprofessional teams.3 Health care outcomes are evolving from individual patient health to the Institute for Healthcare Improvement’s “triple aim” of improving patients’ experiences, promoting population health, and reducing cost.4 With the advancement of electronic medical records, data management systems, and payment systems changes, health care will increasingly focus on proactive management of disease for populations, rather than focusing solely on individual patients. These new directions in health care represent fundamental paradigm shifts for the traditional role expectations of physicians. However, our education remains focused (as in Dr. Huyler’s story) on learning the pathophysiology of atherosclerosis and treatment of coronary artery disease. Something is missing. Where are we providing learners with parallel engagement in the patient experience or systems sciences?

2013년 캐서린 루시5는 의학 교육의 재검토와 "시스템 과학"의 의학 커리큘럼의 통합을 요구했다.

• 어디서부터 시작할까요?
• 우리가 전통적인 과학과 함께 핵심 교육 노력에 시스템 교육을 배치한다면 어떨까요?
• 만약 우리가 닥터 후일러처럼 환자들의 질병을 이해할 수 있는 도구를 제공한다면 어떨까요? 그리고 나서 학생들이 이러한 환자들과 함께 치료 장벽을 식별하고 해결할 수 있는 기회를 만들면 어떨까?

In her seminal challenge in 2013, Catherine Lucey5 called for a reexami nation of medical education and incorporation of “systems sciences” into the medical curriculum.

• Where to start?
• What if we located systems education in core educational efforts alongside traditional sciences?
• What if we provided the tools to understand the diseases of patients like Dr. Huyler’s and then created opportunities for students to work with these patients to identify and address barriers to care?

의학교육의 3축 기본틀
The Three-Pillar Framework of Medical Education

플렉스너 보고서 이후, 대부분의 의과대학들은 기초과학에서 학생들을 먼저 교육했고, 그 다음에는 임상과학에서 교육을 받았다. 6,7 비록 많은 학교들이 초기 임상과학의 기회를 만들고, 나중에 기초과학에 다시 방문함으로써 이 전통적인 틀에 도전했지만, 교육의 일반적인 체계는 여전히 이것에 기초하고 있다. 
Since the Flexner report, most medical schools have educated students first in the basic sciences, then in the clinical sciences.6,7 Although many schools have challenged this traditional framework by creating early clinical science opportunities and revisiting basic sciences during later years, the general system of education is still based on this dyad.

동시에, 미래의 의사들이 복잡한 의료 시스템에서 일하려면, 다음과 관련된 지식과 능력이 필요하다는 것이 점점 더 인정되고 있다 - 의료 금융, 인구 건강, 질 향상, 사회 생태학적 건강, 정보학자, 팀워크, 리더십 및 의료 전달 과학과 관련된 기타 영역. 이러한 시스템 과학은 학문 간 융합이 높고 전통적인 기초(예: 생리학, 생화학) 또는 임상(예: 소아과, 수술) 과학과는 구별되므로 혁신적이고 통합된 교육학적 전략과 교육 프레임워크에 대한 새로운 비전이 필요한 변화가 필요하다.

Concurrently, it is increasingly recognized that for future physicians to work in complex health care systems, they will need to have knowledge and abilities related to health care financing, population health, quality improvement, socio-ecological health, informatics, teamwork, leadership, and other areas related to the science of health care delivery.5,8,9 These systems sciences are highly interdisciplinary and distinct from either traditional basic (e.g., physiology, biochemistry) or clinical (e.g., pediatrics, surgery) sciences, necessitating changes that require innovative and integrated pedagogical strategies and a fresh vision for our educational framework.

우리는 의료 시스템의 증가하는 복잡성을 이해하고 탐색하는 데 시스템 지식과 기술에 대한 숙련도가 점점 더 중요해지고 있기 때문에, 의학교육은 [진화하는 의료 시스템의 요구에 부합하고 시스템 과학 역량을 개발할 기회]를 학생들에게 제공해야 한다고 생각한다. 이러한 변환은 기본 및 임상 과학의 전통적인 2필러 관계를 기본, 임상 및 시스템 과학의 상호의존적 3필러 프레임워크로 재구성할 것이다.

We believe medical education must align with the needs of the evolving health care system and provide students with opportunities to develop systems science competencies, since proficiency in systems knowledge and skills has become increasingly important to understanding and navigating the growing complexity of the health care system. This transformation will reframe the traditional two-pillar relationship of basic and clinical sciences to an interdependent three-pillar framework of basic, clinical, and systems sciences.5,9 

일부 교육 프로그램이 현재 커리큘럼에 시스템 기반 주제를 포함하지만, 그것들은 유한하고 고립되어 있으며 커리큘럼 개혁에 명시적으로 통합된 초점이 아니다. 우리는 의과대학이 기초 및 임상 과학에 전념하는 보조 또는 준-수준의 학장 직위를 가지고 있지만, 3개 기둥 프레임워크로 전환하려면, [시스템 과학의 설계와 커리큘럼 통합에 전념할 수 있도록], 시스템 과학에서 (부)학장급 직위가 필요할 것이라고 제안한다. 

Although some education programs now include systems-based topics in the curriculum, they are finite, isolated, and not an explicitly integrated focus of curriculum reform.10,11 We suggest that although medical schools have assistant- or associate-level dean positions dedicated to basic and clinical sciences, the shift to a three-pillar framework would require similar dean-level positions in systems sciences dedicated to the design and integration of these systems sciences into the curriculum.

또한 성공적인 통합을 위해 이러한 시스템 과학을 포함하도록 인지 및 커리큘럼 공간의 균형 조정이 필요하다. 현재, 기초의학과 임상의학 학습은 다양한 의사 경험에서 맥락화된다. 3축 프레임워크로 전환하려면 시스템 과학을 교실 밖에서 적용할 수 있는 기회를 만들어야 할 것이다. 요컨대, 3개 필러 모델 하에서 시스템 과학은 임상 및 기초 과학과 동일한 중요도, 집중도 및 주의를 제공받게 될 것이다.

Additionally, a rebalancing of cognitive and curriculum space to include these systems sciences is required to allow for successful integration. Currently, basic and clinical science learning are contextualized in a variety of doctoring experiences. The shift to a three-pillar framework would require the creation of opportunities to also apply systems sciences outside of the classroom. In short, under the three-pillar model the systems sciences would be offered with the same importance, focus, and attention as the clinical and basic sciences.

과감한 변화는 쉽게 찾아오지 않으며 가볍게 여겨지지 않는다. 과감한 변화는 쉽게 찾아오지 않으며 가볍게 여겨지지 않는다. 세 개의 기둥으로 구성된 프레임워크는 학교의 교육 프로그램의 목표와 목표에 대한 집중적이고 비판적인 검토가 필요하다.

• 이미 과부하가 걸린 커리큘럼에 내용을 추가할 수 없습니다. 교육자들은 전통적인 강의실의 역할과 많은 양의 사실 습득의 필요성에 대한 근본적인 질문들과 씨름할 필요가 있는데, 이 때 학생들은 궁극적으로 보건 정보학자와 진료 시점 자원을 급속히 확장하는 시대에 연습을 하게 될 것이다. 
• 우리는 더 큰 대중의 이익에 부합하는 전체를 만들기 위해 전체 커리큘럼에 걸쳐 잘 검증된 학습 원칙을 결합할 필요가 있다.8
• 또한, 보드 시험과 전공의 요구사항에 시스템 과학이 상대적으로 덜 표현되고 있는 것도 학생들을 이 새로운 학습 의제에 참여시키는 데 상당한 장벽을 만든다. 

Bold changes do not come easily and are not to be taken lightly. A three-pillar framework necessitates an intensive, critical review of the goals and objectives of a school’s educational program.

• Adding content to an already-overloaded curriculum will not work. Educators need to grapple with fundamental questions about the role of the traditional classroom and the need for large volumes of fact acquisition, when the students will ultimately be practicing in an era of rapidly expanding health informatics and point-of-care resources.12,13 
• We need to combine well-validated learning principles across the entire curriculum to create a whole that aligns with greater public interest.8 
• Additionally, the relative lack of representation of systems sciences on board examinations and in residency expectations creates significant barriers to engage students in this new learning agenda.

이러한 과제는 3축 모델을 구현하기 전과 구현하는 동안 해결되어야 한다.14 사회적 요구를 지속적으로 예측하는 적응형 교육 시스템을 원한다면 세 가지 요소를 모두 새로운 시각으로 참여시키고 연결해야 한다.

These challenges must be addressed prior to and during implementation of a three-pillar model.14 If we want adaptive educational systems that continuously anticipate societal needs, we need to engage and connect all three pillars with fresh eyes.

3축 교육체계 내 시스템 커리큘럼
A Systems Curriculum Within a Three-Pillar Education Framework

우리는 기초 과학 및 임상 과학과 상호 독립적으로 작동하는 3개 필러 교육 프레임워크에 포함된 시스템 커리큘럼 모델을 제시한다. 이 시스템 커리큘럼은 두 가지 교육학적 구성요소, 즉 강의실 기반 개념 구성요소와 보건 시스템 기반 경험 구성요소로 구성된다. 개념적 및 경험적 구성요소는 동시에 상호 강화되도록 설계되었다(그림 1). 

• [개념적 요소]에서 학생들은 시스템 과학을 사용하여 조직, 지역사회 및 소셜 네트워크에서 의료 제공과 관련된 문제에 대해 배우고 씨름하며 시스템 기반 역할의 실천을 준비한다. 
• [경험적 요소]에서 학생들은 시스템 개념을 사용하여 의료 시스템 전반의 실제 환경에서 환자 치료를 개선하는 연습을 할 것이다. 이 경험 기반 구성요소는 시스템 과학의 기본 개념 학습과 그러한 학습의 동기 부여에 대한 학생들의 관련성에 대한 인식을 강화해야 한다. 두 요소 모두 학생들이 그들 사이의 연결을 발견할 수 있도록 설계되어야 하며, 결과적으로 다른 요소에 참여함으로써 그들의 학습을 강화해야 한다.

We present a model for a systems curriculum embedded within a three-pillar educational framework that functions interdependently with the basic and clinical sciences. This systems curriculum has two pedagogical components: a classroom-based conceptual component and a health-system-based experiential component. The conceptual and experiential components are designed to be simultaneous and mutually reinforcing (Figure 1).

• In the conceptual component, students would learn about and wrestle with issues relevant to health care delivery in organizations, communities, and social networks using the systems sciences, preparing them for practice in systems-based roles.
• In the experiential component, students would practice using systems concepts to improve patient care in real-world environments across the health care system. This experience-based component should foster students’ awareness of the relevance for learning the fundamental concepts of systems sciences, as well as motivation for such learning.15 Both components should be designed so that students can discover connections between them, subsequently reinforcing their learning in one by participating in the other.

여러 저자가 의료 조정, 환자 안전 및 품질 개선 방법, 팀워크를 포함한 [개념적 요소]에 적합한 콘텐츠를 제안했습니다.10,11 개념이 제안되고 일부는 구현되었지만, 강력한 [경험적 요소]를 공유하는 방법에 대한 논의는 상대적으로 적습니다.5,9–11 다양한 반면 활동이 적절할 수 있으므로, [이상적인 경험적 요소]는 다음 세 가지 기준을 충족시킬 것을 제안한다.

• 진정한authentic 실무 경험을 얻을 수 있습니다.
• 핵심 시스템 기반 실무 개념을 직접 경험할 수 있도록 지원합니다.
• 학생들이 그 안에서 치료를 받는 환자의 눈을 통해 시스템을 볼 수 있게 할 것이다.

Several authors have suggested content suitable for the conceptual component, including care coordination, patient safety and quality improvement methods, and teamwork.10,11 Although concepts have been proposed and some implemented, there is comparatively little discussion about the way to share a robust experiential component.5,9–11 While various activities may be appropriate, we suggest that the ideal experiential component will fulfill three criteria:

1. It will allow for an authentic practice experience;
2. It will allow direct experience with core systems-based practice concepts; and
3. It will allow students to view the system through the eyes of the patients receiving care within it.

첫째, [진정한authentic 실천 경험]은 학생들이 경험과 개념적 요소 모두에 참여하려는 동기를 강화시키기 때문에 중요하다.15,16 의료 시스템에서 필수적인 역할을 수행하는 학생들은 두 커리큘럼 요소에 진지하게 참여할 가능성이 더 높다.
First, authentic practice experiences are critical, as they enhance students’ motivation to participate in both the experiential and conceptual components.15,16 Students performing essential roles in the health care system are more likely to seriously engage in both curriculum components.

둘째, [시간적으로 정렬된 직접 경험]은 [학습한 시스템 기반 개념]을 [실제 실행]으로 전이하는 것을 고정하고 강화하는 데 도움이 될 것이다. 이러한 커리큘럼 강화는 학생들이 미래의 임상 실습에 학습된 교훈을 적용하고, 21세기 실습에 필요한 시스템 사고 관점을 채택할 가능성이 높은 의사 양성으로 이어질 수 있다.17 

Second, temporally aligned direct experience will help to anchor and enhance transfer of learned systems-based concepts to real-world practice. Such curricular reinforcement may lead to students applying lessons learned to future clinical practice, as well as cultivation of physicians more likely to adopt the systems-thinking perspectives needed for 21st-century practice.17 

마지막으로, [환자의 눈을 통해 시스템을 보는 것]은 학생들이 [의료서비스가 제공될 그 모집단]과 연결된 상태를 유지하도록 돕는다. 학생들은 의료 시스템의 미래 실무자, 지도자, 설계자이기 때문에, 우리는 환자의 경험에 기초한 교육이 환자의 요구에 더 부합하는 시스템의 개발을 이끌 것이라고 믿는다.

Finally, seeing the system through patients’ eyes helps students remain connected to the very populations health care systems are created to serve. Because students are the future practitioners, leaders, and designers of health care systems, we believe an education grounded in patients’ experiences will lead to the development of systems more aligned with patients’ needs.

닥터 Huyler 환자의 사례로 돌아오면, 전통적인 의대생 역할은 복잡한 카테터 실험 활동과 후속 병원 진료, 급성 심근경색 및 스텐트 관리에 대한 사례 회의를 관찰하는 것을 포함할 수 있다. 하지만 이것들이 중요한 학생-의사 학습 경험일지라도, 학생들은 이러한 의료전달 과정에서 "교육적인 방관자"이기 때문에 진정한 의미의 참여형 의료 역할로 적격하지는 않다. 더 확장된 렌즈를 사용하여, 미래의 의사가 어떤 기술을 필요로 하는지 본다면, 환자에게는 "고부담"으로 인식되는 전통적인 의사 중심적 기술을 필요로 하지 않는다는 것을 알게 된다.

Returning to Dr. Huyler’s patient, the traditional medical student role might have involved observing complex catheterization lab activities and subsequent hospital care, and case conferences on acute myocardial infarctions and stent management. These can be important student–doctor learning experiences, but they do not qualify as authentic, engaged health care roles because students are “educational bystanders” in care delivery processes. Using the expanded lens to view the skills required of future physicians, we see that patients frequently do not require traditional physician-centric skills, which are perceived as “higher stakes.”9,15,18–20 

오히려, 환자들은 "돌봄"을 필요로 하며, 이것은 생물의학으로 분류되기보다는, 사회 또는 시스템 문제로 더 광범위하게 분류된다.21 보건 시스템 내의 초기 심층 중심 경험은 학생들이 진정한 의미 있는 직장 역할에 참여할 수 있는 높은 활용 영역을 제공한다. 우리는 환자 탐색patient navigation이 전통적인 임상 경험과 유사하고 향상된 방식으로 시스템 기반 환자 관리를 제공하는 참여적인 역할을 학생들에게 제공한다고 믿는다.

Rather, patients require “care” in areas not labeled as biomedicine, but classified more broadly into social or systems issues.21 Early depth-focused experiences within health systems provide a high-leverage area for student participation in authentic, meaningful workplace roles. We believe that patient navigation provides students with a participatory role in providing systems-based patient care in a way that parallels and enhances traditional clinical experiences.

진정한 시스템 과학 역할로서의 환자 탐색
Patient Navigation as an Authentic Systems Science Role

학생 운영 무료 진료소, 응급 의료 기술자 교육, 종적 통합 임상실습 등과 같은 의료 시스템에 대한 학생 참여에 대한 문헌이 증가하고 있다. 9,19,20 이러한 기회가 시스템 과학 학습과 연계될 수 있지만, [환자 탐색]의 역할이 [시스템 커리큘럼의 경험적 요소]로서 훌륭한 후보라고 생각한다. 1990년에 처음 구현된 환자 탐색은 의료 제공의 격차를 해소하고 환자와 시스템 기반 장벽을 극복하며 진단/치료의 지연을 줄이고 결과를 개선하는 데 도움이 되는 전략이다.22-24 
There is a growing literature on student participation in health care systems such as student-run free clinics, emergency medical technician training, and longitudinal integrated clerkships.9,19,20 Although these opportunities could be linked to systems sciences learning, we believe the role of patient navigation is an excellent candidate for the experiential component of a systems curriculum. First implemented in 1990, patient navigation is a strategy that helps bridge gaps in health care delivery, overcome patient and systems-based barriers, reduce delays in diagnosis/treatment, and improve outcomes.22–24 

[환자 탐색Patient navigation]은 [외부지원 인력outreach worker]을 사용하여 환자가 복잡한 시스템을 통해 기동하여 더 나은 치료를 받을 수 있도록 돕는다. 조직과 지역사회에서 환자 및 제공자와 함께 일하는 환자 네비게이터는 환자를 자원에 연결하고, 환자를 치료 계획 완료에 보조하며, 환자에게 의료 문제에 대해 교육하고, 치료 장애물을 식별하고 제거한다.

Patient navigation uses outreach workers to help patients maneuver through complex systems to obtain better care. Working with patients and providers in the organization and community, patient navigators connect patients to resources, assist patients in completing care plans, educate patients about medical issues, and/or identify and remove impediments to care.25,26

학생들이 [환자 네비게이터] 역할을 할 수 있는 기회를 만드는 것은 이상적인 체험 활동에 대한 세 가지 기준을 충족합니다.

• 첫째, 많은 의료 시스템이 이러한 부가적인 역할이 부족하거나 필요한 상태이며, 학생들은 그들의 진정한 실천 경험을 통해 의미 있는 기여를 할 수 있는 위치에 있다.
• 둘째, 환자 탐색을 통해 학생들은 접근, 재정 지원, 커뮤니티 기반 서비스 및 시스템 비효율성을 포함한 많은 시스템 개념과 직접 접촉할 수 있습니다.
• 셋째, 환자 탐색은 본질적으로 환자 중심이며, 환자의 사회적 맥락과 관점을 이해해야 한다.
• 마지막으로, 환자 네비게이션의 많은 모델이 일반 직원이 네비게이터로서 효과적으로 기능할 수 있다는 것을 입증했기 때문에, 학생들은 장기간 훈련 없이 의대에서 일찍 그 직무를 수행할 수 있다.18

Creating opportunities for students to serve as patient navigators fulfills the three criteria for an ideal experiential activity.

• First, many health care systems either lack or are in need of this value-added role, and students are positioned to make meaningful contributions through their authentic practice experiences.
• Second, patient navigation brings students into direct contact with many systems concepts, including access, financing, community-based services, and systems inefficiencies.
• Third, patient navigation is inherently patient centered, requiring an understanding of patients’ social contexts and perspectives.
• Finally, since many models of patient navigation have demonstrated that lay personnel can function effectively as navigators, students can perform navigator duties early in medical school without prolonged training.18

시스템 기반 커리큘럼의 예: 펜실베이니아 주립 의과대학 내비게이션 교육과정
An Example of a Systems-Based Curriculum: The Pennsylvania State University College of Medicine Systems Navigation Curriculum

2014년 가을, 우리는 펜실베이니아 주립 의과대학(PSUCOM)의 모든 의대 학생들을 위한 새로운 커리큘럼, 즉 시스템 네비게이션 커리큘럼(Sync)을 개발하고 시행했다. 이 커리큘럼은 (1) 건강 시스템 과학 과정 및 (2) 환자 탐색기 경험 등 개념적 및 경험적 구성요소로 구성된다. 이 두 가지 구성 요소는 우리 학생들의 의대 첫 2년 동안 주당 평균 3~4시간을 포함합니다. 과정(개념 구성요소)과 탐색 경험(경험적 구성요소) 모두 학생들이 진화하는 의료 시스템의 복잡성 속에서 효과적으로 기능할 수 있는 지식, 태도 및 기술을 개발할 수 있도록 한다. SyNC의 목표는 다음과 같습니다.

• 심리적, 사회적, 시스템 기반 요소를 포함하여 의료에 대한 전체적인 접근 방식을 시연합니다.
• 인구 및 환자 중심의 관리를 기술하고 전달한다.
• 의료 및 지역사회 기반 전문가 팀의 효과적인 구성원으로 참여
• 사후 대응적 사고와 의사 결정이 아닌 사전 예방적 의사 결정 능력을 입증
• 의료에서 가치 기반 의사 결정을 내립니다.
  
  

In the fall of 2014, we developed and implemented a new curriculum for all medical students at the Pennsylvania State University College of Medicine (PSUCOM)—namely, the Systems Navigation Curriculum (SyNC). This curriculum consists of conceptual and experiential components: (1) the Science of Health Systems Course, and (2) patient navigator experiences. In total, these two components involve an average of three to four hours per week in our students’ first two years of medical school. Both the course (conceptual component) and navigation experiences (experiential component) allow students to develop the knowledge, attitudes, and skills to function effectively amid the complexities of an evolving health care system. SyNC’s goals are that students:

1. Demonstrate a holistic approach to health care, including psychological, social, and systems-based elements;
2. Describe and deliver population- and patient-centered care;
3. Participate as effective members of medical and community-based interprofessional teams;
4. Demonstrate proactive rather than reactive thinking and decision making; and
5. Make value-based decisions in medical care.

건강 시스템 과학 과정은 학생들이 학부 생활을 한 첫 17개월 동안 진행되며, 기초 및 임상 과학 과정과 동시에 진행됩니다. 학생들은 재정, 인구 및 공공 보건, 사회 생태 의학, 고부가가치 의료, 팀워크, 리더십, 증거 기반 의학 등 의료 전달 과학의 개념을 배운다(차트 1). 또한 의료 시스템 내에서 환자 네비게이터 역할에서 이러한 개념을 동시에 적용합니다.

The Science of Health Systems Course spans the first 17 months of the students’ undergraduate experience and is simultaneous with course work in basic and clinical sciences. Students learn concepts of the science of health care delivery, including financing, population and public health, socio-ecological medicine, high-value care, teamwork, leadership, and evidence-based medicine (Chart 1). They simultaneously apply these concepts in their roles as patient navigators within the health care system.

프로그램 시작 1년 전, 우리는 펜실베이니아 주 남부에서 환자 네비게이션 사이트 네트워크 개발에 착수했습니다. 우리는 환자 중심의 의료 가정, 입원 환자 퇴원 프로그램, 수술 체중 감소 프로그램, 국영 결핵 클리닉 등 광범위한 임상 현장을 갖춘 여러 건강 시스템과 제휴했다. 우리는 환자 네비게이션이 필요한 환자 모집단을 식별할 수 있는 임상 사이트를 식별했으며 지속 가능한 네트워크를 구축하기 위해 PSUCOM과 기꺼이 협력했다. 네트워크의 환자 모집단에는 다양한 문제와 환자 유형이 포함된다. 예를 들어, 여러 사이트에는 초유틸리티(superutilizer)로 간주되는 환자(즉, 병원 재입원이 빈번한 환자)에 초점을 맞추고 있다.27,28

The year prior to the launch of the program, we embarked on developing a network of patient navigator sites in south central Pennsylvania. We partnered with several health systems with a wide range of clinical sites, including patient-centered medical homes, inpatient discharge programs, a surgical weight loss program, and a state-run tuberculosis clinic, among others. We identified clinical sites that could identify a patient population in need of patient navigation and were willing to collaborate with PSUCOM to build a sustainable network. Patient populations in the network include a spectrum of issues and patient types. For example, several sites include a focus on patients considered to be superutilizers—that is, those with frequent hospital readmissions.27,28 

모든 설정에서 학생들은 비의학적인 역할로 활동하는 [Interprofessional 의료진]에 포함되고, 현장 멘토(예: 환자 네비게이터, 관리 코디네이터)와 연계되어 1년 동안 환자 네비게이터 활동을 통해 학생들을 안내한다. 학생들이 동시 건강 시스템 과학 강좌로 돌아오면, 그들은 서로 다른 임상 사이트에 걸쳐 이질적인 경험을 가진 학생들로 구성된 소규모 그룹 "SynC 팀"에서 일한다. 
In all settings, students are embedded into interprofessional clinical teams functioning in a nonphysician role and linked with site mentors (e.g., patient navigator, care coordinator) to guide them through patient navigator activities for the duration of one academic year. When students return to the concurrent Science of Health Systems Course, they work in small-group “SyNC Teams” composed of students with heterogeneous experiences across different clinical sites.

이러한 경험의 혼합은 환자 중심 문제에 대한 풍부한 성찰과 토론을 가능하게 하여 팀의 논의 범위를 넓힌다. 또한 우리는 의료팀의 소중한 구성원으로 일하고, 의사의 역할을 비의학적 관점에서 볼 수 있는 기회가 주어진다면, 우리 학생들은 의미 있는 협업과 대안적 관점에 대한 이해를 포함하는 전문적인 정체성을 개발할 것이라고 믿는다. 학생들은 그들이 탐색하는 것을 돕는 환자들을 위해 운동하는 동안 그들의 생물의학, 임상 및 시스템 연구의 상호의존성을 직접 볼 수 있는 기회를 가진다.

This intermixing of experiences allows for enriched reflections and discussions about patient-centered issues, expanding the breadth of teams’ discussions. We also believe that given the opportunity to work as a valued member of a health care team and view the role of the doctor from a nonphysician perspective, our students will develop professional identities that incorporate an understanding of meaningful collaboration and alternative perspectives. Students have the opportunity to see firsthand the interdependence of their biomedical, clinical, and systems studies as they play out for the patients they help navigate.

SynNC는 원래 의과대학 교육 프로그램으로 설계했지만, [3개 필러 프레임워크]가 보건 전문가 교육 프로그램에 걸쳐 적용될 것을 제안한다. 간호, 간호사 개업의, 약국, PA 프로그램을 포함한 많은 전문 프로그램들이 시스템 교육을 커리큘럼에 통합하기 시작하고 있다. 

Although we designed SyNC for our undergraduate medical education program, we propose that the three-pillar framework is applicable across health professions educational programs. Many professional programs, including nursing, nurse practitioner, pharmacy, and physician assistant (PA) programs, are beginning to incorporate systems education into their curricula.

결론 Conclusion

[시스템 실패]는 "거울 속의 여자"에서 묘사된 것만큼 항상 극적인 것은 아니지만, 비슷한 이야기들이 우리의 건강 관리 시스템 전체에 걸쳐 수없이 실망스러운 방식으로 작용한다. 정부 및 의료 기관들은 이러한 노력이 종종 불균일하고 잠정적이긴 하지만, 집중력의 격차와 이를 가능하게 하는 잘못된 자원 배분을 해결하기 시작했다. 의학교육계는 문제점을 인식했지만 교육계획과 전략의 적응적 변화는 더디게 진행되고 있다. 기초과학과 임상과학의 전통적인 두 개의 기둥으로 이루어진 교육과정에는 단순하게 일을 하기에는 너무 많은 짐이 있다. 우리는 의료의 설계와 조직에 급속한 변화가 일어나고 있는 것을 고려할 때, 의료 교육 역시 빠르게 진화할 필요가 있다고 제안한다. 두 개의 기둥으로 된 교육과정을 [기초, 임상, 시스템 과학]의 [새로운 3개의 기둥]으로 바꿈으로써 21세기에 의사들을 더 잘 준비시킬 것이다.
Systems failures are not always as dramatic as that described in “The woman in the mirror,” but similar stories play out in myriad frustrating ways throughout our health care system. Governmental and health care organizations have begun to address the gaps in focus and the misdirected resource allocations that allow this to happen, though these efforts are frequently uneven and tentative. The medical education community has recognized the problem, but adaptive changes in educational planning and strategies have been slow. There is simply too much baggage in the traditional two-pillar curriculum of basic and clinical sciences for simple adjustments to work. We suggest that, given the rapid changes taking place in the design and organization of health care, medical education too needs to evolve rapidly. The shift from the two-pillar curriculum to a new three-pillar triad of basic, clinical, and systems sciences will better prepare physicians for practice in the 21st century.

Acad Med. 2017 Jan;92(1):35-39.

 doi: 10.1097/ACM.0000000000000951.

Educating for the 21st-Century Health Care System: An Interdependent Framework of Basic, Clinical, and Systems Sciences

Jed D Gonzalo 1, Paul Haidet, Klara K Papp, Daniel R Wolpaw, Eileen Moser, Robin D Wittenstein, Terry Wolpaw

Affiliations collapse

Affiliation

• 1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. P. Haidet is professor of medicine, humanities, and public health sciences and director of medical education research, Penn State College of Medicine, Hershey, Pennsylvania. K.K. Papp is adjunct professor of medicine, Pennsylvania State University College of Medicine, Hershey, Pennsylvania. D.R. Wolpaw is professor of medicine and humanities, vice chair for educational affairs, Department of Medicine, and director, Kienle Center for Humanistic Medicine, Penn State College of Medicine, Hershey, Pennsylvania. E. Moser is associate professor of medicine and associate dean for medical education, Penn State College of Medicine, Hershey, Pennsylvania. R.D. Wittenstein is assistant professor of public health sciences, Penn State College of Medicine, and chief operating officer, Penn State Hershey Health System, Hershey, Pennsylvania. T. Wolpaw is professor of medicine and vice dean for educational affairs, Penn State College of Medicine, Hershey, Pennsylvania.

• PMID: 26488568
• DOI: 10.1097/ACM.0000000000000951Abstract
• In the face of a fragmented and poorly performing health care delivery system, medical education in the United States is poised for disruption. Despite broad-based recommendations to better align physician training with societal needs, adaptive change has been slow. Traditionally, medical education has focused on the basic and clinical sciences, largely removed from the newer systems sciences such as population health, policy, financing, health care delivery, and teamwork. In this article, authors examine the current state of medical education with respect to systems sciences and propose a new framework for educating physicians in adapting to and practicing in systems-based environments. Specifically, the authors propose an educational shift from a two-pillar framework to a three-pillar framework where basic, clinical, and systems sciences are interdependent. In this new three-pillar framework, students not only learn the interconnectivity in the basic, clinical, and systems sciences but also uncover relevance and meaning in their education through authentic, value-added, and patient-centered roles as navigators within the health care system. Authors describe the Systems Navigation Curriculum, currently implemented for all students at the Penn State College of Medicine, as an example of this three-pillar educational model. Simple adjustments, such as including occasional systems topics in medical curriculum, will not foster graduates prepared to practice in the 21st-century health care system. Adequate preparation requires an explicit focus on the systems sciences as a vital and equal component of physician education.

이러닝 - 새장 속의 새 또는 날아오르는 독수리? (Med Teach, 2008)

E-learning – Caged bird or soaring eagle?
RONALD M. HARDEN

7년 전, 'E is for everything-e-learning'(데이비스 & 하드 2001)이라는 논평에서, 우리는 지금이 e-러닝에 참여해야 할 때라고 주장했고, 성공하기 위해서는 Wayne Hodgins의 조언을 지지했다. 이후 의학에서도 다른 분야와 마찬가지로 e-러닝이 빠르게 확대되고 있다. 의과대학의 거의 모든 학생들은 그들의 하루의 일부 또는 일주일의 시간을 구글이나 다른 검색엔진을 사용하여 주제에 대한 정보를 찾고, 동료나 선생님과 의사소통하거나, 그들의 기관이나 다른 곳에서 개발된 단위, 모듈 또는 과정을 공부하며 보낸다. 이제 전자 학습 애플리케이션은 현대 의료 커리큘럼의 일부이자 일부이다(Hege et al. 2007). 온라인 학습은 편리함과 유연성, 그리고 컴퓨터의 가용성 증가와 학생들의 그것들에 대한 친숙함 때문에 인기가 높아져 왔다.
Seven years ago, in a commentary ‘E is for everything–e-learning’ (Davis & Harden 2001), we argued that this was the time to engage in e-learning and supported Wayne Hodgins' advice that to succeed we needed to dive not dip into it. Since then, in medicine as in other fields, there has been a rapid expansion in e-learning. Almost every student in a medical school spends part of their day or their week online searching using Google or some other search engine for information on a topic, communicating with a colleague or teacher, or studying a unit, module or course developed in their institution or elsewhere. E-learning applications are now part and parcel of modern medical curricula (Hege et al. 2007). E-learning has grown in popularity because of its convenience and flexibility and because of the increasing availability of computers and students' familiarity with them.

'아카데미에서는 모든 전문 분야가 e-러닝을 수용하고 있다고 말한다.'는 최근호 '병원 닥터'에서 대서특필되었다. 영국 의학 왕립 대학 아카데미의 보고서(2007)에 따르면, 모든 의학 전문 분야의 의사들이 그들의 관행을 개선하기 위해 온라인 학습 기술을 채택하고 있다고 한다. The Report, Development of E-learning for Doctors는 의학에 적용되는 온라인 학습의 7가지 이점을 열거하고 있으며, 수많은 온라인 학습 응용 프로그램을 문서화한다. 영국에서 대학원 연수를 담당하는 대학들이 참여해왔다. 지난 7년 동안 e-러닝은 학부 의학교육의 맥락에서 번창했다. AAMC 의학 교육 개선을 위한 연구소 (2007)의 보고서는 '의료 교육자들이 학습 자원의 전달을 보충하기 위해 점점 더 많은 기술을 사용하고 있다. 
‘Academy says all specialities are embracing e-learning’ was the headline in a recent issue of Hospital Doctor. According to a report from the UK Academy of Medical Royal Colleges (2007) doctors from all medical specialities are embracing e-learning techniques to help improve their practice, The report, Development of E-learning for Doctors, lists seven benefits of e-learning as applied to medicine and documents a number of e-learning applications in which the colleges responsible for postgraduate training in the UK have been involved. In the last seven years e-learning has also flourished in the context of undergraduate medical education. A report by the AAMC Institute for Improving Medical Education (2007) concluded that ‘medical educators increasingly use technology to supplement the delivery of learning resources.

[멀티미디어 기술, 월드 와이드 웹 및 네트워크 컴퓨터의 유비쿼터스 특성]은 [교육 테크놀로지]를 [소수의 선구적인 교수진이 사용하는 난해한 레거시 애플리케이션]에서 [의대 교육 기업에 필수적인 주류 애플리케이션]으로 변화시켰습니다." 이 저널에서 쿡(2006)은 e-러닝이 효과가 있느냐 없느냐가 아니라, 어떻게 가장 생산적으로 사용될 수 있느냐가 문제라고 주장해왔다. 교육 연구 검토(Bernard et al)에 발표된 경험적 문헌의 메타 분석. 2004)는 비동기 응용 프로그램의 효과 크기가 강의실 지시와 비교하여 거리 교육을 선호한다는 것을 발견했다.

The advent of multimedia technology, the World Wide Web and the ubiquitous nature of networked computers, have transformed educational technologies from esoteric legacy applications used by a few pioneering faculty to mainstream applications integral to the medical school educational enterprise.” In this journal Cook (2006) has argued that the question is not whether e-learning works or not (it does!) but how it can be used most productively. A meta-analysis of the empirical literature published in Review of Educational Research (Bernard et al. 2004) found that effect sizes for asynchronous applications favoured distance education compared to classroom instruction.

그러나 모든 이니셔티브가 성공적인 것은 아니다. 실제로 엄청난 고비용 실패가 있었다. 특히 이들 중에는 영국-e대학과 영국 국립보건서비스대학의 실패도 있었다. Bacsich(2006)는 영국 e-e University의 비판적 분석에서 e-러닝 노하우에 전적으로 의존함에도 불구하고 e-러닝에 대한 우수한 지식을 가진 직원을 임명하는 데 실패했다고 지적했다. 하원 교육 및 기술 선택 위원회(2005)는 또한 고위 경영진에 대한 e-러닝 전문지식의 부족이 UKeU 실패의 원인이었다고 결론지었다. 앞으로 몇 년 안에 우리 교육기관에서 이러닝의 역할에 대해 중요한 결정을 내려야 할 것입니다. 그리고 올바른 결정이 이뤄지려면 학교 애의 시니어 수준에서 적절한 이러닝 전문지식을 가지고 있는지 의문을 가져야 한다.
Not all initiatives, however, have been successful. Indeed there have been spectacular high cost failures. Notably among these were the failures of the UK-eUniversity and the UK National Health Service University. In a critical analysis of the UK-eUniversity, Bacsich (2006) noted that, despite being wholly dependent on e-learning know-how, there was a failure to appoint staff with good knowledge of e-learning. The House of Commons Education and Skills Select Committee (2005) also concluded that the lack of e-learning expertise in senior management contributed to the UKeU failure. In the years ahead important decisions will need to be taken about the role of e-learning in our institutions. We should question whether we have appropriate e-learning expertise at a senior level in our schools, to ensure that the correct decisions are taken.

e-러닝의 합법적인 포부는 교육 및 학습에 대한 기존 접근 방식을 보다 효과적이고 효율적으로 만드는 것이다. 이것이 달성되려면 e-러닝 구현은 [필요한 교육, 기술 및 콘텐츠 전문 지식을 갖춘 직원]이 모니터링 및 관리해야 한다. 너무 자주 우리 학생들은 e-러닝이라는 미명하에, 영감을 주거나 보람 있는 학습 경험이 아닌 아마추어적인 잡동사니에게 당한다. 그들이 이익을 얻기를 기대하는 것은 효과적인 학습 전략이 내장되어 있고 학습 결과가 명확하게 명시된 신중하게 계획되고 실행되는 전문 학습 프로그램이다. 슬프게도, 우리는 컴퓨터가 단지 기계적인 페이지 터너page turner로서 의미 있는 참여나 학생과의 상호작용을 거의 또는 전혀 하지 않는 e-러닝 프로그램을 계속 보게 된다. 

A legitimate aspiration of e-learning is to make existing approaches to teaching and learning more effective and efficient. If this is to be achieved, e-learning implementation has to be monitored and managed by staff with the necessary education, technology and content expertise. Too often our students are subjected, in the guise of e-learning, to an amateurish forrago that is neither an inspiring or rewarding learning experience. Not unreasonably what they should expect to benefit from is a carefully planned and executed professional learning programme with effective learning strategies embedded and clearly stated learning outcomes. Sadly, all too often we continue to see e-learning programmes where the computer is used simply as a mechanical page turner with little or no meaningful engagement or interaction with the student.

• 반 메리언보어 외 (2004)는 "현재 웹에서 발견될 수 있는 엄청난 양의 온라인 학습 응용 프로그램을 연구하는 열린 마음을 가진 교육가는 교육학적 관점에서, 온라인 학습이 진보라기보다는 한 단계 후퇴하는 것이라고 결론지을 수밖에 없을 것"이라고 결론지었다.
• 비슷한 우려는 로젠버그(2001, 페이지 44)에 의해 표현되었다. "기술에 대한 열정으로, [교육 및 정보 설계의 개념을 무시하는 것]은, 종종 무가치한 것만 가르치는 웹 마법으로 귀결된다." 
• Van Merriënboer et al. (2004) concluded that “An educationalist with an open mind who studies the overwhelming amount of e-learning applications that are currently to be found on the Web will be forced to conclude that from a pedagogical perspective, e-learning is a step backward rather than a step forward”.
• Similar concerns were expressed by Rosenberg (2001, page 44), “Ignoring the tenets of instructional and information design amidst fervour over technology usually results in lots of Web wizardy that often doesn’t teach anything of value”.

그러나 e-러닝의 미래가 단순히 우리가 이미 하고 있는 일을 더 잘, 더 비용 효율적으로 할 수 있게 하는 데 있는지는 의심해야 한다. 재정적인 제약의 시기에 그것은 확실히 유혹적인 시나리오이다. 
It has to be questioned, however, whether the future of e-learning lies simply in allowing us to do better and more cost effectively what we are already doing. It is certainly a tempting scenario at a time of financial constraint. 

e-러닝을 단순히 기존 교육 및 학습 방법을 온라인 학습으로 전환하고, 기존 교육 접근 방식을 지원하는 새로운 기술을 적용하는 것으로 보아서는 안 된다. 만약 우리가 그렇게 한다면, 그 결과는 의학 교육을 위한 21세기 비전으로 나아가는 데 별다른 기여를 하지 못할 것이다. 이는 위에서 요약한 바와 같이, 기존 접근법 e-러닝을 통한 향상의 가치를 과소평가하는 것이 아니다. 그러나 우리는 e-러닝이 제공하는 기회를 이용하여 의료 전문가 교육에 대한 새로운 패러다임을 모색하는 데 보다 야심적이어야 한다.

We should not see e-learning as simply applying new technologies to support existing approaches to teaching, converting existing teaching and learning methods to e-learning. If we were to do so the result would be a relatively insignificant contribution to the move to a 21st century vision for medical education. This is not to underestimate the value, as outlined above, of enhancing through existing approaches e-learning. We should be, however, more ambitious, some would say even adventurous, in taking the opportunity offered by e-learning to explore a new paradigm for the training of health care professionals.

1962년, 토마스 쿤은 "과학 혁명의 구조"를 저술하였고, "패러다임 시프트"의 개념을 이해하고, 정의하고, 대중화하였다. 쿤은 과학적 진보는 진화론적인 것이 아니라 "지적으로 폭력적인 혁명으로 얼룩진 일련의 평화적 방해"이며, 이러한 혁명에서는 "하나의 개념적 세계관이 다른 것으로 대체된다"고 주장했다. 의학 교육에서 우리는 하나의 사고 방식에서 다른 방식으로의 변화, 변화 또는 일종의 변혁으로 패러다임의 변화를 생각해야 한다(Take the Leap 2008).
In 1962, Thomas Kuhn wrote The Structure of Scientific Revolution, and fathered, defined and popularized the concept of “paradigm shift” (p. 10). Kuhn argued that scientific advancement is not evolutionary, but rather a “series of peaceful interludes punctuated by intellectually violent revolutions”, and in those revolutions “one conceptual world view is replaced by another”. In medical education we should be thinking of a paradigm shift with a change from one way of thinking to another as a revolution, a transformation or a sort of metamorphosis (Take the Leap 2008).

대학 학문은 변화를 꺼린다. 많은 새로운 학습 기술이 개발되었고 다른 것들은 개발의 정점에 있다. 이것은 우리가 어떻게 학생들을 교육시키고 이전에는 고려 대상이 되지 않았던 가능성을 열어주는지에 대한 흥미로운 기회를 제공한다. 우리가 의제로 삼아야 할 것은 느린 진화적 변화가 아니라 우리의 접근 방식의 근본적인 수정이다. 

University disciplines like medicine with a risk history and catalogue of highly developed learning methods are reluctant to change. Many new learning technologies have been developed and others are on the cusp of development. These offer exciting opportunities as to how we educate our students and open up possibilities previously not meriting consideration. What we should have on the agenda is not a slow evolutionary change but a fundamental revision of our approach.

전통적인 교사 중심 교육에서, 학생에 대한 통제력은 선생님에 의해 발휘된다. 즉, 그들이 무엇을 배우고, 어떻게 평가하는지이다. 그 비유에서 학생은 '새장 속의 새'이다. 지난 30년 동안 학생 중심의 접근 방식으로의 움직임이 있었는데, 이 접근 방식은 학생들에게 더 많은 통제권이 전달되었다. 베르비텐(2001)은 오늘날 고등교육을 휩쓸고 있는 두 가지 혁명이 있는데,

• 첫 번째 혁명은 교사 중심 교육에서 학습자 중심 교육으로의 전환이라고 제안했다.
• 두 번째는 전통적인 교실에서 가상의 교실로의 이동입니다.

학생 중심의 접근 방식에서, '날아오르는 독수리'와 같은 학생은 선택의 자유가 더 크고, 그들 자신의 행동과 그들이 이용할 수 있는 기회의 사용에 대한 책임이 더 크다.

In traditional teacher-centred education, control of the student is exerted by the teacher–what they learn, how they learn it and how it is assessed. The student is the ‘caged bird’ in our analogy. Over the past three decades there has been a move to a student-centred approach where more control is passed to the student. There are two revolutions sweeping through higher education today, suggested Verbeeten (2001),

• the first one is the move from teacher- to learner-centred education.
• The second one is the move from the traditional to the virtual classroom.

In a student-centred approach the student, like ‘the soaring eagle’, has greater freedom of choice and greater responsibility for their own behaviour and the use they make of available opportunities.

"교육 시스템의 논리"는 그린 외 연구진에게 시사한다. (2005) "학습자가 시스템에 맞추는 것이 아니라, 반대로 학습자에게 적합한 시스템이 되도록 해야 한다. 이것이 개인화의 본질이다. 모든 잠재력에 도달할 수 있는 참여적이고 독립적인 학습자를 육성하기 위해, [학생의 다양한 강점, 관심, 능력 및 니즈를 인식]하고, 이를 토대로 [맞춤형 지원을 제공할 수 있는 시스템]이 필요하다."

“The logic of education systems” suggests Green et al. (2005) “should be reversed so that it is the system that conform to the learner, rather than the learner to the system. This is the essence of personalization. It demands a system capable of offering bespoke support for each individual that recognizes and builds upon their diverse strengths, interest, abilities and needs in order to foster engaged and independent learners able to reach their full potential”.

많은 교사에게, 각 학생의 필요에 따라 개인화 지침을 개별화하는 것은 이상적인 생각이지만, 그들이 운영하는 제약 조건 내에서 가능하지 않았다(Harden et al. 1984). 좋은 소식은 학습 기회 내에 통합된 학습자 중심의 평가와 피드백을 통해 각 학생의 요구에 개별화된 다양한 학습 환경의 생성과 e-러닝의 잠재력을 활용하여 적응형 커리큘럼의 이 목표를 달성하기 위해 나아갈 수 있다는 것이다. 현재까지 많은 연구자들은 온라인 웹 기반 학습을 지원하고 학습자의 선호도, 관심사 및 탐색 행동을 고려하여 학습 경로를 적응적으로 제공하기 위해 개인화된 학습 메커니즘을 갖춘 e-러닝 시스템을 개발하는 데 초점을 맞추고 있다. 

For many teachers, this idea of individualising instruction to the need of each student is an ideal to be aimed at but one that has not been possible to deliver within the constraints in which they operate (Harden et al. 1984). The good news is that we can move forward to achieve this goal of an adaptive curriculum by harnessing the potential of e-learning and the creation of diverse learning environments individualised to the needs of each student with learner-focussed forms of assessment and feedback integrated within the learning opportunities. To date many researchers have focussed on developing e-learning systems with personalized learning mechanisms to assist on-line Web-based learning and to adaptively provide learning paths taking into account learner preferences, interests and browsing behaviours. 

교육의 중요한 발전은 [동료 지원 또는 협업 학습에 대한 강조]가 증가한다는 것이다(Ross & Cameron 2007; Ten Cate & Durning 2007). 이것은 e-러닝이 중요한 변화를 가져오고 학생들의 학습 경험을 풍부하게 할 수 있는 또 다른 분야이다. [협력적 학습 커뮤니티]라는 아이디어는 고등 교육에서 정말로 중요한 개념이다. Garrison & Anderson(2003)은 (의학에서와 같이) 고차higher-order 학습이 기대하는 학습 성과일 때, '학습자 공동체'는 교육 경험의 필수적인 핵심 요소라고 주장했다. 온라인 학습은 협업 학습의 생성과 개발에 있어 고유한 역할을 하며 실제로 의료 교육에 대한 주요 기여도를 나타낼 수 있다. 
An important development in education has been an increasing emphasis on peer-assisted or collaborative learning (Ross & Cameron 2007; Ten Cate & Durning 2007). This is another area where e-learning can bring about a significant change and enrich the learning experience for students. The idea of a collaborative learning community is indeed a critical concept in higher education. A community of learners, argued Garrison & Anderson (2003) is an essential, core element of an educational experience when, as in medicine, higher-order learning is the desired learning outcome. E-learning has a unique role to play in the creation and development of collaborative learning and indeed may represent its major contribution to medical education.

e-러닝의 개발을 통해 우리는 적응형 개인화된 커리큘럼과 학생 간 및 국제적으로 그리고 직업 간에 공유된 학습을 제공할 수 있다.  앞을 내다보면 세 가지 옵션이 있다.

Through developments in e-learning we can deliver an adaptive personalised curriculum and shared learning between students locally and internationally and between professions. Looking ahead, there are three options.

첫 번째 옵션은 '가능성의 기술'과 관련이 있으며, e-러닝을 학습 객체, 안내 학습 모듈, 가상 환자 등으로 [(강의, 독립 학습 및 문제 기반 또는 사례 기반 학습)과 같은 기존 교육 및 학습 접근 방식을 통해 강화하려는 접근법]으로 본다. 이 옵션에서 기존 교육 및 학습 활동은 e-러닝의 기여를 통해 강화된다.
The first option is concerned with ‘the art of the possible’ and views e-learning as an approach to strengthen, through bank of learning objects, guided learning modules, virtual patients, etc., existing teaching and learning approaches including lectures, independent learning and problem-based or case-based learning. In this option existing teaching and learning activities are reinforced through contributions from e-learning.

두 번째 옵션에서는 오래된 문제에 새로운 해결책을 적용하는 것을 훨씬 넘어서서, 교육에 대한 실질적인 새로운 접근법의 필요성이 인정된다. 패러다임 전환의 필요성이 충분히 인식되고 있다. e-러닝이 교육의 21세기 비전에 기여할 수 있다는 것이 받아들여지고 결과 기반 교육 및 교육 심리에 대한 이해에서 얻은 교훈에 대한 중요한 개혁 도면을 위한 프로그램이 확인된다. 이 옵션에는 의학을 가르치고 배우는 새로운 접근법을 제공해야 하는 필요성에 대한 직접적이고 창의적인 반응이 있습니다. 수정된 접근 방식은 현재의 접근 방식과는 상당히 다르게 보일 수 있으며 이를 도입하는 작업은 교육적 사고, 교육적 설계 및 기술을 포함하며 이러한 입력 사이의 중요한 연결을 인식한다. 이 옵션의 핵심은 기존 접근 방식에서 진화 과정을 넘어서는 큰 발전이 이루어진다는 것이다. 여행은 단순히 표면 운송surface transport의 발달에 의해서만이 아니라, 항공 여행의 발달에 의해서 변혁되었고, 기술과 공기역학의 새로운 원칙의 적용의 결과로 가능해졌다. 이와 같은 방식으로 (두 번째 옵션에서는) 의학교육에 대한 우리의 접근 방식에 중대한 변화가 일어날 것이다.
In the second option the need for a substantial new approach to education that goes well beyond applying a new solution to an old problem is recognised. The need for a paradigm shift is fully recognized. That e-learning can contribute to a 21st century vision of education is accepted and a programme for significant reform drawing on the lessons learned in outcome-based education and from an understanding of educational psychology is confirmed. In this option there is a direct and creative response to the need to deliver a new approach to teaching and learning medicine. The revised approach may look quite different from current approaches and the work in bringing it about encompasses educational thinking, instructional design and technology and recognises the critical link between these inputs. The thrust in this option is that big advances are made that go beyond an evolutionary process from existing approaches. Travel was revolutionized not solely by developments in surface transport but by the development of air travel, made possible by the result of the application of new principles of technology and aerodynamics. In the same way major changes would be made in our approach to medical education.

세 번째 옵션은 변화에 관한 것이지만 옵션 2와 달리 의제의 전략 항목으로 '변화change'가 없다. 전통적인 교육과정뿐 아니라 문제 기반 커리큘럼의 맥락에서 e-러닝 활용의 중요성을 인식하고, 교사와 학생 모두의 즉각적인 필요성으로 보이는 것을 의학에 반영한다. 단, [교육에서 일어나는 변화]와 [교육 변화의 구현에서 새로운 학습 테크놀로지의 역할]을 인식한다. 보다 적응적인 개인화된 학습으로의 이동, 협업 및 공유 학습으로의 이동, 결과 기반 교육 모델의 맥락에서 진행에 중점을 둔다.
The third option is about change but unlike option 2, does not have change as the strategic item on the agenda. It recognises the importance of the use of e-learning in the context of a traditional as well as a problem based curriculum and reflects what are seen as the immediate needs of both the teacher and the student in medicine. It recognises, however, the changes taking place in education and the role of the new learning technologies in their implementation. It takes account of the move to a more adaptive personalized learning, the move to collaborative and shared learning and the emphasis on progression within the context of an outcome-based educational model.

우리는 현재 이러한 옵션들 중 오직 하나, 즉 옵션 3만이 실행 가능하다고 주장한다. 

• 첫번째 선택은 교육적으로 viable하지 않다. 그것은 변화에 대한 압력에 대응하여 교육에서 일어나고 있는 중요한 발전을 무시하고 몇 년 안에 충족되어야 하는 학생들의 요구를 인식하지 못한다. 'e-learning and e-teaching'은 Ellaway(2007)가 도전적이고 흥미롭고 위험하며 변화무쌍할 수 있음을 시사하지만, 무비판적인 관행이 점점 더 많아질수록 e-learning 혁명이 걸음을 내딛기도 전에 종결될 것이라는 실질적 위험이 있다.' 교육에서 기술을 사용하는 것 자체가 좋은 것은 아니지만 '절대적 정상creeping normalcy'의 위험을 회피할 경우, 오늘날과 내일의 요구를 해결하는 혁신적이고 창의적인 방법을 개발하는 강력한 촉매제가 될 수 있다.
• 슬프게도 위에서 설명한 두 번째 선택권은 정치적으로 소외되고 무시될 것이기 때문에 실현 가능성이 없다. 강력한 적은 어마어마하게 많고, 지지자는 거의 없을 것이다. 온라인 학습은 주류 제도화된 변화의 기반이 아니라 한계적 추구로 간주될 것이다.
• 이와는 대조적으로 세 번째 선택권, 혹은 그것의 어떤 형태는 의과대학 내에서 교육적으로나 정치적으로 실행 가능한 것일 수 있다. e-러닝이 상징적으로 중요한 움직임과 연관되지 않는 한, 단순히 강의를 대체하거나 향상시키는 것 이상의 것에 관심을 갖지 않는 한, 교실에 진짜 의미가 없는 한, e-러닝은 의대에서 학생의 경험에 크게 영향을 주지 않을 것이다.

We argue that at present only one of these options–option 3–is viable.

• The first option is not viable educationally. It ignores the significant developments taking place in education in response to the pressures for change and fails to recognise the needs of students that must be met in the years ahead. ‘E-learning and e-teaching’ suggests Ellaway (2007) can be challenging, exciting, dangerous and transformational but there is a real peril that the creeping enormity of uncritical and safe practices in this area will declare the e-learning revolution over before it has really got into its stride’. Using technology in education is not of itself a good thing but it can be a powerful catalyst for developing innovatory and creative methods of addressing the needs of today and tomorrow if the dangers of ‘creeping normalcy’ are avoided.
• Sadly the second option as described above is not likely to be viable because it will be marginalised politically and will be ignored. There will be powerful enemies and few champions. E-learning will be seen as a marginal pursuit and not the basis for mainstream institutionalised change.
• The third option, or some form of it, in contrast may be viable educationally and politically within medical schools. Unless e-learning is associated with moves which are symbolically significant, unless it becomes concerned with more than just replacing or enhancing lectures, independent learning or problem-based learning and unless it has real significance in the classroom, e-learning is unlikely to significantly influence a student's experience in medical school.

드론(2007)은 e-러닝이 널리 채택되었지만 아직 걸음마 단계이며 많은 위험이 남아 있고 해결해야 할 문제가 있지만 미래 또는 e-러닝에 대해 낙관해야 할 충분한 이유가 있다고 주장했다. 교육기술, 보스토크(2007)는 "트로이 목마"라고 제안했다. (E-learning의) 내부에는 교육과 학생 학습에 관한 몇 가지 근본적인 질문들이 있는데, 이 질문들은 실천에 있어서 급진적인 변화를 위하여, 도시 벽을 깨부수고 개방할 준비가 되어 있다. 여기에 대처하는 것은 교육에서 다른 어떤 것보다도 흥미롭다.
Dron (2007) has argued that although e-learning has been widely adopted it is still very much in its infancy and although many risks remain and problems to be solved there is good reason to be optimistic about the future or e-learning. Educational technology, suggested Bostock (2007) “is a Trojan horse: inside are some fundamental questions about teaching and student learning, ready to break out and open the city walls to some radical changes in practice. Rising to that challenge is as intriguing as anything in teaching”.

e-러닝의 발전은 이전에는 불가능했던 교육 이니셔티브와 접근 방식을 가능하게 한다. 그러나 우리는 높은 품질, 교육학적으로 건전하고 흥미롭고 협력적인 온라인 학습 기회를 제공하려는 열망과 이러한 의도를 실제로 제정하는 작업 부하 및 시간 요구 현실 사이에 지속적인 긴장이 존재한다는 것을 인식할 필요가 있다(Boerema et al. 2007). 

Developments in e-learning make possible education initiatives and approaches previously not possible. We need to recognise, however, that ongoing tension exists between aspirations to provide high quality, pedagogically sound, interesting and collaborative online learning opportunities and the workload and time demand realities of enacting these intentions in practice (Boerema et al. 2007).

그러나 의대 교사와 자원 제약의 상상력, 교육적 이해력, 전문성이 보조를 맞추지 못하고 그러한 발전을 어떤 위장된 공상과학 소설이 아닌 현실로 만드는 데 도움이 된다면 불행한 일이다. 우리 모두가 해결해야 할 과제는 학생들을 계속 '새장 속의 새'로 볼 것인지, 아니면 '독수리처럼 치솟을' 적절한 교육기회를 통해 힘을 실어줄 것인지 여부이다.

It is unfortunate, however, if the imagination, educational understanding and professionalism of the medical teacher and resource constraints do not keep pace and help to make such developments a reality rather than some disguised form of science fiction. The challenge for all of us is whether we will continue to see our students as ‘caged birds’ or instead empower them with appropriate education opportunities to ‘soar like the eagle’.

Med Teach. 2008 Feb;30(1):1-4.

 doi: 10.1080/01421590801938878.

E-learning-caged bird or soaring eagle?

Ronald M Harden 1

Affiliations collapse

Affiliation

• 1International Virtual Medical School, Dundee, UK. r.m.harden@dundee.ac.uk

• PMID: 18278640
• DOI: 10.1080/01421590801938878

효과적인 강의: 실천을 이론으로 - 내러티브 리뷰(Med Sci Educ, 2021)

Effective Medical Lecturing: Practice Becomes Theory
A Narrative Review
Robert C. Lowe1 & Steven C. Borkan1

더 챌린지 The Challenge

대중 연설은 학문의학의 "ancient pillar"이다. 학생과 동료 그룹과의 대화는 학업 발전과 성취에 있어 측정 가능한 이정표이다. 이런 압박과 함께 '우리 학생들을 교육하라'는 요구가 높아지면서 '비효과적인 강의'라는 공통적이지만 역설적인 관행이 이어지고 있다. 비효율적인 강의를 만드는 것은 사실 매우 간단합니다.

• 1단계는 많은 양의 정보가 가득한 글머리표 슬라이드를 사용하여 PowerPoint 프레젠테이션을 생성해야 합니다.
• 2단계는 반사적으로 화면을 보면서 청중에게 각 슬라이드를 체계적으로 읽어주며 화자의 불안감을 줄여주는 내용을 담고 있다.
• 듣는 사람들은 이메일을 다루고, 동료들에게 문자를 보내고, 종종 무의식을 향해 마음을 놓음으로써 이 부담스러운 노력으로부터 벗어나려고 한다.
• 이야기가 끝나자 관중은 관례대로 정중하게 박수를 치고, 한 시간 안에 말을 잊는다.
• 연설자는 "안전하게" 탈출하고, 다른 날에 "가르칠" 준비가 되어 있다. 

Public speaking is the “ancient pillar” of academic medicine. “Talks” to groups of students and colleagues are a measurable milestone for academic advancement and achievement. This pressure, combined with increasing demands to “educate our students,” has led to the common but paradoxical practice of “ineffective lecturing.” Producing an ineffective lecture is actually quite simple.

• “Step One” requires creating a PowerPoint presentation with heavily bulleted slides replete with large quantities of information.
• “Step Two” involves presenting the talk by systematically reading each slide to the audience while reflexively facing the screen to reduce speaker anxiety.
• Listeners seek refuge from this burdensome endeavor by addressing e-mails, texting colleagues, and often disengaging toward unconsciousness.
• As the talk ends, the audience politely applauds as is the custom, and then forgets the talk within the hour.
• The speaker “safely” escapes, ready to “teach” another day. 

이 주기는 수많은 학문적 학습의 중심에서 반복되며, 우리의 훈련생들은 강의에 참여하지 않는 것에 대해 불평한다. 

This cycle is repeated in countless centers of academic learning and, just as often, our trainees complain about unengaging lectures. 

위대한 강의
The Great Lecture

"위대한 강의"의 구성 요소들은 기원전 4세기에 아리스토텔레스가 그의 수사학에서 처음으로 개괄하였다. 이 논문의 제1권에서, 아리스토텔레스는 효과적인 프레젠테이션의 3가지 요소, 즉 이성(로고스)과 감정(파토스)에 대한 호소, 화자의 개인적 특성(에토스)에 대해 설명했다. [26]. 이것들은 우리의 현재의 교육적 임무에 똑같이 적용된다: 효과적인 강연은 듣는 사람을 자극하고 정보가 기억 속에 내재되도록 하는 [감정적 반응]을 유도하는 [논리적인 방식]으로 [정보를 제공]한다. 이러한 목적적 반응은 열정과 "화자의 유동성"을 포함하는 매력적인 프레젠테이션 스타일에 대응하여 발생합니다.

The components of the “great lecture” were first outlined in the fourth century B.C.E. by Aristotle in his Rhetorics. In Book One of this treatise, Aristotle described 3 components of an effective presentation: an appeal to reason (logos) and to emotion (pathos), as well as the speaker’s personal characteristics (ethos) [26]. These are equally applicable to our current educational mission: an effective talk presents information in a logical fashion that stimulates the listener and induces an emotional response that allows the information to be embedded in memory. This purposeful reaction occurs in response to an engaging presentation style that includes enthusiasm and the “speaker’s fluidity”.

'연사 성격'의 소재가 제기될 때, [카리스마 있는 연사는 콘텐츠 전문성이 부족한 것을 감추기 위해 'smoke and mirror'을 사용하는 사람]은 명백한 사기꾼이거나 교육자라기보다는 연예인에 불과하다는 것이 일반적인 방어적 반박이다. 반대론자들은 좋은 발표는 가장 최신의 사실과 사실적인 자료의 단순한 발표일 뿐이며, 그 밖의 모든 것들은 효과적인 교육과 무관한 "인기 대결"이라고 주장한다. 일반적으로 사용되는 이 믿음은 학문적, 사업적, 그리고 정부 환경에서 무수한 비효율적인 강의를 지원합니다. 더 중요한 것은, 이것이 몰입적이고 기억에 남는 프레젠테이션을 회피하는 구실이 된다는 것입니다.
When the subject of the “speaker’s personality” is raised, a common defensive retort is that charismatic speakers are clearly charlatans using “smoke and mirrors” to hide their lack of content expertise or are mere entertainers rather than educators. The naysayers posit that a good presentation is simply a straightforward presentation of most up to date and factual material and that, beyond this, all else is a “popularity contest” irrelevant to effective education. This commonly held belief supports countless ineffective lectures in academic, business, and governmental settings. More importantly, it serves as the excuse to avoid engaging, memorable presentations.

"닥터 폭스 실험"은 이 뛰어난 태도를 지지하는 것처럼 보였다. 1973년, "Myron Fox 박사"가 "의학 교육에 수학 게임 이론을 적용"이라는 제목의 교육자들에게 강연을 하는 심리학 실험이 수행되었다. 폭스 박사는 사실 따뜻하고, 재미있고, 매력적인 스타일의 강의를 하는 배우였는데, 그 내용은 횡설수설이었다. 예상했던 대로, 청중들은 폭스 박사에게 호의적인 반응을 보였다. 이것은 "좋은" 강사가 청중을 속여 거짓 이야기를 감상하게 만들었다고 결론내림으로써 강의를 참여시키는 "Charlatan" 이론에 기여했다. 그러나 1975년에 실시된 후속 실험은 이러한 결론을 반박했다. 이 시나리오에서는 다양한 교육 콘텐츠와 함께 여러 강의가 진행됐다. 각각의 강연은 두 명의 연사에 의해 전달되었습니다: 하나는 매력적인 스타일을 가지고 있고 다른 하나는 직설적이지만 매력적이지 않은 스타일을 가지고 있습니다. 두 연사 모두 참여형 스타일은 고·저콘텐츠 강의 후 청중의 콘텐츠 유지율을 높였습니다. 

The “Dr. Fox Experiment” seemed to support this preeminent attitude. In 1973, a psychological experiment was conducted wherein a “Dr. Myron Fox” presented a talk to a group of educators entitled “Applying Mathematical Game Theory to Medical Education.” Dr. Fox was in fact an actor who provided a warm, funny, and engaging style lecture, the content of which was gibberish. As might be expected, the audience favorably responded to Dr. Fox. This contributed to the “charlatan” theory of engaging lectures by concluding that a “good” lecturer fools an audience into appreciating a false narrative [20]. However, a subsequent experiment conducted in 1975 confronted this conclusion. In this scenario, several lectures were given with a variable amount of educational content. Each talk was delivered by two speakers: one with an engaging style and another with a straightforward but unengaging style. For both speakers, the engaging style resulted in greater content retention by the audience after high- and low-content lectures.

이 관찰은 내용이 "잘 말하는 사람"에 의해 청중에게 더 효과적으로 전달된다는 것을 시사하며, 다른 사람들에 의해 나중에 복제되는 발견인 상당한 교육적 편익[28]으로 해석한다[18]. 청중들을 끌어들이기 위한 열쇠는 그들의 관심을 끌고 붙잡아야 한다. 교육자의 경우 불행히도 [성인 집중력 기간은 10분]으로 제한되어 있으므로, 고전적인 50분 강의를 위한 참여 유지라는 화자의 과제가 복잡해진다. 더구나 이러한 '10분'의 주의력을 입증한 연구는 스마트폰과 소셜미디어 시대 이전에 이루어졌으며, 오늘날 청취자의 주의력 범위는 더욱 짧아진 것으로 생각된다. 다행히, 청중 집중력 기간은 다양한 형식과 아래에서 논의한 대화형 특징을 추가하고 강의 내내 주요 교육 포인트를 반복함으로써 주기적으로 "재설정"될 수 있다.

This observation suggests that content is more effectively transmitted to an audience by a “good speaker” and translates to significant educational benefit [28], a finding subsequently replicated by others [18]. The key to engaging the audience mandates attracting and holding their attention. Unfortunately for educators, the adult attention span is limited to 10 min [5, 15], complicating the speaker’s task of sustaining engagement for the classic 50-min lecture. Moreover, the studies that demonstrated this “10-min” attention span were conducted before the era of smartphones and social media, and it is believed that today’s listeners have an even shorter attention span. Fortunately, audience attention span can be periodically “re-set” by varying format, adding interactive features discussed below, and re-iterating key teaching points throughout the lecture.

강의 시간 관리
Lecture Time Management

"시간" 자체는 효과적인 프레젠테이션을 준비하는 데 필수적인 요소이지만 불행히도, 이용 가능한 것은 거의 없다. 다음을 포함한 여러 자극......들을 하려면, 대화식으로 강의를 하기에는 연습 시간이 부족해진다.

• 경쟁적인 학문적 우선 순위,
• 청중을 위해 적절한 강의 내용을 선택하는 시간을 진공청소기로 없앤다.
• 학습 목표 식별,
• 효과적인 슬라이드 세트의 초안 작성 및 정제, 그리고
• 반사적 또는 능동적 학습 단절을 약간 더한다.

“Time” itself is the vital ingredient for preparing an effective presentation but, unfortunately, is least available. Multiple stimuli, including

• competing academic priorities,
• vacuum away the time for selecting lecture content appropriate content for the audience,
• identifying learning objectives,
• drafting and refining an effective slide set, and
• adding a pinch of reflective or active learning breaks,

...leaving inadequate practice time to deliver the lecture in an easy, conversational style.

이 벅찬 "강의에서의 to-do 리스트"는 식료품 목록은 심지어 선의의 교육자들도 각 슬라이드에 정보를 쌓아놓고 청중에게 소리내어 읽어줌으로써 "최소한의 강의 저항의 길"을 여행하게 하고, 우리 청중들이 우리의 강의 노력을 무시하도록 효과적으로 보장한다.

This daunting grocery list of “lecture to-dos” causes even well-intentioned educators to travel the “path of least lecture resistance” by piling information into each slide and then reading them aloud to the audience, effectively guaranteeing that our audience ignores our lecture efforts.

학술적 현실과 대화 불개의 전통, 효과적인 강의가 통달될 수 없다는 시각이 모두 우리의 강의현상을 유지하며 필연적으로 '나쁜 대화'를 만들어낸다. 시간은 de novo로 만들 수 없기 때문에, 그것은 꽤 유혹적이다.

• 파워포인트를 긴급하게 연다.
• 교육목표를 생략하고, 50분을 채울 만큼 충분한 슬라이드에 사실정보를 저장한다.
• 슬라이드 디자인을 무시한다.
• 배움을 촉진하는 이미지는 건너뛴다
• 적극적으로 반영하거나 참여하기 위해 청중의 초대를 생략한다.
• 그리고 나서, "시간이 부족하니" 강의 요약을 제외한다

Academic reality, a tradition of unengaging talks, and the view that effective lecturing cannot be mastered all sustain our lecturing status quo and inevitably lead to the creation of “bad talks.” Since time cannot be created de novo, it is quite tempting to

• open PowerPoint with a sense of urgency,
• skip educational goals, pile factual information onto enough slide to fill 50 min,
• ignore slide design,
• forego learning-enhancing images,
• omit audience invitations to actively reflect or participate,
• and then, for the “sake of time,” exclude a lecture summary.

이처럼, "나쁜 강의"는 놀랄 만큼 짧은 시간에 준비될 수 있지만, 동시에 예측 가능한 결과를 가져온다.

Admittedly, a “bad talk” can be prepared in a remarkably short time but with predictable results.

효과적인 강의의 효과성 향상과 효과적인 강의 조성에 필요한 시간 최소화를 위한 제안들이 요약되어 있다(표 1). 

학생과 교사 사이의 물리적인 거리감을 모두 갖춘 원격 인터넷 교육은 고유한 과제를 제기하며 효과적인 교육을 지속하기 위한 새로운 솔루션을 필요로 한다. 원격 교육 및 강의 준비는 예상된 과제를 계속 제공하지만, 멀리서 가르치면 학생과의 피드백과 공명이 복잡해지고, 듣는 사람이 눈에 보이지 않게 "체크아웃"할 수 있으며, 교사에게 패배를 인정할 수 있는 기회를 제공하여 Zoom, Teams 등 날짜를 미리 정하는 비효율적인 교육 방법론으로 후퇴한다. 성인 학습자와 교사는 그 자체가 동일하기 때문에, 원격 청취자를 참여시키고 학습에 자극을 주는 방식으로 도전하고 참여시키는 정보를 전달하는 전략이 중심 목표로 남아 있다.(표 2).
Remote Internet teaching, complete with physical distance between students and teachers, raises unique challenges and requires novel solutions to sustain effective teaching. While remote teaching and lecture preparation continue to provide the expected challenges, teaching from a distance complicates feedback and resonance with students, permits listeners to invisibly “check out,” and affords teachers the opportunity to admit defeat, retreating to ineffective teaching methodologies that pre-date Zoom, Teams, and other surrogate Internet media. Since the adult learners and teachers are themselves identical, strategies for engaging remote listeners and transmitting information that challenges and engages them in a manner that stimulates learning remain a central goal. Based on experiences to date and input from the latest educational literature [4, 7, 21, 22], modest adjustments by the lecturer substantially improve the remote learner’s and lecturer’s experience (Table 2).

강의 내용 계획 방법
How to Plan Lecture Content

성인 학습의 원리를 이용하여 강의를 계획하는 것은 그 영향을 증가시킨다. Malcolm Knowles에 의해 명확하게 설명되는 이러한 원칙들은 성인 학습자를 가르치기 위한 귀중한 개념적 프레임워크이다. 일부 논란에도 불구하고 [19], 이러한 원칙은 효과적인 교육 세션을 설계하는 데 여전히 유용하다[14]. 비효과적(그림 1a) 대 효과적(그림 1b) 슬라이드.
Using principles of adult learning to plan a lecture increases its impact. These principles, articulated by Malcolm Knowles, are a valuable conceptual framework for teaching adult learners. Despite some controversy [19], these principles remain useful for designing effective teaching sessions [14]. An ineffective (Fig. 1a) vs. effective (Fig. 1b) slide listing Knowles Principles of Andragogy is shown.

두 가지 성인 학습 원칙은 효과적인 프레젠테이션을 만드는 것과 가장 관련이 있다. 

첫째, 성인은 자신의 삶과 업무 관행과 [관련된] 학습을 요청하기 때문에 각각의 강의가 청중에게 관련되는 것이 매우 중요하다[15]. 이것은 명백해 보일 수도 있지만 시간이 허용하는 한 많은 사실 정보를 제공함으로써 "권위적"인 것과도 반대될 수 있다. 일반적인 질병별 학술 강연은 (역사적 순서로) 질병 역학, 임상 프레젠테이션, 진단, 예후 및 현재 치료를 포함하도록 구조화된다. 각 주제 제목 아래에, 많은 정보가 전체 문장 또는 입력된 단락과 함께 글머리 기호 슬라이드로 표시됩니다.

비록 이 접근법이 약간의 교육적 장점을 가지고 있지만, 진정한 관련성은 청중들이 그들의 일상 생활에서 제시된 정보로 [무엇을 할] 것인지이다. 예를 들어, 공중 보건 청중에게 말할 때, 선별과 역학에 중점을 두는 것이 적절하지만, 윤색 진단과 치료는 일차 진료 의사들에게 반향을 일으킨다. 의대생들은 주제에 대한 최신 연구에 대한 철저한 토론으로부터 좀처럼 혜택을 받지 못한다. 이와는 대조적으로, 이 접근법은 주제 전문가들에게 매우 효과적이다.

Two adult learning principles are most relevant to creating effective presentations.

First, adults request learning that is relevant to their lives and work practices, making it critical that each talk be relevant to the audience [15]. This may seem obvious but also at odds with being “authoritative” by providing as much factual information as time permits. A typical disease-specific academic talk is structured to include (in historical order) disease epidemiology, clinical presentation, diagnosis, prognosis, and current therapy. Under each topic heading, a wealth of information is presented as bulleted slides with full sentences or typed paragraphs.

Although this approach has a modicum of educational merit, the true question of relevance refers to what the audience will do with the presented information in their daily practice. For example, when speaking to a public health audience, emphasis on screening and epidemiology is appropriate, whereas embellishing diagnosis and treatment resonates with primary care physicians. Medical students rarely benefit from an exhaustive discussion of the latest research on a topic. In contrast, this approach is highly effective for topic experts.

선생님 강조하기
De-emphasizing the Teacher

효과적인 대화에서 중요한 것은 [선생님과 주제]가 아니라 [주제와 청중]을 강조해야 한다는 것이다. 이 초점으로, 화자는 효과적인 강의에 수반되는 정보의 과부하를 피하기 위해 [더 적은 정보를 더 표적화된 방식]으로 제공한다[15]. [목표를 세우는 것]은 대규모 그룹 강의를 준비하는 데 있어 두 번째 중요한 요소이다. 목표 또는 "학습 목표"는 표현 구조에 의해 명시적으로 또는 암시적으로 반영될 수 있다. 준비의 세 번째 핵심 초점은 각 프레젠테이션을 1시간 형식으로 효과적으로 전송할 수 있는 [3-5개의 기본 티칭 포인트]로 제한하는 것이다. 강의의 나머지 본문은 단순히 이러한 요점을 뒷받침하기 위한 것이다. 이 의도적인 연습은 청중들을 주요 개념에 집중시키고 이상적으로는 후속 조사와 학습을 고무시키는 지적 "준비" 역할을 하기 때문에 효과적인 가르침의 주요 구성요소이다.

In an effective talk, it is not the teacher and the topic that are important but rather, the topic and audience that require emphasis. With this focus, the speaker provides less information but in a more targeted way, avoiding information overload that accompanies ineffective lectures [15]. Setting audience goals is the second critical factor in preparing a large group lecture. Goals or “learning objectives” can be either explicitly or implicitly reflected by presentation structure. The third key focus of preparation (and most challenging) is to limit each presentation to the 3 to 5 primary teaching points that can be effectively transmitted in a 1-h format. The remaining body of the lecture is simply designed to support these key points. This intentional exercise is a major component of effective teaching as it focuses the audience on key concepts and ideally serves as an intellectual “warm up” to inspire subsequent investigation and learning.

교육대상으로서의 청중
Audience as the Educational Target

효과적으로 구조화된 강의는 [사실]보다는 [개념에 대한 토론]에서 이익을 얻는다. 스마트폰, 휴대용 태블릿 및 랩톱 컴퓨터를 사용하여 전세계 데이터베이스에 즉시 액세스함으로써 학습자는 즉시 특정 사실과 온라인 주제 요약을 찾습니다. 발표자의 과제는 청취자가 최신 사실 목록을 제공하기보다는 제시된 정보를 정리하고 사용할 수 있는 [개념적 프레임워크]를 제시하는 것이다. 인지과학 연구에 따르면, [학습]이 [기억력에 대한 사실의 헌신]이 아니라 [스키마를 이용한 기억 속 정보의 조직]이라는 것을 보여준다. 효과적인 교사는 문제를 해결하거나 과제를 완료하기 위해 학습자의 지식 기반을 구성하고 지식 검색을 용이하게 하는 새로운 스키마를 만든다[22].
An effectively structured lecture benefits from a discussion of concepts rather than facts. With immediate access to the world’s database using smartphones, portable tablets, and laptop computers, learners instantaneously locate specific facts and online topic summaries. The speaker’s challenge is to present a conceptual framework that enables the listener to organize and use information being presented rather than provide an updated list of facts. Cognitive science research shows that learning is not the commitment of facts to memory but the organization of information in memory using schemas. Effective teachers create new schemas to structure their learners’ knowledge base and facilitate knowledge retrieval in order to solve a problem or complete a task [22].

일단 개념화되고 조직화되면, 듣는 사람들은 강의 내용을 기존의 의학적 지식과 연결할 수 있다. 화자의 목표는 청중에게 그들이 알고 있는 것을 상기시키고 이 기초 지식을 넓히고 심화시키는 것이다 [10, 11]. 익숙하지 않은 주제를 초보 청중에게 강의 형식으로 제시하는 것은 도전적이다. 예를 들어, "C형 간염" 강의의 내용은 청중 구성과 다양성, 즉 현장의 전문가, 1차 진료 의사, 제휴 건강 전문가, 교육생, 일반인 또는 다양한 혼합물에 따라 크게 달라질 것이다. 유인물은 학습자가 강의 시작 전에 새로운 정보를 선제적으로 검토할 수 있도록 하고, 학습자에게 '청중을 알고 있다'는 것을 보여줌으로써 교육적 가치를 창출한다.
Once conceptualized and organized, the listeners can link the content of the lecture to their existing medical knowledge. The speaker’s goal is to remind the audience of what they know and then extend and deepen this baseline knowledge [10, 11]. Presenting an unfamiliar topic to a novice audience in a lecture format is challenging. For example, the content of a “hepatitis C” lecture will widely vary depending on the audience composition and diversity: experts in the field, primary care physicians, allied health professionals, trainees, general public, or a diverse mixture. Handouts allow the learner to preemptively review new information before the lecture begins and creates educational value by showing learners that the speaker “knows the audience.”

정보의 간단한 표현보다는, 목표된 개념을 설명하는 [이야기와 은유]는 장기적인 기억으로 지식을 캡슐화한다[30]. 구체적으로, 이야기, 사례 사례, 그리고 은유의 포함은 듣는 사람들이 새로운 방식으로 그들의 지식을 재구성할 수 있게 한다. 잘 설계된 강의는 3-5개의 주요 교육 포인트를 효과적으로 전달하기 위해 지식 생성 및 보존이라는 조직 구성 요소를 강화합니다. 열정과 감정은 가르침을 더욱 기억에 남게 한다. 독창적인 주제와 상관없이, 단조로움은 청중의 흥미를 거의 유발하지 않는다. 강연을 연습하면 강의자가 자연스러운 흐름을 이용해 자료를 제시할 수 있고, 열정과 감정이 정보 보유를 부채질하는 핵심 요소인 대화 방식으로 진행된다.

Stories and metaphors that illustrate the targeted concepts, rather than a straightforward presentation of information, facilitate knowledge encapsulation of into long-term memory [30]. Specifically, the inclusion of stories, case examples, and metaphors allows listeners to restructure their knowledge in a novel way. Well-designed lectures enhance this organizational component of knowledge generation and retention to effectively transmit 3–5 primary teaching points. Enthusiasm and emotion make teaching points more memorable [16]. Regardless of the inherent topic novelty, monotony rarely engenders audience interest. Practicing the talk permits the lecturer to present the material using natural flow and in a conversational style in which enthusiasm and emotion are the key ingredients that fuel information retention.

PowerPoint 슬라이드의 너트 및 볼트 준비
Nuts and Bolts of Preparing PowerPoint Slides

잘 설계된 PowerPoint 슬라이드 쇼는 두 가지 핵심 학습 이론을 통합하는 효과적인 프레젠테이션의 중요한 구성요소이다. 첫 번째 개념은 학습자가 두 채널을 통해 시각과 청각 정보를 동시에 처리한다는 것이다. [시각 채널]은 문자를 포함한 이미지를 처리하는 반면 [청각 채널]은 말을 처리한다. 이 두 채널이 보완적이라면 이해와 보존이 강화된다[17, 25]. 대조적으로, 청중에게 단어를 소리내어 읽는 것에서 비롯되는 불일치 채널은 듣는 사람이 더 지배적인 시각 채널을 추론하여 말하는 사람을 무시하게 한다. [청중들은 일반적으로 발표자가 말하는 것보다 읽는 속도가 더 빠르기 때문에, 슬라이드를 소리내어 읽는 것은 화자의 무관심을 사실상 보장한다]. 이와는 대조적으로, 보완적인 청각 및 시각 정보 채널을 사용하면 효과적인 학습을 촉진할 수 있다[1].
A well-designed PowerPoint slideshow is a critical component of an effective presentation that incorporates two key learning theories. The first concept is that learners simultaneously process visual and auditory information via two channels: the visual channel processes images including the written word, whereas the auditory channel processes speech. When these two channels are complementary, understanding and retention are enhanced [17, 25]. In contrast, discordant channels that result from reading words aloud to an audience cause the listener to ignore the speaker in deference to the more dominant visual channel. Since the audience member typically reads faster than a presenter speaks, reading slides aloud virtually guarantees speaker irrelevance. In contrast, using complementary auditory and visual information channels promotes effective learning [1].

효과적인 슬라이드 설계는 예측 가능하고 재현 가능한 과학이다. 첫째, 이미지 사용을 극대화하면서 각 슬라이드의 단어 수를 최소화합니다. 청각 채널이 화자의 말을 통합하는 동안 이미지는 시각 채널을 자극한다. "Beyond Bullet Points"(circa 2010)는 이 전략을 운용한다. 예를 들어, 완전한 문구를 사용하는 슬라이드 제목은 화자의 포인트에 대한 보완적 시각 및 청각 처리를 위한 단계를 설정한다. 슬라이드 제목을 반영하는 이미지는 소리를 크게 읽지 않고 청각 구성요소에 보완적인 시각적 자극을 제공한다 [27]. 잘못 설계된 슬라이드의 예가 두 단어 제목에서 비효율적인 슬라이드 제조를 설명하는 긴 진단 목록과 함께 표시된다(그림 2a). 두 번째 패널(그림 2b)은 스피커가 관련 진단 목록을 논의하도록 자극하는 "관심 이미지" 위에 말하는 사람이 무엇을 말할 것인지를 말로 청중에게 "알려주는" 효과적인 제목을 보여준다. 이중 채널 이론은 화자가 큰 소리로 읽도록 강요하지 않고 청중을 사로잡고 첫 번째 주요 교수 죄악을 피한다. 텍스트 중심의 슬라이드는 간혹 적절하지만, [텍스트를 줄이는 것]이 주의 산만함을 최소화하고 주제 이해를 촉진하며 청중의 주의를 스피커에 집중시킨다 [2].

Effective slide design is a predictable and reproducible science. First, minimize the number of words on each slide while maximizing the use of images. Images stimulate the visual channel while the auditory channel incorporates the speaker’s words. “Beyond Bullet Points” (circa 2010) operationalizes this strategy. For example, a slide title that uses a complete phrase sets the stage for complementary visual and auditory processing of the speaker’s point. An image that reflects the slide title provides complementary visual stimulation for the auditory component without reading aloud [27]. An example of a poorly designed slide is shown wherein a two-word title accompanies a long diagnostic list illustrating ineffective slide making (Fig. 2a). The second panel (Fig. 2b) illustrates an effective title that “tells” the audience in words what the speaker will address above an “image of interest” that stimulates the speaker to discuss the associated diagnostic list. Dual-channel theory engages the audience without forcing the speaker to read aloud and avoids the first cardinal teaching sin. Text-heavy slides are occasionally appropriate but pared down text minimizes distractions, fosters topic understanding, and focuses audience attention on the speaker [2].

효과적인 텍스트 슬라이드 기능은 비즈니스, 교육 및 의료 교육 문헌에서 도출된다(그림 3) [1, 5, 25, 27]. 글꼴 선택은 통신에 영향을 미치며 [28 포인트 보다 큰 글씨를 사용하는 것]는 두 가지 기능을 제공한다. 첫째, 청중들이 장소 크기에 관계없이 화면 단어를 인식할 수 있게 하고 둘째, 스피커가 각 슬라이드에 있는 단어를 제한하도록 함으로써 정보 과부하에 의도적인 "브레이크"를 배치한다. [17] 효과적인 슬라이드에는 이미지가 포함되어 있으며 한 줄에 6자 이내로 구성된 슬라이드당 최대 6자까지 구성된 몇 개의 단어만 있습니다. 특히, 일부 교육자들은 시각적 정보를 더욱 제한하는 더 단순한 "4 × 4" 형식을 제안한다 [23]. 시각적 겸손의 순효과는 미끄럼틀이 아닌 화자가 주요 청중의 초점을 유지한다는 것이다.
Effective text slide features are derived from business, education, and medical education literature (Fig. 3) [1, 5, 25, 27]. Font selection affects communication and using fonts > 28 point size serves two functions; first, it allows the audience to recognize screen words irrespective of the venue size; and second, it places an intentional “brake” on information overload by forcing the speaker to limit the words on each slide [17]. Effective slides contain images and only a few words organized as follows: a maximum of six lines per slide with no more than six words per line. Notably, some educators suggest a simpler “4 × 4” format that further limits visual information [23]. The net effect of visual modesty is that the speaker, not the slide, remains the primary audience focus.

다음 설계 원칙은 단일 형식, 글꼴 유형 및 슬라이드 간에 일관된 배열을 사용하는 것입니다. 음향 효과와 결합된 복잡한 PowerPoint 애니메이션 또는 애니메이션은 특히 다양한 애니메이션 옵션이 슬라이드 일관성을 훼손할 때 의도치 않게 시청자의 주의를 분산시킨다[17]. 최적의 슬라이드 디자인은 화자가 콘텐츠를 제공하는 동안 텍스트를 최소화하고 정보 이미지를 추가합니다 [16]. 반면에 짧은 텍스트 라인을 순차적으로 도입하여 슬라이드를 "구축"하는 것도 효과적이다 [8]. 이후 전략은 관객의 주의를 분산시킬 수 있는 화면의 단어를 제한한다. 효과적인 슬라이드를 생성하기 위한 최종 권장사항은 "세리프"에 관한 설계 문헌에서 도출한 것인데, 이는 엄선된 글꼴에 통합된 글자 끝에 있는 작은 점들이다. 타임즈 뉴로마를 포함한 인기 있는 글꼴은 세리프를 포함하고 있는 반면, 아리알은 "산세리프 글꼴"이다. 산세리프 글꼴은 특히 큰 강의실에서 읽기가 더 쉬우며 슬라이드에는 매우 선호된다[16].
The next design principle is to use a single format, font type, and a consistent arrangement between slides. Complex PowerPoint animation or animation coupled to sound effects unintentionally distracts audiences [17], especially when a variety of animation options compromises slide consistency. The optimal slide design minimizes text and adds an informational image while the speaker provides content [16]. On the other hand, “building” a slide by sequentially introducing short text lines is also effective [8]. The later strategy limits words on the screen that could distract the audience. The final recommendation for generating effective slides is derived from design literature regarding “serifs”: small points on the ends of letters that are incorporated into select fonts. Popular fonts including Times New Roman contain serifs, whereas Arial is a “sans serif font.” Sans serif fonts are easier to read, especially in a large lecture hall, and are strongly preferred for slides [16].

배경 슬라이드 색상은 시각적 정보를 전달하는 데 매우 중요합니다. 놀랍게도, 광학 연구는 흰색 배경에 검정색 텍스트("책 스타일")가 가장 큰 시각적 대비를 제공하므로 읽기 쉽다는 것을 확인한다. 그러나 흰색 또는 노란색 텍스트가 있는 어두운 배경의 표준 형식은 읽을 수 있으며 대형 강의실에서도 매우 적합합니다 [8, 17]. 슬라이드 색상이 중요한 경우 파란색 또는 녹색 배경에 빨간색 텍스트와 같은 색상이 충돌하지 않도록 주의하여 산만함을 최소화하고 가독성을 높입니다. 빨간색과 녹색 글꼴의 특정 회피는 모든 청중에서 색맹 남성의 상당한 부분을 존중한다[25]. 어두운 배경을 사용하는 체계와는 대조적으로, 밝은 배경은 동상수축의 원인이 되고 이미지 시각화 및 텍스트 가독성을 모두 손상시킨다. 복잡한 배경보다는 꾸밈이 없는 소박한 배경이 화자에게 집중하도록 한다. 어두운 배경에 겹치거나 외부 테두리가 없는 전체 화면을 채우는 이미지 역시 똑같이 효과적입니다.

Background slide color is critical for conveying visual information. Surprisingly, optics studies confirm that black text on a white background (“book style”) provides the greatest visual contrast and is therefore easiest to read. However, the standard format of a dark background with white or yellow text is readable and is also an excellent choice for large lecture halls [8, 17]. If slide color is important, then avoiding clashing colors such as red text on a blue or green background minimizes distraction and enhances readability. Specific avoidance of red and green fonts respects the significant fraction of color-blind men in any audience [25]. In contrast to schemes that use a dark background, a bright background causes pupillary constriction and compromises both image visualization and text readability. Plain, unadorned backgrounds rather than complex ones encourage focus on the speaker. Images superimposed on a dark background or that fill the entire screen with no outside border are equally effective.

포인트 바이 포인트
Point by Point

Bulletpoints는 대부분의 PowerPoint 프레젠테이션에서 어디서나 볼 수 있는 스레드이며 주요 조직 툴입니다. 글머리 기호 점의 부적절한 사용(그림 4a) 및 적절한 사용(그림 4b)도 예시되어 있습니다. 첫 번째 글머리 기호는 설계가 미흡한 글머리 기호로, 각 글머리 기호는 텍스트에 설명된 오류를 표시합니다. 이와는 대조적으로, 대체 슬라이드는 작고 효과적이다. 텍스트 라인이 순차적으로 "구축"되면 청중은 스피커가 텍스트를 연결하는 스토리를 만들 때 무정렬 슬라이드의 각 점에 초점을 맞춘다. 요약하자면, 글머리 기호는 전체 문장이 아니라 평행 문법 구조를 가진 "헤드라인"이다. 구조를 최적화하기 위해 글머리 기호 첫 단어는 대문자로 표시하고 구두점은 사용하지 않습니다. 여러 개의 하위 글머리 기호는 더 작은 글꼴을 요구하며, 종종 읽기가 어렵고 "6 × 6 규칙"을 위반할 수 있다.

Bullet points are a ubiquitous thread in most PowerPoint presentations and a key organizational tool. The improper (Fig. 4a) and proper (Fig. 4b) use of bullet points is also illustrated. The first shows bullets that are poorly designed, with each one displaying a mistake described in the text. In contrast, the alternative slide is both compact and effective. When text lines are sequentially “built,” the audience focuses on each point in an uncluttered slide as the speaker creates a story that links the text. To summarize, bullets are not full sentences but “headlines” with a parallel grammatical structure. To optimize structure, the first word of the bullet is capitalized and without punctuation. Multiple sub-bullets require smaller fonts, are often hard to read, and can violate the “6 × 6 rule.”

프레젠테이션 오류는 쉽게 분류됩니다. 예를 들어 복잡한 데이터 테이블에는 종종 "이 슬라이드에 대해 사과드립니다"라는 문구가 함께 표시됩니다(그림 5a). 현실에선 진심 어린 사과도 좀처럼 용서받지 못한다. 대신, 더 큰 테이블에서 주요 데이터 포인트를 추상화한 후 간단한 그래프 또는 차트(PowerPoint 툴로 지원)를 생성하는 것이 바람직하다(그림 5b). 데이터 슬라이드는 깔끔하고, 깔끔하며, 장식이 없어야 합니다.

Presentation errors are easily categorized. For example, a complex data table is often accompanied by the phrase “I apologize for this slide” (Fig. 5a). In reality, even a sincere apology is rarely forgiven. Instead, abstraction of key data points from the larger table followed by the creation of a simple graph or chart (facilitated by PowerPoint tools) is preferred (Fig. 5b). Data slides should be straightforward, uncluttered, and without ornamentation.

효과적인 강의의 중심 목표는 스코틀랜드의 저명한 의학 교육자인 로널드 하든이 "Death by PowerPoint"라는 제목의 자극적인 기사를 통해 잘 표현하고 있다. 그는 연설자 없이 슬라이드가 절대 그 자체로 충분해서는stand alone 안 된다고 주장한다. 만약 그렇다면, 강의가 아니라 그냥 유인물을 배포하는 것이 가장 적절한 교육 형식이다. 화자의 아이디어 소통 능력은 대화의 이상적인 초점이며 정보 전달을 위한 활발한 포럼을 제공한다. 슬라이드는 어떤 의미에서 부수적인 것입니다. 이 사실은 발표자가 슬라이드 프레젠테이션을 제공하는 기술적 실패 중에 우연히 테스트된다. Educational accidents는 청중들이 강연의 가장 중요한 요소이고, 그 다음은 메시지이며, 슬라이드 다음으로 세 번째라는 증거이다[12]. 이야기, 사건, 그리고 은유는 청중들이 내용을 이해하고 행동 변화를 시작하는데 사용된다.

The central goal of an effective lecture is well articulated by Ronald Harden, a noted Scottish medical educator, in a provocative article entitled “Death by PowerPoint.” He argues that slides should never stand alone without the speaker. Otherwise, a handout, not a lecture, is the most appropriate educational format. The speaker’s ability to communicate ideas is an ideal focus of a talk and provides an active forum for conveying information. The slides are, in a sense, incidental. This fact is inadvertently tested during technical failures in which the speaker delivers a presentation sans slides. Educational accidents are evidence that the audience is the most important component of the talk, followed by the message, and only third by the slides [12]. The story, the case, and the metaphor are used by audiences to understand content and initiate behavioral change.

플롯이 펼쳐지다
Plot Unfolds

특정 텍스트와 이미지를 통합하기 전에 그리고 개별 슬라이드를 주문하기 전에 구조를 미리 표시합니다. 스토리보드 형식을 사용하여 프리젠테이션의 개요를 설명할 수 있습니다. 이러한 접근 방식은 주로 잠재적인 취약점 목록을 사용하여 조직하는 데 있어 핵심적인 함정을 방지합니다. 연습 시간이 너무 적은 상황에서 탄환이 낭독되는 것은 연설자에게 아킬레스건이 된다. PowerPoint 편집 기능과 연습을 통해 키워드 및 지원 이미지만 완성된 제품에서 생존할 때까지 프레젠테이션을 점진적으로 잘라낼 수 있습니다. 이와는 대조적으로, 텍스트가 많은 버전은 PowerPoint "스피커에 대한 참고 사항" 또는 청중 유인물로 저장될 수 있다. 처음에는 이 접근 방식은 시간이 많이 걸리는 것처럼 보이지만 연습 시간을 적극적으로 활용하여 텍스트를 연속적으로 잘라내어 화자를 위한 공간을 만든다. "공간"은 화자의 불안감을 조장할 수 있지만, 2013년 이후 파워포인트 버전의 "프레젠터 뷰" 기능은 화자만이 이러한 노트를 볼 수 있게 한다. 이 기능은 화자의 기억을 자극하고, 일련의 "침묵적인" 스피커 프롬프트를 조직적으로 제공하며, 청중을 위해 텍스트와 이미지의 원활한 흐름을 유지한다(그림 6).
Plot the structure in advance before incorporating specific text and images and before ordering individual slides. A presentation can be outlined using a storyboard format. This approach avoids a key pitfall of organizing primarily with an attractive list of potential bullet points. Left unembellished, and in the presence of too little practice time, bullet points read aloud become the Achilles’ heel for the speaker. PowerPoint editing capabilities and practicing allow the presentation to be progressively truncated until only keywords and supportive images survive the finished product. In contrast, the text-heavy versions can be saved as PowerPoint “notes to the speaker” or in an audience handout. At first, this approach seems time intensive but it actively utilizes practice time to serially truncate the text, creating space for the speaker. Although “space” might promote speaker anxiety, the “presenter view” function in PowerPoint versions after 2013 allows only the speaker to see these notes. This feature stimulates the speaker’s memory, provides an organized series of “silent” speaker prompts, and maintains a seamless flow of text and images for the audience (Fig. 6).

스테이지 존재 및 전달
Stage Presence and Delivery

일단 설계, 조직 및 연습이 끝나면, 딜리버리가 중심이 됩니다. 가능할 때마다 장소, 조명, 화면 및 레이저 포인터, 마이크, 무선 슬라이드 어드밴서를 포함한 동반 장치를 "체크아웃"하면 효과적인 교육을 용이하게 한다. 이러한 선제적 접근 방식은 장소의 놀라움을 최소화하고 컴퓨터와 프로젝션 시스템뿐만 아니라 장치와 스피커 간의 최적의 연결을 보장합니다. 빠른 Projection은 각 슬라이드의 올바른 버전을 보장하고 플랫폼 간 및 소프트웨어 변환이 형식을 몰래 변경하거나 키 이미지를 잘라내지 않았음을 확인합니다.
Once designed, organized, and practiced, delivery takes center stage. Whenever feasible, “checking out” the venue, lighting, screen, and accompanying devices including laser pointers, microphones, and wireless slide advancers facilitates effective teaching. This preemptive approach minimizes venue surprises and ensures optimal connection between the computer and projection system as well as between the devices and the speaker. Rapid projection ensures the correct version of each slide and confirms that inter-platform and software conversions have not surreptitiously altered the format or truncated key images.

효과적인 화자는 목소리를 워밍업하고, 텍스트 암기를 하지 않고, 대화 톤을 유지한다. 발표자는 각 슬라이드에 대해 충분히 숙지하여 활력과 자신감을 동시에 가질 수 있어야 합니다. "오래된 친구"같지 않은 슬라이드는 즉시 스피커에 추가 연습이 필요하다는 신호를 보낸다. 특히 주요 사실과 감정적 내용을 담은 초기 스토리는 즉시 청중들의 공감대를 형성하고 프레젠테이션에 대한 관심을 고조시킵니다. 
An effective speaker privately warms the voice (e.g., by reciting the alphabet aloud) and maintains a conversational tone while studiously avoiding memorizing the text. The presenter should be sufficiently familiar with each slide to be both energetic and confident. A slide that fails to resemble an “old friend” immediately signals to the speaker that additional practice is required. An initial story, especially one with key facts and emotional content, immediately creates audience rapport and spikes interest in the presentation. 

웨어러블 마이크는 스피커가 무대를 가로질러 이동할 수 있도록 하고, 청중들의 상호작용을 강화하며, 다른 교육 포럼에서는 재현할 수 없는 진동을 만들어낸다. 많은 연사들, 특히 초보자들에게는 눈을 맞추는 것이 어려울 수 있다. 큰 강의실에서 한 명의 청중에게 시선을 집중함으로써 개인은 더욱 몰입할 수 있을 뿐만 아니라, "목표" 뒤에 있는 약 10-15명의 청취자의 "cone"도 직접 눈을 마주친다[6]. 따라서, 연설자가 강연의 과정에서 특정 구성원을 몇 명만 선택한다면, 청중의 훨씬 더 많은 부분이 "직접" 눈을 마주쳤다고 인지한다. 불안한 연사를 위해 행사장 뒷벽에 눈을 맞추는 것은 사실상 관객들의 눈 맞춤을 재현한다. 유일한 시각적 피벗 포인트로서 시상대를 피하는 것 또한 청중이 스피커를 따라가게 하고 그들을 더 끌어당긴다.
A wearable microphone allows the speaker to move across the stage, enhances audience interaction, and creates a vibrancy that cannot be reproduced in other educational forums. For many speakers, especially novices, maintaining eye contact may be daunting. By focusing one’s gaze on a single audience member in a large lecture hall not only does the individual become more engaged, but a “cone” of approximately 10–15 listeners behind the “target” also experience direct eye contact [6]. Thus, if a speaker selects only a few specific members over the course of the talk, a substantially larger fraction of the group perceives “direct” eye contact. For anxious speakers, making eye contact with the venue’s rear wall virtually replicates eye contact for the audience. Avoidance of the podium as the sole visual pivot point also causes the audience to follow the speaker and further engages them.

음성은 화자의 주요 의사소통 도구이다. 프레젠테이션을 외우지 않기로 선택하면 음성 볼륨과 음조가 다양해져 강조점을 더한다. 초보자나 신경질적인 연사들에게, 연단은 "embraced" 또는 leaned upon할 물리적 목발 역할을 할 수 있다. 이러한 육체적 의존은 화자에게 어색한 육체적 관계를 만들고 보통 청중의 참여 수준을 위태롭게 한다. 이와는 대조적으로, 효과적인 스피커는 휴대용 마이크와 무선 핸드헬드 장치로 해방된다. 단상으로부터 해방되는 것이 학습자들에게 강조와 집중을 일으키는 손동작을 촉진한다.
Voice is the speaker’s primary communication tool. Electing not to memorize the presentation allows voice volume and pitch to be varied, adding emphasis. For novices or nervous speakers, the podium can serve as a physical crutch to be “embraced” or leaned upon. This physical dependence creates an awkward physical relationship for the speaker and usually jeopardizes the audience’s level of engagement. In contrast, an effective speaker is liberated by a portable microphone and wireless, handheld devices. Podium liberation facilitates hand gestures that create emphasis and focus learners.

평균 성인 학습자는 10분 동안만 집중합니다 [3, 9]. 효과적인 화자는 이러한 현실을 수용하고 처음부터(학습 목표로), 중간(중간 요약으로), 그리고 대화의 결론(최종 요약)에 핵심 포인트를 진술하고 재주장할 기회를 반복적으로 통합한다. 이상적으로, 화자는 청중의 경각심을 피할 수 없는 소강상태를 예측하고 발표 중에 그들의 주의력에 대한 인지적 인식을 유지한다. 전략적으로 배치된 이야기, 사례 및 요약의 조합은 청중을 다시 사로잡습니다. 유머, 이미지, 애니메이션 및 표시된 음성 변화는 청중에게 효과적인 학습의 전제 조건인 경계심을 무의식적으로 자극하고 초점을 촉진하는 변화에 대해 경고한다[9].

The average adult learner concentrates for only 10 min [3, 9]. An effective speaker embraces this reality and repeatedly incorporates opportunities to state and re-state key points at the beginning (as learning goals), at the middle (as interim summaries), and at the talk’s conclusion (final summary). Ideally, the speaker predicts inevitable lulls in audience alertness and maintains cognitive awareness of their attentiveness during the presentation. A combination of strategically placed stories, cases, and summaries recaptures the audience. Humor, images, animation, and marked voice variation also alert the audience to changes that unconsciously stimulate alertness and promote focus, a prerequisite to effective learning [9].

참여 Engagement

전문가 연사조차도 청중을 완전히 참여시키기 위해 확립된 교육 기법을 사용함으로써 이익을 얻는다(그림 7). 가장 간단한 방법은 청중들이 큰 소리로 말하지 않고 집중하고 전념하도록 유도하는 수사적인 질문을 하는 것이다. 효과적인 연사는 의료 청중에게 토론 주제와 유사한 "비슷한 사례를 생각하라"고 요청함으로써 주의를 환기시킨다. 최근에 기술된 "Think-Pair-Share" 기술은 또한 청중의 학습을 증가시키는데 효과적이다 [10, 16]. 연습은 청중들이 1-2분 동안 고려해야 할 질문으로 시작하고, 2-3분 동안 그들의 생각을 공유하기 위해 인접한 청중들에게로 눈을 돌리고, 마지막으로 그룹에게 보고한다[10, 16]. 더 많은 청중에서, 4명에서 6명으로 구성된 그룹("버즈 그룹")은 유사한 교육 기능을 제공한다 [29]. 이 연습은 수동적인 청중들에게 편안한 분위기를 만들어 주고, 그들 스스로 질문에 대답하기 보다는 그룹 소견을 기꺼이 제시해 준다[13]. TurningPoint 또는 PollEverywhere와 같은 청중 응답 시스템(ARS)은 프레젠테이션 내에서 익명 "질문과 답변의 중단점"을 빠르게 생성합니다. 함께, 이러한 적극적인 정신 운동은 청중을 참여시키고, 중요한 입증 기반 사고에 초점을 맞추고, 공유된 의견을 장려하고, 해명을 위한 잠재적인 오해 영역에 대해 화자에게 알려준다. 발표자가 눈에 잘 띄지 않게 되고 대신 발표 투어가 진행되는 동안 전문 가이드가 되면서 청중 교육이 '낙태적'으로 강화된다.
Even expert speakers benefit by using established teaching techniques to fully engage the audience (Fig. 7). The simplest way is to ask a rhetorical question that invites the audience to focus and commit without speaking aloud. Effective speakers promote attention by asking medical audiences to “think of a similar case” that parallels the discussion topic. The recently described technique of “Think-Pair-Share” is also effective for increasing audience learning [10, 16]. The exercise begins with a question to be considered for 1–2 min by the audience then turning to an adjacent audience member to share their thoughts for 2–3 min, and finally reporting back to the group [10, 16]. In larger audiences, groups of 4 to 6 individuals (“buzz groups”) serve a similar educational function [29]. This practice creates a comfortable atmosphere for passive audience members and a willingness to present group findings rather than answer a question on their own [13]. An audience response system (ARS) such as TurningPoint or PollEverywhere rapidly creates anonymous “question and answer break points” within the presentation. Together, these active mental exercises engage the audience, provide focus for critical evidenced-based thinking, encourage shared opinions, and inform the speaker about potential areas of misunderstanding(s) for clarification. Audience education is “paradoxically” enhanced as the speaker becomes less visible and instead becomes an expert guide during the presentation tour de force.

줌을 통한 수동적 강의는 (학생들이) 우리의 일반적인 강의보다 훨씬 덜 흥미롭다고 생각하기 때문에, 이러한 대규모 그룹 세션에서 적극적인 학습 방법을 사용하는 것이 훨씬 더 중요하다. 세션 리더는 실제로 Zoom을 사용하여 문제를 해결하거나 사례를 통해 작업할 수 있는 브레이크아웃 룸을 만들 수 있습니다. 소규모 브레이크아웃 강의실(3~4명의 학습자)이 가장 많은 참여로 이어집니다. 대규모 그룹이 있으면 소수의 학습자가 다른 학습자와 함께 대부분의 작업을 수행할 수 있기 때문입니다. 또한, 긴 시간이 더 많은 대화로 이어지고 당면한 문제에 덜 집중하게 되는 경향이 있기 때문에, 브레이크아웃 지속 시간은 3-5분이어야 한다.
Passive lecturing via Zoom is considered (by our students) to be even less interesting than our usual lectures, so it is even more important to use active learning methods in these large group sessions. It is actually easy to use the method of think-pair-share with Zoom—the session leader can create breakout rooms in which teams of learners can solve problems or work though cases. We have found that small breakout rooms (3–4 learners) lead to the most participation, as larger groups can lead to a few learners doing much of the work with others simply standing by. In addition, the duration of breakouts should be 3–5 min, as longer times tend to lead to more general conversation and less focus on the problem at hand.

일단 학습자가 큰 그룹에 다시 모이면, 리더는 수업을 계속하기 전에 몇 개의 그룹에 응답을 요청할 수 있습니다. 큰 학급(우리 학교는 160개)에서도 5-7개의 그룹이 각각 1분씩 말하는 것이 효과적입니다. 50분짜리 세션에서 두 개의 브레이크아웃 룸을 갖는 것은 수업 시간의 약 20분을 차지합니다. ARS는 폴링 기능을 통해 줌에 내장되어 있습니다. 세션 리더는 세션 내에서 언제든지 시작할 수 있는 다중 선택 질문을 만들 수 있으며, 총 응답은 참가자가 볼 수 있습니다. 짧은 답변 질문의 경우, 대화 기능이 매우 효과적이지만, 세션 리더의 대화를 모니터할 수 있는 두 번째 사람이 있어야 합니다. 따라서 원격으로 제공되는 대규모 그룹 교육 세션에 활성 학습 요소를 추가하는 것은 어렵지 않다.

Once the learners reconvene in the large group, the leader can ask for a few groups to give their responses before continuing with the class; even in large classes (160 in our school), having 5–7 groups speak for a minute each appears to be effective. Having 2 breakout rooms in a 50-min session occupies about 20 min of class time. An ARS is built into Zoom through its polling function. The session leader can create multiple choice questions that can be launched any time within the session, and the aggregate responses are visible to the participants. For short answer questions, the Chat function is very effective, though it helps to have a second person to monitor the chat for the session leader. Thus, it is not difficult to add active learning elements to a remotely delivered large group teaching session.

결론
Conclusion

강력한 마무리는 효과적인 프레젠테이션에 중요하다. 효과적인 결론은 핵심 메시지를 단순화하고 새로운 사례나 이야기로 다시 진술하거나 강연 내내 지속된 사례 사례를 완성합니다. 효과적인 최종 요약에서, 높은 에너지 수준과 고무적인 "행동 요구"는 청중들이 세션이 끝난 후 그들의 행동을 변화시키기 위해 주요 대화 포인트를 기억하고 사용하도록 격려한다. 첫 번째 프레젠테이션 슬라이드(즉, 제목 슬라이드)도 마지막 슬라이드 역할을 할 수 있으므로, 비난 받을 만한 검은색 "슬라이드 쇼의 끝 - 종료하려면 클릭" 화면을 피할 수 있습니다. [재등장하는 타이틀 슬라이드]에서 연사는 청중에게 감사할 수 있고 청중과 관련된 질문을 즐길 수 있어 교육적 효과를 더욱 높일 수 있다.
A strong finish is crucial to an effective presentation. An effective conclusion simplifies and re-states the key message with a new example or story or completes an example case sustained throughout the talk. In an effective parting summary, a high-energy level and an inspiring “call to action” encourage the audience to remember and use key talking points to alter their behaviors after the session has concluded. The first presentation slide (i.e., the title slide) can also serve as the final one, avoiding the reprehensible black “end of slideshow – click to exit” screen. During the re-emergent title slide, the speaker can thank the audience and entertain questions relevant to the audience, further enhancing educational impact.

요약하면 발표자가 아닌 청중이 주요 발표 초점이다. 교육 관련성을 위해서는 목적적합한 청중 타겟팅, 콘텐츠 재량(예: 연재 텍스트 잘라내기), 성인 학습자의 주의력의 주기적 성격의 수용, 유익하고 자극적인 이미지 및 연습한 발표자가 텍스트를 읽기보다 말하도록 유도하는 기술이 필요하다. 

In summary, the audience, not speaker, is the primary presentation focus. Educational relevance requires

• purposeful audience targeting,
• content discretion (i.e., practiced, serial text truncation),
• acceptance of the cyclical nature of adult learners’ attentiveness,
• informative, evocative images, and
• techniques that invite the practiced presenter to speak rather than read text.

Review Med Sci Educ. 2021 Jan 12;1-9. 
Effective Medical Lecturing: Practice Becomes Theory: A Narrative Review
Robert C Lowe 1, Steven C Borkan 1
Affiliations collapse
Affiliation
1Department of Medicine, Boston University Medical Center, Evans Biomedical Research Center, 650 Albany St, Room 546, Boston, MA 02118 USA.
PMID: 33457070 PMCID: PMC7800837 DOI: 10.1007/s40670-020-01172-z
Free PMC article
Abstract
Effective lecturing stimulates learning, creates a verbal history for our profession, and is a central basis for evaluating academic promotion. Unfortunately, few resources exist in the medical literature to guide the academician toward success as an effective lecturer. Using evidence-based principles, this review fosters adult learning in academic venues by incorporating the latest innovations in educational theory for both online and traditional teaching. The novice or advanced academic teacher will be guided toward critical self-evaluation of current teaching practices and encouraged to replace ineffective methods with ones more likely to be both rewarding and rewarded. By introducing literaturebased learning techniques, emphasizing audience targeting, truncating content to an appropriate level of detail, effectively linking images and text, and accepting the brevity of learners' attentiveness, we show that the audience, not the speaker, is the primary educational focus.

Keywords: Adult learning; Audience response system; Faculty development; Learning theory.

사회적 책무성: 의과대학이 복무할 인구집단의 건강을 향상시키기 위한 프레임워크(Acad Med, 2018)

Social Accountability: A Framework for Medical Schools to Improve the Health of the Populations They Serve
James Rourke, MD, MClinSc, FCFP(EM), LLD

배경
Background

사회적 계약뿐만 아니라 법률, 규정, 인가를 허가함으로써 의과대학은 미래의 의사를 교육하고 사회의 요구에 부응하는 의학 연구를 하도록 위임된다. 따라서, 사회적 책무는 의과대학과 의과대학의 기초가 된다. 1,2 따라서 사회적 책임은 모든 의대의 계획, 행동 및 영향을 통해 기대되어야 한다be expected. 하지만, 모든 의과대학의 맥락은 다르므로, 각 학교가 지역사회, 지역, 국가의 요구에 가장 잘 참여하고, 협력하고, 대응하는 방법은 다를 것이다.
By permit of legislation, regulation, and accreditation as well as the social contract, medical schools are entrusted to educate tomorrow’s doctors and conduct medical research to serve the needs of society; thus, social accountability is the foundation of both medical practice and medical schools.1,2 Social accountability should, therefore, be expected throughout every medical school’s plans, actions, and impact. However, every medical school’s context is different, so how each school can best engage with, partner with, and respond to the needs of its community, region, and nation will vary.

1995년 Boelen과 Heck3에 의해 세계보건기구에 의해 개발되고 정의된 [사회적 책무]의 개념은 다음과 같다.
The concept of social accountability as developed and defined for the World Health Organization by Boelen and Heck3 in 1995 states:

[의과대학은] 교육, 연구 및 서비스 활동을 의무적으로 봉사해야 하는 지역사회, 지역, 국가의 우선적인 건강 문제를 해결하기 위해 지시direct할 의무가 있다. 우선적인 건강 문제는 정부, 의료 기관, 보건 전문가 및 대중이 공동으로 확인해야 한다.
[Medical schools have] the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, health care organizations, health professionals and the public.

2001년 보고서 "사회적 책임: 캐나다 의과대학의 비전:"을 통해 캐나다의 의과대학은 사회적 책임의 조기 채택자가 되었다. "캐나다 의대 교육의 미래 (FMEC: A Collective Vision for MD Education)"와 "캐나다 대학원 의학 교육을 위한 집단 비전"을 포함한 많은 후속 보고서를 통해 캐나다 의대는 사회적 책임이 캐나다 의학교육의 토대를 형성한다는 것을 재확인했다. 이제 사회적 책무의 입증은 캐나다 인증 요건에 포함된다.9
Canadian medical schools became early adopters of social accountability with the 2001 report “Social Accountability: A Vision for Canadian Medical Schools.”4 Through a number of later reports, including “The Future of Medical Education in Canada (FMEC): A Collective Vision for MD Education” and “A Collective Vision for Postgraduate Medical Education in Canada,” Canadian medical schools have reconfirmed that social accountability forms the foundation for medical education in Canada.5–8 And now demonstration of social accountability is included in the Canadian accreditation requirements.9

사회적 책무는 이제 의과대학이 [지역사회, 지역 및 국가, 특히 소외계층과 취약계층의 요구에 참여하고, 협력하고, 이에 대응하는 것]으로 이해되고 있다.

Social accountability is now understood to involve medical schools engaging, partnering with, and responding to the needs of their community, region, and nation, especially their underserved and vulnerable populations.1,13

의료 교육에서 뛰어난 성과와 우수성을 장려하고 촉진하기 위해, AMEE(세계 최대 의료 교육 기관)는 ASPIRE 이니셔티브를 수립하였으며, 이 이니셔티브는 2012년 AMEE에서 시작되었다. 
To encourage and promote outstanding performance and excellence in medical education, AMEE (the world’s largest medical education organization) established the ASPIRE initiative, which was launched at AMEE 2012. 

ASPIRE 이니셔티브가 인정하기로 선택한 우수성의 첫 세 가지 영역은 학생 평가, 학생 참여 및 사회적 책임이었다. ASPIRE는 이러한 분야에서 수상 신청서를 제출한 의과대학 평가에 사용할 기준을 개발하기 위해 전문가 패널을 설립했다. 첫 번째 두 가지(학생과 학생 참여의 평가)는 훨씬 더 광범위하고 의과대학 전체를 포함하기 때문에 사회적 책임보다 더 쉽게 정의되었다.
The first three areas of excellence the ASPIRE initiative chose to recognize were assessment of students, student engagement, and social accountability. ASPIRE established expert panels to develop the criteria to be used for assessing medical schools that submitted applications for awards in these areas. The first two (assessment of students and student engagement) were more readily defined than social accountability because this is much broader and involves the whole medical school.

궁극적으로 ASPIRE는 의과대학의 사회적 책임에 대한 글로벌 컨센서스의 기초적인 연구, 10개의 출판된 문헌 및 진화하는 세계 경험을 바탕으로 ASPIRE-to-Excellence Award for Social Accountability의 기준을 개발하였다. 이 기준에 따르면,

• 의과대학은 조직과 기능에서 사회적 책임 계획을 문서화하고,
• 의과대학은 교육 및 연구 프로그램 활동에서 사회적 책임 활동을 문서화하고,
• 의과대학 교육, 연구, 서비스, 졸업생, 그리고 파트너십이 공동체, 지역, 국가의 헬스케어와 건강에 긍정적인 영향을 보여줄 것으로 기대된다.

Ultimately, ASPIRE developed the criteria for the ASPIRE-to-Excellence Award for Social Accountability based on the foundational work of the Global Consensus for Social Accountability of Medical Schools,10 published literature, and evolving world experience. To be successful, schools are expected to

• document social accountability plans in their organization and functions;
• document social accountability actions in their education and research program activities; and
• demonstrate positive impacts of their education, research, service, graduates, and partnerships on the health care and health of their community, region, and nation.1,16,17 

따라서 이러한 기준(및 그 기준)은 설문 등급, 연구 자금 및 학생당 교직원 수, 입학 등급 평균 및 MCAT 점수를 포함한 기타 조치 등을 사용하는 US News & World Report 등급과 상당히 대조적이다.

Thus, these criteria (and their measures) provide quite a contrast to the U.S. News & World Report ratings of medical schools, which consider survey ratings, research funding, and other measures, including number of faculty per student, admission grade point average and MCAT scores, and, for primary care medical schools, the percentage of graduates entering primary care residency training programs.

공통 테마
Common Themes

2017년 12월 현재 ASPIRE 사회책임상 신청은 29건이다. 29개 학교 또는 네트워크는 각각 자신의 사회문화적-지리적 맥락에 맞추기 위해 사회적 책임 의무를 설정했다. 모든 것이 사회적 책임에 대한 의지를 보여주었지만, 많은 사람들은 아직 입증할 수 있는 영향을 미치지 못했거나 아직 가지지 못했다(예: 졸업생이 아직 시행되지 않은 새로운 학교). 그 결과, 지금까지 다음 10개 학교 또는 네트워크만이 ASPIRE-to-Excellence Award for Social Accountability를 받았다.

As of December 2017, there have been 29 applications for ASPIRE social accountability awards. Each of the 29 schools or networks established their social accountability mandate to fit their own socio-cultural-geographic context. While all demonstrated commitment to social accountability, many did not have or did not yet have a demonstrable impact (e.g., new schools whose graduates were not yet in practice). As a result, so far only the following 10 schools or networks have received the ASPIRE-to-Excellence Award for Social Accountability:

• Southern Illinois University School of Medicine (SIUSOM),
• Northern Ontario School of Medicine,
• Hull York Medical School,
• University of New Mexico School of Medicine (UNMSOM),
• Memorial University of Newfoundland Faculty of Medicine,
• Brody School of Medicine at East Carolina University,
• University of Leeds School of Medicine,
• Florida International University Herbert Wertheim College of Medicine,
• Leaders in Indigenous Medical Education (LIME) Network, and
• Université Laval Faculté de Médecine.

수상 경력에 빛나는 10개 의과대학의 주요 공통 주제는 다음과 같다.
The major common themes among the 10 award-winning medical schools include:

• 사회적 책무가 학교의 목적과 의무에서 명백하고 계획 및 일상적인 관리에 통합
• 학교 입학은 학교 공동체, 지역 및 국가의 인구학적 혼합을 반영하는 데 초점을 맞추고 있다.
• 학교 교육과정은 지역사회·지역·국가의 고유한 지리적·사회적·문화적 맥락과 우선적인 건강 요구에 관련
• 학교 지역사회, 지역 및 국가의 지리적, 사회적, 문화적 혼합의 다양성을 반영하는 임상 학습 및 서비스 학습 경험의 포함
• 취약하고 서비스가 부족한 환자, 지역사회 및 인구에 대한 건강의 사회적 결정요인을 이해하고 행동하기 위한 지역사회 기반 학습 경험에 대한 광범위한 노출 포함
• 학교 지역사회, 지역 및 국가의 우선적인 건강 요구에 영감을 받아 대응하고 연구과제 개발, 협력 및 연구 참여, 지식 번역/이동 참여 등 연구에 지역사회를 적극적으로 참여시키는 연구
• 이 학교의 졸업생들과 보건 서비스 제휴는 취약하고 소외된 인구에 중점을 두고 지역사회, 지역, 국가의 건강과 보건에 긍정적인 영향을 미친다.
  
  

1. Social accountability being evident in the school’s purpose and mandate and integrated into its planning and day-to-day management;
2. School admissions being focused on reflecting the demographic mix of the school’s community, region, and nation;
3. The curriculum being relevant to the unique geographic, social, and cultural context and the priority health needs of the school’s community, region, and nation;
4. The inclusion of clinical learning and service-learning experiences reflecting the diversity of the geographic, social, and cultural mix of the school’s community, region, and nation;
5. The inclusion of extensive exposure to community-based learning experiences to understand and act on social determinants of health for vulnerable and underserved patients, communities, and populations;
6. Research being inspired by and responding to the priority health needs of the school’s community, region, and nation and actively engaging the community in research, including developing the research agenda, partnering and participating in research, and taking part in knowledge translation/mobilization; and
7. The school’s graduates and its health service partnerships having a positive impact on the health and the health care of its community, region, and nation with an emphasis on vulnerable and underserved populations.

예시
Exemplars

서던일리노이 대학교 의과대학
Southern Illinois University School of Medicine

SIUSOM의 미션은 교육, 환자 관리, 연구, 지역사회 서비스를 통해 일리노이 중부와 남부 주민들에게 제공하는 것이다. SIUSOM은 지역사회, 전문 조직, 보건 관리자 및 정책 입안자들과 매우 다양한 파트너십을 맺고 이 임무를 충족시킬 수 있도록 지원합니다. 예를 들어, 시골지역 보건 이니셔티브는 의료 서비스에 대한 접근성을 높이고, 지역 의료 인프라를 개선하고, 의대생들에게 시골지역 중심의 교육 기회를 제공함으로써 일리노이 중부와 남부 지역의 시골지역과 소외지역을 지원하기 위한 SIUSOM의 지원 활동의 주요 구성요소이다.
The mission of SIUSOM is to provide for the people of central and southern Illinois through education, patient care, research, and community service. SIUSOM has a wide variety of partnerships with communities, professional organizations, health managers, and policy makers to help meet this mission. For example, the Rural Health Initiative is a major component of SIUSOM’s outreach efforts to assist rural and underserved areas in central and southern Illinois by increasing access to health care services, improving local health care infrastructure, and providing rural-focused educational opportunities for medical students.

SIUSOM의 입학 위원회는 미래 학생들을 선발하기 위해 전인적holistic 과정을 사용한다. 사용된 선택 기준 중 하나는 광범위한 자원봉사 및 지역사회 봉사의 증거이다. 또한 SIUSOM에는 의사가 되는 것에 관심이 있는 지역 고등학생들을 격려하고, 의학의 진로를 위해 저표현 소수민족과 교육/경제적으로 불리한 학생들을 준비함으로써 지역사회에 봉사하는 파이프라인 프로그램이 마련되어 있다. SIUSOM의 의대생 선발과정은 지역의 인구통계학적 혼합을 대표한다.
SIUSOM’s admissions committee uses a holistic process to select its future students. One of the selection criterion used is evidence of extensive volunteer work and/or community service. In addition, there are pipeline programs in place at SIUSOM that serve the community by encouraging local high school students interested in becoming physicians and by preparing underrepresented minority and educationally/economically disadvantaged students for careers in medicine. SIUSOM’s medical student admissions represent the demographic mix of the region.

2008년 졸업생을 대상으로 실시한 사회선교학점수에서 SIUSOM은 졸업생의 45%가 일차의료 분야에서, 46.5%가 보건 전문직 부족 지역에서 practice하는 등 전국 15위에 올랐다.18 또한 전체 SIUSOM 의과대학 졸업생의 절반이 레지던트 후 일리노이 주에서 계속 practice하고 있다.
In a study of graduates in practice in 2008, SIUSOM was ranked 15th in the country on the social mission score, with 45% of the school’s graduates practicing in primary care fields and 46.5% practicing in health professional shortage areas.18 Furthermore, half of all SIUSOM medical school graduates continue to practice in Illinois after residency.

SIUSOM Continuing Medical Education 사무소는 일리노이 주 하부에서 의사 개업을 개선하기 위한 교육 활동을 제공한다. 예를 들어, 학교는 일리노이 주 다운타운에 있는 50개의 주요 접근 병원의 의사들이 캠퍼스 기반의 공식적인 교육 경험에 참여할 수 있도록 화상 회의 사이트 네트워크를 개발했다.
The SIUSOM Office of Continuing Medical Education provides educational activities to improve physician practice throughout downstate Illinois. For example, the school has developed a network of video conferencing sites that allow physicians at 50 critical access hospitals throughout downstate Illinois to participate in campus-based formal educational experiences.

SIUSOM에서 수행된 대부분의 연구는 지역사회의 요구에 기초한다. 학교도 지역사회단체와 협력교부금을 적극 추진하고 있으며 지역사회단체가 보건관련교부금을 마련함에 따라 자문역할을 하며 기술지원을 하고 있다.

The vast majority of research conducted at SIUSOM is grounded in the needs of the community. The school is also actively engaged in collaborative grants with community groups, and serves as advisors and provides technical assistance to community groups as they prepare health-related grants.

2017년 SIUSOM은 ASPIRE 시상 과정을 거치는 것의 가치에 대해 발간하였다.19
In 2017, SIUSOM published about the value of going through the ASPIRE awards process.19

뉴멕시코 대학교 의과대학
University of New Mexico School of Medicine

UNMSOM은 의료교육의 사회적 책임에 있어 선구적인 기관이다. UNMSOM은 설립 이후 뉴멕시코 주에 대한 서비스를 명확한 우선순위로 포함시켰으며, 기관의 성공을 위한 척도로서 인구의 건강과 건강 형평성을 개선하는 데 초점을 맞추었다.20
UNMSOM is a pioneering institution in social accountability in medical education. Since its inception, UNMSOM has included service to the state of New Mexico as a clear priority and has focused on improving the population’s health and health equity as a measure of the institution’s success.20

UNMSOM의 프로그램의 사실상 다른 모든 측면과 마찬가지로, 입학 정책은 특정 의료 요구를 충족시키고 주로 시골 지역, 다양하며 상대적으로 저소득 국가의 인구 건강 상태를 개선하려는 학교의 명시적인 commitment에 크게 영향을 받는다. UNMSOM은 또한 중학교 때부터 시작하는 잘 설계되고 잘 관리되는 파이프라인 노력을 가지고 있다. UNMSOM의 학생 중 30% 이상이 의학에서 underrepresented background에서 왔으며, 히스패닉계/라티노계 및 미국계 인도계 학생의 수는 다른 MD 부여 의과대학과 비교하여 UNMSOM을 다양성의 95번째 백분위수에 둔다.
Like virtually all other aspects of UNMSOM’s programs, the admissions policies are heavily influenced by the school’s explicit commitment to meet the specific health care needs and improve the population health status of their predominantly rural, substantially diverse, and relatively lower-income state. UNMSOM also has well-designed and well-managed pipeline efforts that start as early as middle school. Over 30% of UNMSOM’s student body comes from backgrounds that are underrepresented in medicine, and the number of Hispanic/Latino and American Indian students puts UNMSOM in the 95th percentile for diversity in comparison with the nation’s other MD-granting medical schools.

UNMSOM은 보건 직업 교육의 핵심 요소로서 서비스 학습을 강력하게 촉진한다. 따라서, 더 전통적인 도시, 3차 교육 보건소에서의 경험의 균형을 맞추기 위해, 모든 의대생들은 또한 커리큘럼의 매 년 동안 소외된 지역 사회 기반 환경(도시 및 보호 지역, 농촌 농업 및 목장 공동체)에서 실질적인 경험을 가지고 있다.
UNMSOM strongly promotes service-learning as a core component of health professions education. Accordingly, to balance their experiences in more traditional urban, tertiary academic health center venues, all medical students also have practical experiences in underserved, community-based settings (urban and reservation Native American sites and rural farming and ranching communities) during each year of the curriculum.

2017년에는 미국의 다른 141개 MD 부여 의과대학보다 UNMSOM 졸업생은 가정의학에 매칭되는 비율이(30.2%) 높았다.21

In 2017, a higher percentage of UNMSOM senior medical students matched in family medicine residencies (30.2%) than any of the other 141 MD-granting medical schools in the United States.21

뉴멕시코 대학교(UNM) 보건 과학 센터 연구 프로그램은 "뉴멕시코 거주자들에게 영향을 미치는 중요한 건강 문제에 초점을 맞추고 있으며, 임상 및 기초 과학을 연결하여 분자 의학 분야의 발견을 임상 환경에 보다 신속하게 전달할 수 있다." 또한 UNM Clinical & Translation Science Center의 학술-커뮤니티 파트너십은 지역 보건 결정을 알리기 위한 증거 기반 관행의 보급을 지원하는 협업적이고 지속 가능한 연구를 통해 뉴멕시코의 다양한 인구의 건강과 웰빙을 개선하기 위해 노력하고 있습니다.

The University of New Mexico (UNM) Health Sciences Center research programs “are focused around critical health problems affecting New Mexico residents and bridge the clinical and basic sciences to more rapidly deliver discoveries in molecular medicine to the clinical setting.”22 In addition, the UNM Clinical & Translational Science Center’s academic–community partnerships work to improve the health and well-being of New Mexico’s diverse population through collaborative and sustainable research that supports the dissemination of evidence-based practices to inform local health decisions.

SIUSOM과 UNMSOM은 2011년 Beyond Flexner Alliance에 의해 입학 과정, 학부 및 대학원 과정, 학생 지원 이니셔티브를 통해 사회에 대한 의무를 가장 많이 이행한 6개 모델 학교 중 2개로 선정되었다.23

Both SIUSOM and UNMSOM were selected by the Beyond Flexner Alliance in 2011 as two of six model schools that most fulfilled their obligation to society through their admissions processes, undergraduate and graduate programs, and student support initiatives.23

라임 네트워크
LIME Network

LIME 네트워크 애플리케이션은 ASPIRE가 의과대학이 아니라 오히려 오스트레일리아와 Aotaroa/뉴질랜드의 모든 의과대학의 대표자 집합이기 때문에 ASPIRE에게 challenge였다. ASPIRE는 네트워크 고려를 위한 파일럿으로서 신청을 받아들였고, 제출이 너무 강해서 상을 받았다.
The LIME Network application presented a challenge to ASPIRE as it is not a medical school but, rather, a collective of representatives from all the medical schools in Australia and Aotearoa/New Zealand. ASPIRE accepted the application as a pilot for considering networks, and the submission was so strong it earned an award.

LIME은 2005년에 설립되었으며 의료 교육에서 원주민 보건의 교육 및 학습의 질과 효과를 보장하고, 호주 원주민 및 토레스 해협 아일랜드인(호주 출신)과 마오리족(아오테아로아/뉴질랜드 출신)의 (—그러므로 총칭하여 원주민—) 의과대학생 채용 및 졸업에 있어 모범 사례를 제공하기 위해 노력하고 있다. 24 LIME 네트워크는 의료 교육, 연구 및 서비스 제공에서 원주민 보건의 우수성을 홍보하면서 지식과 혁신을 증진하고 협력적인 노력을 지속하는 실천 공동체로서 운영됩니다.25
LIME was established in 2005 and is committed to ensuring the quality and effectiveness of teaching and learning of Indigenous health in medical education, as well as best practices in the recruitment and graduation of Aboriginal and Torres Strait Islander (from Australia) and Māori (from Aotearoa/New Zealand)—henceforth, collectively referred to as Indigenous—medical students.24 The LIME Network operates as a community of practice, which furthers knowledge and innovation and sustains collaborative efforts while promoting excellence in Indigenous health in medical education, research, and service delivery.25

LIME은 원주민의 리더십과 지식의 우수성을 인식하고 홍보하며 이러한 목표를 달성하기 위해 여러 협력 요소를 사용한다. 그 일환으로, LIME 품질 검토 프로세스는 개별 의과대학이 원주민 건강 커리큘럼의 품질과 원주민의 의료 교육 프로그램 참여를 지원하기 위한 시책의 효과를 평가할 수 있는 자체적인 내부 검토 프로세스를 고안하고 시행하도록 장려한다. 
LIME recognizes and promotes the primacy of Indigenous leadership and knowledge and uses multiple collaborative components to achieve these goals. As part of this, the LIME quality review processes encourage individual medical schools to devise and implement their own internal review processes by which they can evaluate the quality of the Indigenous health curriculum and the effectiveness of initiatives to support the participation of Indigenous people in medical education programs.

공식적인 커리큘럼 이니셔티브를 지원하고 지속적이고 체계적인 변화를 지원하기 위해 원주민 보건 교육과 관련하여 잠재 커리큘럼을 다루는 것도 필수적이다.26 따라서 LIME 네트워크는 원주민 보건 및 개발의 이니셔티브를 지원하는 데 필요한 프로세스를 강조하기 위한 다양한 검토 도구를 개발하였고, 그 기관의 지배적인 가치가 원주민 건강의 가치와 학습에 어떤 영향을 미치는지 관심을 가졌다

It is also essential to address the hidden curriculum in relation to Indigenous health education to support formal curricular initiatives and for lasting and systemic change.26 The LIME Network, therefore, has developed a range of review tools to highlight the processes required to support initiatives in Indigenous health and development and to draw attention to how the dominant values of the institution have an impact on the value and learning of Indigenous health.

LIME 담당자와 그 동료들은 원주민 의료 및 보건 교육에 참여하고 있으며, 원주민 의학교육을 지원하는 모범 교육 사례, 자원 개발, 평가 및 프로그램 평가에 대한 학술적 작업을 개발하고 원주민 학생들의 모집과 유지를 지원합니다. 또한, LIME의 리더십은 오스트레일리아 및 Aotaroa/New Zealand의 인증 기관과 성공적으로 협력하여 모든 관련 영역에서 원주민 보건 또는 보건 인력 개발을 특별히 강조하는 인증 표준을 도입하였다.

LIME representatives and their colleagues engage with and deliver initiatives in Indigenous medical and health education and develop scholarly work on best teaching practices, resource development, and assessment and program evaluation to support Indigenous medical education, as well as the recruitment and retention of Indigenous students.25 Further, the leadership of LIME successfully engaged with the accrediting body for Australia and Aotearoa/New Zealand to introduce accreditation standards that specifically highlight Indigenous health or health workforce development across all relevant domains.

2011년 오스트레일리아에서 의학을 공부하는 원주민 학생 수는 처음으로 인구 대등도population parity에 도달했다. 그 해에 원주민 의대 1학년 학생들의 intake가 2.5%로 가장 높았으며, Aotaroa/New Zealand는 인구 통계학적 형평성 면에서 원주민 학생 졸업에 근접했다. 그리고 2013년, "호주 정부의 보건 인력 프로그램의 검토"(The Mason Review)는 "영연방은 LIME(Leaders in Native Medical Education) 네트워크의 성공에 기초해야 한다"고 권고했다. 27

In 2011, the number of Indigenous students studying medicine in Australia reached population parity for the first time, with the intake of first-year Indigenous medical students at a high of 2.5%, and Aotearoa/New Zealand is close to graduating Indigenous students at demographic equity. And in 2013, the “Review of Australian Government Health Workforce Programs” (the Mason Review) recommended that “the Commonwealth should build on the success of the Leaders in Indigenous Medical Education (LIME) Network.”27

과제들
Challenges

사회적 책임에 대한 ASPIRE-to-Excellence Award for Social Accountability Framework는 GME를 포함하지 않는데, 이는 GME가 대부분의 국가에서 대부분의 의대의 의무에 포함되지 않기 때문이다. 그러나 캐나다와 미국에서는 GME가 의대의 핵심 요소이며, 학부 의대(UME)보다 내일에 필요한 의사를 개발하는 데 더 중요할 수 있다. GME가 역량 기반 교육으로 크게 변모함에 따라 많은 사람들이 다음과 같은 질문을 던지고 있습니다. 왜, 어떻게, 누가, 그리고 어떤 차이를 만들까요? 이러한 질문은 사회적 책임과 사회의 요구에 부응하는 직업 훈련과 밀접한 관련이 있다. GME 프로그램이 다양하기 때문에 UME에 적용하는 것보다 이 단계의 의학 교육 연속체에 사회적 책임 원칙을 적용하는 것이 훨씬 더 어려워 앞으로 해야 할 일이 많이 남아 있다. 이것은 GME 프로그램과 이들을 후원하고 인가하는 기관에게 우선순위가 되어야 한다.
The ASPIRE-to-Excellence Award for Social Accountability framework does not include GME—often referred to as resident training or vocational training—because GME is not included in the mandate of most medical schools in most countries. In Canada and the United States, however, GME is a core component of medical school, and it may be even more important than undergraduate medical education (UME) in developing the doctors needed for tomorrow. As GME undergoes the major transformation to competency-based training, many are asking: Why, how, who, and what difference will it make? These questions are closely related to social accountability and providing vocational training directed toward meeting society’s needs. Because of the wide variety of GME programs, it is even more difficult to apply social accountability principles to this phase of the medical education continuum than it is to apply them to UME, so much work remains to be done. This should be a priority for GME programs and the organizations that fund and accredit them.

이러한 사회적 책임 대화의 또 다른 관심사는 생태계/환경에 관한 의대의 역할이다. 의과대학이 봉사하는 인구의 [건강의 사회적 결정요인에 주요 기여자로서의 생태계/환경]과 [의과대학과 그 파트너들이 생태계/환경에 미치는 영향]이 모두 사회적 책임의 중요한 요소로 떠오르고 있다. 의과대학은 생태계의 건강 및 환경 모범 사례를 개발하고, 역할 모델링하며, 교육함으로써 강력한 긍정적 생태계/환경적 영향을 미칠 수 있습니다.28 ASPIRE는 현재 이것을 2019년 버전의 사회적 책임 상 기준에 통합하기 위해 노력하고 있다.

Another issue of concern for this social accountability conversation is the role of medical schools with regard to the ecosystem/environment. Both the ecosystem/environment as a major contributor to the social determinants of health of the populations served by the medical school and the impact of the medical school and its partners on the ecosystem/environment are emerging as important components of social accountability. Medical schools can have a powerful positive ecosystem/environmental impact by developing, role modeling, and teaching ecosystem health and environmental best practices.28 ASPIRE is now working on integrating this into the 2019 version of the social accountability award criteria.

결론 Conclusion

사회적으로 책임 있는 의과대학은 지역사회, 지역 및 국가의 요구에 참여하고, 협력하고, 이에 대응한다. 이들이 봉사하는 인구(특히 소외되고 취약하며 소외된 인구)의 건강 향상은 의대 교육, 연구 및 환자 관리의 중요한 결과 척도로 간주해야 한다. 모든 의과대학은 사회적 책임의 우수성을 위해 노력해야 하지 않을까?

Socially accountable medical schools engage with, partner with, and respond to the needs of their communities, regions, and nations. Improvement in the health of the populations they serve (especially those who are marginalized, vulnerable, and underserved) should be considered vital outcome measures of medical school education, research, and patient care. Shouldn’t all medical schools strive for excellence in social accountability?

Acad Med. 2018 Aug;93(8):1120-1124.

 doi: 10.1097/ACM.0000000000002239.

Social Accountability: A Framework for Medical Schools to Improve the Health of the Populations They Serve

James Rourke 1

Affiliations collapse

Affiliation

• 1J. Rourke is professor of family medicine and former dean of medicine (2004-2016), Faculty of Medicine, Memorial University of Newfoundland, St. John's, Newfoundland, Canada, and chair, ASPIRE-to-Excellence Panel on Social Accountability, Association for Medical Education in Europe; ORCID: http://orcid.org/0000-0001-8019-0294.

• PMID: 29642103
• DOI: 10.1097/ACM.0000000000002239Abstract
• Social accountability has gained importance and greater acceptance in the ever-increasing complexity and interconnectivity of patient care, education, and research that is the threefold mission of academic health science centers and networks. In this Invited Commentary, the author provides a brief overview of the development of the concept of social accountability and the criteria for the Association for Medical Education in Europe ASPIRE-to-Excellence Award for Social Accountability, which provide a useful framework for medical schools to consider when examining their own social accountability. Per these criteria, schools are expected to document social accountability plans in their organization and functions; document social accountability actions in their education and research program activities; and demonstrate positive impacts of their education, research, service, graduates, and partnerships on the health care and health of their community, region, and nation. Award-winning schools integrate social accountability into the school's mission, planning, and day-to-day management. The health needs and diversity of the school's community, region, and nation are reflected in the school's admissions, curriculum, learning experiences, research activities, health care partnerships, and graduates. The author also describes three award winners as exemplars of social accountability and concludes by challenging every medical school and graduate medical education program to focus on meeting the needs of the populations it serves, especially those who are marginalized, vulnerable, and underserved.

의료의 휴머니즘: 무엇을 의미하며, 왜 어느 때보다 중요한가? (Acad Med, 2019)

Humanism in Medicine: What Does It Mean and Why Is It More Important Than Ever?
George E. Thibault, MD

휴머니즘이란 무엇인가? 웹스터 사전1은 휴머니즘을 "인간의 이익, 가치, 존엄성을 우선하는predominate 어떤 사상이나 행동의 체계나 방식"이라고 정의한다. 철학적 운동으로서의 휴머니즘은 르네상스에서 시작되었다. 인간과 인간 경험의 중심성을 강조하였는데, 이는 신을 만물의 중심에 두고 자연의 힘보다는 초자연적인 것을 강조하는 중세의 학설주의에 대한 반발이었다. [인간의 이익, 가치, 존엄성이 지배적]이라는 이 강력하고 혁명적인 전제는 르네상스의 예술, 문학, 창조성의 원동력이었다. 그것은 자연 환경과 인간의 경험에 대한 이해를 축하했다. 그것은 인간의 본질적인 선과 완벽성, 그리고 인간 문제를 해결하기 위한 이성의 중요성을 강조했다. 
What is humanism? Webster’s Dictionary1 defines humanism as “Any system or mode of thought or action in which human interests, values and dignity predominate.” Humanism as a philosophical movement began in the Renaissance. In emphasizing the centrality of humans and human experience it was a reaction to the theism of medieval scholasticism which placed God at the center of all things and emphasized supernatural rather than natural forces. This powerful and revolutionary premise that human interests, values, and dignity are dominant was the driving force of the art, literature, and creativity of the Renaissance. It celebrated the understanding of the natural environment and of the human experience. It stressed the essential goodness and perfectibility of human beings, and the importance of reason to solve human problems. 

2세기 후, 휴머니즘은 계몽주의의 지적 기반이 되었다. 철학자 존 로크(John Locke), 데이비드 흄(David Hume) 등은 인본주의 원칙을 활용해 정부의 정당한 근거인 사회계약의 요소로 인간의 자유와 인권, 사회 정의를 강조했다. 미국 독립선언서(1776년)는 계몽주의의 산물이며, 인문학적 논문이다.
Two centuries later, humanism became the intellectual underpinning for the Enlightenment. Philosophers John Locke, David Hume, and others used humanistic principles to emphasize human liberty, human rights, and social justice as the elements of the social contract that is the legitimate basis for government. The U.S. Declaration of Independence (1776) is a product of the Enlightenment, and it is a humanistic treatise:

우리는 이 진리들이 자명하고, 모든 인간은 평등하게 창조되고, 창조자에 의해 어떤 양도할 수 없는 권리를 부여받으며, 이 가운데는 생명과 자유와 행복의 추구가 있다는 것을 주장합니다.
We hold these truths to be self-evident, that all men are created equal, that they are endowed by their creator with certain unalienable rights, that among these are life, liberty and the pursuit of happiness.

이성의 힘에 대한 계몽주의 믿음은 21세기까지 지속된 18세기와 19세기에 과학의 급증을 촉발시켰다. 그 이유는 이성과 과학, 휴머니즘이라는 계몽주의 원칙이 지속적으로 적용되고 있기 때문이다.
The Enlightenment belief in the power of reason unleashed the burgeoning of science in the 18th and 19th centuries that has continued into the 21st century. because of the continued application of the Enlightenment principles of reason, science, and humanism, which go hand in hand.

20세기에, 휴머니즘의 원리는 자유민주주의의 발전에 기초를 두고 있는데, 자유민주주의는 파시즘과 공산주의라는 경쟁 철학을 물리치고 서구 세계의 우세한 정치질서가 되었다. 그러나, 그의 최근 저서 21세기의 교훈에서 4세의 유발 노아 하라리는, 우리는 그 계속되는 승천을 당연하게 받아들일 수 없다고 우리에게 경고한다.

In the 20th century, the principles of humanism underlie the development of liberal democracies, which became the ascendant political order of the western world, defeating the rival philosophies of fascism and communism. However, Yuval Noah Harari,4 in his recent book 21 Lessons for the 21st Century, cautions us that we cannot take that continued ascendancy for granted.

의학의 휴머니즘
Humanism in Medicine

이런 배경에서 볼 때 '의학 속의 휴머니즘'은 무엇을 의미하며, 의학에서 휴머니즘에 대한 헌신의 의미는 무엇일까. 의학은 언제나 인본주의적인 사업enterprise으로 여겨져 왔다. 기원전 5세기 히포크라테스 선서의 윤리적 원칙은 환자의 이익을 최우선으로 해야 한다는 점에서 (그 선서는 복수의 그리스 신에 대한 기도로 시작되지만) 휴머니즘적이다. 위대한 중세의 의사인 Avicenna와 Maimonides는 인문학에 푹 빠져 있었다. 르네상스 시대부터, [과학뿐만 아니라 인문학을 배운 의사]라는 이상적 모습이 있었다.
Given this background, what does “humanism in medicine” mean, and what are the implications of making a commitment to humanism in medicine? Medicine has always been regarded as a humanistic enterprise. The ethical principles of the Hippocratic Oath dating from the 5th century b.c. are humanistic (though the oath begins as a prayer to multiple Greek gods), in that they call for putting patients’ interests first. The great medieval physicians Avicenna and Maimonides were steeped in the humanities. From the Renaissance on, there has been the ideal of the physician who was learned in the humanities as well as the sciences.

휴머니즘과 의학의 관계를 새롭게 하려는 명백한 시도는 20세기 후반에 하나의 현상이 되었다. 이는 (의학의 역사적 뿌리에서 의학을 빼앗고 있는) '비인간화' 세력에 맞서 [의학을 '인간화'하려는 욕구]가 동기가 된 것이다. 이러한 비인간화 세력은 다음을 포함한다.

• 의료행위의 기업화
• 의학에서 사업과 금융의 역할의 증가,
• 환자 경험의 단편화,
• 임상적으로 마주치는 시간이 줄어들었고
• 인간 상호작용의 대체물로서 기술에 대한 증가하는 의존성, 그리고
• 의사 교육에 있어서의 인문학에 관한 탈의실시

The explicit attempt to renew the link between humanism and medicine became a phenomenon in the latter decades of the 20th century. This was motivated by the desire to “humanize” medicine in the face of “dehumanizing” forces that were taking medicine away from its historical roots. These forces included

• the corporatization of the practice of medicine,
• the increasing role of business and finance in medicine,
• the fragmentation of patient experiences,
• the reduced time for clinical encounters,
• the increasing reliance on technology as a substitute for human interaction, and
• a de-emphasis on the humanities in the education of physicians.

이 모든 '비인간화적 힘'은 인내심과 직업적 만족감 둘 다의 일반적인 하락으로 이어졌다. 이러한 비인간화 세력에 대응하기 위한 프로그램과 인센티브를 만들어야 하는 필요성으로 인해 아놀드와 산드라 골드는 30년 전에 아놀드 P 골드 재단을 설립했습니다. 이는 훌륭하고 현명한 조치입니다. 만약 그때 그것이 만들어지지 않았다면, 우리는 지금 그것을 만들 필요가 있었을 것이다. 그러나 골드 재단이 보건 전문가들의 교육과 태도에 긍정적인 영향을 끼쳤음에도 불구하고, 우리의 직업에 영향을 미치는 비인간화 세력은 그 어느 때보다도 강력하다.

All of these dehumanizing forces were leading to a general decline in both patient and professional satisfaction. The need to create programs and incentives to counter these dehumanizing forces led Arnold and Sandra Gold to create the Arnold P. Gold Foundation 30 years ago—a brilliant and prescient move. If it had not been created then, we would need to create it now. But in spite of the Gold Foundation’s positive impact on the education and attitudes of health professionals, the dehumanizing forces affecting our professions are stronger than ever.

골드 파운데이션의 이니셔티브는 보건 전문가들과 그들의 뿌리 그리고 가치들을 연결시켜 인정받고, 보살피고, 협력적인 임상의가 되도록 하는 인간화 커뮤니티와 의식을 만들었습니다. 그들은 이러한 인본주의적 행동에 대한 보상과 인정을 만들어냈다. 그들은 성찰적인 글쓰기와 인문학적 주제에 대한 연구를 자극했다. 사실 의학 교육계는 이러한 시책에 의해 인간화되었습니다. 그러나 의학의 이러한 시책의 보급을 증가시키고 간호와 다른 건강 전문가들에게 더 깊이 다가가기 위해 해야 할 일이 훨씬 더 많다. 이것은 금 재단의 앞으로의 흥미진진한 작업이며, 저는 그 여정의 일부가 된 것이 자랑스럽습니다.

Gold Foundation initiatives have created humanizing communities and rituals that connect health professionals with their roots and their values to be compassionate, caring, and collaborative clinicians. They have created rewards and recognition for these humanistic behaviors. They have stimulated reflective writing and research on humanistic topics. The medical education world has, in fact, been humanized by these initiatives. But there is much more to do to increase the penetration of these initiatives in medicine and to reach more deeply into nursing and the other health professions. This is the exciting work ahead for the Gold Foundation, and I am proud to be part of that journey.

사회에서의 휴머니즘
Humanism in Society

이러한 인본주의 원칙에 따라, 우리는 우리 사회의 건강 전문직이 휴머니즘의 모델이 되도록 노력합니다. 이것은 그 어느 때보다 중요한 절대적으로 필수적인 작업이다. 그러나 우리는 전문가로서 그리고 우리 사회의 구성원으로서 의학의 인간화 의무와 의무를 훨씬 뛰어넘는 훨씬 더 큰 과제를 안고 있다. 비인간화 되어 위협받는 것은 의학뿐만이 아니다; 우리 사회는 대체로 그것의 설립 이래 그것의 근간이었던 휴머니즘의 원리에 등을 돌리고 있다. 미국과 해외에서의 정치적 사건들은 어느 정당이 집권하고 있든 서구세계에서 지배적인 형태의 정부였던 휴머니즘과 민주자유주의의 원칙을 위협한다. 도널드 트럼프의 당선은 미국의 이런 반인륜적 경향의 증세이자 가속도가 됐다.
In accordance with these humanistic principles, we strive to make the health professions the model for humanism in our society. This is absolutely essential work that is more important than ever. But we as professionals and as members of our society have an even larger challenge that goes well beyond the mandate and charge to humanize medicine. It is not just medicine that is threatened by being dehumanized; our society at large is turning against the principles of humanism that have been its underpinning since its founding. Political events in the United States and abroad threaten the principles of humanism and of democratic liberalism which has been the predominant form of government in the Western world, regardless of which political party is in power. The election of Donald Trump was both a symptom of and accelerant to this antihumanism trend in the United States.

휴머니즘의 원리에 맞지 않는 보다 독재적이고 민족주의적인 철학에 대한 이러한 경향은 러시아, 터키, 헝가리, 폴란드, 브라질에서 독재적인 지도자들의 권력이 부상하고 많은 서유럽 국가에서 강력한 민족주의 정당이 출현하는 과정에서도 드러난다. 이러한 경향은 2016년 미국 대통령 선거를 예고했다. 이러한 다양한 사례들 사이에는 분명히 차이가 있지만, 반인륜적 언행과 그에 따른 정책에는 많은 공통성이 있다. 이러한 정치적 문제에 인도주의적 렌즈를 적용함에 있어서, 나는 정책 토론을 위한 정당한 영역이 없다는 것을 제안하고 싶지 않으며, 세계를 휴머니스트와 반휴머니스트로 나누려는 것도 아니다. 그러나 우리의 더 큰 사회의 휴머니즘 상태를 탐구하지 않고는, 오늘날 의학에서 휴머니즘의 문제를 합법적으로 다룰 수 없다고 믿는다. 
This trend toward more autocratic and nationalistic philosophies that are not in line with the principles of humanism has been documented in the rise to power of autocratic leaders in Russia, Turkey, Hungary, Poland, and Brazil, and in the emergence of strong nationalist parties in many Western European countries. These trends antedated the 2016 U.S. presidential election. There clearly are differences across these various examples, but there is much commonality in the antihumanistic rhetoric and behaviors and in resulting policies that are not consistent with humanistic principles. In applying a humanistic lens to these political issues, I do not want to suggest that there are not legitimate areas for policy debate, nor am I attempting to divide the world into humanists and antihumanists. But I believe we cannot legitimately address the issue of humanism in medicine today without exploring the state of humanism in our larger society.

오늘날 많은 반인륜적 행동들이 점점 더 만연하고 있으며 일부 지도자들에 의해 합법화되고 있다.

• [인종, 민족, 종교에 기초한 개별 집단에 대한 편견]은 각 인류의 가치를 부정하기 때문에 반인륜적이다. 
• 언론의 자유와 다른 개인의 자유를 제한하려는 위협은 반인륜주의적이다. 왜냐하면 그들은 인본주의의 근간인 개인의 권리를 부인하기 때문이다. 
• 진실의 부재는 반인륜적인 것이다. 왜냐하면 휴머니즘은 이성적인 사고와 말에 기초하기 때문이다. 
• 과학적 사실을 부인하는 것은 반인륜주의적인데, 왜냐하면 휴머니즘은 인간의 상태를 개선하기 위해 과학을 찬양하기 때문이다. 
• 괴롭힘과 모욕적인 행동은 각 개인의 가치를 떨어뜨리고 각 인간의 완전한 발전의 이상을 위협하기 때문에 반인륜적인 것이다.

Many antihumanistic behaviors are becoming more prevalent today and are being legitimized by some leaders.

• Prejudice against individual groups based on race, ethnicity, or religion is antihumanistic because it denies the value of each human being.
• Threats to restrict freedom of speech and other individual liberties are antihumanistic because they deny individual rights that are the underpinning of humanism.
• An absence of truthfulness is antihumanistic because humanism is based on rational thought and speech.
• The denial of scientific facts is antihumanistic because humanism celebrates science to improve the human condition.
• Bullying and insulting behaviors are antihumanistic because they demean the value of each individual and threaten the ideal of the full development of each human.

반인륜주의의 위협
The Threat of Antihumanism

• ACA에 대한 확대된 접근권을 철회하는 것은 반인륜적이며 동등한 권리를 부인하는 것이다. 
• 이민에 대한 불합리한 제한은 모든 인간의 가치를 부정하고 다양성, 재능, 혁신의 혜택을 사회를 부정하기 때문에 반인륜적이다. 
• 아이를 가족과 분리하는 것은 인간의 기본적인 욕구를 부정하는 것이기 때문에 반인륜적인 것이다. 
• 합리적인 총기안전법을 제정하지 못한 것은 인간의 해악과 고통을 예방할 수 있기 때문에 반인륜적이다.

• Rolling back the expanded access to care of the Affordable Care Act is antihumanistic and is a denial of equal rights.
• Unreasonable restrictions on immigration are antihumanistic because they deny the value of all humans and deny society the benefit of diversity, talent, and innovation.
• Separation of children from their families is antihumanistic because it is a denial of a basic human need.
• Failure to enact reasonable gun safety legislation is antihumanistic because it leads to preventable human harm and suffering.

• 백신의 안전과 효능을 부정하는 것은 반인륜적이며, 인간의 해와 고통으로 이어지기 때문이다. 
• 기후변화에 대한 부정은 현재와 미래에 최적의 인간의 건강과 발전을 위해 직접적인 부정적인 결과를 초래하는 과학적 사실을 부인하기 때문에 반인륜적이다. 
• 일반적인 과학에 대한 거부는 반인륜적이며 우리 기관에 대한 대중의 신뢰와 그들을 대신해서 선을 행할 수 있는 그들의 능력을 손상시킨다.

• Denial of the safety and efficacy of vaccines is antihumanistic because it is antiscience and leads to human harm and suffering.
• Denial of climate change is antihumanistic because it denies scientific fact with direct negative consequences for optimal human health and development now and in the future.
• Denial of science in general is antihumanistic and undermines the public’s confidence in our institutions and their ability to do good on their behalf.

물론 인도주의적 가치가 위협받는 것은 우리나라 역사상 이번이 처음이 아니다. 노예제, 남북전쟁, 재건, 쿠 클룩스 클란, 아무것도 모르는 당, 대공황, 매카시즘, 베트남 전쟁은 인류주의에 대한 우리의 헌신에 도전했습니다. 그의 최근 저서 '미국의 영혼'에서 5세인 존 메참은 우리 역사의 이 불안한 순간들과 그 나라 국민들과 지도자들이 궁극적으로 우리의 가치를 재확인함으로써 그들에게 어떻게 반응했는지를 이야기한다. 현재의 위협에 어떻게 대응할 것인가?

This, of course, is not the first time in our country’s history when humanistic values have been threatened. Slavery, the Civil War, Reconstruction, the Ku Klux Klan, the Know Nothing Party, the Depression, McCarthyism, and the Vietnam War challenged our commitment to humanism. Jon Meacham,5 in his recent book The Soul of America, speaks to these unsettling moments in our history and how the people of the nation and its leaders responded to them by ultimately reaffirming our values. How are we going to respond to the current threats?

휴머니즘 회복에 있어 의학의 역할
The Role of Medicine in Restoring Humanism

20여 년 전, 우리는 보건 전문가들에게 우리의 책임이 환자들뿐만 아니라, [우리가 일하는 시스템을 개선]함으로써 우리가 봉사하는 모든 사람들을 위해 더 안정적이고, 접근 가능하고, 평등하고, 경제적으로 돌볼 수 있도록 하는 것에 대한 논의를 시작했습니다. 이 인문주의적 직업적 가치는 돈 버윅, 폴 배탈든 등이 아름답게 표현했고, 현재 고전적인 의학 연구소 보고서인 "To Er Is Human"에 구현되었다.6
More than two decades ago, we began the discussion in the health professions that our responsibility is not only to our patients but also to improving the systems in which we work—making care more reliable, accessible, equitable, and affordable for all the humans we serve. This humanistic professional value was beautifully articulated by Don Berwick, Paul Batalden, and others and was embodied in the now classic Institute of Medicine report “To Err Is Human.”6

비록 우리의 치료 시스템을 개선해야 하는 과제는 결코 이루어지지 않았지만, 이제 우리는 그것에 또 다른 과제를 더해야 한다. 바로 우리 사회를 훨씬 더 인도주의적으로 만드는 것을 돕는 것이다.

• 우리는 이것을 환자 개개인의 만남에서 동정심 많은 전문가로서 우리 자신을 어떻게 행동할 것인가의 모범을 보임으로써 할 것입니다.
• 그리고 우리는 더 인본주의적으로 만들기 위해 우리의 치료 시스템을 계속해서 개혁함으로써 이것을 할 것입니다.
• 하지만 우리는 또한 우리 주변의 모든 휴머니즘에 대한 위협들이 우리 환자들의 삶과 우리가 전문가로서 기능하는 사회의 가치에 부정적인 영향을 미치고 있다는 것을 증명해야 합니다.

Although the task of improving our systems of care is by no means done, we now must add to it another task, and that is to help make our society at large more humanistic.

• We will do this by the example of how we conduct ourselves as compassionate professionals in our individual patient encounters.
• And we will do this by continuing to reform our systems of care to make them more humanistic.
• But we must also bear witness to the threats to humanism that are all around us that are having a negative impact on the lives of our patients and the values of the society in which we function as professionals.

반인륜적 사회 속에서는, [의료의 휴머니즘]이라는 우리의 목표를 달성할 수 없다.

We cannot achieve our goals for humanism in medicine within an antihumanistic society.

이것은 우리에게 너무 지나친 기대처럼 보일 수도 있다. 우리는 이미 과중한 부담을 가지고 있고 때로는 전문적인 일에 압도되어 있다. 그리고 우리가 모든 문제를 떠맡을 수도 없고 휴머니즘을 회복하기 위한 국가적 정치 운동에 모든 시간과 에너지를 쏟을 수도 없다는 것은 분명한 사실이다. 하지만 저는 이 문제에 대해 적절한 말로 이야기함으로써, 우리는 직업적인 정체성을 재확인하고 침묵으로 인한 피해나 복잡함을 피할 것이라고 믿습니다. 케네디 대통령은 단테의 말을 자주 인용하면서, 지옥에서 가장 더운 곳은 도덕적 위기의 시기에 중립을 지키는 곳이라고 말했다. 우리는 같은 생각을 가진 보건 전문가들로 구성된 커뮤니티를 만들고 다른 사회 분야의 파트너를 찾는 것을 도울 것입니다. 휴머니즘을 옹호하는 그러한 새로운 목적의식은 직업적인 권태와 환멸의 해독제가 될 수 있다.

This may seem like too much to expect of us—we are already overburdened, sometimes overwhelmed with our professional tasks. And it is certainly true that we cannot take on every issue or devote all our time and energy to a national political campaign to restore humanism. But I do believe that by speaking to these issues in the appropriate fora, we will reaffirm our professional identities and avoid victimization or complicity by our silence. President Kennedy frequently quoted Dante that the hottest places in hell are reserved for those that in the time of moral crisis maintain their neutrality. We will be aided by creating communities of like-minded health professionals and by finding partners in other societal sectors. Such a renewed sense of purpose in defense of humanism can be an antidote to professional ennui and disillusionment.

그리고 의학에서 휴머니즘의 확대된 비전을 위한 기질과 도구를 제공하는 데는 교육자들의 역할이 중요하다.

• 우리는 우리의 교육 과정이 휴머니즘을 표현하고 발전시킬 수 있는 더 많은 기회를 제공한다는 것을 알아야 한다.
• 여기에는 미국과 해외에서 소외된 인구를 돌보고, 건강의 사회적 결정요인에 더 초점을 맞추고, AMC와 우리가 봉사하는 사회 사이의 사회적 계약 강화가 포함된다.

And there is an important role for educators in providing the substrate and tools for this expanded vision of humanism in medicine.

• We must see that our educational processes afford more opportunities to express and develop humanism.
• These opportunities include caring for underserved populations in the United States and abroad, more focus on the social determinants of health, and a strengthening of the social contract between our academic medical centers and the society we serve. 

우리는 또한 인간의 상태와 경험을 더 잘 이해할 수 있도록 인문학 연구를 지원해야 한다. 이러한 많은 프로그램들이 현재 전국의 의과대학에서 시행되고 있으며, 나는 이러한 노력을 성문화하고 확장하려는 미국 의과대학 협회의 새로운 구상에 박수를 보낸다. 그리고 우리는 또한 정책, 철학, 옹호와 같은 토론의 기회를 만들어 우리 졸업생들이 완전히 참여하며 인도주의적인 시민으로 거듭날 수 있도록 해야 합니다. 그리고 물론, 우리는 우리의 모든 학습 환경이 인도주의적인 행동의 본보기가 되도록 계속해서 노력해야 합니다.

We also must support the study of the humanities to better understand the human condition and the human experience. Many such programs are now in place in medical schools across the country, and I applaud the new initiative of the Association of American Medical Colleges to codify and expand these efforts.7 And we also must create opportunities for the discussion of policy, philosophy, and advocacy so that our graduates are equipped to be fully engaged, humanistic citizens. And of course, we must continue to work hard to ensure that all our learning environments are examples of humanistic behavior.

휴머니즘의 시금석 찾기
Finding Our Touchstones for Humanism

우리들 각자는 경험, 롤 모델, 영감을 주는 글 등 휴머니즘을 위한 시금석을 가지고 있습니다. 이제는 우리 각자가 그 시금석에 그림을 그려 일상생활에서 좀 더 현실화시켜야 할 때입니다. 그 시금석으로부터 환자와의 만남에 필요한 정보를 얻고, 각 보건 시스템 내의 작업을 보다 인간적으로 보이게 하며, 우리 각자가 시민권을 어떻게 표현하는지 알려주도록 합니다. 우리의 가치와 환자들에게 중요한 문제들에 대해 우리의 전문지식과 전문적 지위를 이용하여 목소리를 내자. 인문학적인 가치관을 가진 후보들을 지지하면서 좀 더 정치적으로 활동하자. 우리는 변화를 만들 수 있고, 우리 사회가 휴머니즘의 원리에 더 부합하도록 도울 수 있습니다.

Each of us has our own touchstone for humanism—an experience, a role model, an inspirational writing. It is time for each of us to draw on that touchstone and make it more real in our daily lives. Let it inform every encounter with a patient, let it inform the work within each health system to make it more humanistic, and let it inform how each of us expresses our citizenship. Let us use our expertise and professional standing to speak out on issues that are important to our values and our patients’. Let us be more politically active, supporting candidates with humanistic values. We can make a difference and we can help to have our society be more aligned with the principles of humanism.

이 중심적인 관찰을 다시 강조하면서 결론을 내겠습니다. 우리를 둘러싼 세상에 휴머니즘이 없다면 의학에 휴머니즘을 갖기 어려울 것이다. 인간의 관심, 가치, 존엄성이 우선되어야 한다.

Let me conclude by reasserting this central observation. It will be hard to have humanism in medicine if there is no humanism in the world around us. Human interest, values, and dignity must predominate.

Acad Med. 2019 Aug;94(8):1074-1077.

 doi: 10.1097/ACM.0000000000002796.

Humanism in Medicine: What Does It Mean and Why Is It More Important Than Ever?

George E Thibault 1

Affiliations collapse

Affiliation

• 1G.E. Thibault is immediate past president, Josiah Macy Jr. Foundation, New York, New York, and Daniel D. Federman Professor of Medicine and Medical Education Emeritus, Harvard Medical School, Boston, Massachusetts.

• PMID: 31135401
• DOI: 10.1097/ACM.0000000000002796Abstract
• Humanism has been at the core of the medical profession since its inception, and it has been a foundation throughout modern history for political and community values. But today, countries and leaders are increasingly adopting antihumanistic policies and positions. In this Invited Commentary, the author probes whether humanism in medicine can survive in the current culture. The author defines humanism as any system or mode of thought or action in which human interests, values, and dignity predominate. He traces humanism as a philosophical and political movement from the Renaissance through the Enlightenment to the development of liberal democracies in the 20th century. He identifies the humanistic roots of the medical profession and describes efforts to revitalize humanism in medicine in recent decades. He then details antihumanistic behaviors and policies in the current political environment and makes the case that these behaviors and policies threaten humanism in medicine. He calls on the medical profession to renew its commitment to humanism and to oppose antihumanistic behaviors and policies. It will be hard, he concludes, to have humanism in medicine if there is no humanism in the world around us.

The Green Lumber Fallacy 

fs.blog/2016/11/green-lumber-fallacy/?s=09

"말하는 기술과 행동하는 기술을 동일시하는 것은 엄격하지 않다.”
— 나심 테일브
“Clearly, it is unrigorous to equate skills at doing with skills at talking..”

— Nassim Taleb

"반짝이는 모든 것이 금은 아니다"라는 속담이 있다. 사물의 미학은 종종 우리를 속인다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다. 우리가 똑똑하다고 부르는 사람들은 똑똑하지 않을 수도 있다. 녹색 목재 오류는 현실 세계가 항상 우리의 이야기와 일치하지 않는다는 것을 가르쳐준다. 성공의 진짜 원인 요인은 종종 우리에게 숨겨져 있다.

“All that glitters is not gold,” the saying goes. The aesthetics of things often fool us. People we call ignorant might not be ignorant. People we call smart might not be smart. The Green Lumber Fallacy teaches us that the real world doesn’t always match our stories. The real causative factors of success are often hidden from us.

***

진화 이론에 익숙하다면, 유기체의 개체군은 끊임없이 "선택 압력"을 받는다는 것을 알 것입니다. 어떤 특성들이 선호되고 그들의 자손에게 전해지고 다른 것들은 진화 쓰레기통에 버려지게 되는 그들 환경의 혹독함입니다.
If you’re familiar with evolutionary theory, you know that populations of organisms are constantly subjected to “selection pressures” — the rigors of their environment which lead to certain traits being favored and passed down to their offspring and others being thrown into the evolutionary dustbin.

생물학자들은 이러한 장점들을 번식의 "적합성"이라고 부른다. 기린 목의 길이가 길어진 것이 그들의 환경에 더 큰 "적합성"을 가져다 주었지요. 왜냐하면 그것이 그들이 높은 곳에 닿고, 손대지 않은 잎에 도달하도록 도와주었기 때문입니다. 적합성은 일반적으로 상대적인 개념입니다. 유기체는 부족한 자원을 얻기 위해 경쟁해야 하기 때문에, 그들의 적합성은 서로에 대한 생식적 우위를 준다는 의미에서 측정된다.
Biologists dub these advantages in reproduction “fitness” — as in, the famously lengthening of giraffe necks gave them greater “fitness” in their environment because it helped them reach high up, untouched leaves. Fitness is generally a relative concept: Since organisms must compete for scarce resources, their fitnesses is measured in the sense of giving a reproductive advantage over one another.

한 환경에서 뛰어난 적합성을 제공할 수 있는 특성은 쓸모없거나 다른 환경에서 불리할 수 있습니다. (연못에서 물을 뺀다고 가정해 보십시오: 정말 믿을 수 없는 물고기가 가지고 있는 어떤 건강상의 이점도 물 없이는 즉시 가치가 없어집니다.) 특성은 또한 환경과 관련이 있다. 한 번에 장점은 다른 한 가지 단점이 될 수 있고 그 반대도 마찬가지입니다. 자연은 논쟁하지 않고, 그저 반복해서 시험할 뿐입니다.
A trait that might provide great fitness in one environment may be useless or even disadvantageous in another. (Imagine draining a pond: Any fitness advantages held by a really incredible fish becomes instantly worthless without water.) Traits also relate to circumstance. An advantage at one time could be a disadvantage at another and vice versa. Nature doesn’t argue, it just tests over and over.

이것은 적합성을 생물학에서 가장 중요한 개념으로 만든다. 특성은 주어진 환경 내에서 유기체에 적합성을 제공하는 경우에 선택된다.

This makes fitness an all-important concept in biology: Traits are selected for if they provide fitness to the organism within a given environment.

블랙 스완의 작가 나심 탤브는 피트니스와 현실세계에서의 선택에 대해 흥미로운 견해를 가지고 있다: "잘 하는 사람doers"과 "잘 말하는 사람talkers"이 다른 특성으로 선택되는 경우가 많다. 그것들을 섞지 않도록 조심해라.
The Black Swan author Nassim Taleb has an interesting take on fitness and selection in the real world that boils down to: People who are good “doers” and people who are good “talkers” are often selected for different traits. Be careful not to mix them up.

그의 저서 Antifragile에서, Taleb는 이 아이디어를 월가의 상인들을 고용할 때 사용했던 경험적 발견을 발현하기 위해 사용합니다.
In his book Antifragile, Taleb uses this idea to invoke a heuristic he’d once used when hiring traders on Wall Street:

누군가가 하는 말이 더 흥미롭고, 더 교양 있을수록, 그 사람이 실제 사업에서 하는 일도 더 효과적이라고 생각하게 될 것이다. (심리학자들이 후광 효과라고 부르는 것, 스키에서의 기술이 도자기 공방이나 은행을 관리하는 기술로 실패하지 않는다고 생각하는 실수) 훌륭한 체스 선수가 실생활에서 훌륭한 전략가가 될 것이라는 것을 의미한다.
The more interesting their conversation, the more cultured they are, the more they will be trapped into thinking that they are effective at what they are doing in real business (something psychologists call the halo effect, the mistake of thinking that skills in, say, skiing translate unfailingly into skills in managing a pottery workshop or a bank department, or that a good chess player would be a good strategist in real life).

분명히, 말하는 기술과 하는 기술을 동일시하는 것은 허술하다unrigorous. 훌륭한 실무자들에 대한 제 경험은, 그들도 완전히 incomprehensible하다는 것입니다. 그들은 통찰력과 내부 일관성을 우아한 스타일과 서사로 바꾸는 데 많은 에너지를 쏟을 필요가 없습니다. 기업가는 사상가가 아닌 행동가이며, 행동가는 말을 하지 않으며, 토크 부서에서 그들을 측정하는 것은 불공평하고, 잘못되고, 완전히 모욕적일 것이다.
Clearly, it is unrigorous to equate skills at doing with skills at talking. My experience of good practitioners is that they can be totally incomprehensible–they do not have to put much energy into turning their insights and internal coherence into elegant style and narratives. Entrepreneurs are selected to be doers, not thinkers, and doers do, they don’t talk, and it would be unfair, wrong, and downright insulting to measure them in the talk department.

기업가에 대한 선택압력은 기업 경영자나 관료에 대한 압박과는 매우 다르다. 기업가와 위험부담자는 [대화와 설명, 합리화 능력]에 따라 성공하거나 실패하지 않는다. 그들은 군중으로부터 advantageously diverge되어 일을 처리하는 능력에 따라 성공하거나 실패한다. 말하는 것과 행하는 것이 함께 갈 수도 있지만, 보통은 그렇지 않습니다.
The selection pressures for an entrepreneur are very different from those on a corporate manager or bureaucrat. Entrepreneurs and risk-takers succeed or fail not so much on their ability to talk, explain, and rationalize as their ability to advantageously diverge from the crowd and get things done. While talking and doing can go together, they frequently don’t.

반드시 훌륭한 지적 능력과 훌륭한 행동이 함께 있어야 할 이유는 없습니다: 놀라운 코드 조각들을 함께 해킹할 수 있다는 것은 여러분이 훌륭한 이론적인 컴퓨터 과학을 하는 동안 아마도 학계에서 더 나은 적합성을 갖게 해 줄 것입니다. 그 두 기술은 연관될 필요가 없다. 대부분 위대한 경제학자라고 훌륭한 투자자는 아니다.  그러나 우리는 종종 두 영역을 혼동한다.

When you think about it, there’s no reason great intellectualizing and great doing must go together: Being able to hack together an incredible piece of code gives you great fitness in the world of software development while doing great theoretical computer science probably gives you better fitness in academia. The two skills don’t have to be connected. Great economists don’t usually make great investors.  But we often confuse the two realms.

특히 배관, 프로그래밍, 트레이딩 또는 마케팅과 같은 일부 "좁은" 분야에서의 성공은 지적이지 못한 사람들에 의해 달성되는 경우가 많습니다. 그들의 진화적 적합성은 [말하는 능력]에서 오는 것이 아니라 [행동하는 능력]에서 오는 것이다.

Success, especially in some “narrow” area like plumbing, programming, trading, or marketing, is often achieved by rather non-intellectual folks. Their evolutionary fitness doesn’t come from the ability to talk but do.

녹색 목재 오류
The Green Lumber Fallacy

Taleb는 이 차이를 "녹색 목재 오류"라고 부릅니다. "100만 달러를 잃으면서 배운 것"이라는 책에 나오는 이야기입니다.
Taleb calls this divergence the Green Lumber Fallacy, after a story in the book What I Learned Losing a Million Dollars.

Taleb이 Antifragile에서 설명한 것처럼 
As Taleb describes it in Antifragile:

금융 분야에서는 드물게 "백만 달러를 잃으면서 배운 것"이라고 불리는 noncharlantanic 서적 중 하나에서 주인공은 큰 발견을 합니다. 그는 "녹색 목재"라고 불리는 상품에서 가장 성공한 무역업자 중 한 명인 조 시겔이라는 사람이 실제로 그것이 (마르지 않았기 때문에 새로 깎은 목재보다는) 녹색으로 칠해진 목재라고 생각했다. 그리고 그는 이걸 거래하는 것을 그의 직업으로 삼았습니다! 한편 narrator는 위대한 지적 이론과 원자재의 가격을 움직이게 한 것에 대한 내러티브에 빠져서 파산했다.
In one of the rare noncharlatanic books in finance, descriptively called What I Learned Losing a Million Dollars, the protagonist makes a big discovery. He remarks that a fellow named Joe Siegel, one of the most successful traders in a commodity called “green lumber,” actually thought it was lumber painted green (rather than freshly cut lumber, called green because it had not been dried). And he made it his profession to trade the stuff! Meanwhile the narrator was into grand intellectual theories and narratives of what caused the price of commodities to move, and went bust.

그것은 단지 성공적인 목재 전문가가 "녹색"이라는 명칭과 같은 중요한 문제들에 대해 무지했던 것만은 아니다. 그는 또한 어떤 전문가도 중요하지 않다고 생각하는 목재에 대한 것들을 알고 있었다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다.
It is not just that the successful expert on lumber was ignorant of central matters like the designation “green.” He also knew things about lumber that nonexperts think are unimportant. People we call ignorant might not be ignorant.

목재에서의 순서 흐름 예측과 일반적인 서술이 외부에서 가정할 세부 사항과 거의 관련이 없다는 사실은 중요하다. 현장에서 일을 하는 사람들은 정해진 시험set exam을 보지 않는다. 그들은 가장 서술적이지non-narrative 않은 매니저 중에서 선발된다. 말을 잘하는 것은 별 차이가 만들지 못한다. 진화는 내러티브에 의존하지 않습니다. 인간도 마찬가지입니다. 진화론에는 파란색에 대한 단어가 필요하지 않다.
The fact that predicting the order flow in lumber and the usual narrative had little to do with the details one would assume from the outside are important. People who do things in the field are not subjected to a set exam; they are selected in the most non-narrative manager—nice arguments don’t make much difference. Evolution does not rely on narratives, humans do. Evolution does not need a word for the color blue.

그래서 녹색 목재 오류라고 부르죠. 어떤 사람이 [눈에 보이는 지식의 원천]을 잘못 알고 있는 상황입니다. 여기서는 목재가 띄고 있는 녹색빛greenness이 그것이다. 외부에서는 잘 보이지 않고, 덜 다루기 쉽고, 덜 이야기하기 쉽기 때문입니다.
So let us call the green lumber fallacy the situation in which one mistakes a source of visible knowledge — the greenness of lumber — for another, less visible from the outside, less tractable, less narratable.

핵심은 [진짜 원인 요인]은 종종 우리에게 숨겨져 있다는 것이다. 우리는 녹색 재목의 복잡한 점을 아는 것이 주문 흐름을 예의 주시하는 것보다 더 중요하다고 생각합니다. 우리는 우리 스스로를 지성의 영향을 과대평가하도록 유혹하고 왜 "이단"이 앞서나가고 있는지 궁금해한다.
The main takeaway is that the real causative factors of success are often hidden from us. We think that knowing the intricacies of green lumber are more important than keeping a close eye on the order flow. We seduce ourselves into overestimating the impact of our intellectualism and then wonder why “idiots” are getting ahead.

그러나 "스킨 인 더 게임"에서는, [선택과 진화]가 결과로 변환되지 않는 한, 훌륭한 이야기와 아이디어에 신경 쓰지 않습니다. 이 때는 [당신이 알고 있는 것]보다 [당신이 하는 것]에 더 신경을 쓴다. 위험관리 이론에 대한 폭넓은 지식보다는 실제로 위험을 피하는 것에 신경을 쓴다. (물론, 현대의 많은 분야에서는 게임 속에 피부가 없기 때문에 대화와 합리화가 선택될 수 있고 자주 선택된다.)
But for “skin in the game” operations, selection and evolution don’t care about great talk and ideas unless they translate into results. They care what you do with the thing more than that you know the thing. They care about actually avoiding risk rather than your extensive knowledge of risk management theories. (Of course, in many areas of modernity there is no skin in the game, so talking and rationalizing can be and frequently are selected for.)

Taleb가 그의 고용 휴리스틱에서 그랬던 것처럼, 우리에게 좋은 말을 하는 사람들을 액면 그대로 받아들이는 것에 대해 약간 회의적이어야 함을 가르쳐준다. 또한 우리가 "그다지 똑똑하다"고 생각하는 사람에게서 "설명할 수 없는" 성공을 볼 때 약간 회의적이 되도록 가르쳐야 한다. 설화에 유혹되어 보이지 않는 단절이 있을 수 있다. (리콴유 같은 사람이 오로지 어떤 일에만 집중해서 피한 문제)
As Taleb did with his hiring heuristic, this should teach us to be a little skeptical of taking good talkers at face value, and to be a little skeptical when we see “unexplainable” success in someone we consider “not as smart.” There might be a disconnect we’re not seeing because we’re seduced by a narrative. (A problem someone like Lee Kuan Yew avoided by focusing exclusively on what worked.)

우리는 이 지혜의 덩어리를 감상하기 위해 우리의 지적 추구들을 포기할 필요는 없습니다. Taleb의 말이 옳습니다. 하지만 또한 ["실제로 작동하는 것"에 대한 엄격하고 회의적인 지식]과 [세계의 점점 더 발전하는 이론 구조]를 결합하는 것은 모든 것 중에서 가장 좋은 조합일 수 있습니다. 

We don’t have to give up our intellectual pursuits in order to appreciate this nugget of wisdom; Taleb is right, but it’s also true that combining the rigorous, skeptical knowledge of “what actually works” with an ever-improving theory structure of the world might be the best combination of all 

징글쟁글 오류

Jingle-Jangle Fallacies

www.brookings.edu/blog/social-mobility-memos/2014/12/19/jingle-jangle-fallacies-for-non-cognitive-factors/

용어적으로 말해서, "비인지적 요인"에 대한 scholarship은 엉망이다. 이 분야 역시 단어가 중요한 분야입니다. 우리는 행동, 기술, 장점 또는 특성을 검토하고 있는가?  우리는 "성격", "사회 정서 학습" 또는 "부드러운 기술"을 장려하고 있는가? 특히 "징글"과 "장글"의 두 가지 오류들이 진전을 방해하고 있다.
Terminologically speaking, scholarship on “non-cognitive factors” is a mess. This is a field where words count, too. Are we examining behaviors, skills, strengths or traits?  Are we promoting “character,” “socio-emotional learning,” or “soft skills?” Two fallacies in particular are impeding progress: the “jingle” and the “jangle”.

징글 오류
 THE JINGLE FALLACY

징글 오류(jingle error)는 상당히 다른 여러 가지를 설명하기 위해 단일 용어를 사용하는 것을 말한다. 이 경우, "비인지적 기술"이라는 문구는 광범위한 기술, 특성, 장점 또는 속성, 즉 본질적으로, 이 용어가 암시하는 바와 같이 인지적으로 기초하지 않은 모든 것을 결합한다. 여기에는 사회적 예절이나 개인적 자신감이 포함될 수 있지만, 만족을 미루거나(때로는 신중함 또는 "신중함"이라고 칭함), 일에 집중하거나, 날씨가 어려운 시기(라벨, 때로는 "기분 회복력"이라고 함) 다른 사람의 문제에 공감할 수 있는 능력도 언급될 수 있다.
The “jingle fallacy” refers to the use of a single term to describe a multiplicity of quite different things. In this case, the phrase “non-cognitive skills” lumps together a vast range of skills, traits, strengths, or attributes: essentially, as the term implies, anything that is not cognitively based. This could include social manners or personal confidence; but it may also refer to the capacity to defer gratification (sometimes referred to as prudence or “grit”), focus on a task, weather difficult times (labeled, sometimes, “resilience”), or empathize with the troubles of another person.

어떤 용어가 그렇게 많은 부분을 포괄하는 데 사용될 때, 그것은 이해하는데 방해가 된다. 전혀 다른 차원을 연구하고 있는 연구원들은 그들이 같은 공간에서 일하고 있다고 거짓으로 믿을 수 있는데, 사실 그들은 천문학자들에게 천체물리학자들보다 더 가깝지 않다. "비인지적"이라는 말을 현역에서 은퇴해야 할 때이다.

When a term is being used to cover so much ground, it gets in the way of understanding. Researchers working on wildly different dimensions can falsely believe they are working in the same space, when in truth they are no closer than astrophysicists to astronomers. It is time to retire the phrase “non-cognitive” from active duty.

장글 오류
THE JANGLE FALLACY

하지만 또 다른 잠재적인 문제가 있습니다. 인지적 요인에 대한 초기 연구도 더럽혀졌습니다. "장글 오류"는 사람들이 같은 것을 설명하기 위해 다른 용어를 사용할 때 발생합니다. 이는 부문 간 협업과 공통 측정 채택에 방해가 될 수 있습니다. 그 문제는 종종 다양한 분야의 다른 어휘들에 의해 복잡해진다. 특정 속성은 경제학자에 의해 "기술"로, 심리학자에 의해 "성격 특성"으로, 교육주의자에 의한 특정한 종류의 "학습" 또는 도덕 철학자에 의한 "인격" 차원으로 분류될 수 있다. 각자 같은 개념을 염두에 두고 있을 수도 있지만 용어의 혼란 때문에 서로의 일이나 의미를 놓친다.
But there’s another potential problem, one that also bedeviled early research on cognitive factors: the “jangle fallacy,” which occurs when people use different terms to describe the same thing. This can get in the way of cross-disciplinary collaboration and the adoption of common measurements. The problem is often compounded by the different vocabularies of various disciplines. A particular attribute may be labeled a “skill” by an economist, a “personality trait” by a psychologist, a certain kind of “learning” by an educationalist, or a “character” dimensions by a moral philosopher. Each may have the same concept in mind, but miss each other’s work or meaning because of the confusion of terms.

심지어 헤크만도 고생한다
EVEN HECKMAN STRUGGLES

이 많은 단어와 의미를 헤쳐나가기 힘들다는 사람은 누구나 그 분야의 최고들조차도 어려움을 겪고 있다는 사실에서 약간의 위안을 얻을 수 있다. 노벨상 수상자 제임스 헤크먼이 NPR 인터뷰에서 "This American Life"에 대해 도전을 받는 것을 들어보십시오. 그가 이런 종종 덧없는 요소들을 묘사하는 데 사용했던 다른 용어들로 말입니다. Heckman은 확실히 경제학의 아버지이며 언어와 라벨링 문제에 많은 생각을 해 왔다. 그는 이제 "성격 기술"을 언급한다.

Anybody finding it difficult to make their way through this thicket of words and meanings can take some comfort from the fact that even the best in the field are struggling. Listen to Nobel prize-winner (and our adviser and friend) James Heckman being challenged in this NPR interview for “This American Life” for the different terms he has used to describe these often ephemeral factors. Heckman is the father of the field, certainly within economics, and has given a great deal of thought to the language and labeling issue. He now refers to “character skills.”

성격 특성, 성격 기술 및 성격 강점
CHARACTER TRAITS, CHARACTER SKILLS AND CHARACTER STRENGTHS

"속성trait"은 일반적으로 유전적으로 영향을 받는 대체로 고정된 속성을 가리킨다. 내향적인 사람들은 외향적인 행동을 보여주는 것을 배우더라도 외향적인 사람이 되지 않는다. 그러나 당면 과제에 집중하는 능력이나 만족을 지연시키는 능력을 포함한 기술은 일생에 걸쳐 달라질 수 있으며, 가르치고 배울 수 있다.
A “trait” typically refers to a largely fixed, often genetically-influenced, attribute. Introverts don’t become extroverts, even if they learn to demonstrate some extrovert behaviors. But skills – including the capacity to focus on a task at hand, or defer gratification – are changeable, may vary through a lifetime, and can be both taught and learned.

따라서 Heckman이 스킬이라는 용어를 사용하는 것은 그의 연구의 초점을 좁히고 가단성malleability을 시사하는 측면에서 도움이 된다. (또 다른 조언자인 Paul Tough도 비슷한 노선을 취한다.) 하지만 여기도 뭔가 없어졌다. 스킬은 몇 가지 중요한 요소를 포착하지 못합니다. 호기심은, 한 가지 예를 들면, 배워야 할 기술인가, 고정된 성격인가, 아니면 둘 사이의 어딘가인가? 우리는 "캐릭터 강점strength"이라는 용어를 기술과 특성 사이의 절충어로 사용하는 경향이 있었다. "강점"이란 단어는 운동 능력을 상기시킨다 – 사람은 일정 수준의 체력을 가질 수 있지만, 체육관에서 충분히 일하면 누구나 100개의 팔굽혀펴기를 할 수 있는 근육을 키울 수 있다.  마찬가지로, 어떤 일에 집중하는 사람의 선천적인 능력은 다를 수 있지만, 집중력도 가르쳐질 수 있다.
Heckman’s use of the term skills is therefore helpful in terms of narrowing the focus of his research and suggesting malleability. (Paul Tough, another advisor, takes a similar line). But something is lost here, too. Skill doesn’t capture some important factors. Is curiosity, to give one example, a skill to be learned, a fixed personality trait, or somewhere between the two? In our own work (including in our report “The Character Factor”) we tend to use the term “character strength” as a compromise between skills and traits. Strength calls to mind athletic abilities – a person may have a predisposition towards a certain level of physical strength, but with enough work at the gym anyone can build up the muscles to do 100 pushups.  Similarly, a person’s innate ability to focus on a task may vary, but focus can be taught as well.

물론 캐릭터라는 용어가 그 자체의 문제가 없는 것은 아니다. Heckman이 'This American Life' 인터뷰에서 말했듯이, "문제는 '성격'이 매우 도덕적으로 들린다는 것입니다. 일요학교를 운영하는 것 같습니다."
Of course the term character is not without its own problems. As Heckman put it in the ‘This American Life’ interview, “The trouble is ‘character’ sounds very moralistic. It sounds like we’re running a Sunday School.”

하지만 그의 해결책은 옳습니다. 캐릭터라는 용어를 사용하는 것에서 물러서지 마세요. 이것은 가장 명확한 전체 레이블입니다. 여러분이 그것에 대해 말할 때 무엇을 의미하는지 구체적으로 말하세요. 특히 이번 토론에서 '징글'(다른 개념에 같은 용어를 사용함)과 '장글'(같은 개념에 다른 용어를 사용함)을 동시에 경계할 필요가 있다.

But his solution is the right one: don’t back away from using the term character, which is the clearest overall label: just be specific what you mean when you talk about it. In particular, we need to be on our guard against both the “jingle” (using the same term for different concepts) and the “jangle” (using different terms for the same concept) in this debate.

PBL: 21세기 보건의료전문직 교육을 위한 전략적 학습시스템 설계(Kaohsiung J Med Sci, 2009)

PROBLEM-BASED LEARNING: A STRATEGIC LEARNING SYSTEM DESIGN FOR THE EDUCATION OF HEALTHCARE PROFESSIONALS IN THE 21ST CENTURY
Matthew Choon-Eng Gwee

의학교육의 암흑시대
THE DARK AGES OF MEDICAL EDUCATION

19세기에 걸쳐, 그리고 20세기의 마지막 2~30년까지, 학부 의학 커리큘럼의 설계는 분야 간 교차 대화가 거의 없는, 고도의 학문 분야별discipline-specific이었다. 당시 교육 전달은 교사 주도(교사 중심)가 높았고, 강의 기반도 높았다. 이때는 교육/학습 과정에서 학생의 역할이 주로 교사가 전달하는 풍부한 콘텐츠 지식(또는 정보)의 수동적 수신자(Sage-in-center stage)의 역할이었던 교육 패러다임의 시대였다.
Throughout the 19th century, and until about the last 2–3 decades of the 20th century, the design of the undergraduate medical curriculum was highly disciplinespecific with little cross talk across disciplines. The delivery of instruction was then highly teacher-directed (teacher-centered) and also highly lecture-based. This was the era of the instructional paradigm in which the student role in the teaching/learning process was mainly that of a passive recipient of abundant content knowledge (or information) delivered by the teacher (“sage-in-center stage”).

그렇다면 우리는 전통적인 교육 환경에서 어떤 결과를 기대할 수 있을까? 다음과 같은 몇 가지 주요 제한 사항[1,2]이 이미 확인되었다.
What then can we expect as the educational outcomes from such a traditional educational environment? Several major limitations [1,2] have already been identified, including:

• 학생이 풍부한 콘텐츠 지식을 습득함에 따라 발생하는 정보 과부하("…메모리에 부담을 주는 정보이지만 지성이 아닌 정보") [1].

• MRR(암기, 회상, 재귀)을 통한 학생에 의한 단순암기 학습 습관 개발—사실 컨텐츠 지식(정보)의 리콜에 대한 테스트에 의해 종종 개선되고 강화된다.

• 학생의 학습 성과에는 거의 주의를 기울이지 않고 투입만이 강의의 주요 초점이 된다.

• 학생이 무엇을, 어떻게, 언제 배워야 하는지 등 학습 요구에 대한 교사 의존도가 높다.

• 고차 인지(지적) 기술(중요한 사고, 추론 및 문제 해결) 및 학습 태도(대인관계, 커뮤니케이션, 팀워크 및 리더십) 영역에서 일반적인 "부드러운" 기술을 습득하는 등 보다 지속적인 교육 과정 및 생활 기술 습득에 관한 부적절한 관심

• Information overload resulting from student acquisition of abundant content knowledge (“…information that taxes the memory but not the intellect.”) [1].

• Development of rote-learning habits by students through MRR (memorize, recall, regurgitate)—often abetted and intensified by tests on recall of factual content knowledge (information).

• Teaching inputs as the primary focus of instruction with little attention to student learning outcomes.

• High dependency of students on teachers for their learning needs, including what, how, and when to learn.

• Inadequate attention to student acquisition of more enduring educational process and life skills, including: higher-order cognitive (intellectual) skills (critical thinking, reasoning, and problem-solving); and some generic “soft” skills in the attitudes (affective) domain of learning (interpersonal, communication, teamwork, and leadership).

맥마스터 대학 이니셔티브: 의료 교육의 새로운 추세 설정
THE MCMASTER UNIVERSITY INITIATIVE: SETTING A NEW TREND IN MEDICAL EDUCATION

1960년대 중반 예외적인 사건이 발생했다. 맥매스터 대학교는 의과대학원을 너무 다르게 낳아 교육계에 경악의 파문을 일으켰다. [3]
“In the mid-1960s, an exceptional event occurred. McMaster University gave birth to a medical school so different it sent ripples of astonishment throughout the educational world” [3].
 

1960년대에 캐나다 정부는 온타리오주 해밀턴에 있는 맥마스터 대학에 의과대학 설립의 필요성을 확인했다. 처음에, 이 프로젝트를 담당하는 교육 기획자들은 의학 교육과정을 설계하고 전달하는 데 급진적인("신선하고 새로운") 접근 방식을 취할 것이라고 선언했다. "표준적인 빌딩 블록 구조에서 벗어나라"며 "많은 콘텐츠를 오래 보유하지 못하기 때문에 목구멍으로 내던지는 않을 것이다. 그들이 적극적으로 참여하도록 노력합시다…" [3].
In the 1960s, the Canadian government identified a need to establish a medical school in McMaster University in Hamilton, Ontario. At the outset, the educational planners responsible for this project declared that they intended to take a radical (“fresh and new”) approach to the design and delivery of their medical curriculum to “…get away from the standard building-block structure…from shoving a lot of content down their throats because they don’t retain it very long anyway. Let’s try and get them actively involved…” [3].
 

실제로 1969년 맥마스터 대학 의과대학은 새로운 의학 커리큘럼을 시행하여 새롭고 급진적이며 혁신적인 트렌드를 수립하고 의학 교육에 대한 대안적인 학습 경로를 제공했다. McMaster 커리큘럼은 (주로 교육 계획자들이 현재의 (전통적인) 의료 커리큘럼의 많은 단점이라고 인식하는 것을 극복하기 위한) 문제 기반 학습(PBL)으로 구현되었다. [1–3] 사실, 거의 30년이 지났는데도 Boud와 Feletti[4]는 여전히 PBL을 "…다년간 직업 교육을 위한 가장 중요한 혁신으로 생각하고 있다. 전문교육을 교육기관으로 옮긴 이후 가장 중요한 발전이라는 주장도 있다."

Indeed, in 1969, McMaster University Medical School implemented its new medical curriculum, which set a new, radical and innovative trend, and offered an alternative pathway for learning in medical education. The McMaster curriculum was implemented as problem-based learning (PBL), primarily aimed at overcoming what the educational planners perceived to be the many shortcomings of the then current (traditional) medical curriculum [1–3]. In fact, even after almost three decades, Boud and Feletti [4] still consider PBL as “…the most significant innovation in education for the professions for many years. Some argue that it is the most important development since the move of professional training into educational institutions.”

PBL이란 무엇인가?
WHAT IS PBL?

PBL은 본질적으로 [강의 전달을 위한 몇 가지 보완적 교육 원칙을 결합한 전략적 학습 시스템 설계]이다. PBL은 특히 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습의 교육 결과를 개선하고 최적화하는 것을 목표로 한다. Barrows and Tamblyn [5]는 PBL에 대한 간단한 운영 정의를 제공했습니다. "…문제의 이해 또는 해결을 위해 노력하는 과정에서 비롯되는 학습입니다. 이 문제는 학습 과정에서 가장 먼저 마주치는 것이다."

PBL is, essentially, a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Barrows and Tamblyn [5] provided a simple operational definition of PBL as “…the learning that results from the process of working toward the understanding or resolution of a problem. The problem is encountered first in the learning process.”

PBL: 주요 기능과 학습 전략은 무엇입니까?
PBL: WHAT ARE ITS KEY FEATURES AND ITS LEARNING STRATEGY?

PBL의 중요하고 기본적인 원칙은 그것이 problem-first learning이라는 것이다. 즉, 학생들이 이 주제에 대한 공식적인 학습을 받기도 전에 의료 사례를 해결하려고 시도한다는 것이다. 일반적으로 실제 의료 사례(문제)는 학생들의 학습 과정을 촉발한다. 즉, 문제는 문제 사례와 관련된 다양한 문제를 이해하거나 해결하는 데 필요한 관련 콘텐츠 지식을 학습하는 출발점 역할을 한다. 따라서 문제 해결에서 규칙적인 실천regular practice은 PBL 프로세스의 또 다른 주요 특징이다 [6,7]. 또한 사례 작성자는 학문에 걸쳐 학습을 [맥락화하고 통합하는] PBL 문제 사례를 구성하는 경우가 많으므로 문제 사례에는 대개 임상 과학뿐만 아니라 인구, 행동 및 생명 과학과 관련된 문제가 포함된다.
An important and basic tenet of PBL is that it is problem-first learning, i.e. students attempt to problem-solve a medical case even before receiving any formal learning on the subject matter. Usually, a real-life medical case (a problem) triggers the learning processfor students, i.e. the problem serves as the starting point for learning relevant content knowledge required to understand or resolve various issues related to the problem case. Thus, regular practice in problem-solving is another key feature of the PBL process [6,7]. Moreover, case-writers often construct PBL problem cases that contextualize and integrate learning across disciplines and, therefore, a problem case usually includes issues relating topopulation,behavioral and thelife sciences, as well as the clinical sciences.

전형적으로, 집중적인 소그룹 튜토리얼은 "그룹을 위한 지적 및 대인관계 프로세스를 촉진하는" 역할을 하는 튜터(또는 촉진자) 교사와 함께 PBL 과정의 instruction을 전달하기 위해 사용된다. [8] PBL 튜토리얼은 보통 약 2시간의 세션으로 구성되며, 각 세션은 각 문제 사례에 할애되며, 정보 검색 및 수집을 위해 약 4-5일의 자체 학습 기간이 주어진다. 자율학습 기간은 학생들이 자기주도학습[6,7]을 수행할 수 있는 기회를 만들어 평생 지속적 자기교육을 위한 확고한 기반을 마련한다.
Typically, intensive small-group tutorials are used for the delivery of instruction in the PBL process with the teacher serving as the tutor (orfacilitator) whose role it is“to expedite the intellectual and interpersonal process for the group”[8]. The PBL tutorials usually consist of two sessions of about 2 hours, each devoted to each problem case, with an intervening self-study period of about 4–5 days for information searching and gathering. The self-study period creates opportunities for students to undertake self-directed learning[6,7] and, therefore, laying a firm foundation for lifelong continuing self-education.


각 튜토리얼 세션에는 "구체적인 프로세스, 목표 및 결과"가 있습니다 [6]. 첫 번째 튜토리얼(자습 세션 1)은 주로 다음과 같은 브레인스토밍으로 구성됩니다.
Each tutorial session has its “specific process, goals and outcomes”[6]. The first tutorial (tutorial session 1) consists mainly of brainstorming as follows:

• 그룹 구성원의 [문제 사례 제시]

• 문제 사례의 사실 검토를 통한 [문제 분석]

• 사례의 다양한 측면을 설명하기 위한 아이디어를 개발하기 위한 [가설 생성]

• 생성된 가설을 반박하거나 확인하기 위해 학습해야 하는 콘텐츠 지식의 식별을 안내하는 [학습 문제의 공식화(학습 목표)]

• 사례와 관련된 정보를 검색하고 수집할 수 있는 [적절한 학습 리소스(예: 교과서, 인터넷 또는 전문 지식)의 식별]

• 그룹 구성원에게 공식화된 학습 문제와 관련된 정보를 검색하는 [과제 할당]

• Presentation of the problem-case by a member of the group

• Problem analysis through reviewing the facts of the problem case

• Hypothesis generation to develop ideas to explain various aspects of the case

• Formulation of learning issues (learning objectives) to guide identification of the content knowledge that needs to be learned in order to either refute or confirm any hypothesis generated and, thus, to have a better understanding of the case

• Identifying the appropriate learning resources (e.g. textbooks, internet, or professional expertise) from which to search for and gather information relevant to the case

• Assigning tasks to group members to search for information related to the learning issues formulated

따라서 튜토리얼 세션 1은 주로 문제 분석을 통해 사례의 사실을 확인하고, 사례에 대한 가설(아이디어)을 생성하고, 사례를 설명하거나 해결하는 데 필요한 관련 학습을 안내하는 학습 문제를 공식화하고, 정보 검색 및 수집을 위한 학습 자원을 식별하는 것을 목표로 한다.
Tutorial session 1 is, therefore, primarily aimed at identifying the facts of the case through problem analysis, generating hypotheses (ideas) about the case, formulating learning issues to guide relevant learning that is required to explain or resolve the case, and identifying the learning resources for information search and gathering.


두 번째 튜토리얼(세션 2)에서 학생들은 자율 학습 기간이 끝난 후 각 그룹에 다시 모여 다음을 수행합니다.
In the second tutorial (session 2), the students reconvene in their respective groups after the self-study period to perform the following:

• 그룹 구성원이 획득한 새로운 지식 및 정보(새로운 증거)의 [공유 및 평가]

• 이용 가능한 새로운 증거를 고려하여 [문제를 재분석]

• 생성된 예비 가설의 [재구성 및 개선]

• 생성된 정제된 가설을 [통합하고 적용하여] 문제 사례와 관련된 주요 문제 설명

• [문제 해결]

• Share and evaluatethe new knowledge and information (new evidence) acquired by group members

• Reanalyze the problem in the light of new evidence available

• Reformulate and refine the preliminary hypotheses generated

• Integrate and apply the refined hypotheses generated to explain the key issues related to the problem case

• Resolve the problem case

따라서 튜토리얼 세션 2의 주된 목적은 문제 사례를 설명 및 해결하기 위해 얻은 새로운 증거를 재분석, 평가, 통합 및 적용하는 것이다.

The primary purpose of tutorial session 2 is, therefore, to reanalyze, evaluate, integrate and then apply the new evidence obtained to explain and/or to resolve the problem case.

PBL 자습서 프로세스의 역학
DYNAMICS OF THE PBL TUTORIAL PROCESS

"…목적이 비판적 사고… 또는 문제 해결… 그리고 발견을 위한 민감성, 협력 및 열정과 같은 자질의 개발일 때, 토론 페다고는 상당한 이점을 제공합니다." [9].
“…when the objective is critical thinking…, or problemsolving…, and the development of qualities such as sensitivity, cooperation and zest for discovery, discussion pedagogy offers substantial advantages” [9].
 

PBL 튜토리얼 프로세스는 토론 페다고지를 이용한 상호작용적 교수 및 학습 원칙을 적용한다[9]. 소규모 그룹 학습 설계는 "공동 목표, 상호 보상, 공유 리소스 및 그룹 구성원 간의 상호 보완적 역할"로 특징지어지는 학생 중심적이고 협력적인 학습 기회를 창출합니다 [10].

The PBL tutorial process applies the principles of interactive teaching and learning using discussion pedagogy [9]. The small group learning design creates opportunities for student-centered and collaborative learning characterized by “…joint goals, mutual rewards, shared resources, and complementary roles among members of a group” [10].

이 과정은 기본적으로 학생들끼리 건설적인 대화에 참여하고 지도교사에 의해 촉진되는 학생들로 구성되는데, 주로 학생들이 아이디어와 이슈를 비판적으로 분석하고 토론하고 명확히 한 다음 상호 합의에 도달하여 문제를 설명하거나 해결하는 브레인스토밍을 통해 이루어진다. 따라서, PBL 튜토리얼 프로세스의 역학은 특히 학생들이 서로로부터 그리고 서로로부터 그리고 함께, 즉 "All teach All learn" 모드에서 가르치고 배우는 데 적극적으로 참여하는 것을 목표로 한다.
The process essentially consists of students engaged in constructive conversation among themselves and facilitated by their tutor, mainly through brainstorming in which students critically analyze, debate and clarify ideas and issues, and then mutually reach consensus to explain or resolve a problem. The dynamics of the PBL tutorial process is, therefore, specifically aimed at actively involving students in teaching and learning from and with one another, i.e. in peer teaching and learning in an “All teach All learn” mode.
 

따라서, PBL 튜토리얼 과정에서는, 학생들은 사회적 상호 작용을 통해 학습해야 하는 지식의 의미와 이해를 "이미 조직된 형태로 지식을 전달하는 것이 아니라…." [11] 동료 교육 및 학습은 그룹의 구성원들 사이에서 고차 인지 프로세스를 강화하기 위한 강력한 교육학적 전략으로 인정받고 있다. 이는 브룩필드[12]가 "…이러한 노력을 하려는 다른 그룹들에 의해 제공되는 [동료 지원peer support]은 비판적 사고 노력에 대한 강력한 심리적 밸러스트"라고 분명히 강조해 왔다.
Thus, in the PBL tutorial process, students learn through social interaction in which they are required to co-construct their own meaning and understanding of knowledge that needs to be learned, “…rather than having knowledge delivered to them in already organized form” [11]. Peer teaching and learning is recognized as a powerful pedagogical strategy to enhance higher-order cognitive processes among members of a group. This has been clearly emphasized by Brookfield [12] in his statement “…the peer support provided by a group of others also trying to do this is a powerful psychological ballast to critical thinking efforts.”

더욱이, 아베크롬비[13]에 따르면, 그러한 논의 교육학은 임상적 판단을 촉진하고, 그는 다음과 같이 분명하게 표현했다. "그룹별로 토론하는 것은 실제 사물에 대한 테스트가 [보는 것seeing]에 어떤 역할을 하는지 생각하는 데 도움이 됩니다. 전통적인 학생-교사 관계에서처럼 의심받지 않는 권위의 진술과 대조해 우리 자신의 실수를 보는 대신, 우리는 동일한 자극 패턴에 대한 다양한 해석을 보게 되며, 각각의 유용성은 그 자체로 시험되어야 한다고 말했다. 

Furthermore, according to Abercrombie [13], such discussion pedagogy promotes clinical judgment, and he has clearly expressed that “Discussion in a group does for thinking what testing on real objects does for seeing… Instead of seeing our own mistakes by contrast with the statements of an unquestioned authority, as in the traditional pupil-teacher relationship, we see a variety of interpretations of the same stimulus pattern, and the usefulness of each must be tested in its own right.”
 

피드백 제공 및 수신
Providing and receiving feedback

PBL에서 중요한 관행은 개인교사와 학생이 각 개인교습 세션이 [끝날 무렵에 약 10-15분을 할애하여 서로 피드백]을 제공하고 받는 것이다. 이것은 자기 자신의 행동이 다른 사람과 그룹 기능에 미치는 영향을 포함하여 자습서에서 과제의 그룹 성과와 개인 성과를 향상 또는 억제하는 요소에 초점을 맞춘다. 그러한 정기적인 피드백 세션은 학생들의 성찰적 학습의 발전을 촉진하고, 결과적으로 자기 주도적 교정 조치(즉, 메타 인식)로 이어지는 더 큰 자아 인식의 개발에 도움이 될 것으로 기대된다. 따라서, 학생들은 주어진 학습 영역에 대한 자신의 강점과 한계에 대한 개인적인 통찰력을 개발할 수 있다. Halpern[14]과 Maudsley and Strivens[15]에 따르면, 그러한 자기 인식(메타 인식)은 비판적인 사상가들의 중요한 속성이다.

An important practice in PBL is for tutors and students to devote about 10–15 minutes near the end of each tutorial session to provide and receive feedback from each other. This focusing on what factors enhanced or inhibited group achievements of tasks and individual performance in tutorials, including the perceived impact of one’s own behavior on others and on group functioning. It is expected that such regular feedback sessions help nurture the development of reflective learning in students and, consequently, the development of greater self-awareness leading to selfinitiated remedial action (i.e. metacognition). Thus, students can develop personal insights of their strengths and limitations with respect to a given area of learning. According to Halpern [14] and Maudsley and Strivens [15], such self-awareness (metacognition) is an important attribute of critical thinkers.

PBL: 그것의 관행을 지지하는 어떤 이론이 있나요?
PBL: ARE THERE ANY THEORIES SUPPORTING ITS PRACTICE?

맥락 학습 이론은 종종 Boud와 Feletti에 의해 강조되어 온 PBL의 주요 이론적 토대로서 주장되어 왔다. [4]: "문제 기반 학습은 학생들이 [적극적으로 참여]하고 지식을 [사용해야 할 맥락]에서 배울 때 가장 효과적이라는 믿음에 기초한다." 그러나 알바니아[10]에 따르면, 다음과 같은 PBL 전략에 대한 강력한 지원을 제공하는 다른 이론적 토대가 있다.
The Contextual Learning Theory has often been advocated as the main theoretical underpinning for PBL, which has been highlighted by Boud and Feletti [4]: “problem-based learning is grounded in the belief that learning is most effective when students are actively involved and learn in the context in which knowledge is to be used.” However, according to Albanese [10], there are also other theoretical underpinnings, which provide stronger support for the PBL strategy, including:
 

• 정보 처리 이론: 사전 지식 활성화, 인코딩 특정성(즉, 컨텍스트에서의 학습) 및 지식 상세화(즉, 활발한 토론을 위한 기회 창출)와 관련

• 협력적 학습 이론: 협력적 소그룹 학습 프로세스와 관련

• 자기 결정 이론: 학습의 외부 및 내부 동기와 관련

• 통제 이론 (인간의 행동) : 소속감, 사랑, 힘, 자유, 재미를 포함한 생존에 대한 기본적인 욕구를 충족시킴으로써 인간의 행동에 영향을 미치는 것과 관련된다.

• Information processing theory: relating to prior knowledge activation, encoding specificity (i.e. learning in context), and knowledge elaboration (i.e. creating opportunities for active discussion)

• Cooperative learning theory: relating to the process of collaborative small group learning

• Self-determination theory: relating to external and internal motivators of learning

• Control theory (of human behavior): relating to influencing human behavior (including the desire to learn) through satisfying one’s basic needs for survival, including belonging, love, power, freedom, and fun.

PBL: 몇 가지 문제, 과제, 기회
PBL: SOME ISSUES, CHALLENGES, OPPORTUNITIES

의료 전문가의 교육을 책임지고 학생들을 위한 학습 방법으로 PBL을 구현하는 것을 고려하고 있는 모든 기관은 교육학적 전략으로서 PBL의 강점과 한계를 명확히 이해해야 한다. 이 섹션에서는 PBL의 실행과 관련된 문제, 과제 및 기회에 대한 몇 가지 통찰력을 제공합니다. 이러한 것들이 교육과정 기획자와 개발자들의 의사 결정에 도움이 되기를 바란다.

Any institution responsible for the education of healthcare professionals and contemplating implementing PBL as a way of learning for their students must have a clear understanding of the strengths and limitations of PBL as a pedagogical strategy. This section will provide some insights on the issues, challenges, and opportunities associated with the practice of PBL. These will hopefully guide curriculum planners and developers in their decision-making.

커리큘럼 선택사항
Curriculum options

PBL은 20세기의 고도로 교사 지향적이고 강의 기반이며 분야별 커리큘럼의 경우와 마찬가지로 의료 전문가 교육을 위한 전체(또는 거의 전체) 커리큘럼이 PBL을 통해 설계되고 전달되는 전체(완전 또는 혈통) 커리큘럼으로 구현될 수 있다. 암스트롱은 "모든 강의를 토론 그룹이나 튜토리얼로 대체하는 것은 단지 한 쪽 편파적인 시스템을 다른 편파적인 시스템으로 대체하는 것"이라고 경고했기 때문에 이미 이 문제에 관심을 끌었다. [16]. 학생들이 다양한 학습 스타일을 가지고 있으며, PBL을 통해 학습하는 한 가지 방법만을 제공하는 것이 일부 학생들에게 불리할 수 있다는 것도 잘 알려져 있다. 여러 기관은 다른 학습 전략(예: 강의, 실습 수업)과 결합된 하이브리드 커리큘럼으로 PBL을 성공적으로 구현했다. 암스트롱은 사실 "하이브리드들은 보통 힘과 적응력을 보여준다"고 주장해왔다. [16].

PBL can be implemented as a full (complete or pedigree) curriculum in which the entire (or almost entire) curriculum for the education of healthcare professionals is designed and delivered through PBL, just as in the case of the highly teacher-directed, lecture-based and discipline-specific curriculum of the 20th century. Armstrong has already drawn attention to this issue, as she cautioned “replacing all lectures with discussion groups or tutorials would merely substitute one lop-sided system with another” [16]. It is also well recognized that students have a diversity of learning styles and offering only one way of learning through PBL may disadvantage some students. Several institutions have successfully implemented PBL as a hybrid curriculum combined with other learning strategies (e.g. lectures, practical classes). Armstrong has, in fact, made the point that “hybrids usually display strength and adaptability” [16].

PBL 구현
Implementation of PBL

특히 학생 교육에 있어서 20세기의 전통적인 교육과정에 이미 깊이 자리 잡고 빠져 있는 기관들에서, PBL의 실행에 있어서 신중하고 전략적인 계획이 요구된다. 다음 사항에 주의를 기울일 필요가 있다
Careful and strategic planning is required in the implementation of PBL, especially in institutions that have already been deeply entrenched and entrapped in a traditional 20th century curriculum in the education of students. Paying attention to the following will pay dividends:  

• PBL 커리큘럼을 설계하기 전에 PBL의 실무와 철학을 포함한 기본 교칙을 명확히 이해한다.

• PBL 구현이 어려운 작업이 될 수 있으므로 계획 및 개발에 대한 깊은 약속 보장

• 기초과학 위원 및 임상의원을 포함한 다양한 분야의 위원으로 구성된 PBL 위원회 구성

• 실행 전에 학생과 교사가 중요한 사고방식을 바꿀 수 있도록 준비합니다. 이는 부담스러운 작업일 수 있습니다. 무어는 이미 하버드 의과대학의 경험에서 "계획 과정 중에 상당한 저항, 회의, 노골적인 적대감이 나타났다"고 경고했다. [17]. 따라서, 학생과 교사가 PBL 과정에서 새로운 역할을 할 수 있도록 준비하기 위해 특정한 훈련과 교수진 개발 프로그램이 마련되어야 한다.

• Have a clear understanding of the basic tenets of PBL, including its practice and philosophy, before attempting to design a PBL curriculum

• Ensure a deep commitment to planning and development as implementing PBL can be a daunting task

• Form a PBL committee consisting of members from various disciplines, including members from the basic sciences as well as clinicians

• Prepare students and teachers for a significant mindset change prior to implementation; this can be an onerous task. Moore has already cautioned that, in the experience of Harvard Medical School, “considerable resistance, skepticism and outright hostility emerged during the planning process” [17]. Thus, specific training and faculty development programs must be organized to prepare students and teachers for their new roles in the PBL process.

PBL 튜터
The PBL tutor

"문제 기반 학습(PBL) 튜터는 PBL에서 가장 중요한 요소 중 하나입니다." [18].
“The problem-based learning (PBL) tutor is one of the most important elements in PBL” [18].

PBL 튜토리얼의 성패는 종종 PBL 튜터의 헌신과 튜터링 기술에 의해 결정된다. 뇌파를 움직이게 하고, 따라서 토론의 맥박과 톤을 조절하는 것은 튜터이다. 실제로 지도교사의 열정은 학습 과정의 촉진자 역할에서 지도교사의 열정을 반영하는 경우가 많기 때문에, 지도교사는 대개 '거울 효과'를 만들어낸다[8]. PBL 강사의 역할과 관련된 몇 가지 중요한 문제가 있는데, 여기에는 강사가 전문가가 되어야 하는지 아니면 다른 사람이 되어야 하는지 등이 포함된다. 따라서 PBL을 구현하고자 하는 기관은 "교사의 선택과 훈련… PBL의 중요한 구성요소"에 특히 주의를 기울여야 한다[18,19]. 몇몇 학자들은 PBL 강사의 역할과 선택에 대한 주장을 다루었으며, 이슈에 대한 많은 통찰력을 제공했다 [18–22].

The success or failure of PBL tutorials is often determined by the commitment and tutoring skills of the PBL tutor. It is the tutor who sets the brainwaves in motion and, therefore, the pulse and tone of discussions. In fact, the tutor usually creates a “mirror effect”, because the enthusiasm of students in tutorials often reflects the enthusiasm of the tutor in his/ her role as the facilitator of the learning process [8]. There are several important issues relating to the role of PBL tutors, including whether tutors should be experts or otherwise. Institutions intending to implement PBL must therefore pay particular attention to the “selection and training of tutors… a critical component of PBL.” [18,19]. Several scholars have addressed the arguments over the role and choice of PBL tutors and have provided much insight on the issues [18–22].  

인력지원 등 물류
Logistics, including manpower support

PBL은 광범위한 물류 지원이 필요한 고도로 자원 집약적인 교육 전략임을 인식하는 것이 중요하다. 여기에는 

• 잘 훈련되고 헌신적인 교사의 가용성 및
• 숙련되고 헌신적인 사례 작성자의 지원
• 신체적, 기술적 지원의 관점에서 볼 때론
• 적절한 튜토리얼 강의실의 가용성을 고려해야 합니다(특히 학생 수가 많을 경우).
• 적절한 기술 자원(예: 인터넷 시설)의 가용성뿐만 아니라.

It is important to appreciate that PBL is a highly resource-intensive educational strategy requiring a large range of logistical support. This includes:

the availability of well-trained and committed tutors and
the support of skilful and dedicated case writers;
from the viewpoint of physical and technical support,
one needs to consider the availability of suitable tutorial rooms (particularly when student numbers are large),
as well as the availability of appropriate technological resources (e.g. internet facilities).

지속적인 PBL 프로그램 유지
Sustaining ongoing PBL programs

기관에서 PBL의 성공적인 구현을 보장하는 것은 중요할 뿐만 아니라 지속적인 성공적인 프로그램이 유지될 수 있도록 보장해야 한다. 따라서, 학생과 지도 교사로부터 정기적인 피드백을 얻는 것은 새로 발생하는 문제를 조기에 식별하고 필요하다고 판단될 때 취해야 할 교정 조치를 위해 중요하다. PBL의 관행을 지속시키기 위해 새로운 학생 및 교사를 위한 지속적인 훈련도 포함되어야 한다.
Not only is it important to ensure the successful implementation of PBL in an institution, but one also has to ensure that an ongoing successful program can be sustained. Thus, obtaining regular feedback from students and their tutors is critical to identify emerging problems early, and for remedial action to be taken when deemed necessary. Ongoing training for new cohorts of students and teachers should also be included to help sustain the practice of PBL.

문화와 학문
Culture and learning

PBL의 기본 교리는 PBL 튜터리얼에서 공개적 토론 스타일을 필요로 하지만, 이는 좀 더 내성적인 아시아 통신 스타일과 상충될 수 있다. 비록 아시아적인 의사소통 방식이 장벽이 될 수 있고, 따라서 PBL에서의 학습에 장애가 될 수 있지만, 교사와 학생들이 PBL 과정의 역학을 알고 명확하게 이해한다면, 그것은 PBL에서의 학생 학습을 극복할 수 있고, 결과적으로 강화시킬 수 있는 문제이다. 또 다른 관련 이슈는 언어의 문제이다. 아시아의 많은 고등 교육 기관들은 비록 많은 학생들이 영어가 모국어도 아니기 때문에 영어에 능숙하지 않지만 PBL 자습서에서 영어를 사용하는 것을 선호하고 기대하고 있다. Gwee는 이미 이전 출판물에서 이러한 문제를 다루었습니다 [23].
A basic tenet of PBL is the need for an open discussion style in PBL tutorials, but this may conflict with the more reserved Asian communication style. Although the Asian communication style can be a barrier and, therefore, a hindrance to learning in PBL, it is a problem that can be overcome and, consequently, enhance student learning in PBL, if teachers and students are informed about and clearly understand the dynamics of the PBL process. Another related issue is that of language. Many higher education institutions in Asia now prefer and expect their students to use the English language in PBL tutorials, although many students lack proficiency in English, as it is neither their spoken nor national language. Gwee has already addressed these issues in a previous publication [23].

PBL: 이름은 같지만 게임은 다릅니다.
PBL: same name but different game

"…PBL은 매우 다른 방식으로 해석됩니다. 현재 PBL의 실행은 많은 다른 전략으로 특징지어진다. 한 PBL 기관의 연구 결과가 해당되지 않거나 문제 기반 접근방식을 채택한 다른 기관과 관련이 없을 수 있기 때문에 이러한 다양성은 평가와 연구에 중요한 영향을 미친다." [24].
“…PBL is interpreted in widely different ways. PBL in action is currently characterized by many different strategies. This variety has important consequences for evaluation and research since findings from one PBL institution may not be applicable or relevant to another also employing the problem-based approach” [24].

PBL은 이제 전 세계로 광범위하게 퍼져나갔고, 의학 및 다른 보건 과학 커리큘럼의 원래 한계를 넘어 다른 많은 분야로 퍼져나갔다. [25,26] 아시아의 의료 교육자들은 1990년대 중반부터 PBL을 적극적으로 채택하고 구현하기 시작했습니다 [23]. 21세기 학생들을 위한 적극적인 학습 전략으로 수많은 학문 분야와 기관에 의한 PBL의 채택은 실제로 개인 요건에 맞게 적응하도록 이끌었다. 결과적으로, 현재 서로뿐만 아니라 원래의 맥마스터 모델과는 상당히 다른 많은 다른 버전의 PBL이 존재한다. 따라서 서로 다른 기관의 PBL 실무자들이 보고한 결과 연구의 결과를 비교하면 심각한 어려움이 발생할 수 있으며 그러한 연구의 결과 해석에 많은 혼란을 초래할 수 있다[24,27,28].
PBL has now spread widely across the globe, and beyond the original confines of medicine and other health sciences curricula into many other disciplines [25,26]. Asian healthcare educators started adopting and implementing PBL with much vigor in the mid- 1990s [23]. The adoption of PBL, as an active learning strategy for students in the 21st century, by so many disciplines and institutions, led to its adaptation to suit individual requirements in practice. As a consequence, there are now many different versions of PBL which may differ quite considerably from the original McMaster model, as well as from each other. Comparisons of the results of outcome studies reported by PBL practitioners in different institutions can therefore pose serious difficulties and cause much confusion in the interpretation of the results from such studies [24,27,28].

PBL: 평가의 필요성
PBL: the need for assessment

"[설계할 필요가 있다] …PBL 원칙을 존중하고 신뢰할 수 있고 유효하며 [학생 학습에] 부정적인 조향 효과가 없는 평가 계획" [29].
“[There is a need to design] …an assessment plan that respects PBL principles, is reliable and valid, and has no negative steering effect [on student learning]” [29].

모든 교육자는 평가가 학생 학습에 미치는 영향과 "평가가 학습을 주도한다"는 일반적인 격언을 알고 있습니다. 또한 "학생들은 여러분이 기대하는 것을 존중하지 않고, 여러분이 조사하는 것을 존중한다"고 강조되어 왔다. 이러한 맥락에서 평가는 PBL 커리큘럼의 진행 중인 부분ongoing part이 되어야 한다. 
All educators are aware of the steering effect of assessment on student learning and the common adage that “assessment drives learning”. It has also been emphasized that“students don’t respect what you expect, they respect what you inspect”! In this context then, it is imperative to ensure that assessment must also be an ongoing part of any PBL curriculum.

첫째, 고차 사고 능력과 문제 해결 능력의 시험을 통합한 임상, 시나리오 기반 다중 선택 질문 유형이 목적에 적합한 학생에 의한 지식 습득(즉, 학습의 인지 영역 평가)이 필요하다. "…우리는 분명히 객관식 문제를 중요하게 생각합니다." [30,31]. 문제 해결 능력은 문제 해결 과정에서 검색을 용이하게 하기 위해 사실 지식을 구성, 맥락화 및 개념 프레임워크로 구성하는 방법에 따라 좌우된다는 점에서 적절하고 관련 있는 지식 기반을 갖는데 크게 좌우된다는 점에 유의해야 한다[30].

First, there is a need to assess knowledge acquisition by students (i.e. assessing the cognitive domain of learning) for which a clinical, scenario-based, multiple choice question type, which incorporates testing of higher-order thinking skillsand problem-solving skills would serve the purpose:“…we are unequivocally on the side of multiple-choice questions”[30,31]. It should be noted that the problem-solving ability is highly dependent on having an adequate and relevant knowledge base, in the sense that it is dependent on how factual knowledge is constructed, contextualized and organized into a conceptual framework to facilitate retrieval in the problem-solving process [30].


PBL의 평가는 단순한 인지 학습 테스트 이상의 것이어야 한다. 또한 PBL 커리큘럼의 부가 가치 결과인 정서적(태도) 영역에서 학습 결과의 평가를 포함해야 한다. 이러한 평가는 가능한 한 정확하게 주어진 상황이나 상황 또는 실제 작업 환경에서 관찰된 특정 행동과 태도에 대한 문서화를 포함해야 한다. 튜토리얼 종료 피드백 세션(셀프-피어-튜터)은 유용하고 비공식적인(형식적인) 평가 절차의 역할을 하며, 대인관계, 커뮤니케이션 및 팀워크(그룹) 기술과 관련된 특정 항목에 대한 더 공식적인(보완적인) 자아, 동료 및/또는 튜터 등급을 필요로 한다. 학습의 정서적 영역에서 그러한 평가의 주요한 한계는 본질적으로 심리학적 신뢰성과 타당성이 결여될 수 있다는 것이다. 따라서 엄격한 평가 전략의 설계 및 선택과 해당 평가에서 관련 시험 항목의 공식화에 각별한 주의를 기울여야 한다 [32].

Assessment in PBL must go beyond just testing cognitive learning—it must also include the assessment of learning outcomes in the affective (attitudes) domain, a value-added outcome of the PBL curriculum. Such assessment will need to involve, as precisely as feasible, documentation of specified observed behaviors and attitudes in a given situation or context, or in the actual work environment. The end-of-tutorial feedback session (self–peers–tutor) serves as a useful and informal (formative) assessment procedure, often with the need for more formal (summative) self, peer and/or tutor ratings on specific items relating to, for example, interpersonal, communication and team-work (group) skills. A major limitation of such assessment in the affective domain of learning is that they may inherently lack psychometric reliability and validity. Special attention must therefore be paid to the design and selection of a rigorous assessment strategy together with the formulation of relevant test items in such assessment [32].

투자수익률
Returns on investment

특히 PBL이 고도로 자원 집약적인 교육 전략이라는 관점에서 PBL로부터의 투자 수익은 상당히 논쟁적인 문제가 될 수 있다. (문헌에서 입증한) 실제 교육 결과와 (설계 원칙에서 의도한 대로), 이론적 고려에 기초한 기대 결과)를 비교함으로써 이 문제를 검토하는 것이 최선일 수 있다. PBL은 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 하기 때문에 많은 교육자들은 PBL의 교육 결과에 큰 기대를 걸고 있다. 따라서 PBL의 교육 성과는 단순한 지식 획득을 넘어설 것으로 예상된다. PBL은 대인관계, 커뮤니케이션, 팀워크, 리더십 등 정서적인 학습 영역의 '부드러운' 기술뿐만 아니라 비판적 사고와 추론의 고차원의 인지 능력, 문제 해결 능력을 포함한 보다 지속적인 교육 과정과 삶의 기술을 학생들에게 제공할 것으로 기대할 수 있다.

The returns on investment from PBL can be quite a contentious issue, especially in view of PBL being a highly resource-intensive educational strategy to implement. Perhaps it is best to review this issue through a comparison of the actual educational outcomes (as substantiated in the literature) with the expected educational outcomes (as intended in the design principles, i.e. the expected outcomes based on theoretical considerations). Many educators have great expectations of the educational outcomes from PBL because it is aimed at enhancing and optimizing learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Educational outcomes from PBL are therefore expected to go beyond just knowledge acquisition. PBL can be expected to equip students with a more enduring educational process and life skills, including the higher-order cognitive skills of critical thinking and reasoning, and problem-solving, as well as “soft” skills in the affective domain of learning such as interpersonal, communication, team-work, and leadership.

그러나, 문헌의 검토는 PBL의 실제(문학에서 보고된 바와 같이) 교육 결과와 예상(사용된 교육 전략에 근거) 교육 결과 사이에 불일치가 있음을 강력히 시사한다. 실제로 과거의 여러 연구는 학생들이 고차적 사고를 위해 시험받는 경우에도, 전통적인 접근법의 학생과 PBL 커리큘럼의 학생 사이에 일반적으로 [지식 습득 및 임상 기술 차이가 거의 없거나 전혀 없다]고 결론지었다 [33]. 그의 사설에서 노먼은 이 문제에 대한 비판적이고 훌륭한 개요를 제공했는데, 특히 "…개념이 어떻게 학습되는가"와 관련하여 "……PBL을 넘어설 수 있는 것"에 관심을 끌었다. 그럼에도 불구하고, Norman은 "해결책은 전통적인 학문적 교육과정으로의 복귀를 옹호하는 것이 아니다"라고 분명히 말했다. [34]. 그러나, 알바니아어 진술에서 증명된 바와 같이, 학생 대인관계 기술의 습득과 PBL 커리큘럼을 통한 학습의 즐거움은 잘 문서화되어 있다. "PBL에 의해 지식 습득과 임상 능력이 향상되지 않더라도 PBL과 함께 꾸준히 발굴해 온 학생과 교직원의 업무 환경 강화가 가치 있는 목표이다."

However, a review of the literature strongly suggests that there is a mismatch between the actual (as reported in literature) and expected (based on educational strategies used) educational outcomes from PBL. In fact, several studies in the past have concluded that there is generally little or no difference in knowledge acquisition and clinical skills between students from traditional approaches and those from PBL curricula, even when students are tested for higher-order thinking [33]. In his editorial, Norman provided a critical and excellent overview on this issue [34], in particular drawing attention to “…what may lie beyond PBL” with respect to “…how concepts are learned”. Nevertheless, Norman clearly stated that “the solution is not advocacy of return to a traditional, discipline oriented curriculum” [34]. However, student acquisition of interpersonal skills and the joy of learning from a PBL curriculum are well documented, as attested to in the statement of Albanese: “Even if knowledge acquisition and clinical skills are not improved by PBL, the enhanced work environment for students and faculty that has been consistently found with PBL is a worthwhile goal” [35].

• 주목할 점은 고씨 등이 "…의대 문제 기반 학습이 졸업 후 의사 역량에 미치는 영향에 대한 증거"[36]를 검색한 최근의 체계적인 검토가 이루어졌다는 점이다. 저자들은 "…의대 시절 PBL은 주로 사회적, 인지적 차원에서 졸업 후 의사 역량에 긍정적인 영향을 미친다"고 결론지었다.
• 노먼은 고 씨와 그의 동료들의 연구에 대한 논평에서 "우리는 수년간 문제 기반 학습의 상대적 장점과 약점에 대한 논쟁을 견뎌왔다. 이제 이 방법이 중요하다는 좋은 증거가 있습니다. 다음 단계는 이 방법이 왜 효과가 있는지 결정하는 것입니다." [37]
• 마찬가지로, Wood는 "리뷰는 (대부분의 교육자들이 기존의 학습과 비교하여) 문제 기반 학습이 학부 의학적 교육의 일부 심리학적 결과에 일부 유익한 영향을 미친다는 (수백 개의 덜 엄격한 보고서에 기초하여) 믿음을 확인시켜 준다"고 표현했다. [38]

It is noteworthy that a more recent systematic review was undertaken by Koh et al in which they searched for “…evidence of the effects that problem-based learning in medical school had on physician competencies after graduation” [36]. The authors concluded that PBL “…during medical school has positive effects on physician competency after graduation, mainly in social and cognitive dimensions.”

In his commentary on the work of Koh and his colleagues, Norman expressed that, “For years we have endured debate about the relative merits and weaknesses of problem-based learning. Now there is good evidence that the method delivers on some very important issues. The next step is to determine why the method works.” [37].

Similarly, Wood expressed “The review confirms what most educators have come to believe on the basis of hundreds of less rigorous reports that, compared with traditional learning, problem-based learning has some beneficial effects on some psychosocial outcomes of undergraduate medical education” [38].

과제들
Challenges

PBL은 여러 학습 원리를 결합한 전략적 학습 시스템 설계를 나타내며 교육 이론과 원칙에 의해 강하게 뒷받침되지만 [10] 돌맨스 외 연구진도 "…교육 실무에서 너무 지시적인 교사, 너무 잘 구조화된 문제, 그리고 제대로 작동하지 않는 그룹 등과 같은 문제에 직면하는 경우가 많다"고 지적했다. [39]. 따라서, PBL의 성공적인 구현에 대한 가장 큰 과제는 21세기 의료 전문가 교육에 유익한 결과를 가져오는 일관된 실천으로 PBL의 핵심 학습 원칙을 성공적으로 결합하는 최선의 방법이다. (위에서 논의한 바와 같이) PBL의 실무에 영향을 미치는 중요한 문제는 이러한 맥락에서 몇 가지 지침을 제공해야 한다.
Although PBL represents a strategic learning system design which combines several learning principles and is strongly underpinned by educational theories and principles [10], Dolmans et al also pointed out that “…in educational practice, problems are often encountered, such as tutors who are too directive, problems that are too well structured, and dysfunctional tutorial groups”[39]. Thus, the greatest challenge to the successful implementation of PBL is how best to successfully combine the key learning principles of PBL into a coherent practice which would result in beneficial outcomes in the education of healthcare professionals in the 21stcentury. Important issues, which impact on the practice of PBL (as discussed above), should provide some guidance in this context.

Wood[38]는 훨씬 더 근본적인 문제를 제기하였다. Wood가 제기한 과제는 다음과 같다: "소통 기술과 심리사회적 영역에서 가르치고 배우는 것은 여러 가지 방법으로 달성될 수 있으며, [적시에 건설적인 피드백과 함께 소규모 그룹으로 일하는 것]은 [문제 기반 학습]만큼 효과적일 수 있습니다." [38]. 그렇다면, 문제는, 우리가 [여전히 정서적 영역에서 학생 학습을 육성하기 위해 PBL 전략을 채택하고 구현할 필요가 있는가] 하는 것이다.

Wood [38] has raised an even more fundamental issue. The challenge posed by Wood is in her statement: “Teaching and learning in communication skills and the psychosocial domains can be achieved in many ways, and working in small groups—coupled with timely and constructive feedback—may be just as effective as problem-based learning” [38]. The question is, then, do we still need to adopt and implement a PBL strategy to nurture student learning in the affective domain?

기회
Opportunities

"21세기에 필요한 대학을 만들기 위해서는… 우리는 의식적으로 교육 패러다임을 거부하고 학습 패러다임에 기초하여 우리가 하는 일을 재구성해야 한다." [41]
“To build the colleges we need for the 21st century… we must consciously reject the Instruction Paradigm and restructure what we do on the basis of the learning paradigm” [41].

"[의대] 학교는 관심 있는 교수진의 긴밀한 지도 아래 능동적이고 자기 주도적인 학습을 경험의 핵심으로 만드는 진정한 학습자 중심의 환경을 아직 만들지 못했습니다." [42].

“[Medical] Schools have yet to create a truly learnercentered environment that makes active, self-directed learning under the close tutelage of interested faculty members the core of the experience” [42].

교육 패러다임의 큰 전환이 필요하다는 데 전통적인 교사 주도형 교육에서 학생 중심의 학습으로 전 세계적인 공감대가 형성되고 있다. 주요 패러다임의 변화는 학생들이 21세기에 세계화된 지식 기반 경제의 요구와 과제를 충족시킬 수 있는 더 나은 교육 준비를 제공할 것으로 기대됩니다 [41,42]. 이러한 맥락에서, PBL은 거의 40년 동안 시간의 시험을 견뎌온 고도로 학생 중심적인 학습 패러다임을 나타내며, 여전히 전 세계로 널리 퍼지고 있다(일부 비판에도 불구하고). [22]. 이 기간 동안 지속된 다른 교육 혁신은 없는 것으로 알려졌다.
There is now global consensus on the need for a major shift in the educational paradigm, from the traditional teacher-directed instruction to more student-centered learning. The major paradigm shift is expected to provide better educational preparation for students to meet the demands and challenges of a globalized knowledge-based economy in the 21stcentury [41,42]. In this context then, PBL represents a highly student-centered learning paradigm that has stood the test of time for almost four decades now, and is still spreading widely across the globe (some criticisms notwithstanding) [22]. No other educational innovation is known to have lasted this period of time.


따라서, PBL은 의료 전문가 및 학생의 교육자에게 학생의 학습 성과와 학습 과정에 대한 학생의 적극적인 참여에 중점을 두고 교육을 설계하고 전달할 수 있는 훌륭한 기회를 제공합니다. 또한, 전략적 학습 시스템 설계로서, PBL은 PBL에서 기대하는 학습 결과에 더 많은 교육적 가치를 더하는 협업, 상황별, 통합적, 자기 주도적 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 한다.

Therefore, PBL offers educators of healthcare professionals and students excellent opportunities to design and deliver instruction to their students with a primary focus on student learning outcomes and on active student participation in the learning process. Moreover, as a strategic learning system design, PBL is also aimed at enhancing and optimizing collaborative, contextual, integrated, self-directed, and reflective learning which add further educational value to the learning outcomes expected from PBL.

결론
CONCLUSION

"의학 교육의 중심 사명은 [의사가 제공하는 의료 서비스의 질을 향상시키는 것]입니다… 환자가 기술을 습득하는 가운데, 의사가 무엇을 하고, 어떻게, 언제 하는지는 의학교육의 질에 달려 있습니다. 우리는 이것을 제대로 해야 한다" [43].

“The central mission of medical education is to improve the quality of health care delivered by doctors… [with] patients as the recipients of our skills… what doctors do, and how and when they do it, depends on the quality of medical education. We need to get it right” [43].

PBL은 본질적으로 전통적인 교사 주도(교사 중심) 교육에서 학생 중심(학습자 중심) 학습으로 교육 패러다임의 큰 변화를 나타내는 전략적 학습 체계로, 21세기 학생들의 교육 준비에 더 적합하다고 여겨지는 패러다임이다. PBL의 구현은 매우 어려운 작업이 될 수 있다. PBL의 강점과 한계에 대한 명확한 이해뿐만 아니라 학생과 교사들의 사고방식에도 상당한 변화가 필요하다. [7,17,44] PBL의 시행은 특히 시행 초기에는 교사와 학생 모두에게 불편과 동요를 포함하여, 일부 어려움을 야기시킬 수 있으며, 그러한 기관들은 전통적인 교사 주도적이고 고도로 규율이 높은 특정 커리큘럼에 깊이 자리 잡고 관여할 수 있다.
PBL is essentially a strategic learning system which represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning, a paradigm considered more appropriate for the educational preparation of students in the 21stcentury. Implementation of PBL can be a tremendously daunting task: not only will it require a clear understanding of the strengths and limitations of PBL, but also a significant change in the mindsets of students and teachers [7,17,44]. Implementation of PBL is likely to cause some difficulties, including discomfort and agitation to both teachers and students, especially in the early phase of its implementation, and in those institutions deeply entrenched and entrapped in the traditional teacher-directed and highly disciplinespecific curriculum.


의료 전문가의 교육자로서, 학생들이 원하는 지식, 기술 및 미래의 전문적 실무에 대한 태도를 배우고 습득하는 것을 가장 잘 설계하고 전달하는 것은 우리의 책임입니다. 우리는 학생들을 육성하고 그들이 유능하고 배려하며 윤리적인 의료전문가가 되기 위해 원하는 "마음, 행동, 행동 습관"을 개발할 수 있도록 도와야 한다. PBL은 21세기의 학생 학습에 활력을 불어넣기 위해 보다 전체적인, 부가가치 및 양질의 교육을 제공할 수 있다. 의료 분야의 학생들에 대한 PBL의 혜택을 최적화하고 국가의 의료 향상에 기여하기 위해, 우리는 제대로 할 필요가 있다.
As educators of healthcare professionals, it is our responsibility to design and deliver instruction to our students which best enhances their learning and acquisition of desired knowledge, skills, and attitudes for their future professional practice. We should nurture our students and help them develop the desired “habits of mind, behavior and action”to become competent, caring, and ethical healthcare professionals. PBL can offer a more holistic, value-added and quality education to energize student learning in the 21stcentury. To optimize the benefits from PBL for students in the healthcare professions and to contribute to the improvement of the healthcare of a nation, we need to do it right.


만약 우리가 미래의 의료 전문가들을 가르치는 교육자로서 우리의 책임을 잘 완수하지 못한다면, 그것은 우리의 학생들뿐만 아니라 우리 사회와 우리 자신을 위해서도 끔찍한 결과를 초래하게 될 것이다: 에반스가 분명히 표현했다:

"어려움을 극복하는 것을 말하기는 쉽다. 하지만 우리는 노력을 해야 합니다. 그렇지 않으면 졸업생들은 우리의 지식만 갖고, 이해력은 거의 없고 응용, 분석, 합성, 평가 능력도 훨씬 더 떨어질 것이다. 우리가 학생들을 위한 학습 환경을 개선하기 위해 어떤 조치를 취할 수 있는가를 선택하지 않는다면, 그들의 잠재력은 부분적으로만 실현될 것이고, 우리 자신의 눈과 사회의 눈에 대한 우리의 지위는 줄어들 것이고, 궁극적으로는 사회 자체가 더 가난해질 것이다" [45].

If we fail to complete our responsibility well as educators of future healthcare professionals, it will result in dire consequences, not only for our students, but also for our society and for ourselves, as clearly expressed by Evans:

“overcoming difficulties is easier said than done. But we must make the effort, or graduates will leave our institutions full of knowledge, but with little comprehension and even less ability to apply, analyze, synthesize or evaluate. Unless we take what steps we can to improve the learning environment for our students, their potential will only be partly realized, our standing in our own eyes and in the eyes of society will be diminished and, ultimately, society itself will be the poorer” [45].

Kaohsiung J Med Sci. 2009 May;25(5):231-9.

 doi: 10.1016/S1607-551X(09)70067-1.

Problem-based learning: a strategic learning system design for the education of healthcare professionals in the 21st century

Matthew Choon-Eng Gwee 1

Affiliations collapse

Affiliation

• 1Department of Pharmacology, Yong Loo Lin School of Medicine, National University of Singapore, Singapore. phcmgce@nus.edu.sg

• PMID: 19502143

• DOI: 10.1016/S1607-551X(09)70067-1

Free article

Abstract

Problem-based learning (PBL) was first implemented by McMaster University medical school in 1969 as a radical, innovative, and alternative pathway to learning in medical education, thus setting a new educational trend. PBL has now spread widely across the globe and beyond the healthcare disciplines, and has prevailed for almost four decades. PBL is essentially a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. The design and delivery of instruction in PBL involve peer teaching and learning in small groups through the social construction of knowledge using a real-life problem case to trigger the learning process. Therefore, PBL represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning. PBL is firmly underpinned by several educational theories, but problems are often encountered in practice that can affect learning outcomes. Educators contemplating implementing PBL in their institutions should have a clear understanding of its basic tenets, its practice and its philosophy, as well as the issues, challenges, and opportunities associated with its implementation. Special attention should be paid to the training and selection of PBL tutors who have a critical role in the PBL process. Furthermore, a significant change in the mindsets of both students and teachers are required for the successful implementation of PBL. Thus, effective training programs for students and teachers must precede its implementation. PBL is a highly resource-intensive learning strategy and the returns on investment (i.e. the actual versus expected learning outcomes) should be carefully and critically appraised in the decision-making process. Implementation of PBL can be a daunting task and will require detailed and careful planning, together with a significant commitment on the part of educators given the responsibility to implement PBL in an institution. PBL can offer a more holistic, value-added, and quality education to energize student learning in the healthcare professions in the 21st century. Successful implementation of PBL can therefore help to nurture in students the development of desired "habits of mind, behavior, and action" to become the competent, caring, and ethical healthcare professionals of the 21st century. Thus, PBL can contribute to the improvement of the healthcare of a nation by healthcare professionals, but we need to do it right.