역량과 마일스톤 기반의, 교육 연속체의 경계를 잇기 위한 EPA 프레임워크 개발(Acad Med, 2017)

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum

Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Joseph Gilhooly, MD, Richard Mink, MD, MACM, Dena Hofkosh, MD, MEd, Michael A. Barone, MD, and Eric S. Holmboe,

ACGME(American Medical Colleges, AAMC)에 의한 성과 기반 학부 의료 교육(UME)의 기반으로서 ACGME(Accreditation Council for Council Education) 및 ABMS(American Board of Medical Specialties)의 6가지 핵심역량 채택, ACGME 및 FoABMS에 의한 인증(MOC)의 유지보수는 의학에서 학습과 평가의 원활한 연속성을 창출할 수 있는 전례 없는 기회를 제공했다.1–3

The adoption of the six core competencies of the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) as the foundation for outcomes-based undergraduate medical education (UME) by the Association of American Medical Colleges (AAMC), for graduate medical education (GME) by the ACGME, and for board certification as well as maintenance of certification (MOC) by the ABMS has provided an unprecedented opportunity to create a seamless continuum of learning and assessment in medicine.1–3

2005년 네덜란드에서 10개의 케이트6에 의해 처음 도입된 EPA는 UME와 GME 수준에서 의사 역량에 대한 의미 있는 평가를 위한 프레임워크로서 국제적으로 주목을 받고 있다.7–11 관측 가능한 작업의 측정 단위로서, EPA는 안전하고 효과적인 수행을 위해 역량 통합을 요구하는 특정 전문가 또는 하위 전문가의 중요한 일상 활동을 설명한다.

EPAs, first introduced by ten Cate6 in the Netherlands in 2005, are receiving increasing attention internationally as a framework for meaningful assessment of physician competence at both the UME and GME levels.7–11 As measureable units of observable work, EPAs describe important routine activities of a given specialist or subspecialist that require integration of competencies for safe and effective performance.

레지던트를 위한 전문 EPA가 개발되었으며, AAMC는 레지던트 수련 진입을 위한 핵심 EPA를 개발했다.7,9–11 수련 진입에 대한 핵심 EPA는 훈련생이 직접 감독 없이 레지던트 1일에 13개의 EPA를 수행할 수 있어야 한다는 기대를 세웠다.

Specialties have developed EPAs for residents, and the AAMC has developed Core EPAs for Entering Residency.7,9–11 The Core EPAs for Entering Residency set the expectation that trainees should be able to perform 13 EPAs on Day 1 of residency without direct supervision

소아과 커뮤니티는 EPA와 이정표의 두 가지 체계를 통합했다.14 이러한 통합은 UME에서 GME로, GME에서 실천으로 이어지는 교육 연속체 전반의 평가를 이끄는 경로를 제공한다.

The pediatrics community has integrated the two frameworks of EPAs and milestones.14 This integration provides a pathway that leads to assessment across the educational continuum from UME to GME and from GME to practice.

소아과 마일스톤 프로젝트

The Unfolding of the Pediatrics Milestone Project

2009년, ACGME와 미국소아학회(ABP)는 소아학계를 초청하여 소아학 이정표의 개발을 개시했다. 이 3년간의 노력의 지침 원칙, 과정 및 결과의 창조에 대해 이전에 설명한 바 있다.15 전체 소아과 이정표 문서는 학술 소아과 보충 자료로 발행된다.16

In 2009, the ACGME and the American Board of Pediatrics (ABP) invited the pediatrics community to initiate the development of the milestones for pediatrics. Creation of the guiding principles, process, and outcome of this three-year endeavor has previously been described.15 The full pediatrics milestone document is published as a supplement to Academic Pediatrics.16

요컨대 소아과 마일스톤는 초보 학습자(초기의 의대생)로 시작하여 연속체를 따라 진보된 초급자, 그 다음에는 유능한 학습자, 능숙한 학습자, 그리고 마지막으로 전문 학습자(수년간의 계획적 실습 후)로 나아가는 발달 연속체에 걸친 행동에 대한 서술이다. 역량(예: "환자에 대한 필수적이고 정확한 정보 수집")과 그에 따른 내러티브는 맥락에 독립적이므로 기술이 입증될 임상 환경이나 장차 만나게 될 환자의 복잡성까지 정의하지는 않는다.

In brief, the pediatrics milestones are narrative descriptions of behaviors across the developmental continuum beginning with a 

• novice learner (early medical student) and 

• progressing along the continuum to advanced beginner, 

• then to competent learner, 

• proficient learner, and, 

• finally, expert learner (after years of deliberate practice). 

The competencies (e.g., “gather essential and accurate information about the patient”) and thus their narratives are context independent and therefore do not define the complexity of the patient encounter or the clinical environment in which the skills will be demonstrated.

일반 소아과 EPA

Identifying General Pediatrics EPAs

EPA는 복수의 역량을 통합해야 하는 진료 제공에 집중함으로써, [임상의사가 평가하는 것]을 [실제 환경에서 수행하는 것]과 일치시켜 평가에 의미와 가치를 더한다.

By focusing on care delivery, which requires the integration of multiple competencies, EPAs align what clinicians assess with what they do in the authentic environment, adding meaning and value to assessment.

소아과 레지던트 대 실습 전환에 대한 바람직한 결과를 정의하는 17개 EPA의 마지막 첫 번째 반복은 차트 1과 2의 중간 열에 나타나며, 차트 1에는 6개가, 차트 2에는 나머지 11개가 있다.

The final first iterations of the 17 EPAs defining the desired outcomes for the pediatrics residency-to-practice transition appear in the middle columns of Charts 1 and 2, with 6 in Chart 1 and the remaining 11 in Chart 2.

Pangaro와 10 Cate18은 분석적, 합성성, 발달적의 세 가지로 분류할 수 있는 평가를 위한 개념적 프레임워크를 제안한다. 

• ACGME 역량은 핵심 영역을 역량의 더 상세한 설명으로 세분화하므로 분석적 프레임워크로 간주된다. 

• 마일스톤은 발달적 프레임워크의 한 예로서, 시간에 따른 단계의 논리적 진행을 나타낸다. 

• EPA는 복수의 역량 영역을 결합하는 합성적 프레임워크를 나타낸다.

Pangaro and ten Cate18 suggest conceptual frameworks for assessment that can be categorized as analytic, synthetic, or developmental. The ACGME competencies would be considered an analytic framework, breaking down core domains into further detailed descriptions of competencies. Milestones are an example of a developmental framework, representing a logical progression of steps over time. Finally, EPAs represent a synthetic framework that combines multiple domains of competence.

일단 확인되면 EPA는 해당 특정 EPA에 대한 위탁 의사결정에 중요한 역량과 이정표에 현명하게 매핑된다.19 소아과에서는 이 매핑 과정을 통해 특정 EPA와 해당 이정표에 대한 중요 역량의 행렬을 만든다(표 3 참조).

Once identified, EPAs are judiciously mapped to those competencies and milestones critical to making an entrustment decision for that specific EPA.19 Through this mapping process we create, for pediatrics, a matrix of the critical competencies for a given EPA and their respective milestones (see Chart 3).

차트 3에서 초보자 행동들은 두 번째 칸에 설명되어 있고, 세 번째 칸에는 진보된 초보자, 네 번째 칸에는 유능한 학습자, 다섯 번째 칸에는 능숙한 학습자, 여섯 번째 칸에는 전문가가 있다.

in Chart 3, the behaviors of the 

• novice are described in the second column, 

• advanced beginner in the third, 

• competent learner in the fourth, 

• proficient learner in the fifth, and 

• expert in the sixth column.

예를 들어, 차트 3의 세 번째 열에 있는 행동을 임상용 vignette로 통합하면 EPA를 수행하는 고급 초심자의 그림을 그릴 수 있다.

For example, integrating the behaviors in the third column of Chart 3 into a clinical vignette paints a picture of an advanced beginner performing the EPA.

각 칼럼의 행동에 의해 그려진 공유된 정신 모델은 학습자와 멘토 또는 학습자, 그리고 어떤 행동이 입증되었고 어떤 행동이 바람직한지에 대한 임상 역량 위원회 사이의 논의를 주춧돌로 만드는 앵커를 의미한다. 

The shared mental models painted by the behaviors in each column are meant to be anchors that frame a discussion between the learner and a mentor or the learner and a clinical competency committee around which behaviors have been demonstrated and which behaviors are desired. 

Regehr 등 20은 이 평가 전략에 대한 지원을 제공한다. 다섯 가지 성능 수준 각각에 대한 비디오 비그넷을 만드는 것은 EPA와 이정표를 평가하는 데 있어 교수진 개발을 위한 추가 도구를 제공한다.21

Regehr et al20 provide some support for this assessment strategy. Creating video vignettes of each of the five performance levels provides an additional tool for faculty development in the assessment of EPAs and milestones.21

소아과 이정표는 초기 의대생부터 진료를 마친 소아과 의사까지 연속적으로 걸쳐 있다는 점에서 특이했다. 따라서 전임의에게도 적용할 수 있는 성과 수준을 포함한다. 

The pediatrics milestones were unique in that they spanned the continuum from early medical students to practicing pediatricians, thus including performance levels applicable for fellows. 

소아과 세부전공을 위한 EPA

Identifying EPAs for the Pediatrics Subspecialties

2013년 3월, ABP는 CoPS(Council of Pediative Subscription)의 도움을 받아, ABP가 인증한 각 소아병 세부전공에서 교육 리더를 위한 워크숍을 소집하여 세부전공에 공통적인 EPA를 식별하였다.22

In March 2013, the ABP, with the help of the Council of Pediatric Subspecialties (CoPS), convened a workshop for education thought leaders from each of the ABP-certified pediatrics subspecialties to identify EPAs common to the subspecialties.22

이 그룹은 합의 과정을 통해 두 가지 공통 세부전공 EPA(차트 2와 3 참조)를 추가로 식별했으며, 하나는 해당 분야에서 리더가 되는 것이며, 다른 하나는 학술 활동에 관한 것이었다.

Through a consensus process, the group identified two additional common subspecialty EPAs (see Charts 2 and 3), 

• one on leading within the profession and 

• a second on scholarly activity.

UME-GME 연속체를 가로지르는 다리

The Bridge Across the UME-to-GME Continuum

소아과 EPA에 대한 연구가 시작된 직후, AAMC는 전공의 진입을 위한 핵심 EPA를 식별하기 위해 다원적 제도 패널을 구성했다.

Shortly after work began on the pediatrics EPAs, the AAMC constituted a multidisciplinary drafting panel to identify the Core EPAs for Entering Residency.

전공의 진입을 위한 핵심 EPA가 생기면서, 소아학계는 이제 모든 전공의를 위한 일반 소아학 EPA와 의대생을 위한 EPA를 연결하는 다리를 건설할 수 있는 기반시설을 갖추게 되었고, 이는 다시 전임의 과정을 위한 소아과 EPA와 연결된다.

With the creation of the Core EPAs for Entering Residency, the pediatrics community now had the infrastructure to build the bridge that connects EPAs for medical students with general pediatrics EPAs for all residents, which in turn connects to the pediatrics EPAs for fellowships.

EPA 목록의 검토는 직접 정렬을 보여주거나, [학생 EPA]가 [전공의 EPA]를 위한 빌딩 블록 역할을 하는 자연적 연관성을 보여준다. 다시 [전공의 EPA]는 [전임의 EPA]를 위한 빌딩 블록 역할을 한다. 학습과 평가의 연속을 가로지르는 이 다리는 하든과 스탬퍼24가 강조했던 것을 연상시킨다. "마지막 전체적인 목표가 달성될 때까지 매 방문마다 학생들의 역량이 증가하는" 나선형 커리큘럼의 가치.

Review of the lists of EPAs illustrates the natural linkages that represent either a direct alignment or where student EPAs serve as building blocks for residency EPAs, the latter serving as building blocks for fellowship EPAs . This bridge across the continuum of learning and assessment is reminiscent of what Harden and Stamper24 highlighted as the value of the “spiral curriculum,” where the “competence of students increases with each visit until the final overall objectives are achieved.”

잃어버린 고리: MOC를 GME EPA로

The Missing Link: Guiding MOC With GME EPAs

이러한 상황이 가능하다. 어떤 레지던트가 훈련을 마칠 때 17개의 모든 EPA를 수행하도록 위임받고 많은 수의 청소년 환자들을 돌보는 일반적 소아과 진료를 시작한다. 그런데 이들 중 많은 사람들은 불안 장애나 우울증으로 고생하고 있었다.

consider this scenario: A resident is entrusted to perform all 17 EPAs at the completion of training and enters a general pediatrics practice that cares for a large number of adolescent patients, many of whom are struggling with either an anxiety disorder or depression.

이 신규 전문의는 환자 진료에 필요한 숙련도와 전문성을 향해 계속 발달 궤적을 따라 움직이면 도움이 된다는 것을 깨닫는다. 이러한 관점에서 볼 때, EPA는 개인이 격차를 식별하고 그러한 격차를 채우기 위한 학습 활동을 모색하는 데 도움이 되는 실무에 대한 성찰에 초점을 둘 수 있다. 

The new practicing physician realizes that patients will benefit if he or she continues to move along the developmental trajectory toward proficiency and expertise. Seen in this light, EPAs may focus reflection on practice that helps individuals identify gaps and seek learning activities to fill those gaps. 

지속적인 전문 개발 및 MOC를 통한 개선에 대한 투자를 사용하여 의사의 경력에 걸쳐 체계적인 학습 과정을 촉진해야 한다. 훈련 중에 gap이 확인되면 개별화된 커리큘럼의 일부로 학습 활동을 시작하고 MOC로 계속 진행할 수 있다. 또한 의사의 경력으로 확인된 새로운 EPA가 있거나 범위의 변화가 있을 수 있다. 10 Cate et al.,25에 따르면, "위임 결정은... 그 EPA에 대한 practice가 없거나 너무 적다면 만료되어야 한다.."

Investment in improvement through continuous professional development and MOC should be used to facilitate a process of structured learning throughout a physician’s career. When gaps are identified during training, learning activities can be initiated as part of an individualized curriculum and continued into MOC. In addition, there may be new EPAs identified as a physician’s career evolves or changes in scope. According to ten Cate et al,25 “entrustment decisions should … have an expiration date if no or too little practice has occurred.”

역량기반 교육의 연속체를 향한 중요한 기여

The Critical Contributions of the Continuum to Competency-Based Education

레지던트와 펠로우를 위한 EPA는 실제 현장에서 기대하는 바를 기반으로 하며, 따라서 후진적 비전 프로세스를 사용하여 GME에 대한 기대와 결과를 설정한다. 따라서, 이러한 연속체가 UME와 GME의 작업을 실습 의사가 원하는 결과와 일치시킬 수 있다.

The EPAs for residents and fellows are based on what one expects in practice, and thus a backward-visioning process is used to set expectations and outcomes for GME.26 Thus, the continuum enables the alignment of the work of UME and GME with the desired outcomes for practicing physicians.

예를 들어, UME에서는 상황 인식, 질병 심각도, 조치 계획 및 우발적 계획뿐만 아니라 handover를 하거나 받는 사람으로서 효과적으로 관여할 수 있는 커뮤니케이션 기술(예: 환급 기술)을 포함하는 템플릿을 도입하여 핸드오버의 기반을 마련하는 것이 필수적이다. 이러한 기초적 기술 및 내용 지식은 GME 기간 동안 발전되어야 하며, 더 깊은 학습을 제공하고 궁극적으로는 위임할 준비를 제공하기 위해 이전에 있었던 것을 기반으로 강화해야 한다.

For example, in the UME setting it is essential to lay the foundation for handovers by introducing a template, which includes situation awareness, illness severity, action planning, and contingency planning as well as the communication skills to effectively engage as either a sender or a receiver of the handover (e.g., skill at readbacks). These foundational skills as well as content knowledge must be advanced during GME, building on and reinforcing what came before to provide deeper learning and ultimately readiness for entrustment.

다음 단계

Next Steps

ACGME의 전무이사를 지낸 데이비드 리치 박사는 이런 평가를 내렸다.

Dr. David Leach, a former executive director of the ACGME, said of assessment that it is

평가assessment는 여러 역량이 통합된integrated 버전에 의존하는 반면, 측정measurement은 역량의 특정speciated 버전에 의존한다. 이러한 역설은 쉽게 해결될 수 없다. 역량이 구체화될수록 전체whole와 관련성이 떨어진다.35

dependent on an integrated version of the competencies, whereas measurement relies on a speciated version of the competencies. The paradox cannot be resolved easily. The more the competencies are specified, the less relevant to the whole they become.35

교육 연속체에 걸친 EPA, 역량, 마일스톤의 통합은 이 역설의 해결을 위한 로드맵을 제공한다.

The integration of the EPAs, compe- tencies, and milestones across the educational continuum provides the road map to resolving this paradox.

18 Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE guide no. 78. Med Teach. 2013;35:e1197–e1210.

Acad Med. 2017 Mar;92(3):324-330. doi: 10.1097/ACM.0000000000001141.

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum.

임상학습환경(Med Teach, 2019)

The clinical learning environment

Jonas Nordquista,b, Jena Hallc, Kelly Caverzagied, Linda Snelle,f, Ming-Ka Chang, Brent Thomah , Saleem Razacke , and Ingrid Philiberti

재정적 제약과 임상 생산성에 대한 기대는 교육 활동의 가용 시간에 부정적인 영향을 미쳤다(Norman and Dogra 2014; Kilty et al. 2017; Weiss et al. 2018) 연습생과 교사의 스트레스, 번아웃, 비인간화, 의료에서 정서적 고갈에 대해 악영향을 주었다 (Gruppen et al. 201).8; 메이시 재단 2018).

Financial constraints and clinical productivity expectations have negatively affected available time for educational pursuits (Norman and Dogra 2014; Kilty et al. 2017; Weiss et al. 2018) and have contributed to higher levels of stress, burnout, depersonalization, and medical emotional exhaustion in trainees and in their teachers (Gruppen et al. 2018; Macy Foundation 2018).

임상적 맥락에서 배우는 것은 건강 전문가 훈련의 토대이다. 여기에는 대안이 없다. 또한 많은 의료 시스템은 학습자가 환자에게 제공하는 서비스에 의존하며, 이를 교육 기관에서 제거하는 것은 환자 치료에 부정적인 영향을 미칠 수 있다.

Learning in a clinical context is foundational in the training of health professionals; there is simply no alternative. In addition, many healthcare systems rely on the service that learners provide to patients, and to remove them from teaching institutions may have a negative impact on patient care.

북미 지역의 연구들은 훈련의 맥락이 된 학습 환경의 질이 졸업 후 수년간 졸업생들이 제공하는 치료의 질을 예측하는 변수였다는 것을 보여주었다(Tamblyn et al. 2005; Asch et al. 2009). 또한 이는 해당 의사의 처방 패턴이나(Cadieux et al. 2007) , 환자 관리, 보건의료 자원의 활용에도 영향을 주었다 (Chen et al. 2014; Sirovich et al. 2014; Dine et al. 2015). 마찬가지로, 일반 외과의사의 합병증 비율은 그들이 훈련했던 레지던트 프로그램의 순위와 관련이 있었다. 더 높은 순위의 레지던트 프로그램은 낮은 합병증 비율과 관련이 있다(Bansal et al. 2016).

Studies from North America have shown that the quality of the learning environment that provided the context for training was a predictor of the quality of care provided by graduates for years after graduation (Tamblyn et al. 2005; Asch et al. 2009) and influenced prescribing patterns (Cadieux et al. 2007) and patient management and use of health care resources (Chen et al. 2014; Sirovich et al. 2014; Dine et al. 2015). Similarly, complication rates for practicing general surgeons were associated with the ranking of the residency program in which they had trained—with higher ranked residency programs correlated with lower complication rates (Bansal et al. 2016). 

따라서, CLE를 개선하기 위한 노력은 연습생이 환자 치료에 배우고 참여하는 환경에서 긍정적인 영향을 미칠 뿐만 아니라, 잠재적으로 향후 수십 년 동안 미래의 졸업생들의 의료행위에도 영향을 미친다. 이는 훈련 의사가 현재 의료 제공의 최전선과 의료 관행의 미래를 대표하기 때문에 미국의 임상 학습 환경 검토(CLER) 프로그램에 대한 근거를 제공한다(Weiss et al. 2013, 2018).

Therefore, efforts to improve the CLE not only have a positive impact in the settings where trainees learn and participate in patient care but also affect the practice of future graduates, potentially for decades to come. This provides the rationale for Clinical Learning Environment Review (CLER) program in the United States, as physicians in training represent both frontline of health care delivery today and the future of the practice of medicine (Weiss et al. 2013, 2018).

임상학습환경 - 개념의 모호성

The clinical learning environment–An elusive concept

임상 학습 환경은 임상/학습/환경의 세 가지 핵심 요소를 포함한다. 임상학습환경에 대한 초기 정의는 의료 교육 환경의 기후와 전반적인 분위기에 초점을 맞추었으며(Genn and Harden 1986) 학습이 발생하는 기후climate의 중요성을 강조했다(Roff and McAleer 2001). 메이시 재단(2018년)은 학습 환경을 다음과 같이 정의했다.

Clinical learning environments involve three key elements: clinical work; learning; and environment. Early definition focused on the climate and overall ambiance of the medical education environment (Genn and Harden 1986) and highlighted the importance of the climate in which learning occurs (Roff and McAleer 2001). The Macy Foundation (2018) defined the learning environment as: 

사회적 상호 작용, 조직 문화와 구조, 그리고 참가자의 경험, 인식, 학습을 둘러싸서 형성하는 물리적이고 가상적인 공간." 이러한 다양한 기존 정의들이 CLE 개념의 복잡성을 보여준다.

“…social interactions, organizational cultures and stru-tures, and physical and virtual spaces that surround and shape participants’ experiences, perceptions, and learning.”These differences in existing definitions highlight the complexity of the CLE concept

여기서 우리는 CLE를 그림에서 표시한 "작업 환경"(trainee가 환자 진료를 배우고 참여하는 임상적 상황)과 "교육적 맥락"(기대 학습 성과 및 평가 방식을 정의하는 실라버스, 교육과정, 목표) 사이의 중복된 공간으로 정의한다.1번.

In this thematic examination, we the define the CLE as overlapping space between the “work environment” (the clinical context in which trainees learn and participate in patient care), and the “educational context” (the syllabi, curricula, and goals that define methods for learning, expected learning outcomes, and assessment practices), shown in Figure 1.

학습환경 평가의 역사적 맥락

A historical perspective on assessment of the learning environment

커트 르윈의 1930년대와 1940년대 사회심리학 연구(Lewin 1947)는 교육적 기후를 측정하는 기구 개발의 토대를 마련하였다(Genn and Harden 1986, Palmgren 2016). 초기 연구들은 학습자들의 환경에 대한 인식이 "학생들의 인격적 욕구personality needs와 본질적으로 무관하거나 독립적"이라는 것을 보여주었다(Genn and Harden 1986).

Kurt Lewin’s research in social psychology in the 1930s and 1940s (Lewin 1947) laid the foundation for the development of instruments to measure educational climates (Genn and Harden 1986 and Palmgren 2016). Early studies showed that learners’ perceptions of their environment “were essentially unrelated to, or were independent of the students’ personality needs” (Genn and Harden 1986).

the Dundee Ready Educational Environment Measure or DREEM (Roff et al.1997)—

영국의 일반의학위원회가 발간한 첫 번째 TD 보고서는 의대생들이 이상적이지 못한 조건에서 train된다는 사실에 대한 결정적 담론을 열었다(GMC 1993). 이 보고서는 집단 괴롭힘, 성차별, 괴롭힘, 감독 품질 및 임상 교수진들 간의 부정적 롤모델과 같은 문제를 강조하여 임상 학습 환경의 기업이 교육자와 규제자의 주의를 끌게 했다(Roff et al. 2005 및 Palmgren 2016) 궁극적으로 이것은 환자 안전 문제였으며, 이는 의사라는 전문직에 대한 대중의 신뢰에 잠재적으로 파괴적인 영향을 미치는 것이었다.

The first Tomorrow’s Doctor report published by the General Medical Council in the UK opened a critical dialog on the suboptimal conditions under which medical students were trained (GMC 1993). The report highlighted problems such as bullying, gender discrimination, harassment, quality of supervision and the presence of poor role models among clinical teaching faculty, bringing the enterprise of clinical learning environments to the attention of educators and regulators (Roff et al. 2005 and Palmgren 2016) Ultimately, this was a patient safety issue with a potentially devastating impact on the public’s trust in the profession.

• the Postgraduate Hospital Educational Environment Measure (PHEEM)

• a result of the 1984 death of Libby Zion in a New York teaching hospital,

• The ground-breaking report To Err is Human by the Institute of Medicine

• the ACGME instituted a national limit on work hours for physicians in training (Philibert et al. 2002).

유럽에서는 1998년 유럽 근로시간지침을 이행함으로써 훈련의 내과의사의 근무시간이 크게 단축되었다(다타와 데이비스 2014). 여기에 대해서 의료계는 엇갈린 반응을 보였다(Maisonneuve et al. 2014). 특히 외과 전문의의 훈련에 부정적인 영향을 미칠 것이라고 보았으며 (Hopmans et al. 2015), 연습생 근무 조건 및 웰빙 개선의 증거는 거의 없었다(Rodriguez-Jare~no et al. 2014).

In Europe, implementation of the European Working Time Directive in 1998 severely reduced the working hours of physicians in training (Datta and Davies 2014), with mixed reactions from the medical community (Maisonneuve et al. 2014), indications of a negative impact on training, particularly in surgical specialties (Hopmans et al. 2015), and little evidence of improvement in trainee working conditions and well-being (Rodriguez-Jare~no et al. 2014).

현재 [학습 환경 평가]는 (미국 뿐만 아니라 국제적으로도) accreditor들은 학습자와 교수자의 학습환경에 대한 인식을 수집하는 중요하고, 민감하며, 타당한 도구로 사용중이다. 

• 학부 의료 교육(LCME 2018; Mavis et al. 2014; Lockwood et al. 2004)에서도, 

• 미국 대학원 의료 교육을 위한 인증 기관(ACGME)에서도(Holt et al. 2018; Ibrahim et al. 2014). 

Assessments of the learning environment currently are used by accreditors 

• in undergraduate medical education in the United States and Canada (LCME 2018; Mavis et al. 2014; Lockwood et al. 2004) and 

• by the US accreditation body for postgraduate medical education (the Accreditation Council for Graduate Medical Education)

 as an important, sensitive and valid tool to collect learners’ and teachers’ perception of the learning environment in the US and internationally (Holt et al. 2018; Ibrahim et al. 2014). 

학습환경에 대한 평가 결과는 인증과 프로그램 개선을 위해 내부적으로 사용된다. 2013년 미국 PGME에서 새로운 인증 시스템을 시작했을 때, 여기에는 프로그램 연수생을 위한 연간 데이터 검사에 CLE의 학습자 및 교수진 평가와 CLER 프로그램을 통한 CLE의 전용 검토가 포함되었다(Wagner et al. 2016; Co et al. 2018; Weiss et al. 2018).

The results are used in accreditation and internally for program improvement. When the US accreditation postgraduate body for medical education launched a new accreditation system in 2013, this included both learner and teaching faculty assessments of the CLE in annual data screening for programs trainees, and a dedicated review of the CLE through the Clinical Learning Environment Review (CLER) program (Wagner et al. 2016; Co et al. 2018; Weiss et al. 2018).

학습환경에 관해 남은 문제들

Current challenges in the learning environment

국가 이해관계자 합의 문서는 과밀 임상 환경, 인력 부족 및 서비스 압력, 임상 작업 부하를 CLE의 학습 장벽으로 식별했다(Kilty et al. 2017). 다른 연구와 일관되게, 개선의 관점에서 가장 어려운 영역으로 확인된 영역은 "조직과 업무 조건"과 "환자 치료 중 상급 의사와 함께 배우는 시간"이었다(Kilty et al. 2017). 영국의 바와-가르바 사건은 이것의 뼈아픈 예다. 이 사례와 이와 유사한 일반적인 관찰은 "서비스 압력이 학습 기회에 영향을 미쳐서, 인지 과부하를 일으키고, 그 결과 물리적 공간에 대한 제약을 통해 성찰과 토론 시간을 제한한다"라는 가설을 추가로 뒷받침한다(Kilty et al., 2017, 페이지 8).

A national stakeholder consensus document identified overcrowded clinical environments, understaffing and service pressures and clinical workload as barriers to learning in the CLE (Kilty et al. 2017). Consistent with other studies, the domains identified as most challenging from an improvement perspective were the “organization and conditions of work” and “time to learn with senior doctors during patient care” (Kilty et al. 2017). The Bawa-Garba case in the United Kingdom is a poignant example of this (Vaughan 2018). This case and similar general observations further support the hypothesis that “service pressures impact opportunities to learn, resulting in cognitive overload, limiting time to reflect and discuss and through constraints on physical space” (Kilty et al. 2017, p. 8).

Macy Foundation은 범위 지정 검토를 의뢰하여 CLE를 네 가지 핵심 요소(개인, 사회, 물리 및 가상, 조직)로 디구성하는 개념 모델을 도입했다. 또한 상당한 학문적 노력에도 불구하고 임상학습 환경을 탐구한 연구에는 개념적 명확성이 결여되어 있음을 강조하였다(Gruppen et al. 2018).

The Macy Foundation commissioned a scoping review introduced a conceptual model that deconstructed the CLE into four central components (personal, social, physical and virtual, and organizational). It also highlighted that, despite considerable academic efforts, there is a lack of conceptual clarity in studies that have explored the clinical learning environment (Gruppen et al. 2018).

에비뉴 프레임워크 소개

Introducing the avenues framework

. The model approaches the CLE through six different lenses, which we have termed “avenues”  for this exploration (Figure 2)

To examine how different academic fields and foci haveinformed the study of the CLE, in Table 

Conclusions

Gruppen L, Irby D, Durning, Maggio L. 2018. Interventions designed to improve the learning environment in the health professions: a scoping review. AMEE MedEd Pub. 7:73.

Weiss KB, Co JPT, Bagian JP. 2018. Challenges and opportunities in the 6 focus areas: CLER national report of findings 2018. J Grad Med Educ. 10:25–48.

Med Teach. 2019 Mar 17:1-7. doi: 10.1080/0142159X.2019.1566601. [Epub ahead of print]

The clinical learning environment.

의학교육의 가치 얹기: 미래 의사들을 보건의료 전달체게 변혁에 참여시키기(J Gen Intern Med, 2015)

Value-Added Medical Education: Engaging Future Doctors to Transform Health Care Delivery Today

Steven Y. Lin, MD1, Erika Schillinger, MD2, and David M. Irby, PhD3

의대생 교육은 일반적으로 미래의 의사 공급을 증가시키는 것을 목표로 하고 있으며, 현재의 의료 제공 문제를 무시한다. 미래에 대한 이 초점은 오늘날의 긴급한 과제를 해결하는데 실패한다.

Medical student education typically aims to increase the supply of future physicians while ignoring current problems in health care delivery. This focus on the future fails to address the pressing challenges of today.

이러한 변화를 달성하기 위해서는 실무practice 재설계나 의료교육 모두에서 중요한 개혁이 필요하다. 일차 진료에서 카파시티capacity 문제에 대해 제안된 해결책 중 하나는 비임상 의료팀 구성원 및 학습자와 "share the care"하는 것이다.1

To achieve this change, significant reforms are needed in both practice redesign and medical education. One proposed solution to the capacity issue in primary care is to “share the care” with non-clinician health care team members and learners.1

우리는 sharing the care가 capacity부족 문제를 해결하는 데 그치지 않고 의료 교육의 미래를 위한 새로운 비전을 수립하는 데 이상적인 출발점이 될 수 있다고 믿는다. 1학년 때부터 모든 의대생이 1차 건강관리 팀에 소속되어 훈련 단계에 적합한 진료를 제공하는 의미 있는 역할에 종사한다면 어떻게 될까? 아직 공식적인 환자 진료를 제공할 진단이나 치료 기술을 갖추지 못했더라도 초기 의대생들은 인구 건강 관리를 할 수 있도록 훈련을 받고 일상적인 예방(pap smears, 대장경, 유방조영술)이나 만성 치료 서비스(당뇨병 환자에 대한 발과 눈 검사)가 늦어진 환자를 찾아나갈 수 있다면 어떨까?

We believe that sharing the care goes beyond addressing the capacity-demand problem and may serve as an ideal starting point for building a new vision for the future of medical education. What if every medical student starting in year one is embedded in a primary health care team and engaged in meaningful roles of providing care appropriate to their stage of training? What if, even if they do not have the diagnostic or treatment skills to provide formal patient care yet, early medical students are trained to do population health management and can reach out to patients overdue for routine preventive (pap smears, colonoscopies, mammograms) and chronic care services (foot and eye exams for diabetics)?

이 의료 훈련 모델은 현재 AHC의 인프라를 바꾸지 않고도 우리의 의료 제공 시스템에 귀중한 capacity을 추가할 수 있다.

This model of medical training can add valuable capacity to our health care delivery system without changing the current infrastructure of academic health centers.

우리는 이것을 "부가가치 의료 교육"이라고 부르는데, 여기서 강력한 경험적 학습 경험은 우리의 의료 전달 시스템에 가치와 능력을 더해줄 수 있다. 이는 환자 치료 작업에 의대생을 교육하고 참여시킴으로써 달성할 수 있다. 학생들은 중복 작업을 발생시키거나 임상 교수진의 추가 에너지를 소비하지 않는 방법으로 의료 팀의 일원으로서 관리에 참여하고 책임을 지기를 열망한다.

We call this “value-added medical education,” where powerful experiential learning experiences can also add value and capacity to our health care delivery system. This can be achieved by training and involving medical students in targeted patient care tasks. Students are eager to engage in care and take on responsibilities as part of the health care team in ways that do not generate duplicative work or consume additional energy from the clinical faculty.

부가가치 의료 교육에 대한 선구적인 연구가 상당 부분 이루어진 샌프란시스코 캘리포니아 대학교에서, 학생들과 교수진들은 모든 학생들의 재능과 헌신을 활용하여 오늘날의 환자 치료에 가치를 더하는 진정한 직장 학습 경험을 창조함으로써 그들의 커리큘럼을 재부팅하기 위해 협력하고 있다.

At the University of California, San Francisco, where much of the pioneering work on value-added medical education has been done, students and faculty members are working together to reboot their curriculum by creating authentic workplace learning experiences that leverage the talents and commitments of every student to add value to the care of patients today.

스탠포드 의과대학은 또한 종단적 1차 진료 커뮤니티 파트너십을 운영함으로써, [보건 지도, 동기부여 면접, 환자 교육을 통해 치료를 제공하는 지역사회 보건소]에 일부 1학년 의대생을 배치하고 있다.

Stanford University School of Medicine is also embedding some first year medical students in community health centers where they provide care through health coaching, motivational interviewing, and patient education delivered via longitudinal primary care community partnerships.

초기 수련자들을 임상 기록 전문가로 변화시키기 위해 고안된 녹취scribe 프로그램은 우리의 1차 진료 클리닉을 high-performing 진료로 변화시키는 한편, 전자 진료 기록 시대에 의학을 실습하는 데 필요한 기술력을 학생들에게 제공할 수 있는 잠재력을 가지고 있다. 이 프로그램들은 [교육]과 [진료]라는 종종 상충하는 두 가지 목표를 하나의 통합하여 추구함으로써 이 둘 사이의 균형을 맞춘다는 점에서 유사하다.

A scribe program designed to turn early trainees into clinical documentation experts has the potential to change our primary care clinics into high-performing practices, while equipping students with the technological skills needed to practice medicine in the electronic medical record era. All these programs are similar in that they balance the often conflicting missions of education and patient care by merging these two objectives into a single pursuit.

이 꿈을 현실로 바꾸려면 리더십, 자원 재배치, 커리큘럼 재설계가 필요하다. 비전을 명확히 하고, 변화에 대한 긴급성을 창출하며, 자원을 이동시키고, 교직원 개발을 제공하며, 새로운 임상 훈련 사이트와의 파트너십을 구축하기 위한 리더십이 필요하다. 이를 위해서는 현재 초기 임상 훈련에 전념하고 있는 기존 자원의 리디렉션이 필요할 것이다.

Transforming this dream into reality will take leadership, redeployment of resources, and curricular redesign. Leadership is needed to 

• articulate the vision, 

• generate urgency for change, 

• shift resources, 

• provide faculty development, and 

• build partnerships with new clinical training sites. 

• This will require some redirection of existing resources currently devoted to early clinical training,

학생들의 임상 경험을 다시 상상해보고, 임상 스탭들에게 학생들이 일상 업무에 적극적으로 참여할 수 있는 기술을 제공하기 위해 직원개발과 교수개발이 필요할 것이다. 커리큘럼 혁신과 재설계는 이러한 새로운 경험과 기술을 위한 기회 공간을 제공하기 위해 필수적일 것이다.

Faculty and staff development will be needed in order to reimagine the clinical experience for students and provide the clinic staff with skills to actively involve students in their daily work. Curricular innovation and redesign will be essential to offer opportunity space for these new experiences and skills.

우리는 부가가치 의료 교육의 원칙이 이 혁명에서 중요한 역할을 해야 하고 또 할 것이라고 믿는다. 이러한 원칙에는 다음이 포함된다. 

• (1) 모든 의대생을 위한 조기의 통합적 근무지 학습, 

• (2) 비임상 보건의료 제공자의 이해와 존중을 촉진하기 위한 전문직간 팀 기반 QI 문화, 

• (3) 협업 및 데이터 중심 인구 건강 관리, 

• (4) 학습자 중심적이고 지속적으로 변화하는 개발 단계에 맞춰 조정되는 전문적 역할의 최적화 

• (5) 고성능의 환자 중심 1차 진료의 제공과 함께 강력한 경험적 학습 경험의 융합.

We believe that the principles of value-added medical education should and will play an important role in this revolution. These principles include: 

• (1) early integrated workplace learning for all medical students, 

• (2) an interprofessional team-based quality improvement culture to promote understanding and respect of non-clinician providers, 

• (3) collaborative and data driven population health management, 

• (4) optimization of professional roles that are learner-centered and continuously adjusted to changing stages of development, and 

• (5) the fusion of robust experiential learning experiences with the delivery of high-performing, patient-centered primary care.

Value-added medical education: engaging future doctors to transform health care delivery today.

현장에서 배우기: 시간-가변적 의학 훈련에서 맥락의 가치(Acad Med, 2018)

Learning in Practice: A Valuation of Context in Time-Variable Medical Training

Pim W. Teunissen, MD, PhD, Jennifer R. Kogan, MD, Olle ten Cate, PhD,

Larry D. Gruppen, PhD, and Lorelei A. Lingard, PhD

역량 기반 모델이 등장하기 전까지는 훈련 시간이 고정되었다.

Before the advent of the competency-based model, time-in-training was fixed; after completing the required training time

시간 변동성이 있는 훈련은 역량 기반 교육의 논리적 결과라고 주장할 수도 있다.1

One might even argue that time-variable training is the logical consequence of competency- based education.1

역량 기반, 시간 변동성 교육(CBTVT)에 대한 논의를 진전시키기 위해 교육자와 학습자는 학습자의 발달에서 맥락과 맥락-내-시간의 역할을 높이 평가하게 된다.

To move the debate on competency-based, time-variable training (CBTVT) forward, educators and learners must come to appreciate the role of context and time-in-context in the development of learners.

임상 학습 경험은 교실 교육보다 훨씬 더 다양하며, 그러한 경험의 맥락은 모든 학습자에게 크게 다르기 때문이다.3

Clinical learning experiences vary much more than classroom education, as the context of those experiences is to a large extent different for every learner.3

이러한 맥락변동성은 직장 학습의 본질적인 부분이다. 그 학습의 목표는 전문직에게 필요한 임상적 내용을 숙달할 뿐만 아니라 가변적이고 변화하는 맥락에서 근무하는 방법을 배우는 것이다. 

This variability in context is an inherent part of workplace learning. The goal of that learning is not only mastering the clinical content of a profession but also learning how to work in variable and changing contexts. 

최적의 학습 편익을 얻기 위해 역량 기반 교육은 명시적 학습 성과의 형태로 구조를 제공하려고 노력해왔다.4 보건의료에서 직장 학습의 구조화 및 공식화 증가는 [훈련 비용, 환자 안전 및 학습 결과의 투명성에 대한 관심]과 함께 진행되었다.5

To yield the optimal learning benefit, competency-based education has sought to provide structure in the form of explicit learning outcomes.4 The increased structuring and formalization of workplace learning in health care, has gone hand in hand with an increased focus on the costs of training, patient safety, and transparency of learning outcomes.5

맥락-내-학습은 임상 전문지식을 습득하는 것 이상을 수반하며 공식화된 역량 기반 커리큘럼에서 지금껏 포착되지 않았거나 앞으로도 결코 포착되지 않을 수도 있는 특징을 포함하고 있다고 주장한다.

We argue that learning-in-context entails more than the acquisition of clinical expertise and includes features that have not been, and may never be, captured in formalized, competency-based curricula.

학습목적을 위한 컨텍스트 활용방안에 관한 연구

The Deliberate Use of Context for the Purpose of Learning

숨겨진 커리큘럼은 공식적, 비공식적 교육을 통해서 전달은 되고 있지만, 공개적으로 인정되지는 않는 문화적 풍습을 가리킨다.6 효과적인 CBTVT는 [명시적인 커리큘럼 목표]와 이제는 잠재 커리큘럼의 일부가 된 [기회와 기대]를 보다 목적을 가지고 정렬할 것을 요구한다. 잠재 커리큘럼은 종종 맥락 특이적이며, 예컨대 각각의 맥락이 학습자의 발달에 긍정적이고 독특한 기여를 갖는 가치가 있다고 보는 것이다.

The hidden curriculum refers to the cultural mores that are transmitted, but not openly acknowledged, through formal and informal educational practices.6 Effective CBTVT requires more purposeful alignment between explicit curricular goals and the opportunities and expectations that are now part of the hidden curriculum. The hidden curriculum is often context specific and may have constructive components, such as when contexts are valued for their positive and unique contributions to learners’ development.7

현재 컨텍스트와 이들이 잠재적으로 제공하는 경험은 종종 로테이션 일정에 속하여 고정되어 있으며, 학습자의 요구에 따라 조정되지 않는다. 이론적으로, 커리큘럼 유연성을 증가시키기 위해, 훈련생들은 전략적으로 특정 역량을 support하면서 동시에 challenge하는 상황에 놓일 수 있다. 예를 들어, 맥락은 임상적 초점을 가지면서 동시에 리더십이나 의사소통 역량 개발에 도움이 되는 것일 수 있다.

Currently, contexts and the experiences they potentially offer are often part of fixed rotation schedules and are not adjusted according to learners’ needs. In theory, to increase curricular flexibility, trainees could strategically be put in contexts that both support and challenge particular competencies. For instance, contexts could be conceptualized not only as having a clinical focus but also as being conducive to the development of leadership or communication competencies, for instance.

교육 과정에 서로 다른 직장의 역학을 포함시키는 것을 신중하게 선택하는 것은 이 목표를 달성할 수 있다.9 훈련생은 고정된 로테이션 스케줄보다는 의도적으로 전략에 따라 가변적 맥락을 경험함으로써 더 많은 이득을 얻을 수 있다.

Deliberately choosing to include different workplace dynamics in a curriculum could achieve this goal . Trainees could arguably benefit from experiencing variable contexts according to a conscious educational strategy rather than a fixed rotation schedule.9

모든 경험이 이상적이지는 않다. 실제로, 특히 3차 병원에서 임상 교육은 점점 더 학업의 단편화, 짧은 환자 체재, 빈번한 핸드오프, 짧은 회전, 부적절한 감독, 관찰, 가르침 등, 이 모든 것이 학습에 부정적인 영향을 미칠 수 있다.10.11 단편화된 학습 경험의 이러한 부정적인 측면에 대처하기 위해 Hirsh et al12는 임상 교육의 조직적 원칙으로서 연속성을 권고했다. 짧은 로테이션에서 종단적 경험으로 바꾼다면, 피훈련자와 훈련자 사이의 지도guidance, 평가, 교육신뢰도가 향상되고, 이는 학습자의 진행progression의 가능성을 촉진한다.13-15 그러나 앞으로 졸업생들이 다양한 맥락과 친숙하지 않은 상황에 대처해야 하는 현재의 의과대학생들에게 적응적 전문성adaptive expertise은 중요한 21세기 기술로서 강조되어 왔다. 이 기술을 개발하기 위해서는 훈련이 다양한 임상 환경에서 경험을 필요로 할 것이다.

Experiences can be far from optimal. Indeed, clinical education, particularly in tertiary hospitals, suffers increasingly from the fragmentation of disciplines; short patient stays; frequent handoffs; short rotations; and inadequate supervision, observation, and teaching—all of which can negatively impact learning.10,11 To counteract these negative aspects of a fragmented learning experience, Hirsh et al12 recommended continuity as an organizing principle of clinical education. Moving from short rotations to longitudinal experiences enables better guidance, assessment, and trust between preceptors and trainees, which in turn fosters better possibilities for the progression of learners.13–15 However, adaptive expertise has been stressed as an important 21st-century skill for graduates to enable them to cope with a variety of contexts and unfamiliar situations.16–18 Training to develop this skill would require experience in a variety of clinical settings.

맥락-속-시간 의 가치

The Value of Time-in-Context

학습 목적을 위한 컨텍스트의 의도적 사용과 관계없이, CBTVT의 논의에서 특정 맥락 내에서 보내는 시간의 가치를 인식하는 것은 중요하다. 학습 목표를 달성하는 데 필요한 시간이 학습자마다 다르므로, 비교적 빠른 학습자가 임상 환경에서 잔여 시간을 사용하여 보다 정교하고 nuanced한 능력을 기를 수 있도록 해야 한다. 그러한 추가 개발 방향은 다른 학습자-컨텍스트 조합에 따라 다를 것이다.

Regardless of the deliberate use of context for the purpose of learning, recognizing the value of time-in-context is important in discussions of CBTVT. Variation in the time needed to attain learning objectives may permit those learners who are relatively fast to use their remaining time in a clinical environment for the refinement and maturation of more sophisticated and nuanced capabilities. The direction of such further development will vary between different learner–context combinations.

예를 들어, 외과 연습생이 일반 수술과 관련된 기술적 역량을 습득한 경우, 그들은 수술 후 관리를 다른 전문 분야와 협상하거나 어려운 임상 상황에서 가족 회의를 주도하는 등, 그들의 위치적인 전문 지식의 관계적 측면과 사회적 측면에 더 초점을 맞출 수 있다. 역량 기반 교육 모델의 많은 노력에도 불구하고, 여전히 학생들은 생물의학 및 기술적 차원을 숙달하기 전까지 이러한 의료행의위 관계적 차원에 집중하지 못한다.19,20

For instance, if surgical trainees have acquired the technical competencies associated with general surgery, they could focus more on the relational and social aspects of their situated expertise, such as negotiating postoperative management with other specialties or leading family meetings in challenging clinical situations. Despite the efforts of competency-based educational models, learners struggle to attend to such relational dimensions of clinical practice until they have mastered the biomedical and technical dimensions.19,20

특정 역량을 개발할 필요가 없는 연습생이라도, 이미 [상대적으로 독립적인 의료행위를 실천하는 것]에 필요한 요구되는 역량과 성숙도에 도달했더라도, 해당 맥락에서 추가적인 시간을 할애하는 것은 가치가 있다. 이 시간은 "dwell time"14,21,22 또는 "tea steeping"이라고 불렸는데, 이러한 명칭은 이 기간이 학습자의 발달에 도움이 되지 않는다거나 아무런 guide없이 지낸다는 식으로 잘못된 암시를 준다. 그러나 이와 달리, 이 기간은 잘 준비된 전문직으로 발전해나가는 데 크게 기여할 수 있는 supported transition 기간이 될 수 있다. 즉, 이 시기에는 비판적 성찰과 지식, 기술 및 이들의 경험적 학습 적용의 통합을 촉진하기 위해 전략적으로 커리큘럼에 삽입된 성찰 기간으로 의도적으로 구성될 수 있다.

Even for trainees who do not need to develop specific competencies, there is value in spending additional time practicing in the context in which they have reached the required level of competence and maturity necessary for relatively independent practice. This time has been called “dwell time”14,21,22 or “tea steeping,”23 which erroneously suggests that a learner’s development is idle during this period or that it happens unguided. In contrast, we characterize this phase as a supported transition to independence, which can add significantly to the development of well-prepared professionals. It may be deliberately organized as reflective periods strategically inserted into a curriculum to foster critical reflection and the integration of knowledge, techniques, and their application to experiential learning.

이렇게 본다면 새로운 학습 기회가 생겨난다.  첫 번째 기회는 자기 효능감과 관련이 있다. 기준을 맞췄다는 것이 항상 학습자에 대한 신뢰로 이어지는 것은 아니다. 그러나 만약 신뢰 관계가 발전된다면, 감독자들은 학습자가 독자적으로 의료행위를 할 수 있도록 지원할 수 있으며, 이는 학습자들이 자기 효능감을 기를 기회를 제공한다.14

new learning opportunities emerge.24 The first opportunity relates to self-efficacy. Meeting standards may not always translate into learner confidence. But if a trusting relationship has developed, supervisors may support their learners in practicing independently, which presents the opportunity for learners to develop a sense of self-efficacy.14

두 번째 학습 기회는 실패의 경험과 관련이 있다. 독립적 의료행위의 양이 증가함에 따라, young professional로서 의도한 대로 되지 않은 일에 대해 책임을 져야 하는 경우도 생길 수밖에 없다.

The second learning opportunity has to do with the experience of failure. With an increase in the volume of independent practice, it is inevitable that there will be times when a young professional has to take responsibility for something that did not go as intended.

이것은 겉보기에 사소한 것일 수도 있고, 아니면 큰 재앙일 수도 있다. 연습생에게는 이렇게 guided independence와 mentored reflection을 위한 관계가 확립되어 있는 상태에서 초반의 고난struggle 시기를 경험하는 것이 중요하다.25 이러한 맥락에서 연습생들은 [자신이 알고 있는 동료들의 사회적 지원], [멘토나 코치 역할을 할 수 있는 감독관의 조언]을 얻게 될 것이며, 자기가 그 환자에 대한 care를 맡을 수 있도록 [신뢰받았다entrusted라는 확신]을 얻을 것이다.

This may be something seemingly minor, Or it may be a major calamity . For trainees, it is important to experience some of these initial moments of struggle in a context where they have the established relationships in place for both guided independence and mentored reflection.25 In such a context, trainees would have the social support of colleagues they know, the advice of a supervisor who can act as a mentor or coach, and the certainty that they had been entrusted with caregiving for that patient. 

우리가 젊은 의사들에게 잘 풀리지 않은 상황에 대해서 감정적, 조직적, 그리고 잠재적인 법적 영향을 어떻게 대처하도록 가르칠 것인가가 뒤따라는 그들의 커리어에 영향을 미칠 것이다. 이러한 학습 기회를 위한 시간과 신뢰가 있을 때에만, 의사들이 도전을 성숙하고 건설적으로 다루고, 회복탄력성을 기르기 위한 전략을 개발할 수 있도록 돕는 것이 가능하다. 이러한 예기치 못한 사건들은 중요하고, 경험하는 데까지 시간이 걸리고, 예측할 수 없다. 따라서, 특정 맥락 내에서 보내는 시간은 곧 그러한 사건이 나타나기 위해 필요한 조건이다.

How we teach young doctors to cope with the emotional, organizational, and potential legal ramifications of situations that go awry will impact the rest of their careers. Helping physicians deal with challenges maturely and constructively and develop strategies for resiliency is possible only when there is the time and trust in place for such learning opportunities. These more or less unexpected events are important, take time, and are unpredictable. Time- in-context, therefore, is a necessary condition for such events to emerge.

역량의 개념

Exploring Conceptions of Competence

Sfard의 습득과 참여 은유 사이의 26 구분이 workplace learning에 대한 서로 다른 관점의 결과를 강조한다.

Sfard’s26 distinction between an acquisition and a participation metaphor highlights the consequences of different perspectives on workplace learning.

Sfard는 생각과 의사소통의 관계에 초점을 맞춘다. 1998년 신학 논문에서 그녀는 두 가지 배움의 은유를 묘사했다. 

Sfard’s work focuses on the relationship between thinking and communicating. In a seminal 1998 paper, she described two metaphors of learning. 

첫째, 습득 은유는 학습의 개별적, 인지적, 기술적 합리적 측면에 초점을 맞춘다. 이 비유에 따르면 CBTVT에서 교육 시스템은 학습자가 각자 서로 다른 속도로 성취를 이뤄나가는 동안 조정되어야 하는 것이며, 학습자가 요구되는 목표를 달성해나가는 것은 개인의 문제이다. 따라서 이 은유에서 조직 시스템, 임상 장치 및 의료 팀의 맥락 역할은 시간적 공간적 배경backdrop으로 취급된다. 이와 같은 '습득' 은유는 의학교육의 많은 면에서 확인된다. 예를 들어, 특정 근무지 공간세팅이 어떻든 관계없이 프로그램의 모든 연습생을 위한 고정된 학습 목표 세트가 그 사례이다. 모든 학습자가 역량 기반 의료 교육 모델에서 고정된 표준 목표의 달성을 보장하고자 추구pursuit할 경우에, 특히 CBTVT모델에서의 progress의 개념을 이러한 '표준 목표' 달성에만 의존하는 경우, 학습 맥락을 더 균일하게 만들어야 한다는 압력이 증가된다. 다양한 임상 작업장이 있는 세계에서 맥락의 균일성을 증가시킨다는 것은 단순히 인위적일 뿐만 아니라, 이는 학습자의 능력을 향상시키기 위한 강력한 도구인 "근무지 맥락의 가변성"을 빼앗길 위험이 있다.3

First, an acquisition metaphor focuses on individual, cognitive, and technical- rational aspects of learning. This metaphor positions us to frame the discussion on CBTVT as a matter of individuals attaining required objectives while the educational system adjusts to their differing paces of attainment. Consequently, the role of context—the organizational system, the clinical unit, and the health care team—is treated as a temporal and spatial backdrop. The acquisition metaphor of learning is recognizable in many aspects of medical education. It is exemplified, for instance, by a fixed set of learning objectives for all trainees in a program regardless of their specific workplace setting. The pursuit to ensure that all learners attain fixed, standard objectives in a competency- based medical education model may increase pressure on learning contexts to become more uniform, especially if we move toward a CBTVT model where progress solely depends on attaining these standard objectives. Not only is increasing uniformity of context artificial in a world of richly diverse clinical workplaces but it also risks robbing clinical training of a powerful tool for advancing learner competence—the variability of workplace contexts.3

이와는 대조적으로, Sfard의 참여 은유는 학습의 필수적인 구성요소로서 학습에 위치, 관계, 참여 및 컨텍스트를 접근한다. "참여적 학습" 이론도 의료 훈련과 관련된다.27,28 각각의 근무지 맥락은 독특한 학습 기회를 제공하며, 연구 결과 연습자들은 공식적인 written 커리큘럼에 포함된 내용과 무관하게, 환자 치료에 참여하는 경험을 통해 작업장이 제공해야 할 것을 배운다.3,29 이러한 관점에서 드러나는 것은, 역량이란 것은 학습자와 근무work의 situated exigencies 사이의 관계에 놓여 있으며, 여기에는 환자 프레젠테이션, 협업적 상호작용 및 조직 구조와 정책이 포함된다. 일반적으로 직장 학습을 이렇게 개념화할 때, 이는 [개인의 인식]을 넘어선다.30 그들은 의미가 형성되는 과정에서 사회적 특성의 중요성, 학습자의 발달 궤도에 대한 맥락적 영향, 그리고 학습자가 embed되어있는 문화적 경험의 다양성을 인식한다.3,24 이러한 참여적 성향을 CBTVT에 고려함으로써, 맥락적 변동성을 강조하고, 학습자가 실제 상황에서 요구하는 컨텍스트에 따른 역량을 인식하고 개발할 것을 기대하고 지원한다. 

In contrast, Sfard’s26 participation metaphor approaches learning as situated, relational, and participatory and context as an integral component of learning. Theories of participatory learning have also informed medical training.27,28 Each workplace context offers unique learning opportunities, and research shows that trainees learn what a workplace has to offer through the experience of participating in patient care, regardless of what is included in the formal, written curriculum.3,29 From this perspective emerges the notion that competence lies in the relationship between the learner and the situated exigencies of the work, including patient presentations, collaborative interactions, and organizational structures and policies. Generally, these conceptualizations of workplace learning go beyond the boundaries of an individual’s cognition.30 They recognize the importance of the social nature of meaning making, the contextual influences on learners’ developmental trajectories, and the plethora of cultural experiences in which learners are embedded.3,24 Adding this participatory orientation to discussions of CBTVT sets up the potential for programs to capitalize on contextual variation and to expect and support learners in recognizing and developing the context-bound competence that their practice context requires of them. 

이 두 가지 은유는 CBTVT의 토론을 통해 흐르는 근본적인 긴장감을 이해하는 데 도움을 준다. 역량은 개인의 특징인가, 아니면 개인과 그들의 맥락 사이의 의도적인purposeful 사회적 상호 작용에서 비롯되는 퀄리티인가? 합리적인 방법은 두 가지 옵션을 모두 수용하거나 적어도 어느 한 가지 옵션을 거부하지 않는 것이다.

These two metaphors help us to understand an underlying tension that runs through the debate on CBTVT—is competence an individual characteristic, or is it a quality that emerges from a purposeful social interaction between individuals and their context? A reasonable way forward would be to accept both options or at least not to reject either option.

실용적으로는, CBTVT의 관점에서 보자면, 이는 [학습자의 practice 환경에서 제공되는 상황별 기회]에 따라 [확장하고 세분화할 수 있는 최소 성과의 표준화된 집합]을 만드는 것을 의미할 수 있다.

Practically, in light of CBTVT, it could mean creating a standardized set of minimum outcomes which learners can expand on and refine according to the context-specific opportunities afforded in their practice settings.

맥락-기반 학습과 CBTVT

Context-Driven Learning and CBTVT

마지막으로, 우리는 역량이 개인의 속성일 뿐만 아니라 개인과 맥락의 목적적 사회적 상호작용에서 비롯되는 퀄리티라고 받아들일 때의 함의를 강조하고자 한다. 이러한 관점에서, 교육이란 [개인의 역량을 확보하는 것]일 뿐만 아니라, [학습자에게 의미 있는 경험을 형성하는 것]이다.31

Finally, we highlight the implications for learning and CBTVT when we accept that competence is not only an individual attribute but also a quality that emerges from a purposeful social interaction between individuals and their context. It requires us to adopt the perspective that education is as much about generating meaningful experiences as it is about attaining individual competence.31

학습자를 지원하고 도전하기 위한 맥락을 전략적으로 선택함으로써, "집단적 역량"이라 불리는 것에 접근해나갈 수 있으며, 또는 학습자가 더 큰 시스템에서 자신의 위치를 인식하도록 할 수 있다.

Strategically selecting contexts to create experiences that support and challenge learners could begin to approach what has been called “collective competence” or the degree to which learners can recognize their place in the larger system

다양한 종류의 의료진이라는 맥락에 참여하는 경험도 고려해볼 수 있으며, 이러한 경험을 전략적으로 구성하여 학습을 진전시킬 수 있다. 팀은 부문별(예: 의학)에서 부문간(예: 가족 보건 팀)에 이르기까지, 그리고 공동 배치(예: 수술실)에서 분산(예: 완화의료)에 이르기까지 다양하다.

The experience of participating in different kinds of team contexts could also be considered and strategically organized to advance learning; teams range 

• 과별 from discipline specific (e.g., medicine) 

• 과간 to interdisciplinary (e.g., family health team), and 

• 같은 장소 from colocated (e.g., operating room) 

• 다른 장소 to distributed (e.g., palliative care).

이론적으로 보자면, 의미 있는 경험을 할 가능성이 높은 환경에서 머물르는 것을 지향하는 교육모델에서는 시간에 제한을 두지 않는다. 새롭고 의미 있는 경험을 접할 확률이 점차 감소했을 때, 이것이 다음 학습 환경으로 나아가야 할 때라는 지표가 될 수 있다. 이러한 통찰력은 그러한 placement에 대한 최소한의 표준 학습 목표를 달성하는 것과 결합될 수 있으며, 이는 학습의 획득과 참여 은유 모두를 포함하는 CBTVT 모델로 이어질 수 있다.

In theory, an educational model aimed at placing learners in environments with a high probability of meaningful experiences has no clear time limit. The gradual decline of the probability of encountering new and meaningful experiences could be an indicator that it is time to move on to a new learning environment. This insight could be combined with having attained a minimum set of standard learning objectives for that placement, leading to a model of CBTVT that encompasses both an acquisition and a participation metaphor of learning.

마지막으로, 우리는 이 모델에서는 학습자가 로테이션을 통해 잠재적으로 더 빠르게 또는 더 느리게 움직일 수 있음을 인식해야 한다.

Finally, we must be aware of the possible impact of a model where learners potentially move faster or slower through rotations,

고도로 개별화된 시간 변동성은 경험이 많은 학습자가 다른 컨텍스트로 빠르게 이동할 경우, 피어티칭에 이용할 수 있는 유능한 학습자의 수를 계속 줄여나가게 된다. 게다가, 각 의료팀은 늘상 일반적으로 초심자 멤버를 더 많이 갖게 될 것이다. 따라서 시간 변동성, 특히 훈련의 조기 완료는 더 많은 초보 팀 구성원을 가르치는 데 기여할 수 있었던 유능한 학습자를 제거함으로써 개별 학습자에게 영향을 미칠 뿐만 아니라 학습 환경에도 영향을 미친다.

Highly individualized time variability could reduce the number of competent learners available for (near-) peer teaching if more experienced learners quickly move on to other contexts. In addition, teams would then generally have more novice members. Therefore, time variability, particularly early completion of training, not only influences an individual learner but also influences the learning environment by removing competent learners who could have contributed to teaching more novice team members.

만약 우리가 맥락을 배움의 배경backdrop으로만 다룬다면, 우리는 잠재적으로 우리의 학습자들에게 중요한 맥락 관련 학습 기회를 빼앗을 것이다. 여기에 의료 교육자와 학습자의 난관이 있다. CBTVT 모델에서 교육과정이란 [일단 학습자가 습득하기만 하면 다음 맥락으로 이동하는 set of learning targets]가 되어서는 안 된다.

If we treat context only as a backdrop for learning, then we potentially rob our learners of valuable context-related learning opportunities. Herein lies a challenge for medical educators and learners. CBTVT models should not treat the curriculum as a set of learning targets that, once obtained, allow learners to move on to new contexts.

우리는 모든 학습자가 직장에서 많은 표준적이고 사전 설정된 학습 목표를 충족해야 하지만 전략적으로 조직된 학습 환경 내에서 추가적인 맥락별 역량 개발과 개인적 성장을 위한 여지를 남기는 대안을 제안한다.

We propose an alternative that recognizes that all learners will have to meet a number of standard, preset learning targets in their workplace but that leaves room for further context-specific competence development and personal growth within learning environments that have been strategically organized.

우리는 공간적 배경보다는 교육 전략으로 맥락을 활용하는 것이 CBTVT를 강화시킬 것이라고 주장한다.

We contend that using context as an educational strategy rather than a spatial backdrop promises to strengthen CBTVT.

Acad Med. 2018 Mar;93(3S Competency-Based, Time-Variable Education in the Health Professions):S22-S26. doi: 10.1097/ACM.0000000000002070.

Learning in Practice: A Valuation of Context in Time-Variable Medical Training.

맥락적 교육과정: 메트릭스에서 배우고, 메트릭스로부터 배움(Acad Med, 2018)

The Contextual Curriculum: Learning in the Matrix, Learning From the Matrix

Brett Schrewe, MDCM, MA, Rachel H. Ellaway, PhD,

Christopher Watling, MD, MMEd, PhD, and Joanna Bates, MDCM

현대의학 학습자는 그 어느 때보다 광범위한 임상 환경에서 훈련한다.1 그러므로 의학 교육에서 맥락의 역할에 대한 근본적인 재평가가 필요하다.

Contemporary medical learners train in a broader range of clinical settings than ever before.1 There is a need, therefore, for a fundamental reappraisal of the role of context in medical education.

배경

Background

대부분의 중등교육은 대학 교실, 강의실, 실험실 등과 같은 비교적 표준화된 환경에서 이루어지는 반면, 임상 의학 교육은 의료 시스템의 복잡한 일상 현실에서 이루어진다. 병원 내에서 개별 부서와 단위가 작동하는 방식 간의 차이에도 불구하고, 최근까지도 의료훈련은 AHSC의 비교적 균일한 임상 컨텍스트 내에서 거의 전적으로 실시되었다.

Whereas most postsecondary education is situated in relatively standardized settings such as university classrooms, lecture theatres, and labs, clinical medical education takes place in the complex everyday realities of health care systems. Until recently, despite differences between the ways individual departments and units function within a hospital,5 medical training took place almost exclusively within the relatively homogeneous clinical contexts of AHSCs.

그러나 의학교육에서 AHSC의 지배력은 다음과 같은 이유로 도전을 받아왔다. 

• 급성 요양 병상 수 감소와 평균 입원 기간 감소, 

• 이전에 입원이 필요했던 조건의 외래환자 관리 강화, 

• 의사 인력 부족에 대처하고 지리적 대분배를 해결하기 위한 의과대학의 확대. 

• 인증 요건의 개정 

However, the dominance of the AHSC in medical education4 has been challenged by 

• reductions in the number of acute care beds and the average length of patient stay, 

• increased outpatient management of conditions that previously necessitated admission, 

• expansion of medical schools to meet physician manpower shortages and address geographic maldistribution, and 

• revisions of accreditation requirements.1,6 

이러한 변화는 generalism에 대한 요구 증가와 동시에 사회와 그들이 직면하게 될 사회의 모든 측면에 대한 의사들의 지속적인 훈련의 필요성과 일치한다.8–12

These changes coincide with increased calls for generalism7 and the persistent need to train doctors both in society and for all of the aspects of society they will encounter.8–12

AHSCs 이외의 지역에서 의료 훈련의 보급이 증가하고 있다. 실제로, 분산된 의료 교육은 급증했다. 6 지방 캠퍼스가 학문적 중심에서 멀리 떨어져 설립되었고, 종적 통합 임상실습은 의대 학생들을 그들의 임상실습 시기에 시골 지역사회에 배치하고, 그리고 의과대학이 점점 여러 주의 경계를 넘어 진행함으로써, 학습자를 지역사회 환경에 통합하고자 한다.

the increasing distribution of medical training outside of AHSCs. Indeed, distributed medical education has proliferated,6 with regional campuses being established far from academic centers,15 longitudinal integrated clerkships placing medical students in rural communities for their clerkship year,16 and medical schools increasingly crossing state and provincial lines to integrate learners into regional settings.17–19

AHSC 외부에서 의료 교육을 실시하더라도 동등한 교육 결과를 얻을 수 있음3,22,23

Conducting medical education outside of AHSCs can afford equivalent educational outcomes3,22,23

그러나 비 AHSC 훈련 컨텍스트가 이러한(또는 다른) 학습 결과를 가져오는 방식에서 선형 인과관계 또는 일관성을 가정할 수 없다.

However, we cannot assume linear causality or consistency in the ways that non-AHSC training contexts lead to these (or other) learning outcomes.

메트릭스로서 훈련 맥락

The Training Context as Matrix

환자

Patients

이 문맥 패턴은 특정한 맥락에서 보이는 환자의 인구학적 배경, 의학적 치료를 추구하는 이유, 그리고 개별 환자의 특성을 포함한다. 이 모든 것은 사이트마다 다를 수 있고 심지어 서로 가까운 곳에 있는 환자들도 포함된다.

This contextual pattern includes the demographic backgrounds of patients seen in a particular context, their reasons for seeking medical attention, and their individual characteristics, all of which can differ between sites, even those in close proximity to each other. 

예를 들어, [예비군 등 토착 환자의 높은 비율과 함께 환경에서 일하는 학습자]들은 다른 배경의 환자들을 서비스하는 인접 마을에서 훈련하는 동료들과 유사한 임상 기술을 개발할 수 있지만, 질적으로 다른 방식으로 그러한 기술을 수행하는 것을 배운다.29

For example, learners working in settings with a high proportion of Indigenous patients, such as on a reserve, may develop similar clinical skills to their colleagues training in an adjacent town that serves patients of a different background, but they learn to perform those skills in a qualitatively different fashion.29

진료

Practice

어떤 맥락에서든 의료행위에서 다음과 같은 것들이 의료행위의 맥락적 패턴에 포함된다.

• (학습자가 상호작용하고 질병 프로세스의 정신 모델을 개발하는) 급성 및 만성 임상 환자 문제의 다양성과 가변성 

• 사이트마다 현저하게 다를 수 있는 Allied 보건 전문가의 존재와 처리

The practices of medicine in any given context, ( ) are all included in the contextual pattern of practice. 

• the variety and variability of acute and chronic clinical patient problems with which learners interact and from which they develop mental models of disease processes, and 

• the presence and disposition of allied health professionals, which can differ significantly between sites, 

예를 들어, 지역 사이트에서 내과학을 배우는 사람들은 그들이 노출된 실습과 교육의 다른 범위 때문에 3차 치료 병원에서 훈련하는 것과 다른 기술을 가지고 나타날 수 있다.30 더 나아가, 소규모 현장의 학습자들은 그러한 맥락의 임상 관행에 상당한 영향을 미칠 수 있다.그것을 따르는 사람들의 경험과 기회를 변화시킴으로써.31

For example, those learning internal medicine at a regional site may emerge with differing skills from those training at a tertiary care teaching hospital because of the different scopes of practice and teaching to which they have been exposed.30 Further, learners at smaller sites can have a significant impact on that context’s clinical practice, thereby changing the experiences and opportunities of those who follow them.31

교육

Educational

물리적 환경

Physical

이 패턴은 원격성, 기후 및 계절적 변화를 포함하여 임상 훈련 컨텍스트의 물리적 설정을 반영하며, 모든 것은 현장마다 다를 수 있다. 

This pattern reflects the physical setting of a clinical training context, including its remoteness, its climate, and its seasonal variations, all of which can differ between sites. 

예를 들어 알래스카, 캐나다 북극 또는 호주의 외진 곳에서 배우는 사람들은 그곳에서 의학을 연습하는 물리적인 도전, 전화나 원격 의료로 상황을 관리하는 방법, 그리고 현재의 훈련 환경의 제약에 근거하여 환자를 더 높은 수준의 치료로 옮기는 방법을 알아야 한다. 마찬가지로, (관광지 등) 인구의 계절적 변화가 현저한 지역의 학습자들은 계절에 따라 상당히 다르게 연습하고 있음을 발견한다.

For example, learners in remote locations in Alaska, the Canadian Arctic, or Australia need to know how to deal with the physical challenges of practicing medicine there, how to manage situations by phone or telemedicine, and how to transfer patients to a higher level of care based on the constraints of their current training environment. Similarly, learners in areas that have significant seasonal variation in population (such as tourist areas) find themselves practicing quite differently according to the season.

헬스케어

Health care

여기에는 훈련이 이루어지는 보건의료의 직장과 제도적 문화가 포함된다. 사이트별로 조직의 가치, 관행, 규칙 및 루틴에 차이가 있을 수 있으며, 각각이 학습 경험을 형성할 수 있다. 

This includes the workplace and institutional cultures of health care in which training takes place. There may be differences in organizational values, practices, rules, and routines by site, each of which can shape the learning experience. 

예를 들어, 훈련생에게 기대되는 서비스 수준, 학습자에 대한 비의료 직원의 태도, 훈련을 지원하기 위해 이용할 수 있는 자원에 상당한 차이가 있을 수 있다. 이와 유사하게, 학습자가 private 환경에서 교육을 받느냐 또는 public 환경에서 교육을 받는지 여부는 환자가 의료에 대한 접근과 해당 의료에서 합법적으로 제공할 수 있는 관리를 변화시킬 수 있다.

For example, there may be significant variation in the service expectations of trainees, attitudes of nonmedical staff to learners, or resources available to support training. Similarly, whether learners are training in a private or public health care setting will likely change how they experience patient access to health care and what care they may legitimately provide there.

문화

Culture

매트릭스에서 배우기

Learning From the Matrix

우리는 situated learning theory 32를 이용하여 다양한 맥락적 측면이 어떻게 학습을 중재하는지를 조사할 수 있다. 특정한 업무 맥락에 참여한다는 것은 불가피하게 그 맥락에 의해 형성shape됨을 의미한다. 새로운 훈련의 맥락에서 자신을 발견하는 학습자들은 합법적인 주변 참여자들이다32: 그들은 그곳에 갈 권리가 있지만, 그들이 참여하고 있는 공동체의 일에 아직 완전히 참여할 수는 없다.

we can use situated learning theory32 to examine how different contextual aspects mediate learning. To participate in a particular work context is to be unavoidably shaped by it. Learners who find themselves in a new training context are legitimate peripheral participants32: They have a right to be there, but they are not yet able to participate fully in the work of the community they are joining.

타이밍과 몰입 수준은 학습자가 교육을 받는 상황에서 더 온전한fuller 참여자가 될 수 있는 정도를 결정하는 추가 요인이다. 예를 들어, 

• 짧은 로테이션에서 학습자는 "관광객"으로 로테이션할 수 있으며, 36은 직장의 맛을 보지만 그것에 의해 실질적으로 영향을 받거나 변경되지 않는다. 

• 반면, 더 긴 로테이션을 수행하는 사람들은 일반적으로 학습과 전문적 정체성이 국지적 임상 맥락에 의해 점점 더 영향을 받는 "체류자"가 된다.36 주변적인 것에서 보다 실질적인 참여로 이동하기 위해서는 맥락이 제공하는 학습 기회에 학습자가 더 적극적으로 참여해야 한다.37

Timing and the level of immersion are additional factors that determine the degree to which learners may become fuller participants in the contexts in which they are being trained. For example, learners on shorter rotations may rotate as “tourists,”36 getting a taste of a workplace but not being substantially influenced or changed by it. On the other hand, those who undertake longer rotations typically become “sojourners” whose learning and professional identities are increasingly influenced by the local clinical context.36 Moving from peripheral to more substantial engagement requires learners to engage actively with the learning opportunities afforded by the context.37

• 명시적 학습자 지원, 

• "체류"하기에 충분한 시간, 

• 특정 상황에서 능동적인 학습자 참여

...는 모두 비공식적 학습을 촉진하며, 이는 암묵적 지식의 개발을 초래한다. 이것은 학습자를 위한 능력 있는 참여의 핵심 요소로서, 특정한 환경에서 어떻게 일을 해낼 수 있는지에 대한 지식이라는 점에서 맥락과 불가분의 관계에 있다.40

Explicit preceptor support, sufficient time to “sojourn,” and active learner engagement in a specific context all facilitate informal learning,39 which results in the development of tacit knowledge. This is a key component of competent participation for learners, and it is inextricably linked to context, in that it is knowledge about how to get things done in a particular setting.40

또한, 맥락적 상호작용은 단순히 [학습자가 얻는 것이 무엇인가, 학습자가 경험에 의해 어떻게 변화되는가]에 관한 것이 아니다. 맥락적 상호작용으로 인해서, 특정 사람의 참여는 그 사람이 참여한 임상 맥락을 변화시킬 것이다. 예를 들어, "문제" 학습자의 존재는 preceptor의 노력을 다른 데로 돌리게 하거나, 지역 임상 실습 커뮤니티에서 학습자에 대한 신뢰를 떨어뜨리거나, 주변 사람들에게 분열적인 의사소통과 행동을 야기할 수 있다.

Further, contextual interactions are not simply about what learners gain and how they are changed by their experiences; the participation of any person in a given clinical context will also change that context. For instance, the presence of a “problem” learner may divert preceptor effort, diminish trust in learners in general in the local clinical practice community, or lead to divisive communication and behavior in those around them.

따라서 학습자의 현재 경험도 다음에 따라 달라진다. 

• 과거에 학습자보다 먼저 있었던 사람들의 참여(preceptor, 환자, 다른 사람의 반응에 영향을 줌) 

• 현재에 학습자, 프리셉터, 그와 함께 그 맥락에서 여행하는 환자(각 학습자가 얼마나 많은 관심을 받을지, 얼마나 기회가 제공될지에 영향을 줌.

A learner’s current experience will therefore also depend to some extent on 

• the participation of those who preceded them (influencing how preceptors, patients, and other respond to them) as well as 

• the current learners, preceptors, and patients who travel with them in that context (influencing how much or little attention each learner receives and the opportunities they are presented).

예를 들어, remote center의 통합실습에서 1년을 보내는 학습자는 해당 교육 맥락의 역사와 교육적 구성에 기초해 상당한 자율권을 부여받을 수 있다.

For example, learners who spend a year in an integrated clerkship at a remote center may be given significant autonomy based on the history and educational configuration of that training context.

반대로, 받는 3차 센터의 중환자실을 통해 회전하는 학생은 펠로우와 시니어 레지던트와 일할 것이다.

Conversely, their counterparts rotating through an intensive care unit in the receiving tertiary center will likely work under fellows and senior residents,

두 시나리오 모두에서 맥락적 패턴들이 서로 상호 작용하여, 학습자가 어떻게 변할 것이며, 의료행위에 대해서 어떻게 이해하게 될지를 형성할 것이며, 그러나 이러한 차이는 즉각적으로 드러나지 않더라도 결국 현저하게 다른 방식으로 만들어 낸다.

In both scenarios, the contextual patterns interact to produce a rich permutation of possibilities that shape who learners become and what their understanding of practice is, but in strikingly different ways that may not be immediately apparent.

매트릭스 안에서 살기

Living in the Matrix

Obviously, we cannot train every learner in every possible context that they will ever encounter. However, it is critical that we as preceptors and educators provide our learners with 

• the space and tools to recognize the contextual matrix in which they are embedded, 

• how it shapes their learning and practice, 

• how they might adjust to new contexts, and 

• how to adapt competently their cumulative and ever- growing clinical abilities to the demands of contextual change.

매트릭스 인식 연습: 맥락적 교육과정

Learning to Recognize the Matrix: The Contextual Curriculum

그러나 잠재적으로 가치 있는 학습 기회를 놓치거나 개입하기 전에 학습자를 위해 일이 중단되기를 기다리는 대신에, 우리는 학습자가 변화하는 맥락에서 일하고 건너도록 더 잘 준비하기 위한 맥락적 커리큘럼의 아이디어를 능동적으로 도출할 수 있다.

Yet instead of letting potentially valuable learning opportunities go by or waiting for things to go off the rails for learners before intervening, we may instead proactively draw upon the idea of a contextual curriculum to better equip our learners to work in and across changing contexts.

같은 장소에서 주로 훈련하는 학습자들에게조차, 한 과에서 다른 과로 옮겨가는 것은, 같은 지붕 아래서 일하는 마이크로 시스템의 다양성을 조사할 수 있는 기회를 제공한다.5

Even for those learners who train largely within the same location, moving from one specialty to the next affords opportunities to examine the diversity of training microsystems at work under the same roof.5

맥락적 커리큘럼의 개념이 새로운 것은 아니지만, 그 적용은 주로 실제 환경에서 직업 학습의 중요성과 관련이 있다.51 우리는 임상 훈련에는 언제나 맥락적 교육과정이 있다고 주장한다. 맥락적 교육과정이란 학습이 이루어지는 환경에 대해 의도적 또는 비의도적으로 배우는 것이 무엇인지를 뜻한다. 이러한 관점에서 보면, 맥락적 커리큘럼은 숨겨진, 암묵적인, 무효적인, 비공식적인 커리큘럼과 개념적으로 유사하다.52–55 이러한 다른 커리큘럼 개념과 마찬가지로 상황별 커리큘럼과 교육에 미치는 영향도 존재한다.56–58

Although the concept of a contextual curriculum is not a new one, its application has primarily been in relation to the importance of vocational learning in real-world settings.51 we assert that in clinical training there is always a contextual curriculum in terms of what is learned both intentionally and unintentionally from the settings in which learning takes place. From this perspective, the contextual curriculum has conceptual similarities with hidden, tacit, null, and informal curricula.52–55 As with these other curriculum concepts, the contextual curriculum and its effects on training are ever present.56–58

그러나 의학 교육의 맥락적 커리큘럼은 단순히 학습에 수동적인 영향을 주는 것이 아니다. 교육 결과를 개선하기 위해 교육과정이 이해, 수용되거나 심지어는 어느 정도 조작될 수 있다. 예를 들어, 우리는 우리의 모든 학습자들에게 맥락의 영향을 성찰하도록 장려하고 장려할 수 있다..44,59 

• 그들의 비공식적 학습으로부터 발생하는 암묵적 지식을 명확히 하고, 

• 어떤 일이 어떤 환경에서 이루어지는 이루어지는지, 어떤 방식으로 행해지는지를 구별하고, 

• 새로운 임상현장에 어떻게 행동을 조정할 수 있는지를 배우기 위해 

However, the contextual curriculum in medical education is not simply a passive influence on learning; it can be understood, accommodated, and, to some extent, manipulated to improve educational outcomes. For instance, we can foster and encourage all our learners to reflect on the influences of context, in order 

• to articulate the tacit knowledge that arises from their informal learning, 

• to differentiate between the way things are done in one setting and the ways in which they are done in another, and 

• thereby to learn how one might adjust behaviors to new clinical workplaces.44,59

실제적인 관점에서, 학습자들은 각각의 맥락적 패턴에 성찰적 사고를 집중시킴으로써, 그들이 알아차린 것을 설명하게 만드는 시간을 로테이션 내에 dedicate할 수 있다. 또 다른 접근방법은 학습자가 회진이나 관찰자 역할의 클리닉에 정기적으로 참여하는 것을 포함하며, 목표는 당일 임상 치료에 직접 참여하는 것이 아니라 상황적 요인이 치료 제공을 가능하게 하거나 금지하거나 영향을 미치는 방법을 이해하는 것이다.

From a practical standpoint, learners could be provided with dedicated time throughout a rotation to describe what they notice, using each contextual pattern to focus their reflective thinking. Another approach would involve learners’ regular participation on rounds or in clinic in an observer role, the goal being not to engage directly in clinical care that day but rather to appreciate how contextual factors enable, inhibit, or influence the provision of care.

이러한 경험은 

• 학습자가 패턴 측면에서 알아낸 것, 

• 이러한 서로 다른 패턴이 상호작용하는 방법, 

• 그리고 다른 맥락에서 치료 제공을 형성하는 방법

...을 확고히 하기 위한 방법으로서 지도자와 동료들과의 정기적인 촉진 토론을 통해 보완될 수 있다. 

These experiences could be complemented through regular facilitated discussion with preceptors and peers as a way to cement 

• what learners have noticed in terms of patterns, 

• how these different patterns interact, and 

• how they shape the provision of care in different contexts. 

학습자가 로테이션 사이를 이동함에 따라, 

• 그들은 그들의 급증하는 임상 능력이 그들과 함께 이동하며, 그들의 지속적인 경험에 의해 형성된다는 것을 인식하도록 장려될 수 있다. 

• 또한 이러한 기술을 효과적이고 능숙하게 사용할 수 있는 능력은 그들이 배우고 연습하고 있는 치료의 맥락에 크게 좌우된는 것을 인식하도록 장려되어야 한다.

As learners move between rotations, 

they could be encouraged to recognize that while their burgeoning clinical abilities travel with them and are shaped by their ongoing experiences, 

the ability to use these skills effectively and competently depends significantly on the contexts of care in which they are learning and practicing.

또 다른 형태의 성찰은 [임상 학습자가 훈련의 맥락과 관련]하여 [자신의 개별 가치와 태도의 상호작용과 그들의 전문적 정체성의 상호작용을 고심할 기회]를 제공할 수 있다. 예를 들어, Holmes 등 63은 학습자가 임상 작업장에 관여할 때 필요한 특정 성찰 역량의 집합을 제안했다. 

• 작업장에서 외부 압력에 순응하는 동기를 이해

• 압력이 있는 순간 그 압력을 인지

• 신뢰할 수 있는 의료 교육자나 동료와의 경험을 분석

• 개인적인 가치와 행동의 집합에 대한 결정

Other forms of reflection can afford clinical learners an opportunity to grapple with the interactions of their own individual values and attitudes61 and their developing professional identities62 as related to their contexts of training. For instance, Holmes et al63 proposed a specific set of reflective competencies for learners as they engage with the clinical workplace: 

• understanding their motivations to conform to external pressures in the workplace, 

• becoming aware of these pressures in the moment, 

• analyzing their experiences with trusted clinical educators or peers, and 

• deciding on a personal set of values and behaviors.

또한 각 학습자는 독특한 개인이지만, 그들은 그들 스스로 특정 사회 집단, 문화 관습, 역사, 권력 체계 등에 얽매여 있다. 맥락적 커리큘럼에 대한 인식을 배양하는 것은 [임상 의학을 보다 정교한sophisticated 지식과 실습]으로 이해하도록 장려할 수 있다.

Further, although learners are unique individuals, they are themselves bound up in certain social groups, cultural practices, histories, and systems of power. Cultivating an awareness of the contextual curriculum can encourage a more sophisticated understanding of clinical medicine as a situated knowledge and practice

학습자로 하여금 자신의 지도자preceptor가 당연시 여기는 것을 인식하는 능력을 개발하는 것은 핵심 교육적 이익이며, 전통적인 권력 차이에 걸쳐 단절되고 교육 및 의료 환경에 의미 있는 변화를 가져올 수 있는 [공유 학습]의 고유한 기회를 여는 것이다.

Developing a learner’s ability to recognize what their preceptors take for granted is a key pedagogical benefit, opening up a unique opportunity for shared learning that cuts across traditional power differentials and may lead to meaningful changes in the training and health care environment.

마지막으로 학습자의 임상 지식은 반복적으로 그리고 필연적으로 한 맥락에서 다음 맥락으로 이동하면서 축적된다. 상황별 커리큘럼을 준수하면 학습자가 

• 이 지식을 활용하고, 

• 어떻게 얻었는지 이해하며, 

• 각 컨텍스트에 특정된 암묵적 지식이 자신의 개발 임상 관행을 형성하는 방법을 파악하는

... 데 도움이 될 수 있다.

Finally, learners’ clinical knowledge accumulates as they move recurrently and inevitably from one context to the next. Attending to the contextual curriculum can help learners to 

• draw on this knowledge, 

• understand how they accrued it, and 

• grasp how tacit knowledge particular to each context shapes their developing clinical practice

나아갈 방향

Ways Forward

맥락은 의료 제공자로서 능력과 정체성과 분리할 수 없는 동적 매트릭스다.

context is a dynamic matrix inseparable from abilities and identities as health care providers.

맥락의 회피 불가능성, 즉 [맥락이 어떻게 학습자가 무엇을 할 수 있고 누가 될 수 있는지에 영향을 주느냐]는 우리가 훈련에 대해 생각할 때 그 핵심에 고집스럽게 남아 있는 개인주의에 대해 의문을 제기한다.

The inescapability of context—namely, how its effects shape what a learner can do and who they can be—calls into question the idea of individualism that stubbornly remains at the heart of how we think about training

의학 교육의 능력에 대한 레이저 초점이 점점 더 피할 수 없게 됨에 따라, 능력의 지나친 단순화는 항상 존재하는 위험이다.

As medical education’s laser focus on competency is increasingly inescapable, the oversimplification of competence is an ever-present risk.

우리는 교육에서 맥락적 다양성을 증가시키는 것에 대한 명확한 기관의 관심에 의해서 그리고 상황적 커리큘럼이 제공해야 하는 풍부한 학습의 다양성을 긍정적으로 활용하기 위해 규칙적인 반성을 사용함으로써 그것이 어떻게 유능하다는 것을 의미하는지 신중하게 고려하는 좀 더 미묘한 역량의 관점을 요구한다.

we call for a more nuanced view of competence that carefully considers how context shapes what it means to be competent by explicit institutional attention to increasing contextual diversity in training as well as by using regular reflection to leverage positively the rich diversity of learning that the contextual curriculum has to offer.

29 Kelly L, Walters L, Rosenthal D. Community- based medical education: Is success a result of meaningful personal learning experiences? Educ Health (Abingdon). 2014;27:47–50.

61 Asgarova S, McKenzie M, Bates J. Learning from patients: Why continuity matters. Acad Med. 2017;92(11 suppl):S55–S60. XXX

63 Holmes CL, Harris IB, Schwartz AJ, Regehr G. Harnessing the hidden curriculum: A four-step approach to developing and reinforcing reflective competencies in medical clinical clerkship. Adv Health Sci Educ Theory Pract. 2015;20:1355–1370.

68 Bates J, Ellaway R, Watling C. The influence of workplace context on learning and teaching. In: Delany C, Molloy E, eds. Learning and Teaching in Clinical Contexts: A Practical Guide. Edinburgh, UK: Elsevier; 2017.

Acad Med. 2018 Nov;93(11):1645-1651. doi: 10.1097/ACM.0000000000002345.

The Contextual Curriculum: Learning in the Matrix, Learning From the Matrix.

의학교육에서 세계-국지 긴장: '국제적으로 생각하고 국지적으로 행동하라'를 뒤집을 때인가? (Med Educ, 2019)

The global–local tension in medical education: turning ‘think global, act local’ on its head?

David Prideaux

도입

INTRODUCTION

이제 세계화는 현대 세계의 근본적인 부분이라는 것이 받아들여지고 있다.

It is now accepted that globalisation is a fundamental part of the contemporary world.

그러나 세계화가 형평성을 향상시키고, 민주주의를 촉진하고, 사회 정의를 모두를 위해 보장했다고 결론짓는 것은 실수일 것이다. 실제로, 그 반대의 주장이 나올 수 있다.

It would be a mistake, however, to conclude that globalisation has improved equity, fostered democracy or ensured social justice for all. Indeed, arguments could be made for the reverse.

국제화-현지화 사이의 긴장

THE GLOBAL–LOCAL TENSION IN MEDICAL EDUCATION

의학 교육도 세계화의 힘으로부터 벗어날 수 없다.

Medical education has not been immune from the forces of globalisation.

본 논문은 의료교육의 세계적 지역적 긴장에 대해 다룰 것이다. 동시에 그 긴장을 다룸에 있어서 국제보건은 불평등으로 특징지어지며, 그로 인해 국제보건 불균형을 다루어야 한다는 것을 인식한 맥락 안에서 고려한다.

This paper considers the global–local tension in medical education but within a context that recognises that global health is marked by inequity and a consequent need to address global health disparities.

의학교육의 세계화: 경제와 이타성

THE GLOBAL IN MEDICAL EDUCATION: ECONOMICS AND ALTRUISM

Harden1은 의학 교육에서 세계화를 촉진하는 세 가지 주요 요인을 요약했다. 

• 첫째, 의료 제공은 세계화되고 있으며, 의료인력의 국제적 이동성도 점점 더 높아지고 있다. 정부는 더 넓은 시장 접근과 경제적 이점을 위해 세계화를 선호한다. 

• 둘째, 의학 교육에 관한 국제 교류는 20세기 말과 21세기 초에 크게 강화되었다. 2002년 국제의학연구소(IIME)의 용어 해설(International Lossary of Medical Education, IIME)의 국제 용어 해설 발행으로 예증되는 의료 행위와 의학 교육을 뒷받침하는 어휘가 점점 더 흔해지고 있다.2 

• 마지막으로, 고등 교육 자체가 상업화되고 경쟁적이 되었다. 국제 의대생을 포함한 국제 학생들은 대학의 중요한 잠재적인 수입원이 되었다.

Harden1 has summarised three main sets of factors that promote globalisation in medical education. 

• First, health care delivery is globalised, with an increasingly mobile international health professional workforce. Governments favour globalisation for access to wider markets and economic advantage. 

• Second, international communication about medical education has been greatly enhanced in the late 20th and early 21st centuries. There is an increasingly common vocabulary underpinning medical practice and medical education, exemplified by the publication of an international glossary of terms by the International Institute of Medical Education (IIME) in 2002, albeit with a North American orientation.2 

• Finally, higher education itself has become commercialised and increasingly competitive. International students, including international medical students, have become important potential sources of income for universities.

세계화를 위한 이러한 힘은 크게 두 가지 자명한 범주로 분류된다. 위에서 1번과 3번 이유는 주로 경제적 이유로 추진되지만 다른 혜택도 가져다 준다. 이러한 범주에 속하는 관행은 의과대학 교육과정의 국제적 판매 또는 임대를 포함한다.

These forces for globalisation fall into two largely self-evident categories. The first and third of Harden’s1 forces are primarily economically driven but do bring other benefits. Practices that fall into these categories include the international sale or leasing of medical school curricula.

위에서 지적한 바와 같이, 국제 학생들은 그들을 모집하는 학교의 수입원이 되지만, 이 관행은 또한 일부 학생들이 (자신의 나라에서 의과대학에 입학하는 것이 매우 경쟁적일 때) 해외에서 공부할 수 있는 기회를 제공한다. 다른 세계화된 협약에는 국제 학생들을 위한 새로운 '해외offshore' 학교 설립과 다른 나라의 주최 기관에 의한 캠퍼스 또는 전체 의과대학 설립이 포함된다.

As indicated above, international students bring funds to the schools recruiting them but the practice also provides opportunities for some students to study abroad when entry to medical school in their own countries is highly competitive. Other globalised arrangements include establishing new ‘offshore’ schools for international students and the establishment of campuses or whole medical schools by host institutions in other countries.

건강 전문가의 국제 이동성이 증가함에 따라 더 넓은 고용 선택권이 주어진다.

The increasing international mobility of health professionals allows for wider employment options,

호주, 캐나다, 미국과 같이 건강 노동자를 지역불균형 문제가 큰 몇몇 국가들은 지역 졸업생들이 가지 않기로 선택한 지역, 특히 시골 지역에서 연습하기 위해 다른 나라의 의료 졸업생들에게 크게 의존하게 되었다. 그러나 동시에, 이러한 현상이 의료 졸업생이 유출된 건강 노동력에 미치는 영향은 그리 긍정적이지 않다.

some countries, such as Australia, Canada and the USA, which have maldistributed health workforces, have come to rely heavily on medical graduates from other countries to practise in locations, especially rural locations, where local graduates choose not to go. The effects on the health workforce in the countries that medical graduates leave are not so positive.

하든이 언급한 두 번째 force인 의사소통 및 국제적 이해 증가는 [이타주의와 협력에 대한 열망]에 의해 더욱 추진되었다.

Harden’s1 second force for globalisation in medical education, increased communication and international understanding, has fostered developments driven more by altruismand the desire for collaboration.

• For example, the International Virtual Medical School (IVIMEDS) has enabled the international sharing of medical education learning resources.5 

• The IIME has promoted the definition of minimal competencies for all doctors through its Global Minimum Essential Requirements (GMERs).  

• The WFME has been a champion of the sharing of international standards in accreditation of medical education to improve practices of medical education overall and to assist countries that do not have robust systems of medical school accreditation.4 

• More recently, the ASPIRE to Excellence Program has promoted international standards of medical education excellence.

의학교육의 국제화에 대한 비판

CRITIQUE OF GLOBALISATION IN MEDICAL EDUCATION

국제 의료 졸업생들을 활용하여 maldistributed workforce 문제를 해소하는 데 의존하는 나라들 중 하나인 캐나다는 의사를 '수입하는' 것으로 묘사된다. '오프쇼링'이나 '공동브랜드'와 같은 다른 용어는 개최 기관이 다른 나라에 캠퍼스나 전체 의대를 설립하는 관행을 설명하기 위해 사용된다. 그러나 이러한 어휘를 사용하면 이러한 관행에 대한 근본적인 질문을 제기할 필요를 비껴갈 수 있다. 보건 전문가들이 떠나는 나라가 주로 특히 저개발 국가임을 고려했을 때, 이러한 현상이 보건 시스템에 미치는 영향은 무엇인가? 누가 offshore 의과대학의 커리큘럼을 결정하며, 그것은 지역적/국지적으로 관련이 있는가?

Canada, one of the countries that relies on international medical graduates to address a maldistributed workforce, is described as ‘importing’ doctors. Other terms such as ‘offshoring’ or ‘co-branding’ are used to describe the practice of host institutions establishing campuses or whole medical schools in other countries. The use of such vocabulary can have the effect of deflecting attention away from the need to pose fundamental questions about some of these practices. What is the effect of the migration of health professionals on the health systems of the countries they leave, especially as many are lowresource countries? Who determines the curriculum in offshore arrangements and is it locally relevant?

블래클리 외 좀 더 '이타주의적' 우려에 의해 동기화된 글로벌 협력의 일부를 조사하는데 '포스트 식민주의'라는 담론을 사용하였다.9 그들의 주장은 문제 기반 학습(PBL)이나 객관적 구조화된 임상시험(OSCEs)과 같은 교육학적 '개혁'과 결과의 사용과 같은 커리큘럼 개혁은 모두 대도시와 서양의 사회적 맥락에서 비롯된 일련의 문화적 가치에 내재되어 있다는 것이다. 세계적 협력을 통해 이러한 개혁을 비-대도시와 비-서양의 맥락에서 무비판적으로 적용한 것은 블라크리와 그의 동료들에게 9는 신식민주의 형태를 나타낸다. 이는 국지적 맥락에서 sensitive하거나, 적절한 것은 아닐 수 있는 의료 교육 프로그램을 도입하는 결과를 낳는다. 

Bleakley et al. have used such a discourse, ‘postcolonialism’, in examining some of the global collaborations motivated by more ‘altruistic’ concerns.9 Their argument is that pedagogical ‘reforms’, like problem-based learning (PBL) or objective structured clinical examinations (OSCEs), and curriculum reforms, such as use of outcomes oressential and core requirements, are all embedded in a set of cultural values whose origins lie in metropolitan and Western social contexts. The uncritical application of these reforms in nonmetropolitan and non-Western contexts through global collaborations represents, for Bleakley and his colleagues,9 a form of neo-colonialism. This results in the introduction of medical education programmes that may not always be sensitive to or appropriate in a local context. 

이에 대해 WFME는 인증에 대한 글로벌 접근방식을 강력한 방어하는 작업에 착수했다. 그러나 WFME는 자체적인 접근방식이 지역적 차이를 통합하고 존중할 수 있다고 주장한다. 실제로, 인증 표준을 구축하는 바로 그 과정이 지역적 맥락에서 확고하게 정착되는 과정이라고 말한다.

In response the WFME has launched a spirited defence of its global approach to accreditation. but the WFME claims that its own approach can and does incorporate and respect local differences. Indeed, it is pointed out that the very processes of constructing accreditation standards have been anchored firmly in local contexts.10

교육적, 교육과정적 개혁은 의과대학에 주입되는 과정이지만, 의과대학 프로그램의 결과에 미치는 영향은 그다지 명확하지 않다. 블래클리 외는 의학교육에 대한 [입력]과 [결과] 또는 [보건 시스템에 대한 영향] 사이의 연결 부재의 두 가지 대표적인 예를 제공한다.9

Pedagogic and curriculum reforms are processes that feed into medical schools but their effect on the outcomes of medical school programmes is not so clear. Bleakley et al. provide two telling examples of the lack of connection between inputs into medical education and outcomes or impacts on health systems.9

그들은 크리슈난의 연구를 인용하고, 크리슈난은 인도 의학 교육의 문제는 교육학의 문제가 아니라 인구의 건강 요구에 대한 대응력의 결여라고 결론짓는다.

They cite Krishnan’s work, Krishnan concludes that the problems with Indian medical education are not matters of pedagogy but lack of responsiveness to the health needs of the population.

두 번째 예는 라오가 일본에서 의학 교육을 참관하기 위해 미국을 방문했다는 설명에서 나온 것이다.12 그는 강의와 교과서 접근법, 학생 수동성, 일본 의과대학은 학생의 임상 술기 개발에 대한 관심이 부족하다는 점에 대해 비판적이지만, 일본 보건 시스템이 미국에 비하면 인구집단에 대해서 더 나은 건강 결과를 제공한다는 것을 인정한다. 

The second example is drawn from Rao’s account of a visit from the USA to observe medical education in Japan.12 He is critical of the lecture and textbook approach, student passivity and lack of attention to the development of clinical skills in Japanese medical schools, yet acknowledges that the Japanesehealth system provides better health outcomes for its population than that of the USA. 

Boelen과 Woollard는 20세기 후반과 21세기 초의 교육학 및 커리큘럼 개혁은 그들이 보건의료 분야의 인적 자원 개발에서 '글로벌 위기'라고 묘사한 것에 거의 영향을 미치지 못했다고 지적한다.13 그러한 위기에는 

• 의료전문가의 부족, 

• 전문의 진료와 1차 진료의 불균형, 

• 저자원 국가에서 고자원 국가로의 의료전문가의 이동, 

• 농촌의 저개발, 

• 건강의 사회적 결정요인에 대한 주의 부족 등이 있다.

Boelen and Woollard point out that the pedagogic and curriculum reforms of the later 20th and early 21st centuries have had little impact on what they describe as the ‘global crisis’ in human resource development in health care.13 Such a crisis is marked by 

• undersupply of health professionals, 

• imbalance of specialties and primary care, 

• migration of health professionals from low- to high-resource countries, 

• underserving of rural areas, and 

• lack of attention to social determinants of health.

Currently, medical schools around the world comprise a mixture of first-, second- and third- generation models, although the report states that no country has all schools located in the third generation.

모든 의과대학이 사회적 책임과 지역적 책임 의무를 갖는다는 입장을 취한다면, 의료교육의 글로벌-지역적 긴장에 대한 새로운 관점이 대두된다.

A new perspective emerges on the global–local tension in medical education if the position is taken that all medical schools have a social accountability and a local accountability mandate.

그들 자신의 교육 프로그램의 몇 가지 근본적인 질문들

some fundamental questions of their own educational programmes.

1 의대 입학자의 인구통계학적 특성은 무엇인가? 그들은 일반 인구를 대표하는가?

2 교육 프로그램은 지역적으로 목적적합하고 지역적으로 연계되어 있는가?

3 지역보건서비스와의 관계가 강하고 '공생적'인가?

4 졸업자는 출신국에 머무르고 있는가?

5 졸업자는 인력수요 분야에서 일하고 있는가?

6 졸업생들의 개인과 공공 의료의 균형은 얼마인가?

7 졸업생들의 전문 또는 1차 진료 관행의 균형은?

1 What are the demographic characteristics of entrants to medical school? Do they represent those of the general population?

2 Is the educational programme locally relevant and locally aligned?

3 Are there strong and ‘symbiotic’16 relations with local health services?

이러한 질문들이 세계적으로 상호의존적인 질문이라는 것을 인식하는 것이 중요하다. 출신 국가에 졸업생들을 유지하는 것은 다른 곳에서 practice할 기회와 관련이 있다. 보존retention에만 집중하는 것만으로는 충분하지 않다.

It is important to recognise that these are globally interdependent questions. The retention of graduates in countries of origin is related to opportunities to practise elsewhere. It is not enough to focus on retention alone.

모든 의과대학이 [지역사회책임]을 채택한다고 해서 문제가 해결될 것이라고 생각하는 것은 순진하다. 개별 의과대학의 지위와 그들의 지역적 행동을 넘어선 구조적인 문제들이 있다. 

It is naïve to think that adoption of local social accountability mandates by all medical schools will necessarily solve the issues . There are structural issues beyond the purview of individual medical schools and theirlocal actions. 

호주 의학 교육은 좋은 사례 연구를 제공한다. 금세기 초에 호주 정부는 의료 인력 부족과 대량 분배를 해결하기 위해 의대 학생들을 위한 더 많은 장소를 할당하고, 일부는 지역 지역에 위치해 있는 새로운 의과대학을 설립했다. 또한 시골지역 임상학교와 시골지역 보건부서에 자금을 지원하여 시골지역 의료서비스에 임상경험의 기회를 제공하였다. 또한, MRBS(Medical Country Bonded Generation)와 BMP(Bonded Medical Places) 가입 계획을 수립하였다. 이러한 계획들은 졸업 후에 학생들이 시골이나 의학적으로 소외된 지역에서 일하도록 요구하였다. 전자는 등록금과 장학금 지원에서 더 관대했고 6년간의 복무를 요구했다. 현재 신규 가입자에 대한 폐쇄 조치.19 호주 전체 의대생의 28.5%를 차지하고 있는 후자의 계획은 '효과적'이며 강압적이라는 이유로 호주 의학협회(AMA)의 반발을 샀다.21 국립농촌보건학생네트워크(NRHSN)의 보고서에 의하면 회원들의 폭넓은 보트에 대한 지지를 나타냈다.2016년 BMP.22보다 MRBS를 더 많이 지원하여 BMP에 대한 접합 시간을 학생의 의학과정에 해당하는 기간에서 1년으로 단축하였다. 일부 학군분배 문제를 해결하기 위한 추가 학생 장소 신설의 개념은 여전히 문제가 있는 것으로 보인다.

Australian medical education provides a good case study. In the early part of this century, the Australian Government allocated more places for medical students and established new medical schools, with some located in regional areas, in order to address medical workforce shortages and maldistribution. It also funded rural clinical schools and departments of rural health to provide opportunities for clinical experience in rural health services. Further, it established Medical Rural Bonded Scholarship (MRBS) and Bonded Medical Places (BMP) entry schemes. These schemes required students to work in rural or medically underserved areas after graduation. The former was more generous in tuition and scholarship support and required 6 years return of service. It is now closed to new entrants.19 The latter scheme, currently accounting for 28.5% of all medical student places in Australia,20 has attracted opposition from the Australian Medical Association (AMA) for being ‘ineffective’ and coercive.21 A report by the National Rural Health Student Network (NRHSN) indicated broad support by its members for both schemes, with more support for the MRBS than the BMP.22 In 2016 the length of bonded time for the BMP was reduced from a period equivalent to the student’s medical course to 1 year only. It would seem that the concept of the creation of additional student places to address workforce maldistribution remains problematic in some quarters.

호주 프로그램들의 일부 성과와 몇몇 의과대학들이 23-26 시골지역에서 학생들을 훈련시키도록 유도하는 데 있어서 주목할 만한 성공이 있었지만, 전반적으로 농촌의 인력 분배 문제는 여전히 남아 있다. 비록 그 이유는 복잡하고 무엇보다도 소외된 지역의 대학원 교육 기회 부족과 관련이 있지만, 노동력 불균형은 심지어 주요 정부 개입에도 저항하는 것처럼 보일 것이다. 혼자 또는 집단적으로 행동하는 개별 의대들이 이 문제에 대해 상당한 관심을 끌기는 훨씬 더 어려울 것이다.

There have been some demonstrated gains from the Australian programmes and notable successes by some medical schools in attracting students to practise in rural areas,23–26 but overall the problem of rural maldistribution remains. Although the reasons for this are complex and relate, amongst other things, to the lack of postgraduate training opportunities in underserved areas, it would seem that workforce maldistribution is resistant even to major government intervention. It would be even harder for individual medical schools, acting alone or collectively, to gain significant traction on this issue.

의학교육에서 세계-국지 긴장: 연구 아젠다

THE GLOBAL–LOCAL TENSION IN MEDICAL EDUCATION: A RESEARCH AGENDA

이 논문의 제목은 '세계적으로 생각하고, 지역적으로 행동하라'는 구호를 거꾸로 봐야하는 것은 아닌지에 대한 의문을 제기한다. 그러나 이것을 완전히 받아들이기는 아직 이르다. 경제나 이타주의에 의해 추진되든, 글로벌 협력의 결과와 영향에 대해 훨씬 더 많은 것을 알 필요가 있다.

The title of this paper raises the question of whether the oft-quoted slogan ‘think global, act local’ should be turned on its head. However, it is as yet premature to accept this fully. Much more needs to be known about the outcomes and effects of global collaborations, whether driven by economics or altruism.

앞에서 지적한 바와 같이, 이타적으로 동기화된 많은 글로벌 협력은 교육적 투입에 초점을 맞춘다. 그들의 결과는 대부분 알려지지 않았다.

As indicated previously, many altruistically motivated global collaborations focus on educational inputs. Their outcomes remain largely unknown.

호주와 뉴질랜드에서는 의대 결과 데이터베이스(MSOD)를 통해 결과를 모니터링하기 위한 공동의 노력이 있었다.27

In Australia and New Zealand there has been a concerted effort to monitor outcomes through the Medical Schools Outcomes Database (MSOD).27

호주 사례에서 이미 노동력 불균형이 높은 수준의 개입에 저항한다는 것이 밝혀졌다. 사회적 책임에 대한 연구의 원인과 효과를 확립하는 것은 연구 설계에 있어 중대한 도전을 제공할 것이다.

It has already been shown by the Australian example that workforce maldistribution is resistant to high-level intervention. Establishing cause and effect in research on social accountability will provide a significant challenge in research design.

결론

CONCLUSIONS

아마도 '지구적으로 생각하고, 지역적으로 행동하라'는 [지역적으로 생각하고, 세계적인 상호의존성을 가지고 행동하라]라는 것으로 재구성하여 의학교육의 원칙으로 삼아야 할지도 모른다.

Perhaps it is not time yet to fully move from a reconceptualisation of ‘think global, act local’ to something like think local and act with global interdependence as a guiding principle for medical education.

의학교육의 세계화는 그 본질에 의해, 계속 신속하게 진행될 것이며, 전 세계 어디에 있든 모든 의과대학들은 계속해서 그들의 지역사회적 책임을 매우 진지하게 받아들이도록 촉구되어야 한다. 그리고 결국 그것은 모두 성과를 보여야 할 것이다.

globalisation in medical education will, by its very nature, continue apace and all medical schools, wherever located, should continue to be urged to take their local social responsibilities very seriously. In the end it is all about outcomes.

Med Educ. 2019 Jan;53(1):25-31. doi: 10.1111/medu.13630. Epub 2018 Jul 4.

The global-local tension in medical education: turning 'think global, act local' on its head?

미래 의과대학의 열 가지 특징 - 불가능한 꿈은 아니다(Med Teach, 2018)

Ten key features of the future medical school—not an impossible dream

Ronald M. Harden

의료 커리큘럼이 의학 과학의 진보, 의료 행위의 변화, 환자 및 대중의 기대에 적절하게 대응하지 못하고 있다는 우려가 표명되었다. 란셋에서 많이 인용된 보고서에서 Frenk 외 연구진(2010년)은 "전문교육은 주로 분열되고 시대에 뒤떨어진 정적인 커리큘럼으로 인해 이러한 도전에 보조를 맞추지 못했다"고 주장했다. 고등교육에 대한 우려도 더 일반적으로 표출되었고 크리스텐슨과 에이링(2011년)은 "일반 대학은 지금까지 해온 것보다 더 빠르고 근본적으로 바뀌어야 한다"고 주장했다.

Concern has been expressed that the medical curriculum has not responded adequately to advances in medical sciences, to changes in medical practice, and to patient and public expectations. Frenk et al. (2010) in the much quoted report in the Lancet argued “Professional education has not kept pace with these challenges, largely because of fragmented, outdated, and static curricula that produce illequipped graduates.” Concern has also been expressed about higher education more generally and Christensen and Eyring (2011) argued that “the typical university must change more quickly and more fundamentally than it has been doing.”

헤스(2010년)는 그의 저서 "같은 맥락과 오버"에서 "낡아빠진 근본구조를 고쳐보려는 반복적인 시도"라고 설명했다. 개혁가들은 새로운 구조를 탐구하고 개발하기보다는 기존의 구조를 더욱 효과적으로 만들기 위해 그들의 신념과 자원을 쏟아 붓는다. 그들은 선 내에서 안전하게 색을 칠하는 경향이 있다. 그 이유는 주로 그러한 선들이 너무 당연하게 받아들여져서 개혁자들이 대안이 있다는 것을 깨닫지 못하기 때문이다."

Hess (2010) in his book The Same Thing Over and Over described “repeated attempts to improve a fundamentally outdated outmoded structure. Rather than explore and develop new structures, reformers pour their faith and resources into making the existing structure more effective. They tend to colour safely within the lines – largely because those lines are so taken for granted that would-be reformers don’t realise that there is an alternative.”

이 논문에서, 나는 의사들을 훈련시키는 방법과 관련된 현재와 미래의 도전들을 충족시키기 위해 미래의 의과대학이 어떤 모습일 수 있는지를 "선 밖의 색"하고 설명하려고 시도했다.

In this paper, I have attempted to “colour outside the lines” and describe what the medical school of the future could look like if it is to meet the current and future challenges relating to how we train our doctors.

상아탑에서 현실세계와 진정한 커리큘럼까지

From the ivory tower to the real world and the authentic curriculum

미래의 의과대학은 그들이 봉사할 인구의 필요를 충족시키기 위해 필요한 지식, 기술, 태도를 가진 의사들의 졸업이 우선인 진정한authentic 교과과정을 가질 것이다.이러한 목적은 결과 또는 역량 기반 접근법을 통해 명확하게 전달될 것이다(Harden et al. 1999). 각 과정과 학습 기회는 그들이 학교의 전반적인 졸업학습성과에 어떻게 기여하는지를 명시할 것이다. 

medical school of the future will have an authentic curriculum with its priority the graduation of doctors who have the necessary knowledge, skills, and attitudes to meet the needs of the population they will serve.This purpose will be clearly delivered through an outcome-or competency-based approach (Harden et al. 1999). Each course and learning opportunity will specify how they con-tribute to the overall exit learning outcomes for the school. 

학생들의 진행은 그들이 전문적 정체성을 개발하고, 그들의 마지막 학년에 학생 의사로서 봉사하면서 환자들의 치료에 대한 증가하는 임상적 책임을 질 수 있도록 계획될 것이다.

Students’ progression will be planned to allow them to develop their professional identity and to take increasing clinical responsibility for the care of patients, serving in their final year as a student doctor.

미래의 학교는 졸업할 때뿐만 아니라 졸업 후 6개월 혹은 몇 년 후까지 졸업생들에 대한 책임을 지게 될 것이다.

The school of the future will be accountable for its graduates, not just at the point of graduation but six months or years later.

우리가 훈련하고 있는 의사들의 특성은 시간이 지남에 따라 건강 시스템의 필요를 반영하여 바뀔 것이다.

The characteristics of the doctors we are training will change over time reflecting the needs of the health system.

만약의 학습에서 적시 학습으로 전환

Moving from just-in-case to just-in-time learning

현재는 의사로서 알아야 할 모든 것을 배우고 암기하는 학생이나 연습생에게 너무 많은 중점을 두고 있다. 이것은 의학 지식이 18개월에 두 배 혹은 그 이하로 두 배씩 증가하면서 견딜 수 있는 것이 아니다.

At present too much emphasis is placed on the student or trainee learning and memorizing all they need to know as a doctor. This is not tenable with medical knowledge doubling every eighteen months or less.

지식 피라미드의 제1단계(Harden and Lilley 2018)에서 설명한 의학의 어휘, 핵심 지식과 한계 개념, 의학의 가능성에 대한 인식은 계속 중요하겠지만, 중요한 것은 그들이 언제 무엇을 알아야 하는지, 어디서 무엇을 찾아봐야 하는지, 찾은 답을 어떻게 평가할 것인지에 대한 올바른 질문을 할 수 있는 의사의 능력이 될 것이다. 어디서 답을 찾아야 하는지 알고, 받은 답을 평가해야 한다(Friedman 등 2016). 미래의 의과대학은 정보 제공자로서의 교사가 아니라 학생이 필요할 때 정보를 찾을 수 있도록 지원하는 정보 코치의 한 사람으로의 전환을 보게 될 것이다(Harden and Lilley 2018).

A mastery of the vocabulary of medicine, core knowledge and threshold concepts and an awareness of the possibilities in medicine, as described in the first level of the knowledge pyramid (Harden and Lilley 2018), will continue to be important but as important will be the doctor’s ability to ask the right question when they need to know something, to know where to look for the answer and to evaluate the answers received (Friedman et al. 2016). The medical school of the future will see a switch from the teacher as an information provider to one of information coach where the student is supported in finding information when they require it (Harden and Lilley 2018).

기초과학 임상분열에서 기초과학과 임상의 완전 통합에 이르기까지

From a basic science clinical divide to full integration of the basic sciences with clinical medicine

그러나 현재 접근방식은 종종 초기에는 임상경험을 제한적으로만 제공하며, 후반부에 기초과학은 형식적으로만 제한된다. 던디 의과대학의 생화학과 교수 가랜드가 학생들이 임상경험이 있기 전보다는 생화학에 대해 더 잘 이해할 수 있도록 배치될 것이라고 주장하였다.

Approaches at present, however, are often restricted to the provision for the student of limited clinical experiences in the early years and a token representation of the basic sciences in the later years. Professor Garland when Professor of Biochemistry at Dundee Medical School argued that students would be better placed to understand biochemistry after and not before their clinical experiences.

교사의 과소평가부터 교사와 교사의 중요성 인식까지.

From undervaluing of teaching to recognition of the importance of teaching and teachers

교육과정에서의 의과대학에서의 우수성은 점점 더 인정받고 있지만 그것은 학장들에 의해 너무 자주 무시되는 메시지다. 교사들은 교육 프로그램의 성공의 열쇠다. 미래의 의과대학에서는 교사와 교사의 임용, 인정, 훈련, 보상이 우선순위가 될 것이다.

Excellence in a medical school in its education program is increasingly recognized but it is a message too frequently ignored by deans. Teachers are key to the success of an education program. In the medical school of the future, priority will be given to teaching and to the appointment, recognition, training, and reward of teachers.

스텐하우스(1975년)가 지적한 바와 같이 "결국 학교의 세계를 이해함으로써 변화시킬 사람은 교사들이다." 교육 연구는 단순히 교사만을 위한 것이 아니라, 교사에 의한 것, 그리고 그 교사는 연구자로서 교사일 것이며, 연구를 당하는(researched) 교사만은 아닐 것이다.

As noted by Stenhouse (1975) “It is teachers who in the end will change the world of the school by understanding it.” Research in education will not just be for teachers but by teachers with teachers as researchers and not just the researched.

의뢰인으로서 학생으로부터 파트너로서 학생으로의 이동

A move from the student as a client to the student as a partner

교육 프로그램에서 학생의 역할은 고객 중 하나에서 소비자 및 학습 과정에서 파트너로 바뀌었다. 그들의 역할은 계속해서 진화할 것이며, 교육 프로그램 운영, 피어티칭, 평가 프로그램, 그리고 의대 입학을 위한 선발 과정에 걸쳐 학교와 커리큘럼 계획의 관리에 관여하는 것을 포함할 것이다. 미래의 학교 학생들도 직원 임용 면접에 참여할 것이며, 이것이 시행된 곳에서는 신선하고 도움이 되는 통찰력을 주는 것으로 밝혀졌다.

The role of the student in the education program has changed from one of a client to a consumer and a partner in the learning process. Their role will continue to evolve and will include involvement with the management of the school and curriculum planning, with delivery of the education program and peer teaching, with the assessment program and with the selection process for student admission to medical school. Students in the school of the future will also be involved with staff appointment interviews and where this has been implemented, it has been found to give fresh and helpful insights.

학습은 디지털 학습 가이드에 의해 지원되며 각 학생은 개인 온라인 학습 보조자(POLA)를 갖게 된다. POLA는 학생이 학습 성과의 달성을 평가하는 데 도움이 될 것이며 적절한 학습 기회를 추천할 것이다. POLA의 지원을 받는 학생들은 학습에 대해 더 많은 책임을 질 것이며, 자율학습(self-learning)에서 자기주도학습(SDL)으로 옮겨갈 것이다.

Learning will be supported by digital study guides with each student having their own personal online learning assistant (POLA). The POLA will help the student to assess their achievement of the learning outcomes and will recommend appropriate learning opportunities. Supported by the POLA, students will take more responsibility for their learning, moving from directed self-learning to selfdirected learning.

모든 학생들은 교육과 관련한 지식, 기술, 이해력을 갖추기 위해 교과 과정의 일부로 교육에 대한 훈련을 받을 것이다.

All students will receive training in education as part of the curriculum to equip them with educational knowledge, skills and understanding.

이미 2000년 3%에서 2017년 15%로 학생이 공동 집필한 의학교사에 게재된 논문 수가 증가했다(Harden et al. 2018).

Already the number of papers published in Medical Teacher where a student is a coauthor increasing from 3% in 2000 to 15% in 2017 (Harden et al. 2018).

미스터리 투어에서 지도 여행으로 이동

A move from a mystery tour to a mapped journey

현재, [학습 경로와 궁극적인 목적지로 이어지는 단계에 대한 실질적인 이해]는 없는 상태로, 특정 주제를 왜 배우는지에 대해서는 표면적인 이유만 제공되는 "위장camouflage"이 벌어진다. 이는 최종 목적지에 대한 투명성이 결여되어 있고 한 분야의 연구가 다음 분야에 대한 이해에 어떻게 기여하는지에 대한 마법magical의 미스터리 투어에 비유되어 왔다.

At present there is often only a camouflage relevance where a superficial reason is given for learning a topic with no real understanding provided of the learning path and the steps that lead to the students ultimate destination. This has been likened to a magical mystery tour where there is an absence of transparency as to the final destination and how study in one area contributes to an understanding of the next area.

목적지(학습 결과)와 학생들이 어떻게 그곳에 도달할 수 있는지를 보여주는 다-관계 커리큘럼 맵이 있을 것이다(Harden 2001).

지도를 사용하여 학생들은 그들의 교육 여정과 여정의 진행 과정을 도표로 그릴 수 있고 각 단계에서 그들 자신의 이해와 성과를 평가할 수 있을 것이다.

지금까지 과정을 살펴보면, 커리큘럼 매핑을 통한 진행 속도가 주요 참가자들 간의 협업 구축에 어려움으로 인해 기대했던 것보다 느렸다.

Progress to date with curriculum mapping has been slower than might have been expected due to difficulties in establishing collaborations between the key players

표준 단일 프로그램에서 적응 학습을 통한 적응 교육 과정으로의 전환

A move from a standard uniform program to an adaptive curriculum with adaptive learning

의사들은 각 환자를 스스로 자신의 관리 계획이 필요한 개인으로서 취급한다. 개별화된 의술은 점점 더 의료행위의 특징이다. 동일하게, 각 학생들도 서로 다르지만 [개인화된 교육]은 최근까지 관심을 받지 못했다.

Health care professionals treat each patient as an individual who requires their own personal management plan. Personalized medicine is increasingly a feature of medical practice. Each student is also different but personalized education has until recently attracted less attention.

나의 경험을 돌이켜보면, 기말고사에서 MCQ 평가점수의 범위는 5% 미만인 학생도 있고 45%가 넘는 학생도 있었다. 상단에 있는 학생들의 요구가 하단에 있는 학생들과 다르다는 것은 분명했다.

The range in the the end-of-course MCQ assessment on day one was great with some students scoring less than 5% and others over 45%. It was obvious that the needs of the students at the upper end were different from those at the lower end.

미래 학교의 커리큘럼 모델은 [시간이 정해져 있고 표준이 가변적인 것]에서 그 안에서 과정이나 요소를 완성하는 [시간이 가변적이고 표준이 고정된 곳]으로 이동하게 될 것이다(Frank et al. 2017).

The curriculum model in the school of the future will move from one where time is fixed and standards are variable to one where time to complete a course or element within it is variable and standards are fixed (Frank et al. 2017).

적응형 커리큘럼은 다양한 세분성 수준에서 제공된다 (과정 또는 전체 과정 내에서 제공되는 개별 학습 기회, 모듈 또는 유닛과 관련된 단위). 시뮬레이션 센터에서의 경험, 뒤집힌 수업 세션 준비 또는 녹음된 강의 청취는 분 또는 시간 단위로 특정되지 않고 활동에 대해 지정된 학습 성과를 달성하는 데 소요되는 시간에 따라 달라진다.

The adaptive curriculum will be delivered at different levels of granularity, associated with the individual learning opportunities offered, modules or units within a course or the whole course. Experience in the simulation center, preparing for a flipped class session or listening to a recorded lecture will not be specified in minutes or hours but will depend on the time taken to achieve the learning outcomes specified for the activity.

적응형 커리큘럼의 도입은 쉽지 않을 것이며, 교육 및 평가에 대한 다른 접근방식이 필요할 것이다(Tackett et al. 2018b).

The introduction of an adaptive curriculum will not be easy and will require different approaches to teaching and assessment (Tackett et al. 2018b).

완전한 학습 기술을 활용하지 못한 것에서 창의적이고 효과적인 사용으로 전환

A move from a failure to exploit fully learning technology to its creative and effective use

Prensky(2013년)는 "기술은 단순히 낡은 것을 하는 새로운 방법이 아니라는 것을 이해하는 것이 중요하다"고 주장했다. 그것은 사실 가장 사소한 기술 사용이다." 교육 분야의 미래 기술에 초점을 맞춘 교육 리더십의 같은 호에서 리처드슨(2013년)은 닐 포스트맨의 말을 인용, "기술적 변화는 부가적인 것이 아니다. 그것은 생태적인 것이며, 즉, 모든 것을 바꾼다는 뜻이다."라고 말했다.

Prensky (2013) argued “it’s important to understand that technology isn’t just a new way to do old things, which is mostly how we use it in schools today. That is, in fact, the most trivial use of technology.” In the same issue of Educational Leadership devoted to the future of technology in education, Richardson (2013) quoted Neil Postman “Technological change is not additive: it is ecological, which means, it changes everything.”

하버드 대학의 명예총장 바버 외(2013년)는 공공정책연구소의 보고서 도입에서 "세계화와 기술이 지난 20년 동안 다른 거대한 경제 분야를 변화시켰듯이, 향후 20년 동안 대학들이 변혁에 직면해 있다"고 제안했다.

In the introduction to the report by the Institute for Public Policy Research, An avalanche is coming, Barber et al. (2013), President Emeritus of Harvard University, suggested “just as globalisation and technology have transformed other huge sectors of the economy in the past 20years, in the next 20years universities face transformation.”

학습에 대한 구획화된 평가에서 학습을 위한 프로그램 중심의 평가로의 이동

A move from compartmentalized assessment of learning to program-focused assessment for learning

성과 평가, 역량 기반 평가, 학습을 위한 평가, 프로그래밍 평가 및 테스트 강화 학습과 같은 이니셔티브

평가는 학습자가 필요한 역량과 특정 학습 성과를 달성했는지 여부를 판단하는 목적뿐만 아니라(AOL), 학습자의 연구를 지도하고(AFL) 학습에 기여한다(TEL)(Schuwirth 및 Van der Vleuten 2011).

Assessment will not only serve the purpose of determining whether the learner has achieved the required competencies and specified learning outcomes (assessment of learning) but will also guide the learner’s studies (assessment for learning) and contribute to their learning (test enhanced learning) (Schuwirth and van der Vleuten 2011).

상대적으로 고립된 환경에서 작업하던 것에서 더 큰 협업으로 전환

A move from working in relative isolation to greater collaboration

협업은 미래 학교의 중요한 특징이 될 것이다.

Collaboration will be an important feature of the school of the future–

의과대학에서, 교과과정의 다른 단계에 있는 교사들 사이의 협업은 단지 윈도우 드레싱 이상의 수평적, 수직적 통합과 함께 두드러지게 특징지어질 것이다.

In the medical school, collaboration between the teachers in the different phases of the curriculum will feature prominently with horizontal and vertical integration being more than just window dressing.

과거에 배우는 것은 종종 혼자 하는 연습이었다. 어느 정도 PBL과 같은 공동 작업이 이루어졌지만, 학생들은 주로 강의를 듣고 그들 스스로 메모를 하고 책이나 다른 보조 도구들을 가지고 공부했다. 높은 수준의 협업, 네트워킹과 피어 투 피어 교육을 가진 강력한 커뮤니티는 미래의 학교에서 중요한 역할을 할 것이다.

In the past learning has often been a solitary exercise. Students listen to a lecture and make their own notes and study with books or other aids on their own although to some extent collaboration occurred with problem-based learning. High levels of collaboration, a strong community with networking and peer-to-peer teaching will have an important part to play in the school of the future.

협업은 국내외적으로 다른 기관들이 참여하는 의대를 넘어 확대될 것이다. 미래의 의과대학은 더 이상 self-sufficient하지 못할 것이며 independent하지 못할 것이다.

Collaboration will extend beyond the medical school involving other institutions nationally and internationally. The medical school of the future will be less self-sufficient and independent.

이러한 분리를 통해 비용 절감과 동시에 품질 향상을 실현할 수 있다(Gupta et al. 2005).

Such unbundling will allow cost savings and at the same time quality improvement (Gupta et al. 2005).

교육 전략, 학습 성과, 평가 및 재정에 대한 의사소통이 없거나 전혀 없는 상태에서 운영되는 학부, 대학원 및 지속적인 교육의 다른 단계와는 다른 움직임이 있을 것이다.

There will be a move away from the different phases of undergraduate, postgraduate and continuing education little operating in isolation with or no communication about educational strategies, learning outcomes, assessment, and finances.

고찰

Discussion

 (Table 1).

극복해야 할 장애물은 교수진의 저항, 시간을 포함한 자원의 부족, 학생들의 걱정 등이 있다. 학생들의 걱정은 특히 학업과 국가 기말고사 사이에 불일치가 있을 경우(우리가 바라던) 심화될 것이다. 그러나 현상유지는 선택사항이 아니다. 교사와 교육에 전념하는 다른 사람들은 변화가 일어나기를 기다리기만 해서는 안 된다. 그들은 그들 자신의 미래 학교를 위한 흥미로운 비전을 만드는 과정의 일부가 되어야 한다. Geurin (2017)이 지적한 바와 같이, "최고의 해결책은 손쉽지(microwave-friendly하지) 않다. 그들은 더 깊은 생각을 한다. 그들은 관점을 바꾸어서 온다. 현상황에 도전하는 고된 일을 하라. 더 깊은 질문을 던지고 새롭고 흥미로운 방법으로 세상을 바라보라."

Obstacles to be overcome will include 

• faculty resistance, 

• lack of resources including time and 

• students’ concerns and apprehension 

...particularly if there is a mismatch (which we hope there will not be) between their studies and a national final exam if one exists. The status quo, however, is not an option. Teachers and others with a commitment to education should not just wait for change to happen. They should be part of the process of creating an exciting vision for their own school of the future. As noted by Geurin (2017) “the best solutions aren’t microwave friendly. They come through deeper thinking. They come by shifting perspective. Do the hard work of challenging the status quo. Ponder the deeper questions and look at the world in new and interesting ways.”

용어 사전

Glossary

• 적응형 커리큘럼: 적응형 커리큘럼은 속도, 지속시간 및 학습 접근방식의 측면에서 개별 학생의 요구에 맞게 개인화된다.

• 커리큘럼의 분해: 분해된 커리큘럼에서 학교는 프로그램을 고립된 상태에서 운영하지 않고, 다른 학교 교사, 교육 전문지식, 커리큘럼의 요소, 학습 자원, 평가와 공유한다.

• Adaptive curriculum: An adaptive curriculum is personalized to the individual student’s needs in terms of pace, duration, and learning approaches.

• Unbundling the curriculum: In an unbundled curriculum the school does not deliver its program in isolation but shares with other schools teachers, educational expertise, elements of the curriculum, learning resources, and assessments.

Brenner J, Bird J, Ginzburg SB, Kwiatkowski T, Papasodero V, Rennie W, Schlegel E, ten Cate O, Willey JM. 2018. Trusting early learners with critical professional activities through emergency medical technician certification. Med Teach. 40:561–568. XXX

Harden RM, Lilley PM. 2018. 8 roles of the medical teacher. London (UK): Elsevier.

– Harden RM. 2018. Excellence in medical education Can it be assessed? TAPS. 3:1–5.

Med Teach. 2018 Oct;40(10):1010-1015. doi: 10.1080/0142159X.2018.1498613. Epub 2018 Oct 16.

Ten key features of the future medical school-not an impossible dream.

학부 일차의료 교육과정을 위한 블루프린트(Acad Med, 2016)

Blueprint for an Undergraduate Primary Care Curriculum

Sara B. Fazio, MD, Monica Demasi, MD, Erin Farren, Susan Frankl, MD, Barbara Gottlieb, MD, MPH, Jessica Hoy, MD, Amanda Johnson, MD, MBA, Jill Kasper, MD, Patrick Lee, MD, Claire McCarthy, MD, Kathe Miller, MD,

Juliana Morris, MD, EdM, Kitty O’Hare, MD, Rachael Rosales, Leigh Simmons, MD, Benjamin Smith, MD, Katherine Treadway, MD, Kristen Goodell, MD, and Barbara Ogur, MD

1차 진료는 효율적이고 효과적인 보건 시스템의 초석이며, 예방에 중점을 두고 있으며, 질 향상과 진료 비용 절감에 대한 기여의 풍부한 증거를 가지고 있다. 궁극적으로, 기능성이 높은 1차 진료 관행은 의료 개선 연구소의 트리플 에이밍(Triple Aim)의 규약에 기초한다.1 이를 위해 최근에는 합병증 치료를 기다리기보다 질병 예방, 질 향상과 서비스 중복을 줄이기 위한 진료 조정 등으로 진료의 초점이 옮겨지고 있다.

Primary care is the cornerstone of efficient and effective health systems, with its emphasis on prevention and the abundant evidence of its contribution to improved quality and lower costs of care. Ultimately, high-functioning primary care practices are based on the tenets of the Institute for Healthcare Improvement’s Triple Aim—

• improving patients’ experience of care and 

• (improving) the health of populations and 

• reducing the per capita cost of health care.1 

To this end, the focus of care has shifted recently to preventing disease rather than waiting to treat complications, and on coordinating care to improve quality and decrease the duplication of services.

이러한 부족은 미국 MD-granting의 25% 미만과 DO-grant 의과대학 졸업생의 31%가 1차 진료에 들어갈 계획이기 때문에 단순히 의과대학의 입학을 확대해서 해결할 수 없다.4,5 게다가, GME 교육훈련이 현재의 1차 진료과정의 많은 측면에 임상의사를 적절하게 준비시키지 못한다는 것을 시사한다. 

This shortage cannot simply be addressed by expanding enrollment in medical schools, as fewer than 25% of U.S. MD-granting and 31% of DO-granting medical school graduates plan to enter primary care.4,5 In addition, evidence suggests that graduate medical education training does not adequately prepare clinicians for many aspects of current primary care practice.6

1994년, 의학연구소는 1차 치료를 

"대부분의 개인 의료 요구를 해결하고, 환자와의 지속적인 파트너십을 개발하며, 가족 및 공동체의 맥락에서 실천할 책임이 있는 의료인에 의한 통합적이고 접근 가능한 의료 서비스의 제공"이라고 정의했다. 

In 1994, the Institute of Medicine defined primary care as 

“the provision of integrated, accessible health care services by clinicians who are accountable for addressing a large majority of personal health care needs, developing a sustained partnership with patients, and practicing in the context of family and community.” 

1차 진료 의사가 아닌 의사들도 이 시스템에서 일차의료 의사의 중추적인 역할을 잘 이해해야 할 것이다. 또한 최적의 환자 관리를 위해서는 일차의료 의사와의 조정을 통해 자신의 진료 방식을 개혁해야 하는 중요성을 이해해야 할 것이다.9

Non-primary- care physicians will need to understand the pivotal role of generalists in this system, as well as the importance of reforming their own practices to better coordinate with primary care physicians for optimal patient management.9

일차의료 교육과정 개발 개요

Overview of Developing a Primary Care Curriculum

우리는 이 1차 진료 커리큘럼에 두 가지 주요 구성요소가 포함될 것으로 예상하였다. 즉, 

• 1차 진료의 기본 주제 세트와 

• 모든 의대생이 경험해야 하는 1차 진료 관행에서 가장 중요한 임상 조건 목록

We envisioned that this primary care curriculum would include two main components—

• a set of themes fundamental to primary care and 

• a list of the most important clinical conditions in primary care practice with which every medical student should have experience.

우리의 목표는 다른 기관들이 일반화할 수 있고 모든 학생들이 그들의 훈련에서 성취할 것으로 기대되어야 하는 일련의 능력을 알리는 그러한 커리큘럼의 핵심 요소들을 위한 "블루스카이" 템플릿을 개발하는 것이었다.

Our goal was to develop a “blue sky” template for the key components of such a curriculum that would be generalizable to other institutions and would inform a set of competencies that all students should be expected to attain in their training.

몇 가지 운영상의 특징은 1차 진료 커리큘럼에 있어 중요한 것으로 나타났다. 

• 첫째, 교육 초기에 시작되는 1차 진료 관행에 학생의 종적 통합을 포함해야 한다. 그것의 목적은

• 기초과학 교육과정에 경험적 기반을 제공하고

• 향상된 임상 기술 훈련 및 평가를 가능하게 하고

• 학생들의 만족도를 높이고

• 학생들이 시간이 지날수록 따라갈 수 있는 환자 패널을 만들 수 있게 하는 것이다.

• 또한 1차 진료 교육과정은 모든 학생들이 환자의 질병 경험에 지속적으로 관여할 수 있도록 4년간의 학부 의료 교육을 모두 거쳐야 한다. 

• 마지막으로, 커리큘럼은 발달적으로 progressive해야하며, 학생들의 관심 수준을 목표로 해야 하며, 모든 학생에 대한 기초적 역량과 1차 진료 분야의 직업에 초점을 맞추려는 학생들을 위한 확장된 역량이 있어야 한다.

Several operational features emerged as critical for a primary care curriculum. 

• First, it should include the longitudinal integration of students into primary care practices beginning early in their training, to provide experiential grounding to the basic science curriculum, allow for enhanced clinical skills training and assessment, improve student satisfaction, and enable students to build a panel of patients whom they can follow over time.18,24 

• In addition, a primary care curriculum should span all four years of undergraduate medical education, providing all students with ongoing involvement in their patients’ experiences of illness. 

• Finally, the curriculum should be developmentally progressive and targeted to students’ levels of interest, with foundational competencies for every student and expanded competencies for those intending to focus on a career in primary care.

일차의료 교육과정 개발의 개념적 접근

Conceptual Approach to Developing a Primary Care Curriculum

팀의 각 구성원은 새로운 커리큘럼에서 다루어야 할 10가지 내용과 경험적 요소 목록을 작성하도록 요청받았다. 그리고 나서 우리는 이 목록들을 격자 모양으로 정리했다.

Each member of the team was asked to create a list of 10 content and experiential elements that should be covered in the new curriculum. We then compiled these lists into a grid.

돌봄 관리

Care Management

1. 종단성

1. Longitudinality

일차 진료에 대한 의학연구소의 정의의 핵심은 제공자와 환자 사이의 시간에 따른 지속적인 관계의 개념이다.7 대부분의 의과대학은 학생들이 그들의 교육 초기에 환자와 상호작용할 기회를 제공한다. 그러한 기회는 분명한 이점이 있다. 즉, 학생들은 기초과학을 임상기술에 더 잘 연계시킬 수 있으며, 이를 통해 임상기술에 대한 자신감을 높이고, 자기인식을 함양하며, 전문적 정체성의 개발을 양성하며, 보다 만족감을 얻을 수 있다. 그러나 일반적으로 데이터 수집과 치료 에피소드의 관찰에 제한되는 단일 환자 상호 작용은 학생들에게 1차 치료의 핵심 종적 특성을 목격할 기회를 제공하지 않는다.

Central to the Institute of Medicine’s definition of primary care is the concept of a sustained relationship over time between a provider and patient.7 Most medical schools offer opportunities for students to interact with patients early in their education. Such opportunities have clear benefits — students are better able to link the basic sciences to clinical medicine, which allows them to become more confident in their clinical skills, inculcates their self-awareness, nurtures their development of a professional identity, and is more satisfying.30,31 However, a single patient interaction, generally limited to data gathering and the observation of a care episode, does not provide students with opportunities to witness the core longitudinal nature of primary care.

주로 급성 치료 입원 환자에 대한 기회주의적인 만남보다 그들의 질병의 전 과정에 대한 환자에 대한 노출이 교육적인 관점에서 더 가치가 있다.32 학생들이 진단 추론 기술을 배양하기 위해서는, 질병이 최초로 시작되는 시점부터 전체 병기 에피소드까지 환자와 연관되어야 한다.33 이러한 종적 접촉은 학생들이 

• 자신의 생활, 가족, 지역사회를 통괄하여 환자들을 알 수 있게 해주며, 

• 상황적 요인을 병과 연관시키는 것을 이해하고, 

• 효과적인 실천의 초석인 상호 신뢰 관계를 발전시킬 수 있게 한다. 

또한 종방향 접촉은 

• 학생들이 그들의 기술을 지속적으로 향상시키고, 

• 전문적 추천과 협업의 과정을 감사하며, 

• 시스템 격차를 목격할 수 있는 독특한 기회를 제공한다.

Exposure to patients over the full course of their illness is more valuable from an educational standpoint than opportunistic encounters with primarily acute care inpatients.32 Students must be involved with patients from the time of their initial presentation through the entirety of their illness episode to foster diagnostic reasoning skills.33 Such longitudinal contact allows students 

• to get to know patients in the full context of their lives, families, and communities 

• to understand the relevance of contextual factors to illness34 and 

• to develop mutually trusting relationships, which are a cornerstone of effective practice. 

Longitudinal contact also provides unique opportunities for students 

• to continuously improve their skills,35 

• to appreciate the process of specialty referral and collaboration, and 

• to bear witness to systems gaps.

2. 일반성

2. Generalism

일반의는 구별되지 않은 질병과 가장 넓은 범위의 조건을 가진 환자를 돌볼 수 있으며, 그 환자를 가족 및 사회적 환경의 맥락에서 일관되게 볼 수 있다.36 1차 진료 의사는 진단을 완료하기 전에 모든 신체 시스템과 정신 건강 장애를 포함하여 가능한 모든 진단 병인론을 고려하는 지적 습관을 훈련 받는다. 이러한 기술은 의사들이 premature closure와 다른 진단적 함정을 피할 수 있도록 돕는다. 또한 일반론자들은 불확실성으로 어느 정도의 편안함을 키워야 하며, 이는 의학의 실천에 있어서 결정적인 기술이다. 환자들을 평가할 때, 학생들은 의학 지식, 최선의 사용 가능한 증거, 그리고 각 환자의 특정한 요구에 어떤 도움이 될지를 이해하면서 각각의 만남에 접근하는 법을 배워야 한다.

The generalist is able to care for patients with undifferentiated illnesses and the widest range of conditions and consistently sees the patient as a whole person and in the context of his or her family and social environment.36 Primary care physicians are trained in the intellectual habit of considering all possible diagnostic etiologies, including all body systems and mental health disorders, before finalizing a diagnosis. These skills help physicians avoid premature closure and other diagnostic pitfalls. In addition, generalists must develop a certain degree of comfort with uncertainty, a crucial skill in the practice of medicine. When evaluating patients, students must learn to approach each encounter with a combination of medical knowledge, best available evidence, and an understanding of what will serve each patient’s particular needs.

3. 돌봄 관리의 중심적 책임

3. Central responsibility for managing care

1차 진료 의사는 환자 치료의 중앙 조정자로서 만성 질환을 관리하고 예방 진료를 식별하고 조정해야 하며, 많은 질병 에피소드뿐만 아니라 많은 질병 에피소드 전반에 걸쳐 관리에 대한 책임을 져야 하며, 종종 급성 미분화 질병의 초기 평가자 역할을 하며 때로는 복잡한 관리를 전체 또는 전체에서 조정해야 한다. 학생들은 환자를 전문의에게 의뢰할 필요 없이 일반적인 질병에 대한 진단과 치료를 제공하는 방법을 배워야 하지만 필요할 때 더 큰 의사 팀의 치료와 통합할 수도 있어야 한다.

As the central coordinator of a patient’s care, the primary care physician must manage chronic illness, identify and coordinate preventive care, and take responsibility for care across many disease episodes as well as over time, often serving as the initial evaluator of acute undifferentiated illness and sometimes coordinating complex care across organizations. Students should learn how to diagnose and provide treatment for common illnesses without having to refer the patient to a specialist but also be able to integrate their care with that of a larger team of physicians when necessary.

4. 치료적 동맹 및 의사소통

4. Therapeutic alliance/communication

좋은 의사소통 기술은 관계 구축, 병력 청취, 건강 교육, 행동 변화 동기 부여, 치료 계획의 준수를 보장하는 데 필수적이며, 이 모든 것이 의학의 실천에 핵심적이다. 이론적으로 이러한 기술은 일차 진료 환경에서 가장 잘 가르쳐진다. 일차 진료 주치의의 기본 역할은 환자 및 가족과 함께 의사 결정을 내릴 뿐만 아니라 치료 팀 전반에 걸쳐 의사 소통과 협업을 보장하는 것이다. 이 분야에서 숙달되어야 할 기술에는 공유된 의사결정 및 협상, 관계 구축, 효과적인 조직 구성 및 진료 수행에 있어서의 시간 관리가 포함된다.37,38 기밀 유지, 정보에 입각한 동의 획득 및 진실 규명을 포함한 일반적인 의료 윤리 기술에 대한 기본적인 이해 또한 중요하다.

Good communication skills are crucial for relationship building, history taking, health education, motivating behavior change, and ensuring adherence to a treatment plan, all of which are key to the practice of medicine. Arguably, these skills are best taught in a primary care setting. A fundamental role of the primary care physician is to ensure communication and collaboration across the care team, as well as shared decision making with the patient and family. Skills to be mastered in this area include shared decision making and negotiation, relationship building, effective organi- zation, and time management in deliver- ing care.37,38 A basic understanding of general medical ethics skills, including maintaining confidentiality, obtaining informed consent, and truth telling, is also important.

내용전문성의 구체적 영역

Specific Areas of Content Expertise

5. 급성 관리 접근법

5. Approach to acute care

급성 또는 긴급한 치료를 제공할 수 있는 능력은 1차 치료에서 중요한 기술이다. 1차 진료 의사는 흔히 새로운 문제가 있는 환자를 진찰하는 의사로서, 세심한 병력청취와 검사를 마친 후 환자에 대한 지식을 활용하여 모든 진단 가능성을 점검해야 한다. 이 공통 업무는 의사가 진단 및 치료 계획을 결정하기 전에 가능한 병의 원인을 파악하는 데 능숙해야 하며, 자원의 과다 사용을 피하기 위해 단계적 방법으로 진행할 수 있는 자신감을 가져야 한다.36 또한, 훌륭한 1차 진료 의사는 병에 걸리지 않은 환자들로부터 병가를 분류하여 적절한 속도와 개입 장소를 결정할 수 있다. 모든 전문분야에서와 같이 일부 급성요양 증상 및 질병은 1차 진료 환경에서 매우 흔하므로 모든 학생은 졸업 전에 이를 숙지해야 한다(이 증상 및 질병 목록은 부록 1 참조).39

The ability to provide acute or urgent care is an important skill in primary care. Primary care physicians are often the ones to see a patient with a new problem, and they must sort through all the diagnostic possibilities after completing a careful history and exam, using their knowledge of the patient. This common task requires that physicians are proficient in identifying the likely causes of illness prior to determining a diagnostic and treatment plan, and that they have the confidence to proceed in a stepwise fashion to avoid overuse of resources.36 In addition, a good primary care physician has the ability to triage sick from not-sick patients to determine the appropriate pace and venue for intervention. As in all specialties, some acute care symptoms and diseases are so common in the primary care setting that all students should be familiar with them prior to graduation (see Appendix 1 for a list of these symptoms and diseases).39

6. 만성 관리 접근법

6. Approach to chronic care

만성 질환은 전 세계적으로 사망률의 50% 이상을 담당하고 있으며, 이는 전 세계 질병의 50%를 차지하는 것이다.40 모든 학생들은 의대를 졸업할 때까지 공통의 만성 질환의 생리, 표현 및 표시 범위, 진단 및 관리에 대한 기본적인 이해를 가지고 있어야 한다. 내과, 가정의학과 소아과 국가 커리큘럼에서 도출한 26–28 우리는 어떤 건강상태가 일차 진료의 discipline에 필수적이며 외래환자 진단과 관리에 대한 조정된 지식이 다양한 환경에서 의사의 연습 능력에 중추적인지를 결정했다(부록 1 참조). 졸업 후 학생들은 이러한 각각의 조건의 치료에 대한 증거 기반 및/또는 합의 기반 목표를 명시적으로 설명할 수 있어야 한다.

Chronic disease is responsible for more than 50% of mortality worldwide, representing nearly 50% of the global burden of disease.40 All students must have a basic understanding of the physiology, range of expression and presentation, diagnosis, and management of common chronic illnesses by the time they graduate from medical school. Drawing from the national curricula in internal medicine, family medicine, and pediatrics,26–28 we determined which conditions are integral to the discipline of primary care and for which a coordinated knowledge about outpatient diagnosis and management is central to a physician’s ability to practice in a variety of settings (see Appendix 1). Upon graduation, students must be able to explicitly describe evidence-based and/or consensus-based goals for the treatment of each of these conditions.

만성 질환 커리큘럼의 많은 초점은 질병별 지식을 가르치는 것이지만, 모든 졸업생들은 또한 만성 치료 모델의 강령에 대한 기본적인 이해를 가져야 한다. 만성 치료 모델은 만성 질환에 대한 접근 방식을 반응적 모델에서 사전 예방적 모델로 전환한다.

While much of the focus of a chronic disease curriculum is on teaching disease-specific knowledge, all graduating students should also have a basic understanding of the tenets of the Chronic Care Model,40,41 which includes 

• educating and supporting patients, 

• improving provider expertise through decision support, 

• creating care delivery that is planned and team based, 

• using registry-based clinical information systems, 

• focusing on the organization of health care, and 

• understanding the role of community support. 

The Chronic Care Model shifts the approach to chronic illness from a reactive model to one that is proactive.40

7. 웰니스와 예방

7. Wellness and prevention

학부 의대 커리큘럼은 모든 삶의 단계에서 환자의 건강 관리에 대한 예방적 접근법을 포함해야 한다.26,27 이것은 아동 발달에 대한 실무 지식에서 시작하여 (노인 환자의 요구까지) 개인의 일생에 걸쳐 적용되는 다른 예방 전략에 대한 이해로 계속된다. 학생들은 백신이 전염병 통제에서 수행하는 역할을 이해하고 환자에게 백신의 사용에 대해 조언할 수 있어야 한다. 또한 그들은 암, 심장병, 유전적 장애와 같은 조건의 검사와 관련된 위험과 편익에 대해 잘 알고 있어야 한다.42 학생들은 예방적 개입의 위험/편익 비율, 결과, 비용, 검사의 민감성과 특수성에 대해 효과적으로 상담할 수 있어야 한다. 학생들은 강한 동기부여적 면담 기술과 라이프스타일 수정의 중요성에 대해 환자들을 효과적으로 상담할 수 있는 능력을 입증해야 한다.

An undergraduate medical school curriculum should include preventative approaches to health care for patients at all stages of life.26,27 This begins with a working knowledge of child development and continues with an understanding of other prevention strategies that are applicable throughout an individual’s life, including the needs of geriatric patients. Students should understand the role that vaccines play in infectious disease control and be able to advise patients on their use. They also should be well versed in the risks and benefits associated with screening for conditions such as cancer, heart disease, and genetic disorders.42 Students need to be able to effectively counsel patients on the risk/benefit ratios of preventative interventions, their effects on outcomes, costs, and the sensitivity and specificity of a test in a given population. Students must demonstrate strong motivational interviewing skills and the ability to effectively counsel patients on the importance of lifestyle modification.

8. 정신건강, 행동건강

8. Mental and behavioral health

미국 성인의 18% 이상이 정신 건강 진단을 받는다.43 이러한 환자들의 대부분은 정신건강전문가가 아닌 1차 진료기관으로부터 치료를 받게 된다. 그러므로 의대생들은 가장 흔한 정신 질환을 가진 환자들을 평가하는 방법과 외래환자 환경에서 그러한 조건들을 치료하는 방법을 배워야 한다. 학생들은 또한 우울증, 불안, 자폐증 스펙트럼 장애, 주의력 결핍/초행동 장애에 대한 검증된 선별 도구에 익숙해야 하며 소아, 성인 및 노인 환자들에 대한 차등 프레젠테이션을 이해해야 한다. 또한, 학생들은 약물 사용 장애에 대한 환자들을 평가할 수 있어야 하며 담배, 알코올, 그리고 안약의 사용에 대한 치료 선택사항들을 알고 있어야 한다. 폭력 노출과 기타 불리한 생활 사건 및 정신적, 육체적 건강 결과 사이의 강한 상관관계 때문에, 학생들은 삶의 모든 단계에서 이러한 노출에 대해 검사하는 법을 배워야 하며 그러한 경험을 한 환자가 사용할 수 있는 자원을 숙지해야 한다.

More than 18% of adults in the United States receive a mental health diagnosis.43 Most of these patients will receive treatment from a primary care provider rather than from a mental health specialist. Thus, medical students should learn how to evaluate patients with the most common mental illnesses as well as how to treat those conditions in the outpatient setting. Students also should be familiar with validated screening tools for depression, anxiety, autism spectrum disorders, and attention-deficit/ hyperactivity disorder, and understand differential presentations in pediatric, adult, and elderly patients. In addition, students should be able to assess patients for substance use disorders and be aware of the treatment options for the use of tobacco, alcohol, and opiates. Because of the strong correlation between exposure to violence and other adverse life events and mental and physical health outcomes, students must learn to screen for these exposures at all stages of life and be familiar with the resources available for patients who have had such experiences.

보건의료시스템에서 일차의료의 핵심 역할 이해

Understanding the Key Role of Primary Care in the Health Care System

9. 시스템 개선

9. Systems improvement

품질을 높이고 비용을 절감하기 위해 의료 제공 시스템을 혁신하려는 노력의 일환으로, 환자 중심의 medical home은 우리 세대의 1차 진료 관행을 정의하는 모델 중 하나가 되었다. 현재 의대생들은 환자 중심의 의료 가정 모델로 전환하거나 소규모로 향상된 기능을 구현하는 관행에 노출될 가능성이 높다.44 따라서, 환자와 모집단의 결과를 최적화하기 위해 일차 진료의 재설계를 목표로 보행 환경에서 품질 개선 방법을 적용하는 방법을 이해해야 한다.

In an effort to transform systems of health care delivery to increase quality and reduce costs, the patient-centered medical home has become one of the defining primary care practice models of our generation. Current medical students likely will be exposed to practices either transitioning to patient-centered medical home models or implementing smaller- scale enhancements.44 Thus, they must appreciate how quality improvement methodologies are applied in the ambulatory setting with the aim of redesigning primary care to optimize outcomes for patients and populations.

10. 전문직간 훈련

10. Interprofessional training

Office 안팎에서 인구의 건강을 관리하는 것은 입원 환자나 외래 환자 환경에서 개인의 관리와는 다른 일련의 기회와 도전을 제시한다. 인구 보건 실천요강의 핵심 요소에는 

• 보건 시스템이 개인과 모집단의 건강에 어떻게 기여하는지에 대한 지식, 

• 충족되지 않는 인구 건강 필요를 식별하고 이니셔티브의 영향을 추적하는 방법에 대한 익숙함, 

• 건강을 공동 생산하기 위해 이해관계자와 효과적으로 협력하는 기술 

등이 포함된다.48,49 인구집단의 보건과 의료전달의 원칙은 실제로 교육될 수 있지만, 경험을 통해 강화될 때 가장 내실화된다. 교육자가 이 패러다임에 통합하는 것을 고려해야 하는 역량 매핑 수단과 마찬가지로 인구 보건의 커리큘럼에 대해 잘 구성된 몇 가지 프레임워크가 존재한다.50–52

Managing the health of a population, both in and out of the office, presents a different set of challenges and opportunities than the care of individuals in an inpatient or outpatient setting. Key elements for population health practice include 

• knowledge of how a health system contributes to the health of individuals and populations, 

• familiarity with methods to identify unmet population health needs and to track the impact of initiatives, and 

• skills to effectively engage and collaborate with stakeholders to coproduce health.48,49 

Principles of population health and health care delivery can be taught didactically, but they are best internalized when they are reinforced through experience. Several well-articulated frameworks exist for curricula in population health, as do the means for competency mapping, which educators should consider incorporating into this paradigm.50–52

모든 졸업하는 의대생들은 핵심 지식과 기술을 습득해야 하며, 그들은 훈련 단계에 적합한 정신적 단계로 학습을 정착시키는 경험적 프레임워크를 통해 그렇게 할 것이다.

The expectation is that all graduating medical students should acquire a core set of knowledge and skills and that they will do so through an experiential framework that will anchor their learning in develop mental phases appropriate to the stage of their training.

일부 사람들은 왜 이 모든 영역이 하위 전문가 또는 의사-과학자로서의 직업을 추구하는 학생들에게 학습이 요구되어야 하는지에 대해 의문을 가질 수 있다.

Some might question why all of these domains should be required learning for a student who is pursuing a career as a subspecialist or physician–scientist.

그러나, 의학의 미래는 통합적 보건 시스템에서 연습할 수 있는 능력을 필요로 할 것이며, 일차 진료 의사는 이 구성에서 중심적인 역할을 한다. 버윅과 핀켈슈타인56은 모든 의대생들에게 시스템 개선 기술을 가르쳐야 하며, 의료 교육은 환자 중심, 투명성 및 제한된 자원의 책임에 초점을 맞춰야 한다고 주장해왔다. 또한, LCME는 모든 의과대학이 서비스 학습과 직업 간 교육의 기회를 제공할 뿐만 아니라 문화적으로 유능한 의료 및 의료 불균형에 대한 교육을 제공할 것을 요구한다.57

However, the future of medicine likely will require the ability to practice in an integrated health system, and the primary care physician plays a central role in this construct. Berwick and Finkelstein56 have argued that system improvement skills must be taught to all medical students and that medical education must focus on patient-centeredness, transparency, and stewardship of limited resources. In addition, the Liaison Committee on Medical Education requires all medical schools to offer opportunities for service learning and interprofessional education as well as instruction in culturally competent care and health care disparities.57

임상 실습의 모든 분야에 관심이 있는 학생들은 4년 내내 진행되는 커리큘럼에서 혜택을 받을 것이며, 치료 관계와 같은 의사 치료, 다학제 팀에서의 작업, 효과적인 의료 서비스를 제공하기 위한 사회적, 심리적, 문화적 요인에 대한 이해에 초점을 맞출 것이다.

Students with an interest in any discipline of clinical practice will benefit from a curriculum that spans all four years and focuses on such core skills of doctoring as the therapeutic relationship; working in multidisciplinary teams; and understanding social, psychological, and cultural factors to provide effective health care.

우리가 이 청사진에서 제안하는 많은 커리큘럼 요소들은 궁극적으로 학습자들이 이 종적 임상 경험에 참여할 수 있는 시간과 공간을 허용하는 동시에 교수진 개발을 촉진하기 위한 집중적인 노력을 필요로 할 것이다.

A number of the curriculum elements we propose in this blueprint ultimately will require concurrent transformation in teaching practices to allow time and space for learners to take part in this longitudinal clinical experience, as well as a focused effort to foster faculty development.

52 Kaprielian VS, Silberberg M, McDonald MA, et al. Teaching population health: A competency map approach to education. Acad Med. 2013;88:626–637.

35 Lin SY, Schillinger E, Irby DM. Value-added medical education: Engaging future doctors to transform health care delivery today. J Gen Intern Med. 2015;30:150–151.

Blueprint for an Undergraduate Primary Care Curriculum.

잠재교육과정 다시보기: 총괄평가가 학습에 주는 영향 연구의 비판적 고찰(Assessment & Evaluation in Higher Education, 2010)

The hidden curriculum revisited: a critical review of research into the influence of summative assessment on learning

Gordon Joughin*

도입

Introduction

종합평가가 학생들의 학습을 촉진한다는 믿음은 고등교육계에 널리 퍼져 있고, 오래 지속되며, 깊이 자리잡고 있다.

The belief that summative assessment drives students’ learning is widespread, longstanding, and deeply held in higher education circles.

그러나, 이러한 믿음의 경험적 기초는 거의 명확하게 표현되지 않으며, 그 토대가 된 연구는 자주 인용되지만 거의 상세하게 설명되거나 비판적으로 고려되지 않는다.

However, the empirical basis of this belief is rarely articulated, with foundational research cited frequently but rarely elaborated upon or considered critically.

서로 6년 이내에 출판된 세 가지 고전 연구가 이 탐험의 핵심이다. 베커, 기어, 휴즈의 학년 만들기: 대학 생활의 학문적 측면(1968년), 스나이더의 숨겨진 커리큘럼(1971년), 밀러와 패릿의 up to the mark: 시험 게임 연구(1974년)이다.

Three classic studies, published within six years of each other, are at the heart of this exploration: Becker, Geer, and Hughes’ Making the grade: The academic side of college life (1968); Snyder’s The hidden curriculum (1971); and Miller and Parlett’s Up to the mark: A study of the examination game (1974).

세 개의 고전

The classic studies

위에서 언급한 세 작품은 출판된 이후 널리 인용되었으며, 그 중심 사상은 수많은 영향력 있는 책, 기사, 논문, 보고서 등에서 인정되어 왔다. 영국에서 출판된 고등교육의 평가에 관한 대부분의 핵심문헌은 이들 작품 중 하나 이상을 참조한다.

The three works noted above have been widely cited since their respective publications, and their central ideas have been acknowledged in numerous influential books, articles, papers, and reports. Most key texts on assessment in higher education published in the UK make reference to one or more of these works.

적어도 35년이 지난 후에도 이 작품들은 여전히 자주 인용되고 있다.

After at least 35 years, these works continue to be cited as frequently as ever.

그들에게 자주 주어지는 의존성을 고려할 때, 우리가 이러한 작업이 평가와 학습에 대해 무엇을 말하고 있는지, 그들이 보고하는 연구의 특성, 그리고 그들의 발견을 현대적 맥락에 적용할 수 있는지에 대해 명확히 이해하는 것이 특히 중요하다.

Given the reliance that is frequently placed upon them, it is particularly important that we have a clear understanding of what these works have to say about assessment and learning, the nature of the studies they report, and the applicability of their findings to contemporary contexts.

Making the grade (1968)

The hidden curriculum (1971)

Up to the mark: A study of the examination game (1974)

위의 각 연구들은 학생들의 행동에 대한 우리의 이해에 중요한 기여를 했다.

Each of the above studies has made an important contribution to our understanding of student behaviour.

동시에, 위에서 언급한 이러한 연구의 수많은 한계들은 우리가 그들의 발견을 현대 학생들과 고등 교육 기관에 적용하는데 신중하도록 만들어야 한다.

At the same time, the numerous limitations of these studies noted above should make us cautious in applying their findings to contemporary students and higher education institutions:

● 대학생들이 엘리트 집단이었던 시기에 모든 연구가 진행됐다.

● 두 연구(스나이더와 베커 외)는 우리가 현재 발견할 것으로 기대하는 학생 반응의 변화를 식별하지 못하는 방법을 사용하여 학생들을 동질 집단으로 취급한다.

● 연구 중 2개 전공(Miller and Parlett – Law; Snyder – Improganization)으로 제한되었다.

● 이 두 연구는 작은 학생 표본에 기초하였다. 

● 에든버러 연구의 관련 측면은 매우 구체적인 평가 유형 – 최종 검사에 초점을 맞췄다.

● All of the studies were conducted at a time when university students were an elite group.

● Two of the studies (Snyder and Becker et al.) treat students as a homogeneous group, using methods that would not identify the sort of variation in student responses that we would now expect to find.

● Two of the studies were limited to one or two disciplines (Miller and Parlett – law; Snyder – science and engineering).

● These two studies were based on small student samples. 

● The relevant aspect of the Edinburgh study focused on a very specific type of assessment – the final examination.

이러한 연구들은 복제되지 않았고, 또한 복제되지도 않을 것이다: 그것들은 특정한 연구 패러다임에서 생겨났고, 현재 일반적으로 가능한 것보다 더 많은 자원집약적이었으며, 그들의 발견은 몇 년간의 연구 끝에야 나타났다.

These studies have not been replicated, nor are they likely to be: they arose from a particular research paradigm, were more resource-intensive than is now normally possible, and their findings emerged only after several years’ work.

평가가 학습 접근법에 미치는 영향

The influence of assessment on students’ approaches to learning

평가가 학생들의 학습의 원동력으로 작용한다면, 서로 다른 형태의 평가는 서로 다른 방식으로 공부에 영향을 미칠 것으로 예상할 수 있다.

If assessment acts as a driving force of students’ study, it might be expected that different forms of assessment would affect study in different ways.

그 학생의 학습 접근방식은 학생들이 '객관적인' 시험과 에세이 형식의 시험을 위해 어떻게 공부했는지를 비교하는 초기 작업에 의해 정해졌다. 후속 연구는 학생들의 학습 접근방식이 그들이 수행하거나 준비하고 있는 평가 과제의 형태에 영향을 받는다고 제안했다. 또한 이것이 학생들의 과제에 대한 다양한 인식에 의해 매개된다고 보고 있다.이러한 연구와 이와 유사한 연구와 관련하여 두 가지 심각한 어려움이 발생한다.

The tenor of the student approaches to learning studies was set by the early work comparing how students studied for ‘objective’ tests and essay-style tests. Subsequent studies suggested that students’ approaches to learning are influenced by the form of assessment task they are undertaking or preparing for, with a growing recognition of the mediating function performed by students’ varying perceptions of the task. Two serious difficulties arise in relation to these and similar studies.

첫째로, 이러한 연구들 중 많은 것들이 그들의 맥락에 대한 중요한 세부사항을 제공하지 못한다. 구체적으로, 그들은 일반적으로 고려 중인 평가 과제의 인지적 요구를 명시하지 못한다. 결과적으로, 학생들이 특정한 평가 형식이나 그 형식과 관련된 인지적 요구 수준에 반응하고 있는지 알 수 없다. 예를 들어, 학생들이 객관식 시험 준비과정에서 표면적 접근법을 채택한다면, 그들은 시험할 내용이 사실을 묻는 것으로 예상하거나 시험 형식 자체가 표면 접근법을 장려하기 때문에 그렇게 했을 수 있다.

Firstly, many of these studies fail to provide important details of their context. Specifically, they typically fail to specify the cognitive demands of the assessment tasks under consideration. As a result, it is not possible to know if students are responding to a particular assessment format or to levels of cognitive demand associated with that format. For example, when students adopt a surface approach in preparing for a multiple-choice test, they may do so because they anticipate that the content being tested will be factual, or because the test format per se encourages a surface approach.

둘째로, 평가가 학생들의 학습 접근법에 영향을 미칠 수 있다고 하더라도, 그것은 한 방향으로만 영향을 미칠지도 모른다.

Secondly, to the extent that assessment may influence students’ approaches to learning, it may do so in one direction only.

학문에 대한 깊은 접근을 유도하려는 시도는 반대되는 결과를 낳았다.

attempts to induce deep approaches to learning had the opposite result

표면적인 접근을 유도하고 텍스트를 그저 재생산하는 태도를 취하는 경향을 강화하는 것이 쉽다는 것은 분명하다. 그러나, 깊은 접근을 유도하려고 할 때, 그 어려움은 상당히 깊은 것처럼 보인다. (53)

It is obviously quite easy to induce a surface approach and enhance the tendency to take a reproductive attitude when learning from texts. However, when attempting to induce a deep approach the difficulties seem quite profound. (53)

이러한 발견은 램스덴(1997년)과 해기스(2003년)가 강력하게 지지하여 '학습 접근에 대한 평가의 영향은 [더 적절한 평가 형태가 학습에 대한 깊은 접근을 유도할 수 있는 것]이 아니라 [부적절한 평가 형태가 표면적 접근을 유도할 수 있는 것이다]라는 결론에 이른다(Joughin 2009, 22년). 확실히 평가는 그 자체로 학생 학습의 질을 향상시키는데 사용될 수 있다는 견해는 현재 이용 가능한 증거에 의해 뒷받침되지 않는다.

This finding is strongly endorsed by Ramsden (1997) and Haggis (2003), leading to the conclusion that ‘the influence of assessment on approaches to learning may not be that more appropriate forms of assessment can induce a deep approach to learning, but rather that inappropriate forms of assessment can induce a surface approach’ (Joughin 2009, 22). Certainly the view that assessment, on its own, can be used to improve the quality of student learning is not supported by the evidence currently available.

새로운 연구 주제

A new research agenda

아마도 그러한 연구의 가장 근본적인 질문은 '숨겨진 교과과정'이라는 개념이 여전히 적용되는가 하는 것이다.

Perhaps the most fundamental question for such research is whether the very notion of ‘the hidden curriculum’ still applies.

학생들에게 공식적으로 요구되는 것과 교사들이 그들의 학생들에게서 실제로 원하는 것 사이의 상당한 차이가 있다. 더욱이 공식적인 요구가 평가 과제의 개요와 서술이 아무리 상세하고 세심하게 표현된다 하더라도, 오직 그 기대 중 일부만이 명확히 전달될 것이다; 그 기대는 학생마다, 그리고 선생마다 서로 다른 방식으로 인식될 가능성이 있다.

students experienced a significant gap between formal statements of requirements and what teachers actually wanted from their students. Moreover, formal statements in course outlines and descriptions of assessment tasks, however detailed and carefully expressed, will only partly communicate clear expectations; they are likely to be perceived in different ways not only by different students but also by different teachers.

히긴스, 하틀리, 스켈튼(2002년)은 베커 외 연구소의 현대 대학 적용 가능성에 대해 의문을 제기하는 경우는 드물다.

Higgins, Hartley, and Skelton (2002) are rare in their questioning of the applicability of Becker et al.’s work to contemporary universities,

'하지만 영국이라는 맥락에서 오늘날의 학생들에게 이것이 사실일까?'(59) 

‘But is this true for today’s students in the context of the UK?’ (59). 

마찬가지로 알려지지 않은 것은 이전의 학생들보다 더 복잡한 사회 경제적 삶을 살고 있는 현대 학생들이 1950년대와 1960년대 초의 캔자스 주 사촌들과 마찬가지로 가능한 한 높은 학점을 얻고자 하는 열망에 의해 지배되고 있는지 여부다.

Equally unknown is whether contemporary students, with more complex social and economic lives than their earlier counterparts, are as dominated by the desire to achieve the highest grades possible as were their Kansas cousins in the 1950s and early 1960s.

The hidden curriculum revisited: a critical review of research into the influence of summative assessment on learning

Gordon Joughin*

Academic Development Unit, University of Wollongong, Wollongong, Northfields Avenue, NSW 2522, Australia

That summative assessment drives learning has become one of the most frequently stated maxims in the literature of assessment and learning in higher education. However, a careful review of the empirical research often cited in support of this proposition may cause us to reconsider its veracity and to seek a more nuanced understanding of the research findings. Seminal research on the influence of assessment on learning in higher education was reviewed on the basis of its context, research methods used, sampling, reported findings, and the generalisability of these findings. This study found that the treatment of the research reported in frequently cited works such as Making the grade, The hidden curriculum, and Up to the mark has often oversimplified, and thus misrepresented, the research findings, leading to singular interpretations of complex, multi-faceted phenomena. Other research suggesting limitations to the capacity of assessment per se to improve students’ approaches to learning is often misunderstood or under-emphasised, leading to the risk of exaggerated claims for the capacity of ‘alternative’ forms of assessment to foster effective learning processes in students. The findings of this review lead to a proposed agenda for empirical research to address what seem to be serious gaps in our understanding of fundamental aspects of the interactions between assessment and learning. 

Keywords: hidden curriculum; approaches to learning; critical review; assessment and learning; cue-consciousness

학업능력 외 자질로 의과대학생 선발(Med Educ, 2018)

Selecting medical students: considering qualities other than academic ability

Barbara Griffin

1988년 에든버러 선언 이후 의대생 선발에는 학문적 능력 이외의 개인적 자질을 고려하도록 권고하고 있으며,1 그러한 자질을 측정하는 데 많은 시간과 관심이 투자되어 왔다.

Since the 1988 Edinburgh Declaration recommending that personal qualities other than academic ability be considered in the selection of medical students,1 much time and attention have been invested in the measurement of such qualities.

비록 우리가 기업 세계에서 선발에 관한 많은 연구를 해야 하지만, 의대생 선발은 몇 가지 독특한 측면을 가지고 있다.

Although we should draw on the large body of research on selection in the corporate world, medical student selection has some unique aspects

Stegers-Jager의 연구 결과, 7은 비학문적/비인식적 특성은 [일반적으로 지식의 습득보다는 임상적 기술 습득에 더 초점을 맞춰져 있고], 의과대학 초기보다는 후기 성과를 예측하는 것으로 보인다는 것을 시사한다. 그래서 그녀는 우리가 [좋은 의대생]이 되어야 하는 자질을 바탕으로 지원자를 선발해야 하는지 아니면 [좋은 의사]가 되어야 하는지에 대한 의문을 제기한다.7

Stegers-Jager’s findings,7 which support those of others,8,9 suggest that non-academic/non-cognitive qualities appear to be better at predicting students’ performance later rather than earlier in their medical studies, when typically the focus turns more to clinical skill acquisition than to the learning of knowledge. She thus raises the question of whether we should be selecting applicants based on qualities that are required to be a good medical student or those required to be a good doctor.7

그러나, 이러한 자질들이 실질적으로 다를 것 같은가? 철저한 직무 분석이 필요하지만 바람직한 자질 목록에는 상당한 중복이 있을 것으로 본다. 그 차이들은 그들의 상대적 중요성에 달려있을 수 있다.

However, are these qualities likely to differ substantially? Thorough job analyses are necessary, but I suspect there will be significant overlap in the lists of desirable qualities. The differences may rest in their relative importance

그럼에도 불구하고 우리가 예측 타당성을 평가하는 기준은 서로 다르다. 또한 의과대학에서 측정한 결과는 일반적으로 의사로서 좋은 성과를 나타내는 지표와 연관된 강한 인지적 구성요소('할 수 있다')에 초점을 두지만, 그보다 비인지적 구성요소("할 의지가 있다")가 더 중요할 가능성이 있다.2

Despite this, the criteria with which we assess predictive validity do differ and the outcomes measured in medical school generally have a strong cognitive ‘can do’ component compared with the indicators of good performance as a doctor, which are likely to have a stronger non-cognitive ‘will do’ component.2

대부분의 경우처럼 스테거스-자거7은 선택 지점에서 평가되어야 할 중요한 비인지적 특성을 논할 때 팀워크 능력, 공감력, 탄력성 등 긍정적인 특성과 기술에 거의 전적으로 초점을 맞추고 있다.7 그러나 내가 교수들에게 의과대 학생들이 소유하기를 원하는 구체적인 자질을 기술해 달라고 요청할 때, 교수들은 매우 자주 '긍정적 특성'보다 '절대로 원하지 않는 뚜렷하게 부정적인 것들'을 언급한다. 예를 들어 '특권의식'이나 '정신병적인' 특징과 같은 것들이다.

Like most, Stegers-Jager7 focuses almost exclusively on positive traits and skills, such as teamwork skills, empathy and resilience, when discussing important non-cognitive qualities to be assessed at the point of selection.7 However, when I ask faculty members to describe the specific qualities they want their medical students to possess, they more often than not first mention the distinctly negative things they don’t want, such as ‘a sense of entitlement’ or ‘psychopathic’ traits.

아마도 이것은 교육자의 대부분의 시간을 잡아먹는 것은 difficult student이며, 전형적으로 대중의 이목을 집중시키는 것은 의사의 긍정적인 행동보다 의사들이 범하는 경범죄라는 사실을 반영하고 있다.

Perhaps this reflects the fact that it is difficult students who occupy the majority of one’s time as an educator, and it is doctors’ misdemeanours, more than their positive behaviours, that typically attract public scrutiny.

그렇다면 최근 소위 '어두운 면'과 인간의 행동에 대한 연구들의 기하급수적인 증가를 고려할 필요가 있다. 이러한 '어두운 면'의 특징은 dysfunctional하지만 아직 임상적인 문제가 되는 단계까지는 아닌 특징들이다.10

It would be interesting then to consider the recent and exponential rise in studies on the so-called ‘dark side’ of personality and human behaviour, aspects that are subclinical, albeit dysfunctional.10

Dark triad가 있다.

Particular attention has been given to the dark triad of 

• 나르시시시즘(자기강화, 우월감, 타인에 대한 관심 부족) 

• 마키아벨리주의(비관습적인 도덕관으로 교묘해지고 있음) 

• 정신병(공감이 낮고 적대적이며 양심이 부족하다).10

• narcissism(a tendency to self-enhancement, superiority and lack of interest in others), 

• Machiavellianism(being manipulative with an unconventional view of morality), and 

• psychopathy (having low empathy, being antagonistic and lacking conscience).10

선발 맥락에서 이러한 어두운 품질을 평가하는 것은 측정 문제와 입법 제한의 결과로 문제가 될 가능성이 있다. 그럼에도 불구하고, 우리는 부적합한 특성을 가진 지원자들을 선발하고, 바람직한 특성을 가진 사람들을 선발하는 것의 함축적 의미를 더 잘 이해할 필요가 있다.

Assessing these dark qualities in selection contexts is likely to be problematic as a result of measurement issues and legislative restrictions. Nevertheless, we need greater understanding of the implications of selecting out those applicants with unsuitable traits and selecting in those with desirable traits.

에든버러 선언1에 의해 의대생 선발에서 평가하기 위해 중요한 자질들은 반드시 개인의 안정적이거나 오래 지속되는 측면은 아니며, 맥락과 무관하게 활성화되지도 않는다.13 선발은 최종게임endgame이 아니다. 개인들은 시간이 지남에 따라 환경과 상호 작용하고 영향을 받는다.

the qualities identified by the Edinburgh Declaration1 as important to assess in the selection of medical students are not necessarily stable or enduring aspects of an individual and neither are they activated regardless of context.13 Selection is not the endgame – individuals interact with and are affected by their environments over time.

심리학, 생물학, 신경과학 분야 전반에서, 증가하는 근거를 살펴보면, 한 사람에게 주어진 맥락이 긍정적인 것과 부정적인 것 모두를 강화시킬 수 있거나 심지어 그것들을 변화시킬 수 있다는 것을 나타낸다.13

Across the fields of psychology, biology and neuroscience, a growing body of evidence indicates that a person’s context can strengthen both positive and negative qualities, or even change them.13

호주의 대표적인 정신과 의사이자 국립 정신건강 담당자인 이안 히키 교수는 학생 개개인의 회복탄력성에 초점을 맞추면서, '하급 의사가 받는 유해한 의료계 문화와 위험한 작업 환경'을 무시한다고 경고한다.12

As leading Australian psychiatrist and National Mental Health Commissioner Professor Ian Hickie warns, focusing on a student’s resilience ignores ‘the deleterious culture of medicine and dangerous working conditions to which junior doctors [are] subjected’.12

13 Ferguson E, Lievens F. Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions. Adv Health Sci Educ Theory Pract 2017;22 (2):387–99.

Med Educ. 2018 Jan;52(1):9-11. doi: 10.1111/medu.13450.

Selecting medical students: considering qualities other than academic ability.

의과대학 선발에 대한 이해관계자의 관점: 체계적 문헌고찰(BMC Med Educ, 2018)

A systematic review of stakeholder views of selection methods for medical schools admission

M. E. Kelly1* , F. Patterson3, S. O’Flynn2, J. Mulligan1 and A. W. Murphy1

배경

Background

의학은 국제적으로 매우 인기 있는 직업 선택이다.

Medicine is a highly popular career choice internationally.

의학교육은 이탈률이 매우 낮고 대부분의 학생이 졸업하기 때문에 미래의 의료 인력의 구성과 교정은 의대생을 선발하는 데 사용되는 방법에 크게 좌우된다[2–4].

As attrition rates in medical education are very low and most students graduate, the composition and calibre of the future medical workforce is significantly dependent on the methods used to select medical students [2–4].

선발 방법의 설계, 개발 및 지속적 사용에 대한 모범 사례는 이해관계자의 정기적인 피드백이 제공하는 반복적인 과정이어야 한다[5]. 정치적 타당성이라는 용어는 이해관계자 관점의 중심을 포착하며, "특정 선발도구에 대해서 다양한 이해관계자와 이해관계자 그룹이 적절하고 수용가능하다고 느끼는 정도"로 정의된다[6, 7]. 정치적 타당성은 의과대학에 대한 접근 확대에 있어 중요한 고려사항으로 인식된다[8, 9].

Best practice in the design, development and continued use of selection methods should be an iterative process informed by regular feedback fromstakeholders [5]. The term political validity captures the centrality of stakeholder views and, is defined as “the extent to which various stakeholders and stakeholder groups consider the tool(s) to be appropriate and acceptable for use in selection” [6, 7]. Political validity is recognised as an important consideration in widening access to medical schools [8, 9].

이해관계자의 인식을 이해하는 것은 다른 여러 가지 이유로 중요하다. 불공평하다고 인식되는 선발 방법은 잠재적인 의대생들에게 적용하지 못하게 될 수 있으며, 이는 심각한 부정적인 결과를 가져올 것이다[9]. 의학에서 하위 사회-경제적 및 소수 집단을 과소표시하는 것은 다요소적이지만, 이러한 집단은 선발과 관련된 부정적 인식의 결과에 특히 취약하다[14]. 

Understanding stakeholder perceptions is important for a number of other reasons. Selection methods that are perceived as unfair may deter potential medical students from applying which would be considered a profoundly negative consequential effect [9]. Under-representation of lower socio-economic and minority groups in medicine is multifactorial but arguably these groups are particularly vulnerable to the consequences of negative perceptions regarding selection [14]. 

또한, 일부 상황에서는 이해관계자 관점과 예측 타당성 및 신뢰성과 같은 선택 도구의 적합성을 평가하는 데 사용되는 기타 기준 사이에 절충이 있는 것으로 보인다. 예를 들어 자기소개서, 추천서, 전통적인 인터뷰는 예측 타당성이 제한되고 편향 가능성이 있다는 증거에도 불구하고 계속 널리 사용되고 있다[15–19]. 이것은 부분적으로 [이해관계자의 수용과 승인]을 얻는다는 점에서 정치적 아젠다에 부합하기 때문으로 설명될 수 있다고 주장되어 왔다[9].

Additionally, in some situations, there appears to be a trade-off between stakeholder views and other criteria used to evaluate the appropriateness of selection tools, such as predictive validity and reliability. For example personal statements, letters of reference and traditional interviews continue to enjoy widespread use, despite evidence of limited predictive validity and susceptibility to bias [15–19]. It has been argued that this can in part be explained by these tools serving some other political agenda for which they achieve stakeholder acceptance and approval [9].

마지막으로 이해관계자의 관점에 대한 기초를 철저히 이해하면 선발자들은 아마도 인기는 낮지만 좀 더 심리측정적으로 강력한 선택 도구들을 뒷받침하는 근거를 더 잘 설명할 수 있을 것이다.

Finally a thorough understanding of the basis for stakeholders’ views will better enable selectors to explain the rationale supporting some, perhaps less popular, but more psychometrically robust selection tools.

이해관계자의 관점: 이론적 프레임워크 

Stakeholder views: a theoretical framework

지난 50년 동안 조직 정의 이론은 선택을 포함한 조직 프로세스의 공정성에 대한 인식을 설명하기 위해 개발되었다[20–22]. Patterson 등 및 Kelly는 조직적 정의 이론이 의학의 선택과 관련이 있으며 이해당사자들의 관점에 대한 깊은 통찰력을 제공하는 데 사용될 수 있다고 확립했다[7, 23].

Over the past fifty years, organisational justice theories have been developed to describe perceptions of fairness in organisational processes, including selection [20–22]. Patterson et al. and Kelly have established that organisational justice theories are relevant to selection in medicine and that they can be used to provide deeper insights into and appreciation of the views of stakeholders [7, 23].

이러한 정의 이론은 분배, 절차, 상호 작용으로 분류될 수 있다[24]. 

These justice theories can be categorised as distributive, procedural and interactional [24]. 

• 선택의 맥락에서 분배적 정의는 [동등한 기회와 형평성 측면]에서 의과대학 같은 선발 결과의 공정성과 관련이 있다[7]. 분배적 정의의 관점에서 모든 사람이 동일한 기회를 받을 때 선택은 공정하다고 본다[25].

In the context of selection distributive justice relates to the fairness of selection outcomes such as medical school places, in terms of equal opportunity and equity [7]. From a distributive justice perspective selection is viewed to be fair when everyone receives the same opportunities [25].

• 선발에서 절차적 정의는 직무 관련성과 시험의 특성 측면에서 선택 도구의 [인식된 공정성]과 관련이 있다[7]. 절차적 정의의 관점에서 볼 때, 선발방법이 직무와 연관되어 있을 때와 그 방법의 목적이 설명될 때 선택권은 보다 긍정적으로 본다[22, 26].

Procedural justice in selection is concerned with the perceived fairness of the selection tool in terms of job relevance and characteristics of the test [7]. From a procedural justice perspective selection is viewed more positively when the methods are connected with the job and when the purpose of the method is explained [22, 26].

• 상호작용적 정의는 선발 과정에서 신청자가 어떻게 충족met되는지를 의미하며, 어떤 정보가 전달되는지 뿐만 아니라 그 방식도 포함한다[27, 28]. [의사소통의 공정성]은 상호작용적 정의가 어떻게 인식되는가에 대한 매우 영향력 있는 결정 요인이다[28, 29].

While the interactional justice of selection methods refers to how applicants are met during the selection process and includes the information applicants are given as well as the manner in which it is conveyed [27, 28]. The fairness of the communication is a very influential determinant of how interactional justice is perceived [28, 29].

방법

Methods

Search strategy

결과

Results

Study selection and data extraction

Figure 1 illustrates the steps from initial identification of records, to identifying those included and excluded.

Quality assessment strategy

Quality assessment and evidence synthesis

Risk of Bias

Study designs

Synthesis of results

지원자의 관점

The views of applicants

MMI를 포함한 면접

Interviews including multiple mini interviews (MMIs)

지원자들은 MMI를 전적으로 지지한다. 그들은 일반적으로 공평하고, 상대적으로 성별이나 문화적 편견이 없으며, 능력과 장점을 제시할 수 있는 적절한 기회를 제공하고, 사전 정보의 질과 지침의 명확성이 좋다는 것을 인지한다 [45, 48, 50, 55, 65, 61, 63, 72, 99]. 신청자는 전통적인 인터뷰보다 MMI를 선호함을 나타낸다[45, 48, 60, 72, 89, 96]. 한 논문은 소수의 탈락한 지원자들의 견해를 포함하고 있었으며, 대다수가 여전히 MMI에 대해 긍정적으로 논평하고 있다는 것을 발견했다[50]. 신청자는 면접관의 독립성과 MMI의 신뢰성을 중시한다[39, 45, 96]. 특히 지원자들이 능력을 입증할 수 있는 여러 가지 기회는 긍정적인 반응에 영향을 미치는 것으로 보인다[39, 55, 61, 63, 99]. MMI가 스스로 "신뢰redeem"할 수 있는 기회는 긍정적으로 검토되었다[39].

Applicants are on the whole supportive of MMIs. They perceive that they are generally fair, relatively free of gender or cultural bias, provide adequate opportunity to present their abilities and strengths and that the quality of advance information and clarity of instructions are good [45, 48, 50, 55, 61, 63, 72, 99]. Applicants indicate a preference for MMIs over traditional interviews [45, 48, 60, 72, 89, 96]. One paper included the views of a small number of unsuccessful applicants, and found that the majority still commented positively on MMIs [50]. Applicants value the perceived independence of interviewers and the authenticity of MMIs [39, 45, 96]. In particular the multiple opportunities for applicants to demonstrate abilities appears influential on positive reactions [39, 55, 61, 63, 99]. The chance provided by MMIs to “redeem” oneself has been positively noted [39].

지원자들은 MMI에 관한 일부 부정적 느낌을 보고하였다. 일부 지원자들은 MMI가 표준화된 인터뷰보다 더 어렵고 스트레스 받는[61]를 많이 받는다고 생각하는 반면, 다른 지원자들은 MMI가 높은 의사소통 지원자를 선호한다고 우려하였다[39]. MMI의 다른 측면의 등급에 비해 할당된 시간에 대한 지원자의 만족도는 약간 낮았다[39, 55, 60, 63, 99].

Applicants’ reported some misgivings with respect to MMIs. Some applicants found MMIs more difficult [89], and more stressful [61], than standardised interviews, while others were concerned that MMIs favour highly communicative applicants [39]. When compared to ratings of other aspects of the MMIs, applicant satisfaction with allotted time was slightly lower [39, 55, 60, 63, 99].

다른 인터뷰 기법에 대한 신청자들의 견해도 긍정적이었다. 한 소규모 연구에서 대다수의 참여자들이 인터뷰를 포함하지 않는 선택 과정은 수용가능하지 않다고 믿었다[85]. 한 캐나다 의과대학의 지원자들은 표준화된 인터뷰를 긍정적으로 받아들였다[68]. 기술적 진보는 웹 기반 면접을 가능케 했으며, 두 연구는 이 접근방식에 대한 지원자의 긍정적인 반응을 보고한다[57, 98]. 신청자들은 또한 면접을 자신이 적용하고 있는 학교나 프로그램의 가치와 윤리에 대한 귀중한 정보를 얻을 수 있는 기회로 인식한다[56, 78, 85]. 한 연구는 그룹 인터뷰에 대한 높은 수준의 만족도를 보고했지만, 국제 지원자들은 지역 후보들과 비교함으로써 면접관들에게 깊은 인상을 주기 위해 애쓸 것이라고 생각했다(n=77, 응답률 37.8, p = 0.004) [91]. 패널 인터뷰에 대한 신청자의 부정적 반응을 보고한 논문은 단 한 개뿐이며, 본 논문에서 비판은 주로 부적절한 인터뷰 후 피드백 수준과 관련이 있다[74].

Applicants’ views of other interview techniques were also positive; with one small study reporting that the majority of participants (93%, n = 53) believed that any selection process which did not include interviews would be unacceptable [85]. Standardised interviews have been positively received by applicants in one Canadian medical school [68]. Technological advances have made web based interviewing a possibility and two studies report positive applicant reactions to this approach [57, 98]. Applicants also perceive interviews as an opportunity to glean valuable information about the values and ethos of the school or programme to which they are applying [56, 78, 85]. One study reported favourable levels of applicant satisfaction with group interviews, however international applicants felt they would struggle to impress interviewers by comparison with local candidates (n=77, responserate 37.8, p = 0.004) [91]. Only one paper was identified that reported negative applicant reaction to panel interviews, and in this paper criticisms related mostly to inadequate levels of post interviews feedback [74].

선발자의 관점: 면접관, 교수, 입학위원회

The views of selectors: interviewers, faculty and admissions committee members

MMI 등 면접

Interviews including MMIs

면접은 의대 선발자에 의해 확고부동한 것으로 간주된다[87]. 마찬가지로, 호주 의과대학에 대한 이해관계자의 선택방법에 대한 견해를 조사하는 대규모 연구에서, 인터뷰는 전체적으로 가장 유효한 선택방법으로 간주되었다[54].

Interviews are considered a stalwart by selectors to medical schools [87]. Similarly, in a large study examining stakeholders’ views of selection methods to Australian medical schools, interviews were viewed as the most valid selection method overall [54].

많은 연구들이 MMI와 관련하여 선택자의 선입견을 평가하였다. 인터뷰 진행자들은 공정성에 대한 인식 측면에서 MMI를 높게 평가했다[45, 48,50, 61, 72, 99]. 중요한 것은, 면접관이 MMI가 지원자를 정확하게 평가할 수 있게 해주었고, 채점 메커니즘이 지원자를 적절하게 구별할 수 있게 해 주었다는 점이다[45, 48, 55, 60, 63, 77, 99].후보자에게 제공되는 복수의 평가 기회와 다차원적 평가관 관점은 면접관이 자신의 의사결정에 대해 훨씬 덜 불안해한다는 것을 의미했다[39]. Razack 등은 시청자들이 가정 및 국제 지원자들과 함께 사용하기에 적합한 MMI를 발견했다고 보고했다[50]. 면접관이 전통적인 면접보다 MMI를 선호할 수 있다는 몇 가지 증거가 있다[45, 72]. 

A large number of studies have evaluated selectors’opinions with respect to MMIs. Interviewers ranked MMIs highly in terms of perceptions of fairness [45, 48,50, 61, 72, 99]. Importantly, interviewers felt that MMIs allowed them to accurately evaluate applicants and that the scoring mechanisms allowed them to adequately differentiate between candidates [45, 48, 55, 60, 63, 77, 99].The multiple assessment opportunities afforded to candidates and the multidimensional assessor view meant that interviewers felt much less anxious about their own decision making [39]. Razack et al. report that inter-viewers found MMIs appropriate for use with home and international applicants [50]. There is some evidence that interviewers may favour MMIs over traditional interview [45, 72]. 

MMI에 대한 면접자의 우려는 다음과 같다: 

• 주로 의사소통 능력을 측정하는 것일 수 있다는 우려[39], 

• 지원자의 문화, 성격 또는 언어를 포함한 문제가 성과에 부정적인 영향을 미칠 수 있다는 우려[38, 50], 

• 면접관이 동료에게 부여한 점수를 벤치마킹할 기회 부족[39], 

• 교정할 시간 부족.e [48] 

• 추가 교육 필요[61] 

• MMI는 다소 비인간적인impersonal 프로세스가 될 수 있다[84].

Interviewers’ concerns regarding MMIs include: a fear that it might be primarily measuring communication skills [39]; that issues including applicants’ culture, personality or language may negatively impact on performance [38, 50]; the lack of opportunity for interviewers to benchmark the scores they assign against their peers [39]; insufficient time for calibration [48], the requirement for additional training [61] and that MMIs can be a somewhat impersonal process [84].

의과대학생의 관점

The views of medical students

MMI 등 인터뷰

Interviews including multiple mini interviews

두 개의 기록은 학생들이 인지 테스트보다 인터뷰를 더 선호한다는 것을 암시했다[51, 77]. 국제 학생들은 면접을 지원할 가능성이 훨씬 더 높다(p <0.01>[51]. 학생들은 MMI를 선택 시 적절하고 사용하기에 적합하다고 설명하면서, 지원자와 동일한 측면에서 MMI를 높이 평가한다. 한 소규모 연구는 선발의 역할 면접에서 확대된 접근 경로를 통해 입학한 학생들의 견해를 조사했다[95]. 흥미롭게도 임상 초기 학생들은 전통적인 인터뷰를 지지했고, 4학년 학생들은 MMI가 더 적절하다고 느꼈다. 다른 곳에서 성숙한 학생들은 자신의 정체성과 미래의 의과대학과의 적합성에 대한 인터뷰의 중요성을 강조하였다[40].

Two records suggested that students prefer interviews to cognitive testing [51, 77]. International students are even more likely to support interviews (p <0.01)[51]. Students appreciate the same aspects of MMIs as applicants do, describing it as relevant and suitable for use in selection [77]. One small study examined the views of students admitted through a widening access route, on the role interviews for selection [95]. Interestingly students in their early clinical years supported traditional interviews while students in the senior years felt that MMIs were more appropriate. Elsewhere mature students highlighted the importance of interviews to their sense of identity and fit with prospective medical schools [40].

고찰

Discussion

이 연구에서는 크게 세 개의 주요 이해관계자 그룹, 즉 a) 지원자, b) 선발자, c) 의대생들의 견해를 탐구한다는 것을 확인했다.

It identified that the research largely explores the views of three main stakeholder groups: a) applicants; b) selectors and c) medical students.

이 검토의 결과는 특히 절차적 정의와 분배적 정의 이론의 구성과 일치한다. 전체 이해관계자는 선택 중인 인터뷰(특히 MMI), SC 및 SJT를 지원한다. 선발 도구의 인식된 공정성의 가장 영향력 있는 결정요인 중 하나이며, 이러한 방법은 자연적으로 정당하다고 보기 때문에 이해관계자가 수용할 수 있다고 주장할 수 있다. 이전의 연구는 선발 도구가 직무와 관련된 것으로 간주되는 정도가 절차적 정의의 인식에 가장 큰 영향을 미친다는 것을 보여주었다[9, 21]. 이 검토는 MMI가 신청자, 선택자 및 학생에 의해 임상 실습과 즉시 관련성이 높은 매우 진실한 것으로 간주된다는 것을 입증한다.

The findings of this review resonate with the constructs of organisational justice theoriesin particular with both procedural and distributive justice. On the whole stakeholders are supportive of interviews (in particular MMIs), SCs and SJTs in selection. Procedural justice is one of the most influential determinants of perceived fairness of selection tools and it can be argued that these methods are acceptable to stakeholders because they are viewed as procedurally just. Prior research has shown that the extent to which a selection tool is viewed as job related exerts the greatest influence on perceptions of procedural justice [9, 21]. This review establishes that MMIs are considered by applicants, selectors and students, as highly authentic with immediate relevance to clinical practice.

절차적 정의의 또 다른 측면은 "목소리"의 개념이다[20,21]. "보이스"는 지원자에게 스스로에 대해서 make a case할 수 있는 적절한 기회와 시간을 준다[107].

Another aspect of procedural justice is the concept of “voice” [20,21]. “Voice” describes adequate opportunity for the applicant to perform, to make a case for themselves as well as sufficient time to do so [107].

적성 검사의 수용가능도는 일반적으로 이해관계자마다 다르다. 약자 및 소수 의대 지원자들은 이를 장벽으로 보고 있으며, 다른 지원자와 의대생들은 이들의 공정성, 얼굴 및 예측 타당성에 의문을 제기하고 있다. 일부 항목 형식의 직무 관련성은 비언어적 추리 질문과 같은 특정 추상적 추리 시험 항목에 대해 질문한다. 이는 유사한 도구를 사용하는 의료 이외의 경험을 반영하며, 인지 시험 설계에 절차적 정의를 통합하는 한 가지 방법은 비교적 구체적인 항목 유형을 사용하는 것다[108].

Aptitude tests generally receive mixed stakeholder acceptability. Underrepresented and minority medical school applicants view them as barriers, while other applicants and medical students question their fairness, face and predictive validity. The job relatedness of some of the item formats is questioned in particular abstract reasoning test items, such as non-verbal reasoning questions. This reflects the experience outside of medicine with similar tools and it is recommended that one way to incorporate procedural justice into the design of cognitive tests is to use comparatively concrete itemtypes [108].

학생들과 선발자들에게 우려되는 것은 적성 시험이 코칭에 취약할 수 있다는 인식과 이것이 경제적 편견을 초래할 수 있다는 관련 두려움이다.

Of concern to students and selectors is the perception that aptitude tests may be susceptible to coaching, and the associated fear that this may lead to economic bias.

상업적인 코칭이 불공평한 우위로 이어질 수 있다는 우려는 기회균등이라는 분배적 정의 원칙을 위반하는 것이다. 연구에 따르면, 정의justice 규칙이 (충족되기 보다는) 위반되었을 때, 그 규칙이 더 큰 영향력을 미칠 수 있고, 수용가능성에 대해서 전반적으로 더 큰 영향을 미친다[21, 24]. 실무적 관점에서, 이는 선택 도구가 많은 다른 정의 영역에서 잘 수행될 것으로 예상되더라도, 한 가지 측면에서라도 부족하다고 인식될 경우 이해당사자들이 여전히 수용할 수 없는 것으로 느낄 수 있다는 것을 의미할 수 있다.

Concerns regarding the possibility that commercial coaching could lead to unfair advantage represent a breach of the distributive justice principle of equal opportunity. Research has shown that justice rules can be more influential, and weigh more heavily on overall estimation of acceptability, when they are violated rather than when they are satisfied [21, 24]. In practical terms, this could mean that even in a situation where a selection tool is considered to perform well across a number of other justice domains – it may still prove unacceptable to stakeholders if it is perceived to fall short in one regard.

추천서, 에세이, 개인 진술서 등 다른 방법의 이해관계자 관점을 탐구하는 기록은 거의 없었지만, 그런 연구 결과에 따르면 내용의 진실성에 대해 다소 유보적인 입장을 표명하였다. 이러한 방법의 예측 타당성 역시 제한적인 것으로 알려져 있으며, 이는 이해관계자의 수용성 저하와 함께 선정 과정에서 그들의 역할에 도전한다(6, 109).

There were very few records that explored stakeholder views of other methods such as letters of recommendation, essays and personal statements, but those that did expressed some reservation about the veracity of content. The predictive validity of these methods is also known to be limited, and this coupled with poor stakeholder acceptability, challenges their role in the selection process) [6, 109].

이 검토의 두 번째 주요 제한은 선택 방법 자체의 이질성과 관련이 있다. 예를 들어, 모든 MMI가 동일한 것은 아니며, 어떤 두 MMI도 동일하지 않다[110]. 마찬가지로 적성 시험 사이에는 결정화crystalised 대 유체fluid 지능을 측정하도록 설계된 정도와 같은 중요한 차이가 있다[6]. 전체적인 이해관계자의 관점을 요약하고 일반화하려는 이 같은 체계적인 검토는 이러한 중요한 맥락적 차이를 피할 수 없을 것이다.

A second major limitation of this review relates to the heterogeneity of the selection methods themselves. For instance not all MMIs are the same, in fact no two MMIs are thesame[110]. Similarly there are important differences between aptitude tests, such as the degree to which they are designed to measure crystallised versus fluid intelligence [6]. A systematic review such as this one, that seeks to summarise and generalise overall stakeholders’ views, will inevitably mask these important contextual differences.

Conclusions

의대생 선발의 이해관계자들은 잠재적으로 다른 견해를 가진 다양한 그룹들의 집합이다. 공정하고 방어 가능한 선택 과정의 운영에 있어서 우리가 그들이 가지고 있는 견해의 범위와 깊이를 이해하고 감사하는 것이 중요하다. 모든 이해관계자가 정확한 정보를 사용할 수 있고 의과대학의 '자리'를 할당하는 데 사용되는 각 선택 방법의 목적과 목적에 대해 명확성을 보장하는 것은 선택 과정에 참여하는 모든 사람에게 의무적이다. 

Stakeholders in medical student selection are a collection of diverse groups with potentially differing views. It is critical to the operation of fair and defensible selection processes that we understand and appreciate the range and depth of views that they hold. It is incumbent upon all involved in the selection process to ensure that accurate information is available to all stakeholders and that there is clarity regarding the objectives and purpose of each selection method used to allocate a place in medicine. 

이 검토는 특히 지원자와 관련하여 이 분야에서 중요한 작업이 수행되고 있음을 보여준다. 그러나, 그것은 더 나은 표준과 더 적절한 방법론의 필요성을 강조한다; 미래 연구에 포함된 이해관계자 그룹의 범위를 넓히기 위해서. 마지막으로 우리는 이 검토가 심지어 같은 그룹의 이해관계자들이 반드시 동질적이지 않다는 인식을 강화하기를 바란다. 이해관계자의 인식은 선발의 책임이 있는 사람들에 의해 유포된 정보뿐만 아니라 다양한 문화적, 환경적 요인에 의해 크게 영향을 받는다.

This review demonstrates that there is important work being done in this field, especially in respect to applicants. However, it highlights the need for better standards and more appropriate methodologies; for broadening the scope of the stakeholder groups included in future research. Finally we hope this review reinforces recognition that stakeholders even fromthe same group are not necessarily homogenous. Their perceptions are significantly influenced by a range of cultural and environmental factors as well as information disseminated by those responsible for selection.

BMC Med Educ. 2018 Jun 15;18(1):139. doi: 10.1186/s12909-018-1235-x.

A systematic review of stakeholder views of selection methods for medical schools admission.

기관 내/기관 간 전통적 면접과 MMI의 신뢰도 비교: 다섯개 캘리포니아 의과대학(BMC Med Educ, 2017)

Reliability of Multiple Mini-Interviews and traditional interviews within and between institutions: a study of five California medical schools

Anthony Jerant1*, Mark C. Henderson2, Erin Griffin3, Julie A. Rainwater4, Theodore R. Hall5, Carolyn J. Kelly6,

Ellena M. Peterson7, David Wofsy8 and Peter Franks1

배경

Background

비구조화되었거나 최소한만 구조화된 일대일 전통적인 인터뷰(TI)는 의과대학 입학에 오랫동안 채용되어 왔다[1].

Unstructured or minimally structured one-on-one traditional interviews (TIs) have long been employed in medical school admissions [1].

부분적으로 면접관간 신뢰성에 대한 우려 때문에, 많은 학교들은 신청자들이 각각 다른 훈련된 평가관이 참여하는 일련의 간략한 반구조적 평가 스테이션을 통해 일하는 다중 미니 인터뷰(MMI)로 TI를 대체했다[3, 11].

Partly due to concerns about inter-interviewer reliability, many schools have replaced TIs with Multiple MiniInterviews (MMIs), in which applicants work through a series of brief, semi-structured assessment stations, each attended by a different trained rater [3, 11].

전술한 연구에 근거하여 일부 저자는 MMI가 TI에 비해 우수한 레이터 간 신뢰성을 가지고 있다고 결론지었다[2–6, 12, 17]. 그러나 이전의 MMI(및 TI) 연구는 각각 이러한 인터뷰 유형 중 하나만 채택하는 단일 기관에서 수행되었다.

Based on the foregoing studies, some authors have concluded that MMIs have superior inter-rater reliability as compared with TIs [2–6, 12, 17]. However, prior MMI (and TI) studies have been conducted at single institutions, each employing only one of these interview types.

중요한 것은, 두 가지 면접 유형을 모두 완료한 공통의 지원자 풀을 조사하여 TI보다 교수간 신뢰도가 높은지 여부를 동시에 테스트한 연구는 없다는 점이다. 더욱이 MMI 또는 TI의 학교 간 신뢰성을 조사한 연구는 없다.

Importantly, no studies have concurrently tested whether inter-rater reliability is higher for MMIs than for TIs by examining a common pool of applicants completing both interview types. Furthermore, no studies have examined the between-school reliabilities of MMIs or TIs.

5개의 캘리포니아 종방향 입학 평가(CA-LEAP) 컨소시엄 의과대학의 데이터를 사용하여 MMI와 TI의 내적 및 베트웨덴스쿨 신뢰성을 조사했다.

Using data from the five California Longitudinal Evaluation of Admission Practices (CA-LEAP) consortium medical schools, we examined the within and between school reliabilities of MMIs and TIs.

면접절차

Interview processes

두 학교(MMI1과 MMI2)는 MMI를 사용했으며, 각각 10분 스테이션과 7개 스테이션이 개별적으로 점수를 매겨 상업적으로 시판된 콘텐츠에서 채택되었다. [19] 두 학교 모두, 모든 스테이션은 다차원적이었다. 모든 스테이션에서 하나 이상의 추가 역량(예: 무결성/윤리, 전문성, 다양성/문화 인식, 팀워크, 스트레스 처리 능력, 문제 해결)과 함께 대인 커뮤니케이션 능력을 체계적인 평가 양식을 사용하여 평가하였다.

Two schools (MMI1 and MMI2) used MMIs, with 10 and 7 individually scored 10-min stations, respectively, generally adapted from commercially marketed content. [19] At both schools, all stations were multidimensional. Interpersonal communication ability was considered at every station, along with one or more additional competencies (e.g., integrity/ethics, professionalism, diversity/ cultural awareness, teamwork, ability to handle stress, problem solving), rated using a structured rating form.

3개 학교(TI1, TI2, TI3)는 TI를 사용했다. 각 학교에서 지원자들은 두 번의 30-60분짜리 구조화되지 않은 면접을 마쳤다. 하나는 교직원이고 하나는 의대생이나 교직원이었다.

Three schools (TI1, TI2, and TI3) used TIs. At each school, applicants completed two 30–60 min unstructured interviews, one with a faculty member and one with a medical student or faculty member.

TI1과 TI3 학교 모두에서 채택된 척도는 달랐지만 인터뷰 진행자는 단일 총괄 점수을 할당했다. 학교 TI2에서 면접관은 응시자를 4개의 개별 영역(생각/지식, 의사소통/행동, 에너지/인니티, 공감/동감)으로 1~5점 척도로 평가하였고, 그 후 도메인 점수를 합산하여 면접 점수(범위 4-20)를 산출하였다).

At both schools TI1 and TI3, interviewers assigned a single global interview rating, though the scales employed differed (

• exceptional, above average, average, below average, unacceptable at TI1; 

• unreserved enthusiasm, moderate enthusiasm, or substantial reservations at TI3). 

At school TI2, interviewers rated candidates on a 1– 5 point scale in four separate domains (thinking/knowledge, communication/behavior, energy/initiative, and empathy/compassion), and the domain scores were then summed to yield a total interview score (range 4–20).

Measures

Analyses

결과

Results

Within schools, correlations between interviewer ratings generally were qualitatively lower for TI1 (r 0.07, α 0.13), TI2 (r 0.29, α 0.40), and TI3 (r 0.44, α 0.61) than for MMI1 and MMI2 (α 0.68 and 0.60, respectively).

고찰

Discussion

우리는 일반적으로 TI보다 MMI가 학교 내 및 학교 간 신뢰성이 질적으로 더 높다는 것을 발견했다.

We generally found qualitatively higher within-school and between-school reliabilities for MMIs than for TIs.

본 연구에서 MMI의 질적으로 우수한 학교간 신뢰도에도 불구하고, 학교간 TI 신뢰성은 지배적인 견해를 바탕으로 우리가 예상했던 것보다 더 좋았다[2–6, 12, 17]. 이러한 연구 결과는 일부(전부는 아니지만) 이전의 단일 학교 연구에서 TI에 대해 관측된 낮은 인터뷰어 간 신뢰성이 TI 접근에 내재된 제한보다는 학교별 차이(예: 면접자 교육, 프로세스 표준화 정도)를 반영할 수 있음을 시사한다.

Despite the qualitatively superior between-school reliability of the MMI in our study, the between-school TI reliabilities were better than we had anticipated based on prevailing views [2–6, 12, 17]. These findings suggest that the low inter-interviewer reliability observed for TIs in some (but not all) prior single-school studies may reflect school-specific differences (e.g., interviewer training, degree of process standardization), rather than limitations inherent to the TI approach.

Conclusions

결론적으로, 5개의 캘리포니아 의과대학에 대한 공통 지원자 풀의 데이터를 분석한 결과, TI보다 MMI가 학교 내 및 학교 간 신뢰도가 정성적으로 높았다. 그럼에도 불구하고, TI의 학교 내 및 학교 간 신뢰성은 이전 문헌에 근거하여 일반적으로 예상보다 높았으며, 특히 특정 기관에서 사용하는 데 다른 요인이 유리할 경우 신뢰성에 대한 우려 때문에 TI를 포기할 필요가 없을 수 있음을 시사하였다.

In conclusion, in analyses of data from a common pool of applicants to five California medical schools, we found qualitatively higher within- and between-school reliabilities for MMIs than for TIs. Nonetheless, the within- and between-school reliabilities of TIs were generally higher than anticipated based on prior literature, suggesting that perhaps TIs need not be abandoned for the sake of reliability concerns, especially if other factors favor their use at a particular institution.

BMC Med Educ. 2017 Nov 6;17(1):190. doi: 10.1186/s12909-017-1030-0.

Reliability of Multiple Mini-Interviews and traditional interviews within and between institutions: a study of five California medical schools.

창의성과 혁신의 잠재력: 보건의료 교육 실천을 위한 함의(Adv in Health Sci Educ, 2017)

Selecting for creativity and innovation potential: implications for practice in healthcare education 
Fiona Patterson1,2  • Lara Dawn Zibarras2,3

도입

Introduction 

경제적으로, 혁신 능력이란 조직이 '더 적은 리소스로 더 많은 일을 하는' 방법을 배우는데 있어 능동적일 수 있는 몇 가지 전략적인 방법 중 하나이다(Anderson et al. 2014). 이러한 긴급한 필요에도 불구하고, 의료 분야의 선발 시스템은 혁신 가능성을 우선시하는 경우가 거의 없으며, 한 가지 어려움은 개인의 창의성과 혁신을 어떻게 신뢰성 있게 측정할 것인가이다. 

Economically, the ability to innovate is one of the few strategic ways organizations can be proactive in learning how to ‘do more with less’ (Anderson et al. 2014). Despite this pressing need, few selection systems in healthcare prioritise the potential to innovate, and one challenge is how to reliably measure individual creativity and innovation. 

광범위한 선발 연구에서, 성실성은 많은 직업(예:)에 걸친 직무 수행의 단일 최고의 예측자임을 보여준다.슈미트와 헌터 1998). 그러나 이것은 겉보기에는 역설적인데, 성실성은 창조성과 혁신에 부정적으로 관련되어 있는 것으로 나타난 반면에, 창의성이 경험에 대한 개방성과는 긍정적으로 연관되어 있는 것으로 나타나기 때문이다(예: Hammond et al. 2011). 

In broader selection research, Conscientiousness is shown to be the single best predictor of job performance across many occupations (e.g.Schmidt and Hunter 1998). Yet this is seemingly paradoxical because Conscientiousness has been shown to be negatively related to creativity and innovation, whilst Openness to Experience is shown to be positively related (e.g. Hammond et al. 2011). 

놀랍게도 의료 서비스 선택 내에서 창의성과 혁신을 탐구한 연구는 거의 없다. 

Surprisingly little research has explored creativity and innovation within healthcare selection 

창의성과 혁신

Defining creativity and innovation 

창의성과 혁신의 개념은 수년 동안 논의되었다(Anderson et al. 2014; King 1992). Anderson 등(2014년)에 명시된 바와 같이: 

The concepts of creativity and innovation have been debated over the years (Anderson et al. 2014; King 1992); although it is nowgenerally agreed that the two constructs overlap. As Anderson et al. (2014) state: 

'직장에서 창조성과 혁신이란 일을 하는 새롭고 개선된 방법을 개발하고 도입하려는 시도의 과정, 결과, 산물이다. 이 과정의 

1. 창조적 단계는 아이디어 창출을 말하며, 

2. 혁신은 더 나은 절차, 관행 또는 제품을 지향하는 아이디어를 구현하는 후속 단계를 말한다. 

창의성과 혁신은 개인, 작업팀, 조직의 수준에서 발생할 수 있으며, 또는 이러한 수준 중 하나 이상의 조합에서 발생할 수 있지만, 언제나 이러한 분석 수준 중 하나 이상에서 식별 가능한 편익을 얻을 것이다." 

‘‘Creativity and innovation at work are the process, outcomes, and products of attempts to develop and introduce new and improved ways of doing things. The creativity stage of this process refers to idea generation, and innovation refers to the subsequent stage of implementing ideas toward better procedures, practices, or products. Creativity and innovation can occur at the level of the individual, work team, organization, or at more than one of these levels combined but will invariably result in identifiable benefits at one or more of these levels of analysis.’’ 

창의성과 혁신을 위한 선발

Selecting for creativity and innovation 

수십 년 동안 연구는 창의성과 혁신과 관련된 핵심 성격 특성(예: Hammond et al. 2011)을 파악하는 데 초점을 맞추는 경향이 있었다. 

Over several decades, research has tended to focus on identifying a core set of personality traits associated with creativity and innovation (e.g. Hammond et al. 2011), such as flexibility and openness to abstract ideas. 

빅 파이브 인성 모델(골드버그 1990; McCrae and Costa 1996) 중 연구는 창의성과 혁신에 긍정적으로 관련되는 개방성을 일관되게 보여준다(McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Gwang and Rodradigues 2002). 연구는 또한 창의성과 혁신이 외향성과 긍정적으로 연관되어 있다는 것을 보여준다. 반대로, 성실성과 원만성은 창의성과 혁신과 부정적으로 연관되어 있다(예: Feist 1999; King et al. 1996; Gwang and Rodrigues 2002). 그럼에도 불구하고, 성실성과 원만성은 모두 의료 역할에서 교육, 훈련 및 고용에 들어가는 개인에게 특히 가치 있는 것으로 볼 수 있다. 정서적 안정성과 관련하여, 일부 연구자들이 아무런 관계도 찾지 못하는 가운데(AguilarAlonso 1996; King et al. 1996) 다른 연구자들은 정서적 안정성과 창의성과 혁신 사이의 부정적인 연관성을 발견한다(Feist 1998;Go ̈z 1979; Mohan and Tiwana 1987). 이처럼 지금까지 연구결과의 일관성이 부족하여, 높은 수준의 환자 관리가 필요한 안전 중요 환경인 의료 교육에서 이러한 발견이 복제되는 범위를 식별할 필요성을 강조한다. 

Of the Big Five model of personality (Goldberg 1990; McCrae and Costa 1996) research consistently shows Openness to Experience to relate positively to creativity and innovation (McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Kwang and Rodrigues 2002). Research has also shows Extroversion (King et al. 1996; Kwang and Rodrigues 2002; Martindale and Dailey 1996) to be positively associated with creativity and innovation. Conversely, Conscientiousness and Agreeableness are negatively associated with creativity and innovation (e.g. Feist 1999; King et al. 1996; Kwang and Rodrigues 2002), and yet, both Conscientiousness and Agreeableness could be seen as especially valuable for individuals entering education, training and employment in a healthcare role. In relation to Emotional Stability, there are inconsistent research findings, with some researchers finding no relationship (AguilarAlonso 1996; King et al. 1996) yet others finding a negative association between Emotional Stability and creativity and innovation (Feist 1998;Go¨tz 1979; Mohan and Tiwana 1987). Inconsistent results highlight the need to identify the extent to which these findings replicate in healthcare education, a safety critical environment which requires high standards of patient care. 

앞에서 설명한 성실성과 창의성 그리고 혁신 사이의 부정적인 연관성은 이전 연구가 다양한 직업에 걸쳐 성실성과 훈련 성공training success과 직업 수행의 다양한 지수 사이의 긍정적인 연관성을 일관되게 보여왔기 때문에 흥미로운 딜레마를 야기한다(Barrick et al. 2001; Bar 참조).Rick and Mount 1991; Schmidt et al. 2008). 퍼거슨 외 연구진(2002년)은 의과대학의 성공과 사전 임상 평가의 핵심 예측자로 성실성을 발견함으로써 의학교육 환경에서도 기존의 발견을 반복했다. McLachlan과 동료들 (Kelly et al. 2012; McLachlan 2010) 또한 의학생의 성공을 위해 성실성이 중요하다고 생각한다. 그러나 퍼거슨 외 연구진(2002년)은 일단 학생들이 임상 실습에 들어가자 성실성은 후속 수행에 대한 부정적인 예측자임을 발견했다. 

The negative association described above between Conscientiousness and creativity and innovation raises an interesting dilemma since previous research has consistently shown a positive association between Conscientiousness and various indices of training success and job performance, across a diverse range of occupations (see Barrick et al. 2001; Barrick and Mount 1991; Schmidt et al. 2008). This finding has been replicated in healthcare education settings, where Ferguson et al. (2002)found Conscientiousness to be a key predictor of medical school success and preclinical assessments for students. McLachlan and colleagues (Kelly et al. 2012; McLachlan 2010) also find Conscientiousness to be important for medical student success. However, Ferguson et al. (2002) found Conscientiousness to be a negative predictor of subsequent performance once students entered clinical practice. 

성실성을 둘러싼 이러한 차이점들은 그것이 넓은 "대역폭"을 가진 다면적인 구인이라는 사실과 관련이 있을 수 있다. 왜냐하면 그것은 충실성/신뢰성 및 역량/성취 노력(Costa와 McCrae 1992; Moon 2001)의 면으로 구성되어 있기 때문이다. 또한, 연구 결과, 

• 창의성과 혁신에 긍정적으로 관련되기 위한 성취 노력과 지속성이 입증되었다(Busse and Mansfield 1984; Sternberg and Lubart 1999). 반면 

• 체계적이고 신뢰할 수 있는 것은 부정적으로 연관되어 있다(Patterson 1999). 

These differential findings surrounding Conscientiousness may relate to the fact it is a multi-faceted construct with a broad ‘band-width’ since it comprises facets of 

• dutifulness/dependability and also 

• competence/achievement striving (Costa and McCrae 1992; Moon 2001). 

Further, research shows achievement striving and persistence to be positively related to creativity and innovation (Busse and Mansfield 1984; Sternberg and Lubart 1999) whereas being systematic and dependable is negatively associated (Patterson 1999). 

조직 맥락

Organisational context 

본 연구는 영국 GP(General Practice)에서 교육과 훈련을 신청하는 대학원 연수생 견본에 초점을 맞추고 있다. 

Our study focuses on a sample of postgraduate trainees applying for education and training in UK General Practice (GP). 

1. 구인타당도: 창의성과 혁신은 어느 정도까지 인성의 빅 5 요소와 관련이 있는가? 

1. Construct validity: To what extent are creativity and innovation related to Big Five Factors of personality? 

2. 구인타당도: 창의성과 혁신과 성실성의 facets의 관계는 무엇인가? 

2. Construct validity: What is the relationship between creativity and innovation and the facets of Conscientiousness? 

3. 예측타당도: 창조성과 혁신의 특성 기반 측정은 선택 중 평가된 창조적 문제를 해결하는 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가?

3. Predictive validity: Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problemsolving behaviour assessed during selection?

방법

Method 

지원자와 절차

Participants and procedure 

참가자들은 감정, 창조적 문제 해결 행동, 전문적 무결성, 압박과 임상 전문가와의 코핑 등 5가지 성과 차원을 목표로 하는 선발 센터에 참석하고 있었다. 이 중 창조적 문제해결 행태는 개념적으로 사고와 같은 지표를 측정하고, 비판적 분석을 사용하여 문제를 생각하고 해결책을 형성하며, 다른 사람의 아이디어와 제안에 개방되기 때문에 창조성과 혁신과 가장 밀접한 관련이 있다고 판단되었다.

Participants were attending a selection centre which targeted five performance dimensions including; 

• Empathy, 

• Creative Problem-Solving Behaviour; 

• Professional Integrity; 

• Coping with Pressure and 

• Clinical Expertise. 

Of these, 

Creative Problem-Solving Behaviour 

was judged to be most closely related to creativity and innovation because it measured indicators such as thinks conceptually; uses critical analysis to think around issues and formulate solutions; open to ideas and suggestions from others. 

척도

Measures 

Innovation potential indicator (IPI) 

IPI는 4차원(변화에 대한 동기, 도전적 행동, 작업 스타일의 일관성 및 적응)으로 구성된 개인의 창조적이고 혁신적인 행동에 대한 30개 항목 특성 기반 척도다. 선택과 개발을 위해 조직에서 사용되어 왔으며(Patterson 1999; Burch et al. 2008) 그 효용은 의료 이외의 분야에서 확립되었다(Zibarras et al. 2008; Burch et al. 2008). 그 항목들은 선호하는 작업 스타일에 대해 묻는 일련의 행동 진술이다. 의견제출자들은 1(강력하게 동의하지 않음)부터 5(강력하게 동의함)까지 5가지 척도로 항목에 동의하는 정도를 나타낸다. IPI 치수 및 예제 항목은 표 1에 개략적으로 설명되어 있다(Zibarras et al. 2008; Burch et al. 2008 참조). 

The IPI is an established 30-item trait-based measure of an individual’s creative and innovative behaviour comprising four dimensions (Motivation to Change, Challenging Behaviour, Consistency of Work Style and Adaptation). It has been used in organisations for selection and development (Patterson 1999; Burch et al. 2008) and its utility has been established in sectors other than healthcare (Zibarras et al. 2008; Burch et al. 2008). 

The items are a set of behavioural statements asking about preferred style of working. Respondents indicate the extent to which they agree with items along a five-point scale, ranging from 1 (strongly disagree) to 5 (strongly agree). 

The IPI dimensions and example items are outlined in Table 1 (see Zibarras et al. 2008; Burch et al. 2008). 

Results 

IPI 척도와 빅 5 치수 사이의 설명 및 상관관계는 표 2에 제시되어 있다. 

The descriptives and correlations between the IPI scales with the Big Five dimensions are presented in Table 2. 

1. 창의성/혁신적 특성은 성격상의 빅5 요소와 어느 정도까지 관련이 있는가? 

1. To what extent are the creativity/innovation traits related to Big Five Factors of personality? 

2. 창의성과 혁신과 성실성의 facet은 어떤 관계인가? 

2. What is the relationship between creativity and innovation and the facets of Conscientiousness? 

3. 창조성과 혁신의 특성 기반 측정은 선택 중에 평가된 창조적 문제 해결 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가? 

3. Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problem-solving behaviour assessed during selection? 

표 3은 1단계에서 빅 5 도메인의 추가가 창조적 문제 해결 행동을 예측했음을 보여준다. 

고찰

Discussion 

우리의 연구 결과는 [그 사람의 "현재 기술"을 역할에 맞추기 위한 전통적인 선발 과정]식의 접근법에 의문을 제기한다 (코즈라와 아슈워스 2013). 진로 패턴의 변화와 변화 속도를 고려할 때, 예를 들어, 이 접근 방식보다는 "미래의 학습 잠재력"을 평가하는 기법을 찾는 것이 현명할 것이다. 

Our findings might question the approach adopted by traditional selection processes that are aimed at fitting the person’s current skill set to the role (Koczwara and Ashworth 2013). Given the pace of change and shift in career patterns, perhaps it would be wise to re-visit this approach and move towards techniques that assess learning potential, for example. 

이전의 연구(Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996)에 따라, 개방성이 창의성 및 혁신 결과와 긍정적인 상관관계가 있음을 보여준다. 변화 동기는 외부 변화(긍정적 관계)와 신경증(부정적 관계) 사이의 연관성이 있었고, 문헌의 다른 곳에서도 유사한 발견을 복제한다(예: 킹 등, 1996; 맥크레이와 코스타 1996; 마르카티 외 2008). 실제로 정서적 안정(저신경증)은 여러 직종에서 작업 성능을 예측한다(예: Barrick et al. 2001), 우리의 발견은 또한 혁신에 대한 정서적 안정성의 필요성을 반영할 수 있다. 원만성은 창의성 및 혁신 특성과의 관계는 발견되지 않았다. 

In line with earlier research (Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996), results show Openness to Experience to be positively correlated with creativity and innovation outcomes. Associations were found between Motivation to Change and both Extraversion (positive relationship) and Neuroticism (negative relationship), replicating similar findings elsewhere in the literature (e.g. King et al. 1996; McCrae and Costa 1996; Marcati et al. 2008); indeed, given that Emotional Stability (that is, low Neuroticism) predicts work performance across occupations (e.g. Barrick et al. 2001), our findings may also reflect the need for Emotional Stability to innovate. No relationship was found between Agreeableness and the creativity and innovation traits. 

성실성은 IPI 척도 중 두 가지(작업 스타일의 변화와 일관성에 대한 동기)와 긍정적으로 상관되었지만, 도전적 행동과 부정적으로 관련되었다. 이전의 연구는 혁신과 성실성 사이의 부정적인 관계를 보고했으며(예: 킹 외 1996), 실제로 많은 실천자들은 낮은 성실성이 혁신자들에게 중요하다고 가정한다(아마도 낮은 성실성이 유연성과 연관되기 때문이다). 그러나 빅 5 성격 체계에서 성실성은 창의성과 혁신 행동과 같은 기준을 예측하기에는 너무 광범위할 수 있다(Hough 1992) 이것은 우리가 facet 수준에서 성실성에 대한 조사를 통해 드러난다. 

Conscientiousness was positively correlated with two of the IPI scales (Motivation to Change and Consistency of Work Styles), but negatively related to Challenging Behaviour. Previous research has reported a negative relationship between innovation and Conscientiousness (e.g. King et al. 1996), and indeed many practitioners assume that low Conscientiousness is important for innovators (perhaps because low Conscientiousness is associated with flexibility). However, the Big Five personality framework may be too broad to predict criteria such as creativity and innovation behaviour (Hough 1992); thus our examination of Conscientiousness at the facet level is revealing. 

셋째로, 우리의 결과는 창의성과 혁신에서 동기의 중요한 역할을 확인시켜 준다. 실제로, IPI의 예측 타당성을 탐구할 때, 변화에 대한 동기부여는 유일하게 성격적 특성에 추가적으로 창조적 문제 해결을 예측해주는 변수다. 

Thirdly, our results confirm the important role of motivation in creativity and innovation. Indeed, when exploring the predictive validity of the IPI, Motivation to Change is the only significant predictor of creative problem solving, over and above personality traits. 

근거에 따르면 감독자가 창의성/혁신 동기에 (긍정적이든 부정적이든) 영향을 미칠 수 있고, 따라서 개인 관리자와의 관계는 창의성과 혁신을 촉진하거나 억제할 수 있다는 것을 보여준다. 이러한 이유로 감독자들은 혁신과 창의성을 위한 중요한 '게이트키퍼'로 묘사되어 왔다(Patterson et al. 2012). 

Evidence suggests that supervisors may influence (either positively or negatively) an individual’s motivation towards creativity/innovation (Patterson et al. 2012) and thus the individualsupervisor relationship can either facilitate or inhibit creativity and innovation. This is why supervisors have been described as important ‘‘gatekeepers’’ for innovation and creativity (Patterson et al. 2012). 

실제적 함의

Practical implications 

실제로 본 연구는 창의성과 혁신이 핵심 요구사항인지에 여부에 따라 선발 과정에서 성실성이 서로 다르게 취급될 필요가 있을 수 있다는 점에서 선발의 핵심 과제를 강조한다. 

Indeed, this research highlights a key challenge for selection given that Conscientiousness may need to be differentially treated in a selection process depending on whether creativity and innovation are key requirements. 

임상 실천에서 혁신을 구현하기 위한 개인의 노력은 조직 및 팀 문화, 혁신을 위해 그들이 받는 지원에 달려 있다(Anderson et al. 2014; Hammond et al. 2011).

individual’s efforts to implement innovations in their clinical practice is contingent on organizational and team culture, and the support they receive for innovating (Anderson et al. 2014; Hammond et al. 2011). 

Patterson, F., Knight, A., Dowell, J., Nicholson, S., Cousans, F., & Cleleand, J. (2015). How effective are selection methods in medical eduction and training? Evidence from a systematic review. Medical Education 

Adv Health Sci Educ Theory Pract. 2017 May;22(2):417-428. doi: 10.1007/s10459-016-9731-4. Epub 2017 Jan 6.

Selecting for creativity and innovation potential: implications for practice in healthcare education.

Patterson F1,2, Zibarras LD3,4.

Author information

1Department of Psychology, University of Cambridge, Cambridge, UK. f.patterson@workpsychologygroup.com.2Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK. f.patterson@workpsychologygroup.com.3Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK.4Department of Psychology, City University London, London, UK.

Abstract

The ability to innovate is an important requirement in many organisations. Despite this pressing need, few selection systems in healthcarefocus on identifying the potential for creativity and innovation and so this area has been vastly under-researched. As a first step towards understanding how we might select for creativity and innovation, this paper explores the use of a trait-based measure of creativity and innovation potential, and evaluates its efficacy for use in selection for healthcare education. This study uses a sample of 188 postgraduate physicians applying for education and training in UK General Practice. Participants completed two questionnaires (a trait-based measure of creativity and innovation, and a measure of the Big Five personality dimensions) and were also rated by assessors on creative problem solving measured during a selection centre. In exploring the construct validity of the trait-based measure of creativity and innovation, our research clarifies the associations between personality, and creativity and innovation. In particular, our study highlights the importance of motivation in the creativity and innovation process. Results also suggest that Openness to Experience is positively related to creativity and innovation whereas some aspects of Conscientiousness are negatively associated with creativity and innovation. Results broadly support the utility of using a trait-based measure of creativity and innovation in healthcare selection processes, although practically this may be best delivered as part of an interview process, rather than as a screening tool. Findings are discussed in relation to broader implications for placing more priority on creativity and innovation as selection criteria within healthcare education and training in future.

KEYWORDS:

Creativity; Healthcare education selection; Innovation potential; Predictive validity

PMID: 28062926 DOI: 10.1007/s10459-016-9731-4

의과대학 선발에서 전인적 검토: 사회적 요구 변화에 따른 전략적, 사명-기반 대응(Acad Med, 2016)

Holistic Review in Medical School Admissions and Selection: A Strategic, Mission-Driven Response to Shifting Societal Needs

Sarah S. Conrad, MS, Amy N. Addams, and Geoffrey H. Young, PhD

의과대학과 레지던트 프로그램은 항상 교육, 연구, 임상 치료 분야에서 우수성을 추구해왔다. 그러나 이러한 추구는 진공 속에서 이루어지는 것이 아니라 사회, 문화, 정치, 법률 및 경제력에 의해 지속적으로 그리고 필연적으로 영향을 받는다.

Medical schools and residency programs have always sought excellence in the areas of education, research, and clinical care. However, these pursuits are not accomplished within a vacuum—rather, they are continually and necessarily influenced by social, cultural, political, legal, and economic forces.

의사, 연구원 및/또는 교수로서 의료 교육 및 직업에 접근할 수 있는 선정은 과학만큼이나 예술이다. 높은 경쟁률과 제한된 리소스를 고려할 때 특히 그렇다.

Selection—who gains access to a medical education and to a career as a physician, researcher, and/or faculty member—is as much art as science. This is particularly true now, given high application-to-seat ratios and limited resources.

지원자에 대한 정량적 평가는 값지고 겉보기에는 객관적 정보를 제공하지만, 맥락을 전달하거나 지원자의 전체 이야기와 자신이 취했던 길을 말할 수는 없다.

Quantitative assessments of applicants yield valuable, seemingly objective information, but they cannot convey context or tell the full story of an applicant and the paths they have taken.

전인적 검토는 전략적으로 설계되고, 증거 중심적이며, 사명 기반이고, 다양성을 인식하는 프로세스의 사용을 촉진함에 있어, 각각이 가져오는 고유한 가치를 희생하지 않고 과학과 예술을 결합하는 개념적이고 실용적인 틀을 제공한다.

Holistic review, in promoting the use of strategically designed, evidence-driven, mission-based, diversity-aware processes, provides a conceptual and practical framework for marrying the art with the science without sacrificing the unique value that each brings.

의대 입학·선정 : 간략한 역사

Medical School Admission and Selection: A Brief History

학문적 성취는 성공적인 의사의 유일한 요구사항이 아니며 아마도 가장 중요한 요구사항도 아닐 것이라는 것은 오랫동안 이해되어 왔다. 1950년대 초에, 전국의 많은 입학 위원회 위원들은 지적 능력보다 의학생과 의사에게 더 중요한 인격과 청렴함integrity을 열거했다.1

It has long been understood that academic achievement is not the only requirement of a successful physician, and perhaps is not even the most important one. As early as the 1950s, many admissions committee members across the nation listed character and integrity as being more important for medical students and physicians than intellectual ability.1

10년 후, 이러한 필수적 자질들을 평가하기 위한 방법을 찾으려고 시도하면서, 의과대학들은 또한 후보자들을 고려할 때 인종과 민족성을 더 면밀하게 고려하기 시작했다. 인종과 민족성에 대한 이러한 초점은 변화하는 문화적 규범과 사회적 불의의 문제를 해결하고 모든 개인에게 동등한 교육을 제공하고자 하는 증가하는 욕구를 나타낸다. 이러한 초기의 노력은 의도는 좋았지만, 주로 구성적 다양성에 초점을 맞추었으며, 그러한 다양성을 뒷받침하는 제도적 역량에 거의 중점을 두지 않았다. 그 결과 다양성의 약속은 실현되지 못했고, 따라서 그것은 종종 다른 기관의 지향점와 구별되는 것으로 보여졌고, 때로는 충돌하는 것으로 여겨졌다.2

A decade later, while attempting to identify ways to assess these essential if difficult-to-determine qualities, medical schools also began to more closely consider race and ethnicity when admitting candidates. This focus on race and ethnicity represented shifting cultural norms and a growing desire to address issues of social injustice and ensure equal access to education for all individuals. These early efforts, were well intentioned but focused primarily on compositional diversity, with little emphasis given to institutional capacity to support that diversity. As a result, the promise of diversity failed to materialize, and it was therefore often viewed as being distinct from, and at times in conflict with, other institutional pursuits.2

생각은 꾸준히 진화했고, 연구는 다양성이 학습 환경에 미치는 유익한 영향을 밝히기 시작했다.

Thinking steadily evolved, and research began illuminating the beneficial effects of diversity on the learning environment.

이러한 혜택은 1978년 캘리포니아 대학교의 Regenses에서 Powell 판사가 인정한 것이다.3 Powell은 지원자에 대한 전체적 평가를 학업 지표 외에 인구통계학적 특성을 고려하는 것을 승인했으며, "의대생들은 학생체의 훈련을 풍부하게 하고 졸업생들이 인간성에 대한 그들의 중요한 봉사를 이해하도록 더 잘 준비시키는 의학 경험, 전망, 아이디어의 전문 학교에 데려올 수 있다."3

These benefits were recognized by Justice Powell in the Supreme Court’s 1978 Regents of the University of California v. Bakke decision.3 Powell approved a holistic evaluation of applicants, including the consideration of demographic characteristics in addition to academic metrics, explaining that a medical student “may bring to a professional school of medicine experiences, outlooks, and ideas that enrich the training of its student body and better equip its graduates to render with understanding their vital service to humanity.”3

지난 수십 년 동안 다양성의 이점(그리고 그 중요하지만 뚜렷한 동반자인 포함inclusion)에 대한 지식은 계속 확장되어 왔다.

선발에서 전체적 검토: 잠재적 해결책

Holistic Review in Selection: A Potential Solution

의과대학 입학처장과 위원회는 개인의 특성, 속성, 경험 및 학업 준비도와 그들 기관의 고유한 교육, 연구 및/또는 임상적 필요성의 균형을 신중하게 맞추는 위압적인 과제에 직면해 있다. 게다가, 그들은 그들의 공동체나 국가의 필요를 망각하지 않고 이것을 해야 한다.

Medical school admissions deans and committees are faced with the laudable though daunting task of carefully balancing individual characteristics, attributes, experiences, and academic readiness with the unique educational, research, and/or clinical needs of their institution. Furthermore, they must do this without losing sight of the needs of their community or nation.

AAMC는 전체론적 검토를 다음과 같이 정의한다.

the AAMC defines holistic review as

경험, 속성 및 학업 지표에 대해 균형있게 고려하는 방식으로 지원자의 능력을 평가하는 유연하고 개별화된 방법이다. 이런 것들을 결합하여 고려했을 때 개인이 의대생과 의사로서 가치에 어떻게 기여할 수 있는지 평가하는 방법이다.6

a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics and, when considered in combination, how the individual might contribute value as a medical student and physician.6

이 정의는 학점이나 표준화된 시험 점수와 같은 학업적 지표 역시 몇 가지 중요한 기준 중 하나이며 지원자의 의료 교육 경로 맥락에서 고려되어야 한다는 것을 인정한다.

This definition acknowledges that academic metrics such as grades and standardized test scores should be considered as one of several important criteria and in the context of an applicant’s pathway to medical education.

또한 AAMC는 전체론적 검토를 모호한 개념에서 실행 가능한 과정으로 전환하는 유연한 프레임워크를 개발했다. 전체론적 검토는 임무에 기반하고, 증거에 의해 주도되며, 모든 선택 과정의 모든 단계에 통합되고, 모든 지원자들에게 공평하게 적용되며, 다양성이 우수성을 달성하는 데 핵심임을 인식한다.

The AAMC has also developed a flexible framework shifting holistic review from a vague concept to an actionable process: Holistic review is 

• mission based, 

• evidence driven, 

• integrated into all stages of the selection process, and 

• applied equitably across all applicants, and it 

• recognizes diversity broadly defined as central to achieving excellence.

중요한 것은, 그리고 이 프레임워크는 지원자들을 보는 렌즈를 확장하고 의사 결정자들이 지원자를 미래의 의대생이나 레지던트뿐만 아니라 미래의 의사로도 고려하도록 장려한다.

Importantly, and in support of Dr. Kirch’s proposal to transform admissions, this framework expands the lens through which applicants are viewed and encourages decision makers to consider the applicant not only as a future medical student or resident but also as a future physician.

전인적 검토는 현재 의과대학 입학에서 표준 어휘의 일부분이다.

다양한 고등교육기관과 전문학교들은 전인적 검토와 기관적 목표 달성의 연관성을 강조했다. 전인적 검토를 통해 그러한 연계가 명확하게 설정되면, 기관의 사명과 목표는 입학 및 선발 기준의 기초가 된다.8

취업에 대한 법적 파라미터는 대학 입학과는 다르지만, 전인적 검토의 기본 원칙은 레지던트 선발과 교수 채용 등 다른 선발 과정에도 적용될 수 있다. 2015년 프로버와 동료의 논평9에서 레지던트 지원자 선정에 있어 미국의 의사면허시험 1단계 점수에 대한 과도한 의존도를 비판하면서, 저자들은 "커뮤니티 참여, 리더십 역할, 독특한 개인적 속성"을 포함할 수 있는 레지던트 선택에 대한 "더 합리적이고 전체적인" 접근방식을 주장했다. "다양성"은 전문성, 환자 관리, 학제 간 팀의 일부로서 기능할 수 있는 능력과 같은 역량에 추가된다.

전인적 검토의 발전

Advancing Holistic Review

전인적 검토와 기타 다양성 관련 노력은 꾸준히 진화하고 있다. 점점 더 많은 연구에서 기관들은 목표를 달성하기 위해 이러한 노력을 의학 교육의 연속에 걸쳐 맞추는 것의 중요성을 보여준다.11

Holistic review and other diversity- related efforts are steadily evolving. A growing body of research illustrates the importance of aligning these efforts across the continuum of medical education in order to achieve goals.11

이 정렬alignment은 기관의 미션에서 시작하는데, 기관의 미션이란 잠재적 지원자들과 지역사회에 전달하는 메시지이기 때문이다. 그런 다음 모집 전략, 커리큘럼 및 교육, 학생 지원 서비스 및 교수 개발에 대한 고려가 이루어져야 한다. 마찬가지로 레지던트 프로그램에서 공식적인 전인적 검토 프로세스의 구현을 고려한다면, 교육 과정과 레지던트가 학습할 임상 학습 환경에도 주의를 기울여야 한다.

This alignment begins with institutional mission and the message that mission conveys to potential applicants and to the community. Consideration should then be given to enrollment strategies, curriculum and pedagogy, student support services, and faculty development. Similarly, as residency programs consider implementing more formal holistic review processes, attention should be paid to the pedagogies used and clinical learning environments in which residents learn.

이러한 증거 기반 선발 관행에 대한 강조는 전인적 검토와 건전한 법률 및 교육 정책의 핵심 원칙이다. 평가는 법률 시스템을 포함한 주요 이해당사자에게 다양성에 대한 기관 또는 프로그램의 특정 요구를 방어하기 위해 필요한 데이터와 증거를 제공한다.13

This emphasis on evidence-based selection practices is at once a core principle of holistic review and sound legal and educational policy. Evaluation provides the data and evidence necessary to defend an institution’s or program’s specific need for diversity to key stakeholders, including the legal system.13

마지막으로, 선택 과정과 일반적인 대학의학은 다른 이해관계자 그룹들 간의 집단적이고 투명한 의사소통과 협업을 통해서만 최적화할 수 있다. 전인적 검토는 지원자에 대한 광범위한 정보에 의존하며, 그 성공 여부는 신청자와 학교, 또는 그들의 [사명과 목표]가 [정책과 실천]에 부합하는지 여부를 정보에 입각하여 결정할 수 있느냐에 달려있다. 

Finally, the selection process, and academic medicine in general, can only be optimized through collegial, transparent communication and collaboration among different stakeholder groups. Holistic review depends on a wide range of information about the applicant, and its success depends on applicants and schools or programs being able to make well-informed decisions about whether their mission and goals are aligned with policies and practices.

또한, 의과대학과 레지던트 프로그램이 지원자들에게서 그들이 추구하는 자질, 경험, 그리고 학문적 측정지표와 학교나 프로그램의 성공과 관련된 요소들을 좀 더 명확하게 광고하도록 추진되고 있다.15

Additionally, there is a push for medical schools and residency programs to more clearly advertise the qualities, experiences, and academic metrics they seek in applicants and, where appropriate, factors associated with success in their schools or programs.15

결론

Conclusion

미국의 인구통계학적 구성은 10년 전과 확연히 다르며, 인종, 종교, 성 정체성의 차원에 따른 지속적인 건강과 사회적 불평등의 현실은, 특히 학문의학 자체와 병자들을 돌보는 그것의 역할에 대해 현저하게 도전해 왔다. 이러한 도전은 대학의학계만으로는 건설적으로 해결할 수 없다.

The demographic composition of the United States is markedly different than it was a decade ago, and the reality of persistent health and societal inequities along dimensions of race, religion, and gender identity, among others, has significantly challenged how academic medicine views itself and its role of caring for the sick. These challenges cannot be constructively addressed by the academic medicine community alone.

Holistic Review in Medical School Admissions and Selection: A Strategic, Mission-DrivenResponse to Shifting Societal Needs.

긍정적 응답왜곡: 의과대학 지원자의 자기고양(Med Educ, 2012)

Faking good: self-enhancement in medical school applicants

Barbara Griffin1 & Ian G Wilson2

도입

INTRODUCTION

최근 의학 교육에서 인성의 잠재적인 역할에 관심이 쏠리고 있으며 초기 연구에 따르면 일부 인성 요인(예: 양심)은 특히 상당한 임상 구성요소를 포함하는 과정들에서 학업 성적의 중요한 예측 변수라고 한다.12

attention has recently turned to the potential role of personality in medical education and early research suggests that some personality factors (e.g. conscientiousness) are significant predictors of academic grades, especially in courses that contain a substantial clinical component.1,2

비의료적인 맥락에서, 선발에서의 성격 테스트의 사용은 널리 퍼져 있으며, 성격이 직무 수행을 예측할 뿐만 아니라, 특히 수행의 친사회적 측면에 대한 인지 능력의 예측 효과에 대한 점진적인 차이를 설명한다는 것을 보여주는 많은 문헌에 기초하고 있다.3 또한, 선발 시 성격 테스트를 포함하면 학업 및 인지 능력의 측정이 소수 또는 불리한 집단에 미치는 악영향을 감소시킨다.3

In non-medical contexts, the use of personality testing for selection is widespread and is based on a large body of literature showing that personality not only predicts job performance, but explains incremental variance over the predictive effect of cognitive ability, especially for the prosocial aspects of performance.3 Furthermore, including personality tests in selection reduces the adverse impact that measures of academic and cognitive ability have on minority or disadvantaged groups.3

 그럼에도 불구하고, 인성의 사용은 대부분 자기 보고 조치에 의존해 왔으며, 따라서 구직자들이 그들의 반응을 왜곡할 수 있는 가능성은 많은 관심을 불러일으키는 논쟁의 대상이 되어 왔다. 전형적으로 '긍정적 응답왜곡'라는 용어를 사용하여 조사되었다(그리고 덜 흔하게 '응답 왜곡', '자기 강화', '분열화'라고 불림), 이 현상은 '인성 항목에 대한 반응을 조작하기 위한 의식적인 노력'으로 정의되었다.6 일부 관찰자-78은 'faking good'가 지원자들 사이에 널리 퍼지지 않는다고 확신하고 있지만 다른 사람들은 지원자들이 성격 테스트를 마칠 때 그들의 응답을 왜곡할 수 있다고 주장한다. 

 Nevertheless, the use of personality has largely relied on self-report measures and therefore the potential for job applicants to distort their responses has been the subject of much concern andongoing debate. Typically investigated using the term‘faking good’ (and less commonly called ‘response distortion’, ‘self-enhancement’ and ‘dissimulation’), the phenomenon has been defined as: ‘a conscious effort to manipulate responses to personality items tomake a positive impression.’6 Although some observ-ers7,8 are convinced that faking good is not prevalentamong applicant populations, others9 argue that applicants can and do distort their responses when completing tests of personality. 

선발 면접 당시(즉, 지원자로서) IPIP

the International Personality Item Pool (IPIP),10 at the time of their selection interview (i.e. as applicants),

IPIP는 널리 받아들여지는 5가지 인성 이론의 유효한 척도로, 인성은 양심, 외향, 동질, 신경증, 경험에 대한 개방 등 다섯 가지 상위 요소로 이루어져 있다고 단언한다.11

The IPIP is a valid measure of the widely accepted five-factor theory of personality, which posits that personality consists of five higher-order factors: conscientiousness; extroversion; agreeableness; neuroticism, and openness to experience.11

과거의 연구 결과에 따르면, 한 개인의 선의 조작 능력과 성향은 많은 요인에 의해 좌우되며, 그 중 많은 요인들은 의과대학에 입학하는 맥락과 관련이 있다. 예를 들어, 높은 의욕의 사람들은 특히 경쟁률이 높을 때 응답을 왜곡하며, 이는 의과대학 선발의 고부담 수준을 분명하게 반영한다. 또한, 사람들이 자신이 지원하는 직업군에 대한 긍정적인 고정관념에 일치하는 방향으로, 그리고 특정한 직업에 중요하다고 생각되는 특정 자질에 대해 어떻게 인식하느냐에 따라 성격 시험에 대한 그들의 반응을 왜곡할 것이라는 것을 발견했다.13,14

Past research indicates that a person’s ability and propensity to engage in faking good depends on a number of factors, many of which are relevant to the context of selection into medical school. For example, highly motivated people are likely to dissimulate, especially when the selection ratio (proportion of successful applicants to number of total applicants) is small,12 which clearly reflects the high-stakes context of medical school selection. In addition, studies have found that people will distort their responses to a personality test in line with positive stereotypes of incumbents in the job for which they are applying or according to their perceptions of the importance of certain qualities for a particular job.13,14

또한, 인지 능력이 높은 사람들은 시험 항목이 무엇을 측정하는지 더 쉽게 이해할 수 있기 때문에 그들의 반응을 왜곡할 수 있다고 생각된다.15 의과 지원자들의 높은 능력을 고려할 때, 성격 테스트에 대한 불임 발생률이 높을 것으로 예상할 수 있다. 이와는 대조적으로 맥파랜드와 라이언16은 신경증에서 낮은 점수를 받고 성실성과 양심성에 높은 점수를 받은 사람들은 dissimulation의 정도가 낮다는 것을 보여주었다.

In addition, those with high levels of cognitive ability are thought to be more able to distort their responses because they can more readily understand what the test items are measuring.15 Given the high ability of medical school applicants, one might expect to see a high incidence of dissimulation on personality tests. By contrast, McFarland and Ryan16 showed that those who scored lower on neuroticism and higher on integrity and conscientiousness dissimulated to a lesser extent.

방법

METHODS

연구참여자와 연구 설계

Participants and study design

초기 (시간 1) 설문지는 응답이 위조될 가능성이 더 높은 사전 선택 버전을 나타낸다. 참가자들이 일단 프로그램에 자리를 잡으면 자신을 과대평가할 이유가 적었기 때문에, Time 2 설문지가 완성된 것은 '정직한' 버전으로 여겨진다.

The initial (Time 1) questionnaire represents the pre-selection version to which responses would be more likely to be faked. The Time 2 questionnaire completed post-selection is considered the ‘honest’ version as there was less obvious reason for participants to over-represent themselves once they had gained a place on the programme.

척도

Measures

결과

RESULTS

이러한 결과는, 평균적으로 참가자들이 그들의 반응을 '긍정적인' 방향으로 조작했다는 것을 보여준다. 예를 들어, 데이터에 대한 검사 결과, 77.1%의 학생들이 타임 2보다 타임 1에서 더 높은 외향 점수를 받았다고 한다.

These results show that, on average, participants had falsified their responses in a ‘positive’ direction. An inspection of the data shows, for example, that 77.1% of students obtained a higher extroversion score at Time 1 than at Time 2.

우리는 각 학생이 좋은 척도를 조작한 척도 수를 합산했고(95% CI를 벗어난 점수 사용) 표본의 62.7%가 5가지 성격 척도 중 적어도 하나에서 분리되었지만, 오직 4.8%만이 5가지 척도 모두에서 자가 강화되었다는 것을 알아냈다.

We summed the number of scales on which each student had faked good (using scores outside the 95% CI) and found that 62.7% of the sample had dissimulated on at least one of the five personality scales, but only 4.8% had self-enhanced on all five scales.

고찰

DISCUSSION

본 연구의 연구 결과는 의과대학에 지원한 사람들이 자기 보고 테스트를 완료할 때 자신의 성격에 대한 오해의 소지가 있거나 기만적인 정보를 제공할 수 있다는 것을 보여준다.

The findings of this study indicate that those applying for entry into a medical degree may well present misleading or deceptive information about their personalities when completing self-report tests.

표본의 거의 3분의 2가 적어도 5대 인성 요인 중 하나를 조작한 것으로 보인다. 이러한 dissimulation 징후는 모든 지원자들이 자신의 성격 테스트 결과가 선택에 사용되지 않을 것이라는 확신을 가지고 있었음에도 불구하고 발생했으며 우리는 성격 테스트가 선택 과정의 공식적인 부분이었다면 dissimulation 수준이 훨씬 더 높았을 것이라고 제안한다.

nearly two-thirds of the sample appeared to have faked good on at least one of the Big Five factors of personality. This indication of dissimulation occurred despite the fact that all applicants had been assured that their personality test results would not be used for selection and we suggest that the level of dissimulation might have been even greater if personality testing had been a formal part of the selection process.

비록 우리의 결과가 상당한 비율의 지원자들이 그들의 점수를 바꿨다는 것을 보여주지만, 이 변화는 결코 보편적인 것이 아니었고 따라서 일부 지원자들, 특히 매우 정직한 지원자들에게 불리할 가능성이 있다.

Although our results show that a significant proportion of applicants changed their scores, this change was by no means universal and would thus potentially disadvantage some applicants, particularly very honest ones.

위조 효과에 관한 두 번째 주요 논쟁은 가짜 점수가 중요한 성과 결과를 예측하기 위한 타당성을 유지하는지 여부와 관련이 있다.

The second major debate regarding the effect of faking relates to whether or not faked scores maintain validity for predicting important performance outcomes.

세 번째 고려해야 할 문제는 dissimulation가 실제로 완전히 부정적인 행동인지 여부다. 대안적인 관점은 그것이 합법적이고 적응적일 수 있는 신청자의 한 부분에 자기보존의 형태를 나타낸다는 것이다.24 불행히도, 이러한 위조 관점을 채택하는 것은 결국 신청자가 코칭에 착수하는 정도를 증가시킬 수 있으며, 이는 원하는 방향으로 점수에 영향을 미치는 것으로 보여진다.25 

The third issue to consider is whether or not dissimulation is actually a completely negative behaviour. An alternative view is that it represents a form of self-preservation on the part of the applicantthat may well be legitimate and adaptive.24 Unfortunately, adopting this perspective of faking may ultimately increase the extent to which applicants undertake coaching, which has been shown to influence scores in the desired direction.25 

이러한 유보에도 불구하고, 선발 연구자들 사이에서는, dissimulation 문제는 성격 자체의 구성의 문제라기 보다는 시험의 속성이라는 것에 대한 일반적인 동의가 있다.

Despite these reservations, there is general agreement among selection researchers that the problem of dissimulation is a property of the tests rather than a problem of the constructs of personality themselves.

연구 결과에 따르면 dissimulation이 통제될 수 있다고 한다. 

• 테스트에 거짓을 탐지할 항목이 포함되어 있고 응답이 검증될 수 있다는 경고를 줌으로써,26 

• 19,27 그리고 더 미묘한 아이템을 개발함으로써 

• 응답 지연 시간 측정함으로써26 

그러나 의대생 선발과 같은 고부담의 맥락에서 자율보고의 사용은 문제를 일으킬 가능성이 높기 때문에 대학 입학처는 인격을 측정하는 대안적 방법을 고려해야 한다.

Research suggests that dissimulation can be controlled by giving warnings that the tests contain items to detect faking and that responses may be verified,26 by developing more subtle items,19,27 and by measuring response latency times.26 However, in a highstakes context such as medical student selection, the use of self-reports is likely to present a problem and therefore university admissions departments should consider alternative ways of measuring personality.

이 연구의 한계는 실패한 지원자들에게 타임 2 데이터를 수집할 수 없다는 것을 의미한다.

A limitation of this research refers to our inability to collect Time 2 data for unsuccessful applicants.

성격의 안정성과 의대생으로서의 우리 응답자들의 경험의 간결함을 고려할 때(1개월) 그들의 공부 환경에서 스트레스 요인에 대한 대응으로 변화가 일어났을 가능성도 낮다. 비의료적 맥락에서의 지원자 성격 테스트에 대한 많은 연구 기관의 결과와의 연구 결과의 유사성은 다른 직책에 대한 지원자처럼, 의과대학에 지원한 사람들이 성격에 대해 대답할 때 부정적인 자질을 부정하고 긍정적인 자질을 과대평가하는 경향을 보여준다는 결론을 어느 정도 뒷받침해 준다. st

Given the stability of personality3 and the brevity of our respondents’ experience as medical students (1 month), it is also unlikely that the changes occurred in response to stressors in their study environment. The similarity of our findings with outcomes in a large body of research on applicant personality testing in non-medical contexts6,9 gives some support to the conclusion that, like applicants to other positions, applicants to medical school demonstrate a tendency to deny negative qualities and overstate positive qualities when answering personality tests. 

Faking good: self-enhancement in medical school applicants.

학업적 뼈대: 중등교육부터 전문의까지 종단적 연속성(BMC Medicine, 2013)

The Academic Backbone: longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors

IC McManus1,2*, Katherine Woolf1, Jane Dacre1, Elisabeth Paice3 and Chris Dewberry4

배경

Background

삶의 후반부의 교육적, 직업적 성취는 종종 삶의 초기에 교육적, 전문적 성취에 달려있다. 이 원칙은 오래 전에 교육의 맥락에서 인정되었는데, 인디애나 대학 교육대학 게시판에는 이렇게 써있다 "'미래 성취의 가장 좋은 예측자는 예측 당시 달성한 성취의 수준이다. 초등학교에서 좋은 독자는 중학교와 고등학교 내내 계속해서 좋은 독자가 된다. [다른 기술의 범위]에서도 마찬가지다."

Educational and professional achievements later in life often depend on educational and professional attainments earlier in life. This principle was recognized long ago in the context of education, with a 1924 article in the Bulletin of the School of Education of Indiana University saying: ‘the best predictor of future achievement is the level of achievement attained at the time of the prediction. The good reader in the elementary school continues to be a good reader throughout junior and high school; the same is true for [a range of other skills]’ [1].

그 원칙은 종종 '미래 행동의 가장 좋은 예측자는 과거의 행동이다'라고 언급된다. 이 구절의 초기 사용은 Berdie et al.에 의한 연구에 있었다. [2], 그는 이렇게 말했다: '미래 행동의 가장 좋은 예측자는 과거의 행동이다. 보통 고등학교에서 잘한 학생은 대학에서 잘 할 것이다. 고등학교와 대학 평균 사이의 상관관계는 약 0.50'이다.

The principle is now often stated as: ‘the best predictor of future behaviour is past behaviour’. An early use of the phrase was in the study by Berdie et al. [2], who said that: ‘the best predictor of future behavior is past behavior. Usually the pupil who has done well in high school will do well in college. Correlations between high school and college grade averages are about .50’.

의학 교육의 맥락에서 우리는 이 원리를 '학업적 뼈대'이라고 언급할 것이다. 의학과 의학 내에서 우리는 호흡기 질환에 대한 대학원생들의 이해는, 말하자면 임상 학생으로서 습득한 지식, 경험, 이해에 기초하고, 그 자체가 기초 의학에서 습득한 폐 생리학에 대한 이해에 기초하고 있다고 믿을 만한 충분한 이유가 있다고 믿는다. 이는 다시 고등학교 수준(A-level) 생물학 및 화학에서 습득한 보다 기본적인 생물학적 지식을 기반으로 하며, 이 지식은 또다시 중등교육 일반 자격증/보통 수준(GCSE/O-level)과, 그리고 더 나아가 산수나 읽고 쓰기 같은 등과 같은 그 이전 단계와 연관될 것이다.

In the context of medical education, we will refer to this principle as the ‘Academic Backbone’. Within medicine and medical science, we believe there is good reason to believe that the post-graduate understanding of, say, respiratory disease, is built upon knowledge, experience, and understanding acquired as a clinical student, which is itself built upon an understanding of pulmonary physiology acquired in the basic medical sciences, which in turn is built upon more basic biological knowledge acquired in Advanced level (A-level) Biology and Chemistry, which has its foundations in science learned at General Certificate of Secondary Education/ Ordinary level (GCSE/O-level) and earlier, with those concepts based on earlier educational achievements in the form of being able to read, write, do arithmetic, and so on.

우리의 아카데믹 백본의 은유적인 사용은 두 가지 기원을 가지고 있다. 

Our metaphorical use of Academic Backbone has two origins. 

첫째, 인간의 머리가 똑바로 서 있는 것은 단지 척추에 의해 제공되는 골격 지지대 때문만이 아니며, 그 주위에 위치한 근육과 힘줄의 동적 긴장 때문에 수직적이고 안정적으로 지상에 위치한다. 마찬가지로 따라서 고급 대학원 지식은 훈련 중에 이전에 습득한 임상 지식, 실습 기술 및 이론적 이해의 연동 세트에서 개발되고 유지된다. 즉 전문 분야 그 자체뿐만 아니라 의료 과학의 지적 토대를 함께 제공하는 다양한 인지적 분야와 기술로 인해서 유지될 수 있는 것이다.

Firstly, just as the human head stands erect, vertical and stably situated above the ground not merely because of the skeletal support provided by the vertebrae, but also because of the dynamic tensions of the muscles and tendons positioned around it, so advanced postgraduate knowledge is developed from and maintained by the interlocking sets of clinical knowledge, practical skills, and theoretical understanding acquired previously during training, not only in the specialist area itself but also in a range of cognate disciplines and skills that together provide the intellectual underpinnings of medical science.

둘째로, 우리가 '등뼈'라는 용어를 사용하는 것은 해부학적 은유일 뿐만 아니라, 구조 방정식 모델링에서 종종 발견되는 도표에서 영감을 얻었는데, 이 도표들은 나중에 우리가 사용하게 될 것이고, 여기서 왼쪽에서 오른쪽으로 일련의 측정들이 나란히 놓여지고, 각각의 측정들은 오른쪽에서 왼쪽으로 움직이게 되고, 다른 요인들이 위치한 주위로도 상상할 수 있는 것. 백본의 통계적 상관관계는 기술적으로 시간에 걸친 단순한 상관관계라고 불리는 것으로, 사실상 현재가 과거에 기초하고 있으며, 미래에 대한 기초를 제공한다고 한다.

Secondly, our use of the term ‘backbone’ is not only an anatomical metaphor, but also is inspired by the diagrams often found in structural equation modeling, which we will use later in these analyses, whereby a series of measures are laid side by side, from left to right, each causing the ones to its right, and being caused by the ones to its left, in what can also be envisaged as a backbone around which other factors are located. The statistical correlate of the backbone is what technically is called a simplex of correlations across time, in effect saying that the present is built upon the past, and provides the foundations for the future.

학문의 백본이 있다면, 학문의 성취가 의대생 선발의 주요 기반이 되어야 한다는 것이 이론적이고 실용적인 핵심이다.

If there is an Academic Backbone, then a key theoretical and practical corollary is that academic attainment should be a major basis for the selection of medical students.

문헌에 그러한 조치의 체계적인 예가 비교적 적음에도 불구하고, 학부 및 대학원 달성 조치의 내부와 사이의 상관관계는 계산하기에 비교적 간단하다.

Correlations within and between undergraduate and post-graduate attainment measures are relatively straightforward to calculate, even though there are relatively few systematic examples of such measures in the literature.

경험적으로, 자료의 수집과 상관관계의 계산은 어렵지 않지만, 그러한 상관관계는 종종 그들이 선택할 가치 있는 근거를 제공하지 못하는 것처럼 보일 정도로 실망스러울 정도로 작은 것처럼 보인다. 이는 명문 학술지에서도 발견되는 바와 같이 A-수준 등급과 같은 측정치가 대학 성취도를 예측하는 데 실제로 거의 가치가 없다는 진술을 하게 되었다[4]. 그러나 이것은 순진한 해석일 것이다. 정신측정학에서는 선발시험의 성과와 선발된 학생의 성과 사이의 낮은 상관관계의 문제가 잘 알려져 있다. 1943년 버트[5]에서는 'scholarship examination의 효율성을 선발 수단으로 판단하는 time-honoured 오류'를 지적했다. 이 오류에서 효율성은 선발된 그룹 내의 능력merit의 순서를 예측하는 수단으로 판단된다'

Empirically, the collection of the data and the calculation of the correlations is not difficult, but such correlations often seem to be disappointingly small, to the extent that they do not seem to provide a worthwhile basis for selection. This has resulted in statements, found even in prestigious journals, that measures such as A-level grades are actually of little value in predicting university attainment [4]. This would, however, be a naive interpretation. Within psychometrics, the problem of low correlation between performance on a selection test and outcome performance in those selected, is well known. Burt in 1943 [5] referred to the, ‘time-honoured fallacy of judging the efficiency of a scholarship examination as a means of selection by stating its efficiency as a means of predicting the order of merit within the selected group’ (p.2).

선발에 대한 연구에 있어서 가장 근본적인 문제는 시험에 기초해서 선발되지 못한 사람들은 필연적으로 그 시험의 낮은lower 수행자들이며, 우리는 선발 후 시험에서 그들이 어떻게 했을지 거의 측정할 수 없다는 것이다. A급 성적 등 선발 대책을 검증하기 위해서는 선발된 사람만이 아니라 전체 지원자 풀의 상관관계를 파악할 필요가 있다.

The most fundamental problem in studying selection is that those who fail to be selected on the basis of a test are by necessity lower performers on that test, and we can rarely, if ever, measure how they might have done in post-selection tests. In order to validate selection measures such as A-level grades, we need to know about the correlations in the entire pool of applicants, not just in those who have been selected.

이 범위 제한은 다음을 의미한다. 선발된 그룹(의과대학에 입학한 그룹)에서 선발 척도(예: A-수준)와 성과 척도(예: 의대 1학년)의 상관관계는 (만약 모든 의과 대학 지원자들에 대해 분석했을 때보다) 반드시 약할 것이다는 점이다. 

This restriction of range means that in the selected group (those who enter medical school) the correlation of the selection measure (for example, A-levels) with the outcome measure (for example, first year medical school examinations) will necessarily be weaker than would be the case if performance were to have been assessed across the whole range of medical school applicants.

이 상황을 평가할 수 있는 유일한 방법은, 입학자가 모든 수준의 성취도에 대한 모든 지원자의 풀에서 무작위적이고 대표적인 표본이 되는 것이다. 범위 제한 문제에 대한 통계적 해결책은 수 십 년 동안 연구되어 왔으며 [5] 현재 그 문제는 통계적으로 추적가능하기 때문에 전체 선택에 대한 유효성 계수를 계산할 수 있다(이하 'construct validity'이라 한다).

That situation could only be assessed empirically if entrants were to be a random, representative sample from the pool of all applicants, with A-level grades at all levels of achievement. Statistical solutions to the problem of range restriction have been explored for many decades [5] and the problem is now statistically tractable [6,7], so that validity coefficients for selection as a whole (so-called ‘construct validity’) can therefore be calculated.

여기서 우리는 학업적 뼈대가 의과대학 이전, 의과대학 중, 의과대학 후의 수행 척도 사이에 어느 정도로 유의한 상관관계를 보여주며, 실질적 의미가 있는지에 초점을 맞출 것이다.

Here, we will concentrate on the extent to which the Academic Backbone has empirical substance, manifesting as significant correlations between earlier and later measures of performance, before, within, and after medical school.

의술에 사용되는 선발척도는 크게 성취(또는 달성) 척도와 적성(또는 능력) 척도로 나눌 수 있다[3]. 

• 영국의 GCSE와 A-수준이 예가 될 수 있는 달성/성공 시험은 전형적으로 공식적인 중등교육 동안 습득한 지식과 기술을 평가하며, 높은 성과는 아마도 지적 능력뿐만 아니라 동기부여와 일반적인 학습 능력을 필요로 할 것이다[9]. 

• 이와는 대조적으로, 영국의 UKCAT(United Clinical Aptitude Test)와 바이오메디컬 입학 시험(BMAT)과 같은 적성/능력 시험은 '사고와 추론을 위한 지적 능력, 특히 논리적이고 분석적인 추론 능력'을 강조한다[10]. 그것들은 잠재력의 척도가 되고 형식적인 학교교육과는 무관하다고 느끼고 있으며, 여러 가지 면에서 기본적인 정신능력이나 지능의 척도와 겹치는 것으로 볼 수 있다. 

• 미국의 의대생을 선발하는 데 사용되는 의대 입학시험(MCAT)과 같은 시험[11]은 생물학, 화학, 물리학에서 나온 물질 범위에 대한 실질적인 학문적 이해를 측정하며, 따라서 적성보다는 주로 성취도 측정이 된다.

적성에 근거한 선택과 성취 대책의 주요한 차이점은 적성시험은 일반적인 사고와 추론 기술이 의과대학 수행의 주요한 예측인자라고 보는 반면, 성취시험은 생물학이나 화학의 사실, 이론, 아이디어와 같은 실질적인 지식이 중요하다고 가정한다는 것이다. 그 자체가 일반적인 기술 이외에 의과대학의 성과의 예측자이며, 과거에 치러진 성취 시험에서 이룬 우수한 성과는 동기, 지적 능력 및 인성의 일부 조합을 나타내는 간접적인 지표라고 할 수 있다[12].

The major difference between selection based on aptitude and on attainment measures is that the use of aptitude tests assumes that generic thinking and reasoning skills are the major predictors of medical school performance, whereas the use of attainment tests assumes that substantive knowledge, such as of the facts, theories and ideas of biology or chemistry, are themselves predictors of medical school performance in addition to general skills, and that previous good performance on attainment tests is an indirect indicator of some combination of motivation, intellectual ability, and personality [12].

결과의 예측자로서의 성별과 민족

Sex and ethnicity as predictors of outcome

의학 교육에 대한 지속적인 관심의 두 가지 인구학적 요인은 성별과 민족성이다. 백인 이외의 영국 의대생들은 MRCP(영국)를 포함하여 의대 시험[14,15]과 대학원 시험[15]에서 성적이 떨어진다. 또한 남성과 여성은 MRCP(영국)에서 다르게 수행하며, 남성과 여성은 똑같이 제1부에 합격할 가능성이 높지만, 여성은 제2부와 임상시험 스킬(PACES)의 실기 평가에 합격할 가능성이 더 높다 [16]. 또한 남성은 Fitness to Practise에 대한 우려처럼 GMC에 의해 조사되고 제재를 받을 가능성이 훨씬 더 높다[17,18]. 대학원 시험에서 다른 성과를 해석하는 것은 의사들이 MRCP(영국)와 같은 시험을 볼지 말지를 선택하고, 시험을 볼지를 선택하는 사람들이 의대를 졸업하는 사람들의 무작위 하위집합은 아닐 수도 있다는 사실 때문에 복잡하다.