교육, 훈련, 실천의 연속성 부족은 'Do No Harm' 원칙을 위배한다(Acad Med, 2018)

A Lack of Continuity in Education, Training, and Practice Violates the “Do No Harm” Principle

Robert Englander, MD, MPH, and Carol Carraccio, MD, MA

1910년 Flexner 보고서는 의료 교육 시스템의 주요 개혁을 촉진했다.1 그 이후, 의료 교육, 훈련, 그리고 실천의 단계가 허겁지겁 짜여졌다. Flexner는 커리큘럼을 의학적 교육의 원동력으로 강조하였는데, 이는 2년짜리 연속된 세그먼트로 기초 과학과 임상 경험을 구획화하여 오늘날까지 지속되는 사일로를 구축하게 했다. Practice는 의과대학을 마치고 나서야 실습이 시작되었다.

The 1910 Flexner Report prompted major reform of the medical education system.1 Since then, the phases of medical education, training, and practice have been haphazardly pieced together. Flexner’s emphasis on curricula as the driving force for medical education led to compartmentalized basic science and clinical experiences in two-year sequential segments, building silos that persist today. Practice began when medical school was complete.

그러나 제1차 세계 대전 이후, 더 많은 환자의 요구를 충족시키기 위한 서비스 요구사항과 함께 새로운 의학적 진전에 대한 학습의 필요성이 증가하면서, 1년의 인턴십이 늘어나게 되었다.2 의과대학에게는 인턴을 지원할 재원이 없었기 때문에 병원이 인턴십을 감독했고, 이는 "연속체"에 또 다른 seam을 추가했다. 1930년대에는 제3의 이해당사자인 전문 위원회specialty board에 의해 주도되어 레지던트가 늘어났고, 이는 practice를 하기 위한 전제조건으로 특정 시간 동안의 훈련을 요구하였다.2

However, after World War I, the growing need to learn about new medical advances, coupled with service requirements to meet the needs of greater volumes of patients, resulted in an increasing prevalence of one-year internships.2 Hospitals oversaw internships, as medical schools did not have the resources to support them, adding another seam in the “continuum.” Residencies flourished in the 1930s driven by yet a third stakeholder, specialty boards, that required specific time-based training as a prerequisite to practice.2

그 뿌리에서부터, practice continuum을 위한 학부 의학 교육(UME)과 대학원 의학 교육(GME)은 거의 연속성을 반영하지 못했다. 그것들은 연속적이었지만, 즉 시간과 순서에 있어서 중단되지 않았지만, 연속체의 특징이라 할 수 있는 "정연한 전체coherent whole"는 결여되어 있었다.3

From its roots, then, the undergraduate medical education (UME) to graduate medical education (GME) to practice continuum reflected little continuity. They were continuous—that is, uninterrupted in time and sequence—but lacked the “coherent whole” that characterizes a continuum.3

지속성에 대한 중요 요구사항 실현: 왜 지금일까요?

Realizing the Critical Need for Continuity: Why Now?

21세기 초 역량 기반 의료 교육(CBME)으로의 패러다임 전환의 원동력은 care quality에 대한 대중의 항의였다.4 CBME 시스템을 구현하려는 시도는 훈련과 연습의 단계 내 및 전체에서 연속성의 결여를 강조하였다. CBME는 Flexner에 의해 주창된 [시간-고정된 교육 및 훈련]이라는 오랜 기간 동안 지속되어온 결과에 도전하였다. [시간 고정 훈련]에서 보장되는 유일한 결과는 [학생마다 다른 성과]일 뿐이었다.

A driving force for the paradigm shift to competency-based medical education (CBME) at the turn of the 21st century was the public outcry regarding care quality.4 Attempts to implement a CBME system underscored the lack of continuity within and across the phases of training and practice. CBME challenged the long-standing outcome of fixed time education and training advocated by Flexner, the only guaranteed result of which is variable outcomes.1

이 시스템의 커리큘럼은 인구집단의 요구에 따라 이루어지며, 의사는 이러한 요구를 충족시킨다는 것을 입증해야 한다.5 이러한 backward visioning process ("처음부터 최종 상태를 염두에 두고 시작")은 연속체에 걸친 공통적인 비전과 매끄러운 전환을 의미한다.6

Curriculum in this system, is driven by the needs of populations and the desired outcomes physicians must demonstrate to meet those needs.5 This backwards visioning process—“starting with the end in mind”—begs for a common vision and seamless transitions across the continuum.6

이는 학습자가 다음 레벨로 전환하기 전에 필수 역량에서 필요한 performance level에 도달하는 데 필요한 시간 가변성을 허용한다. 전국의 모든 의대생들이 [졸업을 하는 해 7월 1일에] 레지던트 훈련을 시작하는 데 필요한 모든 역량을 어느 정도 달성할리가 만무하다.

It allows for the time variability that is needed for learners to reach the necessary performance levels in the requisite competencies before transitioning to the next level. The notion that every medical student across the nation has somehow achieved all the competencies necessary to start residency training on July 1 of their graduation year is magical thinking.

연속성이 없는 "연속성"의 결과

Consequences of a “Continuum” Without Continuity

인구의 건강 요구를 충족시키는 practice의 바람직한 outcome과 그 목적을 달성하기 위해 필요한 커리큘럼을 reverse engineering하는 데 초점을 둔다면, transition에 따른 커리큘럼의 misalignment은 [역량의 추구]를 어렵게 하며, 궁극적으로는 환자와 학습자 모두에게 부정적인 영향을 미친다. 필요한 역량의 광범위하고 다양한 영역은 커리큘럼이 연속체에 걸쳐 align될 것을 요구한다.

With a focus on the desired outcomes of practice that meet populations’ health needs and a reverse engineering of the curricula needed to achieve that end, the misalignment of curricula across transitions makes the pursuit of competence elusive, negatively impacting both patients and learners. The broad and diverse domains of required competencies necessitate that curricula be aligned across the continuum.

연속성의 부족은 우리의 학습자와 환자에게 많은 해를 끼쳤다.

The lack of continuity has resulted in a number of harms to our learners and patients.

위험 #1: 위상 내 연속성 부재

Harm #1: Absence of continuity within phases

UME에서, 커리큘럼의 수직적 및 수평적 통합은 역량 개발을 향상시키고 학습을 강화시키는 반면, 그러한 연속성의 부재는 반대로 학습 능력을 저하시킴으로써, 학습자를 harm 한다.7 예를 들어 의과대학에서 기초과학과 임상과학의 분리는 우리가 어떻게 배우는지에 대해 이치에 맞지 않는다. 기초과학 원리를 임상 의학에 즉시 적용할 수 있는 능력은 retention을 크게 향상시킨다.8

In UME, both vertical and horizontal integration of curricula enhance the development of competencies and reinforce learning, while the absence of that continuity, by contrast, “harms” learners by impairing their capacity to learn.7 As an example, the separation of the foundational sciences from the clinical sciences in medical school makes no sense for how we learn. The ability to immediately apply basic science principles to clinical medicine significantly improves retention.8

예를 들어 심혈관 검사를 가르치는 동시에 심장의 해부학과 생리학을 가르치는 것이 더 이치에 맞으며, 학생들이 수직 통합이라는 교육적 원리에 따라 시뮬레이션 실험실에서 정상적이고 병리적 상태를 practice할 수 있도록 하는 것이 더 이치에 맞다.9

for example, it makes more sense to teach the anatomy and physiology of the heart at the same time you teach the cardiovascular examination and allow students to practice with normal and pathological states in a simulation lab, an educational principle called vertical integration.9

또한 현재 우리의 임상실습의 파편화(일반적으로 의과대학 3학년)도 우리가 배우는 방법과 잘못 정렬되어 있다. 예를 들어, 학생들은 각각의 임상실습(예: 내과, 소아과)에서 병력청취와 신체 검사를 "배울 것"을 기대한다. 이와는 대조적으로, 통합적 1차 치료 임상 경험에서 학습의 시너지 효과를 상상해 보십시오. 여기서는 학생이 유아, 아동, 청소년 및 노인 환자에 대한 병력청취와 신체 검사를 수행하고, 그 후 throughout the experience에 걸쳐 practice할 것이다 (수평적 통합).10

Additionally, the current fragmentation of our clinical clerkships (generally in the third year of medical school) is also misaligned with how we learn. We expect that students will “relearn” the history and physical exam, for example, in each subsequent clerkship (e.g., internal medicine, pediatrics). In contrast, imagine the synergy of learning in an integrated primary care clinical experience, where a student learns to perform a history and physical examination on an infant, child, young adult, and geriatric patient and then practices throughout the experience (horizontal integration).10

유해 #2: 지속적이고 의미 있는 관계의 부재

Harm #2: Absence of sustained, meaningful relationships

파편화된 연속체에서 학습자에게 발생하는 또 다른 해악은 관계 형성에 방해가 된다는 것이다.

Another harm that comes to learners in a fragmented continuum is the disruption to forming relationships—

학습자가 고기능 팀에서 활동할 것으로 예상하는 경우, 피드백을 제공하고 받아들일 수 있도록 팀원들과의 관계를 발전시킬 필요가 있다.11 그러나 여전히 UE와 GME에 만연하고 있는 블록 로테이션 모델은 이러한 필수적인 능력을 약화시킨다. 베르나베오 등은 레지던트를 대상으로 실시한 정성적 연구에서, "빈번한 transition이 환자와 관계를 맺는 그들의 능력을 얼마나 떨어뜨렸는가"를 기술했다. 교수들의 "on service" 시간이 점점 짧아지면서, 학생 및 레지던트의 스케줄과 sync가 맞지 않았고, 이것도 관계 발전에 해로운 영향을 끼친다.

If we expect learners to work in high-functioning teams, they need to develop relationships with their team members to enable the provision and acceptance of feedback.11 The block rotation model that still pervades UME and GME, however, undermines this essential ability. In a qualitative study by Bernabeo et al,12 residents described how “frequent transitions detracted from their ability to relate to patients.” The increasingly short duration of faculty “on service” time, often out of sync with the schedules of students and residents, also contributes to the harmful effect on relationship development.

마지막으로, 2003년에 근무 시간 제한이 도입되어 레지던트와 펠로우 사이에 더 많은 환자 인계 작업이 필요하게 되면서 블록 로테이션으로 인해 발생한 환자들과의 일시적인 관계의 기존 문제가 악화되었다.13 은유적으로 말하면, 수많은 병동입구의 입구였던 이중 문이 회전문으로 교체된 것이다.

Finally, the introduction of duty hours restrictions in 2003, requiring more patient handovers among residents and fellows, exacerbated the existing problem of transient relationships with patients that occurred because of block rotations.13 Metaphorically speaking, the double doors marking the entrance to so many inpatient units have been replaced by revolving doors.

이러한 지속적이고 의미 있는 관계의 부재는 완화될 수 있다. UME의 임상 몰입 경험에 대한 혁신적인 지속적 접근방식에 따르면, 이것이 학습과 전문적인 발전에 긍정적인 영향을 보여주었다.14,15 LICs에서 Hirsh 등 16은 학생들이 [환자와의 관계가 환자의 웰빙에 실질적 영향을 준다는 것]을 인지했음을 보여주었다. 또한 학생과 preceptor와의 관계가 더 많은 피드백과 멘토링을 유도하는 것 같다. 학습자와 교사 모두 [타당성, 숙련도 평가 품질, 제공된 건설적 피드백]을 토대로, 블록형 임상실습보다 LIC에서 평가를 선호했다.17

This absence of sustained, meaningful relationships can be mitigated. Early experience, over three continents, with an innovative continuous approach to the clinical immersion experience in UME called the longitudinal integrated clerkship (LIC), has demonstrated positive effects on learning and professional development.14,15 In LICs, Hirsh et al16 demonstrated that students perceived their relationships with patients as having a real impact on their patients’ well- being and that their relationships with preceptors resulted in more feedback and mentoring than a comparison group. Both learners and preceptors favored evaluation in the LIC over the block clerkship based on validity, quality of skill assessment, and the constructive feedback provided.17

상처 #3: 공감의 감소

Harm #3: Decline in empathy

UME에서 학습자에게 발생하는 세 번째 해악은 공감의 감소다. 관계와 피드백에 대한 효과 외에도, LIC 학생들은 LIC가 완성될 때 공감 점수의 증가를 보여주었는데, 이는 점수의 감소를 보여준 전통적인 임상실습을 완료하는 학생들과 대조적이다. 더우기, 이러한 긍정적인 결과가 OSCE나 NLE에서 기존 수준 또는 기존보다 더 높은 점수를 받으면서 발생했다.

A third harm that comes to learners in UME is a decline in empathy. In addition to the effects on relationships and feedback, LIC students also demonstrated an increase in empathy scores at the completion of the LIC in contrast to students completing a traditional clerkship year, who demonstrated a decrease in scores.16 Moreover, these positive results occurred in the face of maintaining or surpassing scores on local objective structured clinical examinations and national licensing examinations.

유해 #4: 사망률 증가

Harm #4: Increase in mortality

가장 우려되는 것은 Denson 외 연구진(19)이 짧은 로테이션의 네 번째 위해harm로 지적하였다. 즉 인턴이 한 로테이션에서 다른 로테이션으로 전환할 때 사망률이 증가한다는 것이다. 23만 명 이상의 성인 환자를 대상으로 한 그들의 연구는 레지던트 전용 전환과 대조군에 비해 인턴 전환 및 인턴+레지던트의 전환과 관련된 병원 내 사망률이 훨씬 더 높다는 것을 보여주었다.

Most concerning, Denson et al19 demonstrated a fourth harm of brief block rotations: an increase in mortality at times of intern transition from one rotation to another. Their study of over 230,000 adult patients demonstrated significantly higher in-hospital mortality associated with intern transitions and intern-plus-resident transitions as compared with resident-only transitions and controls.

역량 기반 교육을 통한 지속성 구축

Building Continuity Through Competency-Based Education

CBME의 완전한 구현은 연속체 전체에 걸쳐 연속성을 보장하는 경로를 제공한다. 우리는 이미 그러한 제도를 시행하는 데 많은 진전을 보았다; 우리는 [21세기에 의사의 필수적인 역량의 delineation]이라는 첫 단계를 마쳤다.

The full implementation of CBME provides a path to ensuring continuity across the continuum. We have already come a long way toward implementing such a system; we have completed the first step—the delineation of the requisite competencies of a doctor in the 21st century.5

역량은 "지식, 기술, 가치 및 태도를 통합하는 특정 활동과 관련된 보건 전문가의 관찰 가능한 능력"으로 정의된다.20 역량의 예는 "환자에 대한 필수적이고 정확한 정보를 얻는다."가 있다.21

A competency is defined as “an observable ability of a health professional related to a specific activity that integrates knowledge, skills, values, and attitudes.”20 An example of a competency is “gather essential and accurate information about the patient.”21

CBME 시스템의 완전한 구현을 위한 두 번째 단계는 역량에 대한 퍼포먼스 수준의 개발이다.5 각 역량에 대한 마일스톤은 "발달 연속체를 따라 개인의 능력을 관찰할 수 있는 표식"으로 정의된다.20 이러한 서술적 설명은 [특정 성과 수준에서 관찰할 행동]의 공유된 정신적 모델을 제공한다. 

The second step toward full implementation of a CBME system is the development of performance levels for the competencies.5 Milestones for each of the competencies are defined as an “observable marker of an individual’s ability along a developmental continuum.”20 These narrative descriptions provide a shared mental model of the behaviors one would observe at a specific performance level.

세 번째 단계는 역량 및 평가 프레임워크를 가르치는 커리큘럼을 개발하는 것이다.5 주요 장벽 중 하나는 역량의 평가였다.28 역량은 추상적이면서도 맥락에 의존적이지 않아야 하므로 평가하기 어렵다. 그들은 또한 우리가 주로 모든 수준에서 학습자들을 가르치고 평가하는 방식과 완벽하게 일치하지 않는다. 이 문제에 대한 한 가지 해결책은 평가와 커리큘럼 개발의 틀로서 위임 가능한 전문 활동(EPA)을 도입하는 것이었다.29

The third stage of implementation requires the development of curricula to teach the competencies and a framework for assessment.5 One of the main barriers has been the challenge of assessing competence.28 Competencies are both abstract and context independent, making them difficult to assess. They also do not seamlessly align with the way that we predominantly teach and assess learners at all levels. One solution to this problem has been the introduction of entrustable professional activities (EPAs) as a framework for both assessment and curriculum development.29

Core EPAs는 미국 의과대학 협회에 의해 개발되었으며 많은 의과대학에서 시행되고 있다.30,31

The Core EPAs for Entering Residency (Core EPAs) were developed by the Association of American Medical Colleges and are being implemented at many medical schools.30,31

직접적인 연계의 예로는 Core EPA에서 "전문간 팀의 일원으로 협력"과 소아 EPA에서 "전문직 간 팀을 이끈다"가 있다. 

An example of a direct link would be 

• the Core EPA “collaborate as a member of an interprofessional team” and 

• the pediatric EPA “lead an interprofessional team.” 

기본블록의 예로는 소아 EPA가 "우수한 어린이들을 위한 의료 가정 제공"에 기초하는 Core EPA "공통 진단 및 선별 테스트 권장 및 해석"이 있다.

An example of a foundational building block would be 

• the Core EPA “recommend and interpret common diagnostic and screening tests” 

• which is foundational to the pediatric EPA “provide a medical home for well children.”

EPA와 역량/마일스톤 프레임워크의 통합은 연속체에 걸쳐 평가 프로그램을 정렬해야 하는 과제에 대한 잠재적인 해결책을 제공한다. 위탁을 유도하는 감독 척도 수준과 같이 학습자를 평가하기 위해 개발된 도구의 유형을 UME 및 GME에서 사용할 수 있으며, 궁극적으로는 실무에서도 사용할 수 있어 평가를 위한 교수개발을 단순화한다.33,40

The integration of the EPA and competency/milestone frameworks provides a potential solution to the challenge of aligning a program of assessment across the continuum. The types of tools developed to assess learners, such as level of supervision scales leading to entrustment, can be used in UME and GME and ultimately even practice, simplifying faculty development for assessment.33,40

위에서 설명한 실행 계획에서 가정으로 전달되는 한 가지 메시지는, 그것이 [평가의 developmental model]과 [longitudinal experience]의 이상적인 결합을 강조한다는 것이다. LIC 또는 longitudinal ambulatory block과 같은 종방향 경험은 EPA, 역량, 이정표의 프레임워크에 구축된 역량 기반 평가 시스템에 이상적인 setting을 제공한다. 잉글랜더와 ten Cate는 LICs와 EPA를 "완벽한 조합"이라고 부르기까지 했다.

One take-home message from the implementation scheme outlined above is the extent to which it underscores the ideal marriage of longitudinal experiences with a developmental model of assessment. Longitudinal experiences, such as an LIC or a longitudinal ambulatory block, provide the ideal setting for a competency- based assessment system that is built on a framework of EPAs, competencies, and milestones. Englander and ten Cate43 have gone so far as to call LICs and EPAs “the perfect match.”

파이널 프런티어: 교육훈련의 시간변동향

The Final Frontier: Time Variability in Education and Training

시간 변동성은 우리의 의학교육 시스템이 가진 적응력에 대한 궁극적인 테스트가 될 것이지만, 결국 그것은 모든 학습자들이 그들의 직업 전반에 걸쳐 어떤 전환이나 어떤 새로운 과제에 대비할 수 있는 유일한 방법이다. 이것은 위압적으로 보일지 모르지만, 다음의 관찰은 우리에게 큰 희망을 준다. 이전 모델("Flexner-type, 고정 시간")에서 역량 기반 교육이 채택된 프로그램에서 역량 달성에 필요한 평균 시간은 감소하는 경향이 있었다.44,45 

Time variability will be the ultimate test of the capacity of our medical education system to adapt, but in the end it is the only way to ensure that all learners are prepared for any transition or any new task throughout their careers. This may seem daunting, but the following observation gives us great hope. In programs where competency-based education has been adopted in a previous model (“Flexner-type,” fixed time), the average time to competence has tended to decline.44,45 

궁극적으로 대부분의 학습자가 미리 정해진 정해진 시간보다 적은 시간에 필수 역량을 보여줄 것임을 의미한다. 만약 시스템상으로 아직 그 시점에서 easy transition이 가능하지 않다면, 우리는 적어도 그러한 학습자들이 전문지식을 향한 발달적 연속체를 따라 더 진보할 수 있는 advanced opportunities를 제공할 수 있을 것이다. 더 중요한 측면은 발달을 위해 추가적인 시간이 필요한 학습자들과, 이 학습자들을 수용하기 위한 시스템의 적응성에 있을 것이다. 그러나 우리가 반드시 달성해야 할 것은 단순히 훈련 시간에 근거하여, transition에 필요한 요건을 입증하지 못한 학습자들을 transitioning하는 관행을 제거하는 것이다.

Ultimately, this means that most learners will demonstrate the requisite competencies in advance of the predetermined, fixed time. If the system has not yet adapted to allow easy transition at that point, we can at least provide advanced opportunities for those learners to progress along the developmental continuum toward expertise. The more important aspect will be for those few learners who need additional time to develop and the adaptability of the system to accommodate them. What we must accomplish, however, is eliminating the practice of transitioning learners who have not demonstrated the requirements for that transition simply based on their time in training.

CBME를 완전히 구현하기 위한 네 번째이자 마지막 단계인 프로그램 평가는 CBME의 궁극적인 성공에 매우 중요할 것이다. 이것이 우리가 알려진 harm을 완화시켰는지 영구화시켰는지 알 수 없는 것을 식별하는 유일한 방법이다. 이것은 우리에게 실수로부터 배우고 우리가 한 일을 개선할 기회를 준다. 그래야만 우리는 "CBME이 더 나은 의사들을 만든다는 증거는 어디에 있는가?"라는 지난 17년의 메아리치는 질문에 대답할 수 있다.

Program evaluation, the fourth and final step to full implementation of CBME, will be critical to its ultimate success.5 This is the only way we will know whether we have mitigated or perpetuated the harms that are known and identify any that are unknown. This gives us the chance to learn from our mistakes and improve on what we have done. Only then can we answer the echoing question of the last 17 years: “Where’s the proof that CBME makes better doctors?”46

이 산을 옮기려면 무엇이 필요할까?

What Will It Take to Move This Mountain?

우리는 교육, 훈련, 연습 연속체의 연속성이 결여된 결과에 대해 반성했다.

We have reflected on the consequences of the lack of continuity in the education, training, and practice continuum.

커리큘럼은 모든 단계에서 인구집단의 요구에 근거하기보다는 여전히 전문가의 의견에 의해 추진되는 경우가 많다. 결과적으로 여러 단계를 거쳐 커리큘럼이 잘못 정렬되면 전환 과정 전반에서 학습을 강화할 기회가 낭비된다. 커리큘럼에 대한 블록 접근방식은 환자와 학습자 사이의 관계, 그리고 교훈자와 학습자 사이의 관계 개발을 방해한다. 전자는 환자의 불만족으로 이어지고 후자는 수용자 피드백의 거부로 이어진다. 의료의 품질에 중요한, 고기능 팀 개발에 필요한 관계를 구축할 기회는 없다. 관계를 발전시킬 기회가 없는 학습자들은 공감의 침식을 보여준다. 그리고 최근의 문헌에 의하면 인턴 전환 기간 동안 더 높은 사망률을 보이고 있다.19

The curriculum is often still driven by expert opinion rather than by the needs of populations at all phases. The resulting misalignment of the curriculum across phases wastes the opportunity to reinforce learning across transitions. A block approach to curriculum interferes with the development of relationships between patients and learners and between preceptors and learners. The former leads to patient dissatisfaction and the latter to rejection of preceptor feedback. Although care quality depends on it, there is no opportunity to build the relationships that are necessary for developing high-functioning teams. Learners who do not have opportunities to develop relationships demonstrate an erosion of empathy. And recent literature suggests a higher mortality during times of intern transitions.19

우리가 진정으로 학습자에게 고부가가치 교육을 제공하는 의료 교육 및 훈련 시스템을 만들어 환자에게 고부가가치 진료를 제공하기를 원한다면 연속성을 계속해야 한다.

We must put continuity into the continuum if we want to ever truly create a system of medical education and training that provides high- value education to learners so that they can deliver high-value care to patients.

A Lack of Continuity in Education, Training, and Practice Violates the "Do No Harm" Principle.

의학에서 역량바탕교육의 정의를 향하여: 체계적 문헌고찰(Med Teach, 2010)

Toward a definition of competency-based education in medicine: a systematic review of published definitions

JASON R. FRANK1, RANI MUNGROO2, YASMINE AHMAD3, MIMI WANG4, STEFANIE DE ROSSI5 & TANYA HORSLEY6

도입

Introduction

역량 기반 프로그램의 의도된 산출물은 [지역적 조건에 따라 지역적 필요를 충족하기 위해 정의된 숙련도 수준에서 의학을 실천할 수 있는 보건 전문가]이다....하나의 정의가 있다고 제안하는 것은 무의미할 것이다. (McGaghie 등, 1978년, 페이지 18년)

The intended output of a competency-based programme is a health professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs ...It would be pointless to suggest that there is a single definition. (McGaghie et al. 1978, p. 18)

그러나, 이 문헌은 또한 건강 직업에서 '역량 기반 교육'이 정확히 무엇을 의미하는지에 대한 지속적인 논쟁을 설명한다(McGaggie et al. 1978; Leung 2002).

However, the literature also describes an ongoing debate about what exactly is meant by ‘‘competency-based education’’ in the health professions (McGaghie et al. 1978; Leung 2002).

한눈에 봐도, 지금까지의 문헌은 현저하게 다양하며, 모델과 논평에 크게 비중을 두고 있는 것처럼 보인다. 의학 교육의 증거 기반을 전반적으로 강화하자는 최근의 제안에도 불구하고, 아직 진전은 suboptimal하다(Chen et al. 2004).

At a glance, the scholarship to date appears remarkably diverse and heavily weighted to models and commentaries. Despite recent proposals to enhance the evidence base of medical education in general, progress is suboptimal (Chen et al. 2004).

방법

Methods

공통의 정의(Ainoda et al. 2005; Oh et al. 2005)를 만들기 위한 다른 체계적인 검토에 사용되는 방법과 유사한 방법을 사용하여 영어 또는 프랑스어로 정의를 제공하는 CBE와 관련된 학술적 출처에 대한 종합적인 조사를 실시했다.

Using methods similar to those used in other systematic reviews intended to create common definitions (Ainoda et al. 2005; Oh et al. 2005), we conducted a comprehensive inquiry of the scholarly sources related to CBE that provided definitions in English or French.

Inclusion/exclusion criteria

Search strategy

Selection methods

Data extraction

Data analysis

결과

Results

검토에 포함된 문헌 개요

Overview of literature included in the review

정의의 길이는 13 단어에서 205 단어 사이였다. 출판 연도는 수십 년 동안 검색되었으며, 2000년과 2009년 사이에 출판된 간행물의 대다수는 (74.6퍼센트), 2005년 이후로는 44.5퍼센트였다(그림 2 참조).

Definitions ranged in length between 13 and 205 words. Year of publication spanned all decades searched, the majority (74.6%) being published between 2000 and 2009, and 44.5% since 2005 (see Figure 2).

반복 CBE 테마 식별

Identifying recurring CBE themes

173개 포함 정의에 대한 엄격하고 철저한 정성적 분석에 따라, 6개의 서술적 하위 테마(결과 정의, 역량 커리큘럼, 시연 가능, 평가, 학습자 중심 및 사회적 필요성)를 포함하는 4개의 주요 주제(조직 프레임워크, 이론적 근거, 시간과의 대비, CBE 구현)를 식별했다. 주제와 광범위한 분류의 요약은 빈도수와 함께 표 2에 제시되어 있다.

Following a rigorous and thorough qualitative analysis of the 173 included definitions, we identified 4 major themes (organizing framework, rationale, contrast with time, and implementing CBE), which included 6 descriptive sub-themes (outcomes defined, curriculum of competencies, demonstrable, assessment, learner-centred and societal needs). A summary of themes and broad categorizations, along with frequency counts, are presented in Table 2.

원본 정의를 포함하는 기록은 표 3에 제시되어 있다. 이러한 식별된 정의는 표 4의 테마에 의해 코드화된다. (표 3과 4는 온라인 www.medicalteacher.org.)에서 이용할 수 있다.

Records containing original definitions are presented in Table 3; these identified definitions are coded by theme in Table 4. (Tables 3 and 4 are available online at www.medicalteacher.org.)

고찰

Discussion

의학의 CBE 요소

The elements of CBE in medicine

의학 CBE 문헌에는 커다란 이질성이 있다.

There is great heterogeneity in the medical CBE literature,

거의 모든 출판물은 CBE가 [사전에 정의된 졸업성과에 대한 헌신을 조직원리](표 2의 주제 1)로 한다는 것이 CBE를 특징짓는 접근법이라는 기본 생각을 강조하였다(Harden et al.199a). 이 검토의 최종 선택에 포함된 논문에서는 이러한 결과를 식별하고 정의하기 위한 다양한 방법을 설명했다(Harden et al. 1999b). 저자들은 또한 '역량의 진전progression'라는 개념을 집단적으로 홍보했는데, 이는 학습자들이 [일련의 정의된 이정표를 따라 훈련의 명확한 성과 목표(테마 1a)로 나아간다]는 것을 의미한다(레인과 로스 1994b; 반디에라 & 렌드럼 2008). 이것은 Ben-David(1999년)은 이렇게 말한다. "성과 기반 프레임워크는 성과를 향해 나아가는 progression의 레벨에 대해서 사전에 정의된 scheme이 있어야 한다"

Nearly every publication emphasized the cardinal idea that CBE is a distinct approach because of its dedication to predefined graduate abilities as the organizing principle (theme 1 in Table 2) (Harden et al.1999a). The papers included in the final selection for this review described a variety of methods for identifying and defining these outcomes (Harden et al. 1999b). The authors also collectively promoted the concept of ‘‘progression of competence,’’ meaning that learners advance along a series of defined milestones on their way to the explicit outcome goals of training (theme 1a) (Lane and Ross 1994b; Bandiera & Lendrum 2008). This is articulated by Ben-David (1999): ‘‘Outcome-based frameworks require a defined scheme of levels of progression towards the outcome.’’

CBE에서, 교육과정 및 평가는 프로그램 성과와 마일스톤에 대해서 사전에 정의된 표준에 따라 구성되어야 한다(Craton & Mateson 1993; Lane & Ross 1994; Martin et al. 1998; Harden et al. 1999a). 확인된 정의 중 다수는 또한 보건 직업에 CBE를 채택하는 근거에 대한 주장rationale을 포함했다(테마 2)(Newble et al. 2005).

In CBE, it is suggested that curriculum and assessment are to be organized around the defined standards of the program outcome abilities and their milestones (Craton & Matheson 1993; Lane & Ross 1994; Martin et al. 1998; Harden et al. 1999a). Many of the identified definitions also included arguments as to the rationale for adopting CBE for the health professions (theme 2) (Newble et al. 2005).

CBE를 도입하는 것은 [그 노력이 사회적 또는 환자의 요구에 부합한다는 것]이 채택의 주요 근거였다(Long 2000; Davis & Harden 2003; Lee 2003). 저자들은 환자에게 가장 잘 봉사serve하는 데 필요한 역량에 따라 조직되는 CBE 프로그램이 대중에게 더 큰 책임이 있는 시대에 올바른 선택이라고 주장했다(Glasgow et al. 2006). 또한 여러 저자들은 학습자 중심성(테마 2a)을 강조했다: 

• 커리큘럼 구성의 유연성, 

• 표준, 목표, 절차의 투명성, 

• 학습자의 참여 확대, 

• 학습자가 자신의 페이스에 따라 진행 

That all of the efforts to employ CBE would be aligned with societal or patient needs was a major rationale for adoption (Long 2000; Davis & Harden 2003; Lee 2003). Authors argued that a CBE program, when organized around the competencies needed to best serve patients, is the right choice in an era of greater accountability to the public (Glasgow et al. 2006). Furthermore, several authors (e.g., Broski et al. 1977; Demczuk 2009 et al.; Levinson 2009) emphasized the attraction of learner-centredness (theme 2a): 

• greater flexibility in organizing a curriculum, 

• greater transparency of standards, goals and procedures, 

• greater engagement of learners, and 

• the ability of learners to progress at their own pace.

학습자 중심성과 밀접한 관련이 있는 세 번째 주요 주제인 시간과 프로세스 기반 훈련을 강조하지 않는다는 약속도 CBE의 정의에서 두드러졌다(예: 브라운 외, 1973년, 웨인슈타인 & 러셀 1976년, 보티첼리 & 앤더슨 1981년, 카라치오 외, 2002년).

Closely related to learner-centredness, the third major theme, the promise of de-emphasizing timeand process-based training, was also prominent in the definitions of CBE (e.g., Brown et al. 1973; Weinstein & Russell 1976; Botticelli & Anderson 1981; Carraccio et al. 2002).

마지막으로 CBE에 대해 확인된 여러 설명에서는 교수진 개발 및 참여, 새로운 평가 방법, 변화 관리, 자원 등과 같이 CBE접근방식을 성공적으로 구현할 필요가 있다고 강조하였다.

Finally, several of the identified descriptions of CBE emphasized elements (theme 4) needed to successfully implement this approach, such as faculty development and engagement, new assessment methods, change management, and resources (Broski et al. 1977; McGaghie et al. 1978).

의학의 CBE 정의에 대하여

Toward a definition of CBE in medicine

우리는 의료 교육을 위한 CBE에 대한 제안된 21세기 정의를 개발했다.

we have developed a proposed 21st century definition of CBE for medical education, namely:

CBE(Competency-based Education)는 의사를 practice에 준비시키는 접근방식으로서, 근본적으로 졸업성과능력을 지향하며, 사회 및 환자 니즈의 분석에서 역량을 중심으로 조직된다. CBE는 시간 기반 훈련을 탈강조하며, 유연성을 약속하며, 더 많은 책무성과 학습자 중심성을 강조한다.

Competency-based education (CBE) is an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It deemphasizes time-based training and promises flexibility, and greater accountability, learner centredness.

Study limitations

결론

Conclusion

우리는 10가지 핵심 테마를 식별하고 CBE에 대한 논의를 진전시키기 위해 교육자가 고려해야 할 CBE의 작업 정의를 제안한다.

We identified 10key themes and propose a working definition of CBE that should be considered by educators to advance the discourse on CBE in medicine.

Med Teach. 2010;32(8):631-7. doi: 10.3109/0142159X.2010.500898.

Toward a definition of competency-based education in medicine: a systematic review of published definitions.

의학의 시간-변동 훈련: 이론적 고려사항 (Acad Med, 2018)

Time-Variable Training in Medicine: Theoretical Considerations

Olle ten Cate, PhD, Larry D. Gruppen, PhD, Jennifer R. Kogan, MD, Lorelei A. Lingard, PhD, and Pim W. Teunissen, MD, PhD

20세기 교육 이론이 대두된 이후, 연구자들은 시간, 노력, 그리고 학습의 관계를 연구해왔다. 그러나 의학교육에서 훈련 프로그램의 선택된 길이를 뒷받침하는 근거는 잘 논의된 적이 없다. 예를 들어, 비슷한 신체 부위의 질병과 기능장애에 초점을 맞춘 치과 및 안과 전문의의 훈련 기간 차이(미국에서는 각각 8년과 12년, 유럽에서는 5년, 6년, 11년)는 근거기반의 결정이라기보다는 역사의 유산이다.

Since the rise of educational theory in the 20th century, researchers have examined the relationship between time, effort, and learning. In medical education, however, the rationale underpinning the chosen length of training programs has never been well argued.6 As an example, the difference in training length for specialists in dentistry and ophthalmology (in the United States, 8 vs 12 years after secondary school, respectively; in Europe, 5 or 6 vs 11 years)—both specialties that focus on disease and dysfunction in a similarly sized segment of the body—is a legacy of history more than an evidence- informed decision.

캐럴 모델: 배움의 공식에 시간을 넣는 것

The Carroll Model: Putting Time in the Equation of Learning

역량과 성과 기반 교육의 근원은 교육학자 Ralph Tyler.10 에 의해 시작된 2차 세계대전 후 교육목적에 관한 교육적 사고에서 발견될 수 있다. Tyler는 학교는 자신의 목적을 재고하고, 목적을 향해 학습자들의 경험을 조직해야 한다고 제안했다. Tyler의 작업은 의학교육에도 영향을 주었는데, 이는 그가 Case Western Reserve University와 의료 훈련 목표를 정의하기 위하여 밀접하게 함께 작업했기 때문이다. 타일러의 통찰력 뒤에 교육목표의 분류법을 확장하는 벤자민 블룸의 연구가 뒤따랐다.12,13

The roots of competency- and outcomes- based education may be found in the educational thinking that emerged in the post–World War II period around educational objectives, initiated by educational scientist Ralph Tyler.10 Tyler proposed that schools should rethink their purpose and organize learners’ experiences toward those purposes.11 His work affected medical education as he worked intimately with Case Western Reserve University to define objectives for medical training. Tyler’s insights were followed by Benjamin Bloom’s work expanding taxonomies of educational objectives.12,13

일단 교육의 목표가 받아들여지자, 교육심리학자 존 캐롤은 적성과 인내력을 포함하는 교육 모델을 제안했다. 캐롤은 [발생한 학습의 정도]는 [학습자가 투입한 시간]과 [학습자가 교육 목표를 달성하기 위해 필요한 시간]의 함수라고 제안했다. 즉, 학습 효과 = f(투입한 시간/필요한 시간) 즉, 학습자는 주어진 과제를 배우는 데 필요한 시간 대비 얼마나 학습에 시간을 투입했느냐에 따라 학습하는데, 이 '필요한 시간'이 학습자마다 다르다. 오직 개별적인 요인에만 초점을 맞춘 이 일반적인 사고는 1960년대와 1970년대 행동주의 교육 이론에 널리 영향을 미쳤으며 당시 의학 훈련에도 적용되었다.17

Once objectives for education became accepted, John Carroll, an educational psychologist, proposed an educational model that included aptitude and perseverance. He proposed that the degree of learning that occurs is a function of the time spent by the learner and the time needed by the same learner to attain an educational objective— that is, learning effect = f (time spent/time needed). In other words, a learner succeeds in learning a given task to the extent that he or she spends the amount of time that he or she requires to learn the task, which is different for each individual.14–16 This general thinking, which focuses solely on individual factors, had pervasive influence on behaviorist educational theory in the 1960s and 1970s and was also applied to medical training at that time.17

숙달된 학습, 신중한 실습 및 학습 곡선

Mastery Learning, Deliberate Practice, and Learning Curves

캐럴 모델은 이후 블룸18에 영감을 주어고, 의학교육자들의 관심을 빠르게 사로잡은 개념인 숙달학습이라고 불리는 교육 모델을 개발하게 했다.19 마스터리 러닝은 행동주의 원칙에 뿌리를 두고 있으며 1980년대에 성공으로 자리매김했다. 학습 효과는 잘 문서화되어 있으며, 특히 인지 영역20.21 숙달 학습에서 학습자는 반복적인 실습에 참여하여 학습 경험 중 피드백을 받는 동시에 난이도가 증가하는 과제를 수행한다. 숙달 학습 프로그램에서 목표하는 학습 성과는 균일하다. 즉 학습자들 간에 차이가 거의 없거나 전혀 없다. 중요한 것은, 표준화된 결과를 얻기 위한 교육 시간은 학습자들 사이에서 다양할 것으로 기대되었다.

The Carroll model subsequently inspired Bloom18 to develop a model of education called mastery learning, a concept that quickly caught the attention of medical educators.19 Mastery learning is rooted in behaviorist principles and established itself as successful in the 1980s. Its learning effects are well documented, particularly in the cognitive domain.20,21 In mastery learning, learners engage in repetitive practice, practicing tasks with increasing levels of difficulty while receiving feedback during the learning experiences. Learning outcomes from mastery learning programs were meant to be uniform—that is, with little or no variation among learners. Importantly, educational time to achieve standardized outcomes was expected to vary among learners.

시뮬레이션 기법의 확대로, 숙달된 학습은 의학 교육에서 부활을 누렸다.22–24 McGaghie 외 연구진 25,26은 이 맥락에서 숙달 학습의 7가지 특징을 설명했다(목록 1 참조). 숙달 학습에 구성요소로 중 [필요시간의 다양성]은 일곱 번째 특징에서 파악된다(목록 1 참조).

With the expansion of simulation techniques, mastery learning has enjoyed a revival in medical education.22–24 McGaghie et al25,26 described seven features of mastery learning in this context (see List 1). Time variation as a necessary component of mastery learning is captured in the seventh feature (see List 1):

숙달 학습은 모든 학생을 위한 유사한 시험으로 측정해야 하는 표준화된 성과 목표를 설정하는 반면에, 의도적 연습에 기초한 에릭슨의 전문가 퍼포먼스 접근은 개개인에게 [재현 가능한 우수한 성과를 개발]하는 데 초점을 맞추고 있다.

Whereas mastery learning sets standardized performance goals to be measured with similar tests for all students, Ericsson’s expert performance approach with deliberate practice is focused on developing reproducibly superior performance in an individual.

에릭슨은 타고난 재능보다는 의도적 연습이 전문가 수행의 핵심이라고 제안했고, 이는 합당한 능력을 가진 사람이라면 전문가 수행 목표를 달성할 수 있다는 것을 암시한다.

Ericsson proposed that, rather than innate talent, deliberate practice is the key to expert performance,28 which implies that anyone with reasonable capability can attain expert performance goals.

보다 최근에 Ericsson28은 의도적 연습을 동반하는 전문가 퍼포먼스 접근법을 의사의 훈련에 어떻게 적용할 수 있는지를 설명했다. 

• 숙달학습은 단기적 목표(예: 중앙 정맥 카테터 삽입 마스터)를 제공하는 반면에, 

• 전문가 성과 접근법은 학습자가 직업 경력 동안 통합된 스킬 획득을 지속할 수 있도록 돕기 위한 장기적 목표를 달성하는 것을 목표로 한다.

More recently, Ericsson28 described how the expert performance approach with deliberate practice could be applied to physicians’ training. 

• Whereas mastery learning provides short-term goals (such as mastering the insertion of a central venous catheter), 

• the expert performance approach aims to attain long-term goals to help learners continue with integrated skill acquisition throughout their professional careers.

의도적 연습29에 대한 조건이 학습자에 의해 적용되고 교육적인 맥락에서 지원된다면, 그것들은 시간 효율적인 기술 습득으로 이어져야 한다. 의도적 연습의 필수요소는 다음과 같다. 

• 명확한 성과 목표, 

• 집중적이고 반복적인 연습, 

• 엄격하고 신뢰할 수 있는 결과 측정, 

• 유익한 피드백(예: 시뮬레이터 또는 교사로부터), 

• 감시와 오류 수정, 그리고 

• 그 이후의 추가 연습이다.

If the conditions for deliberate practice29 are applied by the learner and supported by the educational context, they should lead to time-efficient skills acquisition. The essentials of deliberate practice are 

• clear performance goals; 

• focused, repetitive practice; 

• rigorous, reliable measurements of results; 

• informative feedback (e.g., from simulators or teachers); 

• monitoring and error correction; and 

• subsequent further practice.

의도적 연습이 적용될 수 있는 영역과 상황에 대해 약간의 논쟁이 있다.30 그러나, 시뮬레이션 센터와 같은 직장 밖에서는 의도적 연습이 설득력 있게 효과적이라는 것이 입증되었다.24,29

There is some debate about the domains and contexts in which deliberate practice can be applied.30 Outside the workplace, however, such as in simulation centers, deliberate practice has been convincingly shown to be effective.24,29

임상 의학의 일부 분야에서는 연습 노력, 시간, 숙련도의 관계가 잘 확립되어 있다. 한 가지 예는 대장내시경 수술이다. Chung et al31은 200회의 대장내시경 연습이 합당한 효율로 대장내시경들을 수행하는 숙련도를 얻기 위해 필요하다고 결론지었다. 그러나 그래프가 보여주듯이, 개인들은 다르다.

In some areas of clinical medicine, the relationship between practice effort, time, and proficiency has been well established. One example is in colonoscopy procedures. Chung et al31 concluded that, at their center, 200 colonoscopies are necessary to attain the proficiency to conduct colonoscopies with reasonable efficiency; however, as the graph shows, individuals differ.

전문가 수행에는 각기 다른 시간이 걸리지만, 내시경 능력을 달성하는 데는 적어도 일정량의 경험이 필요한 것 같다. 그러나 다른 직장 환경에서의 의료 관행은 대부분 목표의 복잡성, 엄격하고 시기 적절한 피드백의 부재, 피드백을 통합하는 방식으로 작업을 재시도할 수 있는 기회가 부족하기 때문에, 의도적 연습을 위한 지정된 조건을 충족하지 못하는 경우가 매우 많다.

Although expert performance takes different people different amounts of time, there seems to be at least a floor of experience required for anyone to achieve endoscopic competence. However, the practice of health care in other workplace settings may very often not meet the conditions specified for deliberate practice, in large part because of the complexity of the goals, the absence of rigorous and timely feedback, and the lack of opportunities to reattempt the work in a manner that incorporates the feedback.

직장에서의 학습이 (대장내시경 훈련에서처럼) 언제나 [표준화된 환경에서 반복적이고 계획적인 연습 기회]를 제공하는 방식으로 조직되는 것은 아니다. 그렇다고 해서 개별 연수생들 간의 time variation을 보여줄 수 없는 것은 아니다. 훈련의 숙련도와 길이에 관련된 또 다른 영역은 progress testing이다.

Learning in the workplace is not always organized to provide repetitive, deliberate practice opportunities in a more or less standardized setting as occurs in colonoscopy training. That does not mean that time variation between individual trainees cannot be shown. One other area that relates proficiency and length of training is progress testing,

대부분의 레지던트는 3년 후에 이 임계값을 통과하게 되지만, 일부 5년차 레지던트는 여전히 교육 종료 시 이 기준을 충족하지 못하며 교정조치가 필요하다.

Most residents will have passed this threshold after three years, but some fifth-year residents still do not meet this criterion at the end of training and require remediation

이러한 예로부터, 학습자가 최소한의 능력 수준을 달성하는 데 필요한 시간이 다양하여 교육 이론으로부터의 일반 개념을 뒷받침하는 것이 명백해진다. 연습이 필요하고, 숙달된 목표를 설정하는 것이 유용하며, 계획적인 연습은 학습을 향상시키고, 시간을 줄이고, 더 높은 수준의 숙달로 이어질 수 있다. 그러나 Time-variable 훈련 모델이 훈련 시간을 특별히 단축하도록 설계되었다고 가정하는 것은 정확하지 않다. 더 느린 학습자는 높은 수준의 숙련도에 도달하기 위해 더 많은 시간이 필요할 수 있으며 그렇게 하기 위해 시간과 공간이 주어져야 한다.

From these examples, it becomes clear that the time learners need to attain a minimum level of competence varies, supporting the general notions from education theory. Practice is needed, setting mastery goals is useful, and deliberate practice may enhance learning, decrease time, and lead to higher levels of proficiency. Assuming that a time-variable training model is designed to specifically reduce training time, however, would be incorrect. Slower learners may need more time to reach high levels of proficiency and should have time and space to do so.

시간변화와 자기규제와 동기부여의 이론

Time Variability and the Theories of Self-Regulation and Motivation

학습자의 주도성은 행동 동기부여에 의존한다. 임상 작업장에서, 학습의 자기조절은 임상 전 교실 교육에서보다 훨씬 더 역량 개발에 중요하다.34 사전 사고 단계, 수행 단계 및 반성 단계, 35 주기적 경험 학습 과정과 호환되는 일련의 사고 및 계획 패턴이 필요하다.36 이 단계들은 "내가 어디로 향하는 중이었는가?" "내가 거기 어떻게 갔지?" "다음은 어디로 갈까?"37 와 같은 질문으로 마무리될 수 있다. 

Learners’ agency is dependent on their motivation to act. In clinical workplaces, self-regulation of learning is key in the development of competence, much more so than in preclinical classroom education.34 It requires a sequenced pattern of thinking and planning that includes a forethought phase, a performance phase, and a reflection phase,35 which is compatible with a cyclical experiential learning process.36 These phases may be concluded with questions like “Where was I going?” “How did I get there?” and “Where to next?”37

역량 개발에 소요되는 시간의 개개인 간 차이는 부분적으로 동기부여와 자기조절학습 능력에 의해 설명될 수 있다. 비록 어느 정도 동기가 개별적인 특성이지만, 그것은 또한 맥락적 요소와 감정에 의해 영향을 받아 성취에 영향을 미친다.38–40

Individual variation in the time it takes to develop competence may in part be explained by motivation and self- regulated learning ability. Although motivation to some extent is an individual characteristic, it is also affected by contextual factors and emotions that in turn affect achievement.38–40

목표 지향 이론과 자기 결정 이론(SDT).

goal orientation theory and self-determination theory (SDT).

학습자는 목표 지향이 다를 수 있다. 

• 진정한 학습(숙달 목표 지향이라 함)을 목표로 하는 사람은 성과에 덜 집중하고 새로운 지식과 기술을 얻는 것에 더 관심을 갖는다. 

• 이와는 대조적으로 성과목표(퍼포먼스 지향이라 함)를 가진 사람은 긍정적인 평가를 받고 능력에 대한 부정적인 판단을 피하는 데 초점을 맞추고 있다.41

Learners may have different goal orientations. 

• Someone with a goal of true learning (called mastery goal orientation) is less focused on performance and more concerned with gaining new knowledge and skills. 

• In contrast, someone with a goal of performance (called performance goal orientation) is focused on receiving positive and avoiding negative judgments of his or her competence.41

필요한 수준의 퍼포먼스 달성에 초점을 맞춘 역량 기반 커리큘럼은 학습자, 특히 의학의 경쟁적 학습 문화에서 퍼포먼스 목표 지향성을 우선적으로 강화할 위험이 있으며, (최소) 표준에 도달한 후에 동일한 맥락에서 보내는 추가적인 시간은 쓸데없는 시간이거나 경쟁적 세계에서 능력이 떨어지는 신호로 여겨질 수 있다.

Competency- based curricula that focus on attaining a required level of performance carry the risk of preferentially strengthening a performance goal orientation in learners, particularly in medicine’s competitive learning culture, with the possibility that additional time in the same context after reaching (minimum) standards could be considered wasted time or a sign of less capability in a competitive world.42

SDT는 또 다른 주요한 동기부여 이론이다. 그것은 본질적인 동기를 창출하고 유지하기 위해 충족되어야만 하는 인간의 선천적인 심리학적 욕구, 즉 능력감, 자율감, 그리고 친구나 가족이나 동료와 같은 집단이나 공동체와의 관련성 등을 묘사하고 있다. 또한 이러한 요구를 충족시키는 임상적 맥락은 내재적 동기를 촉진할 것으로 기대할 수 있는데, 여기에는 역량을 보상하고, 가능하다면 책임을 부여하며, 직장에서 자율성을 제공하는 것(예: 학습자를 의료 팀의 중요한 구성원으로 받아들임)이 필요하다.

SDT is another major motivational theory. It describes three innate psychological needs of human beings that must be satisfied to generate and maintain intrinsic motivation: a feeling of competence, a feeling of autonomy, and a feeling of relatedness to a group or community, such as friends, family, or colleagues. A clinical context that satisfies these needs—by rewarding competence, granting responsibilities when possible, and providing autonomy at work (e.g., by accepting learners as important members of the health care team)—can be expected to foster intrinsic motivation.43

SDT는 외재적-내재적 동기의 스펙트럼에서 동기부여의 내재적 측면(자율적 동기부여라고 함)이 학문적 성취 및 웰빙과 관련이 있다고 가정한다.44 그러나 불행하게도, 임상적 맥락은 점점 더 자율적인 조건에 도움이 되지 않고 있고, 그리고 연습생들의 웰빙은 점점 더 악화되고 있다. Time-variable 훈련은 [동기부여를 유도하는 맥락]에 의존하기 때문에 의대와 병원은 학습 풍토learning climate를 알아야 한다.48

SDT posits that motivation weighted toward the intrinsic side of the extrinsic–intrinsic spectrum of motivation—often called autonomous motivation—correlates with academic achievement and well-being.44 Unfortunately, clinical contexts are increasingly not conducive to autonomy- supportive conditions,45 and trainee well-being is increasingly challenged.46,47 As time-variable training is dependent on a context that drives motivation, medical schools and hospitals should be aware of their learning climate.48

시간과 학습의 신경인식적 관점

Neurocognitive Perspectives of Time and Learning

성공적인 학습은 명시적overt 학습 활동만으로 전락할 수 없다. 신경인식의 관점에서 학습은 또한 학습에 명시적으로 헌신하지 않는 기간 동안에 일어난다.49

Successful learning cannot be reduced to overt learning activities alone. From a neurocognitive perspective, learning also happens during periods that are not explicitly devoted to learning.49

수면은 기억력 통합을 촉진한다.50–53 광범위한 리허설이 필요한 학습 목표의 경우, 장기간의 간격 연습이 응축된 시간에 대량 연습보다 더 효과적이라는 것은 잘 확립되어 있다.54~57 분명히, non-practice기간에도 학습 효과에 기여하는 어떤 일이 일어나며, 이는 체력 단련 후 근육 발달과 비슷하다.

Sleep fosters memory consolidation.50–53 It is well established that, for learning goals requiring extensive rehearsal, spaced practice over a prolonged time is more effective than massed practice in a condensed time, despite similar investments of practice hours.54–57 Evidently, something happens in periods of nonpractice that contributes to a learning effect, akin to muscle development after physical training.

그러므로 교육 프로그램은 학습 활동으로 채워지지 않은 시간의 중요성을 고려해야 한다. 적어도 짧은 시간 내에 유사한 활동을 반복해서는 안 된다. 또한 학문에 있어서 정신적 휴식의 중요성을 고려해야 한다.

Educational programs should therefore consider the importance of time that is not filled with learning activities, at least not with repetition of similar activities in a short period of time, and the importance of mental rest for learning.

Time-variable 훈련과 관련된 또 다른 인지과학적 관점은 covert 또는 잠재적latent 학습이다. 이것은 명백한 강화나 눈에 띄는 행동 변화가 없는 상태에서 일어나는 학습 58이며, 이는 임상 추론 기술을 개발하는 데 필요하다. 임상적 추론은 다음 두 가지 정신적 과정을 수반한다고 가정한다. 시스템 1 또는 고속, 자동 사고 및 시스템 2 또는 저속 분석 사고.59,60

Another cognitive science perspective relevant to time-variable training is covert or latent learning—the learning that occurs in the absence of any obvious reinforcement or noticeable behavioral change58—which is necessary to develop clinical reasoning skills. Clinical reasoning is assumed to involve two mental processes: System 1 or fast, automatic thinking and System 2 or slow, analytic thinking.59,60

대략 패턴 인식으로 개념화된 시스템 1 사고는 광범위한 임상 경험을 필요로 한다. 이 중 상당수는 교육 과정에서는 가르칠 수 없다.61 패턴인식은 임상 실습 중에 발달하며, 이는 환자를 경험하고 환자에 대한 경험이 illness script의 형성에 추가될 때 일어난다. Illness script란 숙련된 임상의가 가지고 있는 mental repository로서, 과거에 마주친 환자들을 기준으로 특정 환자의 징후와 증상들의 패턴을 빠르게 인식할 수 있게 해준다.

Adequate System 1 thinking, roughly conceptualized as pattern recognition, requires extensive clinical experience. Much of that cannot be taught in educational courses.61 It develops during clinical practice, when patient encounters and their management add to the creation of illness scripts, a mental repository that an experienced clinician has and that allows for the rapid recognition of a pattern of signs and symptoms in a particular patient based on patients encountered in the past.62,63

이 mental illness script 저장소를 구축하는 데에는 쉽게 계획되지 않은 시간과 경험이 필요하다. 경험한 환자의 다양성은 사후적으로 이해되고 평가될 수 있지만, 정해진 기간 동안 적절한 임상 배치를 통해 사전 계획을 수립하는 일차적인 접근방식은 환자 만남의 의도적인 혼합을 보장하지 않는다. 대신 현재의 로테이션 시스템은 "무작위 기회에 의한 커리큘럼"이라고 불렸다.64

Building this mental illness script repository takes time and experiences that are not easily planned. Patient encounters and their diversity may be understood and valued in hindsight, but a primary approach of preplanning through allocating suitable clinical placements for a designated duration does not guarantee a deliberate mix of patient encounters. The current rotational system has instead been called a “curriculum by random opportunity.”64

프로페셔널 아이덴티티 형성의 관점에서 본 시간적 변화

Time Variability From the Perspective of Professional Identity Formation

의사의 직업적 정체성은 "의료전문직의 특성, 가치, 규범 등이 내실화되어 의사처럼 개인의 사고, 행동, 느낌을 초래하는, 시간이 지남에 따라 단계적으로 달성되는 자기 자신을 나타내는 것"으로 정의되어 왔다."65

The professional identity of a physician has been defined as “a representation of self, achieved in stages over time during which the characteristics, values, and norms of the medical profession are internalized, resulting in an individual thinking, acting, and feeling like a physician.”65

숙달 학습에서 예시된 바와 같이 지식과 기술의 관점에서 시간변동적 훈련은 전문직 정체성 개발에는 (특정 스킬 습득과는 무관하게) 시간이 걸릴 수 있다는 것을 고려하지 않는다. Hafferty66은 "모든 직업 훈련은 새로운 지식과 기술을 배우는 것을 포함하지만, 사회화를 훈련과 차별화하는 것은 정체성의 변화altered sense of self를 동반한 지식과 기술의 융합이다."라고 언급했다.

Time-variable training from the perspective of knowledge and skills, as exemplified in mastery learning, does not take into account that professional identity development may take time, independent of specific skill acquisition. As Hafferty66 noted, “While any occupational training involves learning new knowledge and skills, it is the melding of knowledge and skills with an altered sense of self that differentiates socialization from training.”

전문직 정체성은 훈련 후에도 계속 발달하게되며, 졸업시점까지 연습생들이 반드시 달성해야 할 정체성 형성 목표가 미리 정해져 있지 않다. 모든 수련자에게 공통적인 정체성 형성 과정도 있지만, 이 과정이 자신의 정체성에 어떤 영향을 미치는가는 물론, 정체성 형성에 걸리는 시간에서도 개인마다 차이가 있을 가능성이 있다. 교육 프로그램은 이러한 과정에 영향을 미칠 수 있다.67 WCC와 같은 의료훈련에서의 각종 의식이 그 예이다.

Professional identity continues to develop after training, and there is no predetermined identity formation goal that trainees must achieve before graduating. Although there are processes related to identity formation that are common to all trainees, it is likely that individuals differ not only in how this process affects their identity but also in the time identity formation takes. Educational programs can affect this process.67 For instance, rituals in medicaltraining

정체성 형성은 specific time frame에 쉽게 포착되지 않는다. 그러나 훈련이 크게 짧아진다면 방해 받을 수 있다. 또한 학습자들은 전문직 정체성 형성에 준비되어 있다고 느끼지 않더라도, 전문직답게 행동해야 한다. 몇몇 이론들이 학습과 직업 발전에 영향을 미치는 (임상적) 일터의 특징에 대한 이해에 도움을 준다. 연습과 인지적 도제, 성찰 연습, 사회적 인지 이론, 경험적 학습 등의 공동체. 이 이론들 중 어느 것도 정체성 형성의 관련 변수로서의 시간에 명백히 초점을 맞추지는 않지만, 대부분은 전문직이 되는 것은 일정량의 시간과 사회적 상호작용이 필요하다는 생각을 암묵적으로 지지한다.

Identity formation is not easily captured in a specific time frame, but it may be hampered when training is substantially shortened and learners must act as professionals while not feeling ready for it. Several theories have added to our understanding of the features of the (clinical) workplace that affect learning and professional development, such as communities of practice and cognitive apprenticeship, reflective practice, social cognitive theory, and experiential learning.36,69–72 None of these theories explicitly focuses on time as a relevant variable, yet many or all implicitly support the idea that becoming a professional takes time and social interaction.

교육목표로서의 신뢰

Entrustment as an Objective of Training

비록 객관화된 지식과 기술은 대개 교육 프로그램 졸업의 궁극적인 표준으로 간주되지만, 전문적 업무를 수행하도록 위임한다는 개념이 보건 직업에서 더 적절한 접근법일 수 있다.

Although objectified knowledge and skills are usually regarded as the ultimate standard for graduation from an educational program, the concept of entrustment to perform professional tasks may be a more suitable approach in the health professions.

위임 결정이 이루어지는지 여부는 

(1) 연습자의 특징, 

(2) 감독자의 특징, 

(3) 컨텍스트의 특징, 

(4) 위임될 작업의 성격, 

(5) 연습자와 감독자의 관계 

...등 5가지 요소로 분류된 여러 요인에 의해 결정된다.

Whether an entrustment decision is made is determined by several factors, grouped into five sources: 

(1) features of the trainee, 

(2) features of the supervisors, 

(3) characteristics of the context, 

(4) the nature of the task that is being entrusted, and 

(5) the relationship between trainee and supervisor.74–76

시간은 매우 중요하다. 신뢰는 시간에 따라 발전하고, 위임 프로세스는 종단적 attachment에서 가장 잘 이루어질 수 있기 때문이다.77,78 신뢰에 대한 결정은 [위험의 평가]를 수반한다. 위험은 감당가능한 정도인가? 그리고 trainee는 EPA의 감독되지 않은 수행을 정당화 할 임계값을 통과했는가?79–81

Time is critical, as trust develops over time and entrustment processes may be best served by longitudinal attachments.77,78 Decisions to trust involve the valuation of risks: Are the risks acceptable? and Has the trainee passed a threshold that justifies her or his unsupervised execution of an EPA?79–81

EPA는 time variability를 의미한다. 훈련이 진행됨에 따라, 훈련자는 점차 자격을 갖추어 한 번에 하나씩 EPA를 획득하는 동시에, 연습생에서 전문가로 변신할 수 있다.73

EPAs imply time variability. As training progresses, trainees may become gradually qualified and entrusted with EPAs one at a time, while transforming from a trainee into a professional.73

EPA를 숙달하는 데 필요한 시간의 개별적인 차이를 반영하려면, 학습자가 감독되지 않은 과제를 능숙하게 수행할 수 있을 때에만 수행하기 시작할 수 있도록 시간 가변성을 허용하는 개별화된 교육 경로가 필요할 것이다. 프로그램의 모든 필수 EPA에 걸쳐 학습자에 대한 신뢰가 조기에 확립되는 경우, 해당 개인에 대한 전체 프로그램 길이의 감소를 고려할 수 있다. 그러나, 일부 학습자들은 총 (훈련) 시간이 늘어날 것이라고 기대하는 것은 타당하다. 

To account for individual differences in the time needed to master EPAs, individualized training pathways allowing for time variability will be necessary,82,83 so that learners only begin performing unsupervised tasks when they can perform them competently. If trust in a learner is established early across all essential EPAs of a program, a decrease in total program length for thatindividual can be considered. However, it is just as reasonable to expect that some learners will require an increased total time. 

결론

Conclusion

특정 교육 목표를 달성하는 데 필요한 시간은 학습자마다 다를 수 있다. 1963년 캐럴은 이러한 관찰을 학습효과가 학습자가 필요로 하는 시간의 함수라는 방정식으로 제시했다. 그러나 현재의 지식과 통찰력에 따르면, 보건의료전문직 교육의 경우, 이 방정식은 전체의 일부에 불과하다고 결론 내릴 수 있다. 이 모델은 초등학교와 중등학교의 교실 학습에서 영감을 받은 반면, 건강 직업 교육에서는 임상 작업장이라는 중요한 차원이 존재한다.

The time needed to attain specific educational objectives may vary among learners. Carroll made this observation in 1963, when he proposed an equation saying that the learning effect is a function of the time needed by the learner divided by the time spent on learning. With current knowledge and insights, we can conclude that for health professions education, this equation is only part of the story. The model was inspired by classroom learning in primary and secondary school, while in health professions education, the clinical workplace adds a significant dimension.

절차 영역에서의 시뮬레이션과 훈련에서 가장 두드러지게 예시되는 건강 직업 교육에서의 숙달된 학습과 계획적인 연습은 대략 Carroll의 모델을 따르지만, 임상 환경에서의 훈련은 이 방정식에 몇 가지 다른 요소들을 가져온다. 캐럴은 명백하고 시험 가능한 학습 목표에 초점을 맞추었다. 캐롤은 경험적 학습을 고려하지 않았고, 그것을 직업적 정체성 형성과 관련시키지 않았으며, 확실히 직업적 책임을 수행하도록 위임하는 것을 훈련의 목표로 생각하지 않았다. 고강도의 경험과 휴식 시간을 교대로 하는 것은 학습에 특히 도움이 될 수 있다. 직업적 정체성의 발달은 시간이 필요하다. 그리고 자기 조절 습관, 목표 지향, 그리고 동기 부여는 개인이 학습에 쏟는 시간과 노력에 영향을 미친다. 마지막으로 신뢰와 위임이 임상수련의 평가의 중심적 요소가 되려면, 시간도 하나의 요인이 되어야 한다.

Mastery learning and deliberate practice in health professions education, most prominently exemplified in simulation and training in the procedural domains, does roughly follow Carroll’s model, but training in the clinical environment brings several other factors to this equation. Carroll was focused on overt and testable learning objectives; he did not take experiential learning into account, did not relate it to professional identity formation, and certainly did not think of entrustment to perform professional responsibilities as the objective of training. Alternating high- intensity experiences and rest time may be particularly conducive to learning; the development of professional identity requires time; and self-regulation habits, goal orientation, and motivation influence the time and effort an individual puts into learning. Finally, time is a factor if trust and entrustment become central components of the assessment of clinical trainees.

이러한 기본 개념의 풍부함을 검토하면서, 우리는 접근 시간 변동성에 있어 캐럴의 방정식은 의료 훈련에 적용하기에는 다소 단순하다는 결론을 내릴 수 있다.

Reviewing the richness of these underlying concepts, we can conclude that, in approaching time variability, the Carroll equation is somewhat simplistic in its application to the breadth of medical training.

Time-Variable Training in Medicine: Theoretical Considerations.

CBME에서 교육-훈련-실천의 진정한 연속체를 그리기(Acad Med, 2019)

Envisioning a True Continuum of Competency-Based Medical Education, Training, and Practice

Olle ten Cate, PhD, and Carol Carraccio, MD, MA

의학 교육, 훈련 및 실습 단계는 지난 수백 년 동안 단편적으로 발전해 왔다. 이러한 기회주의적 발전은 의사가 인구 건강 요구를 충족하기 위해 달성해야 하는 역량이 아니라, [임의로 발생하는 고립된 커리큘럼]으로 이어졌다.1 일단 훈련을 마친 후에도, 어떤 사람들은, 의사들이 그들의 경력 내내 최신 상태를 유지하고 전문적 능력의 자기 정의 영역으로 그들의 관행을 제한할 것이라고 가정했다.

The stages of medical education, training, and practice have developed piecemeal over the last few hundred years. This opportunistic development has led to siloed curricula, which have arisen arbitrarily rather than from the competencies that physicians must attain to meet population health needs.1 Once out of training, some members of the profession assume that physicians remain up-to-date throughout their careers and limit their practice to self-defined areas of professional competence.

1세기 전에, 이 모델은 정당화되었을지도 모른다. 의학 학위는 평생 동안 연습을 가능하게 하는 데 필요한 많은 지식과 기술을 포함했고, 소수의 졸업생만이 전문 교육에 진출했다. 오늘은 그렇지 않다. 현재까지 많은 국가에서 의료면허는 여전히 면허를 받은 의사의 능력을 넘어서는 일련의 의료행위까지도 허용하고 있다.

A century ago, this model may have been justified. The medical degree covered much of the knowledge and skills physicians needed to enable practice for a lifetime, and only a minority of graduates advanced to specialized training. This is not the case today. To date, however, a medical license in many jurisdictions still permits a scope of practice beyond a given physician’s capabilities.

생물 의학적 지식이 증가하고 의료 시스템이 더 정교해짐에 따라, 교육에서 확인된 지배적인 반응은 교육 시간을 더 연장하는 것이었다. 교육기간을 더 전문화된 영역을 다루도록 확장하는 것이다. 우리는 이제 이러한 접근법이 더 이상 작동하지 않는 시점에 도달했다고 믿는다; 더 이상의 훈련 연장은 단순히 지속 가능하지 않다.3 훈련 프로그램은 너무 길어질 것이다. 교육 기간이 길어지면, 

• 의사가 감독되지 않은 의료행위를 시작하는 나이가 늦어지고4; 

• 교육을 완료하고, 인증을 받고, 인증을 계속해야 하는 요건이 너무 복잡해지고5; 그리고 

• 비용이 너무 많이 들 것이다.

As biomedical knowledge has increased and health care systems have become more sophisticated, the dominant reaction in education has been to extend training for longer periods of time,2 with each extension representing a more subspecialized domain. We believe that medical education has now arrived at a point where this approach is no longer functional; further lengthening of training is simply unsustainable.3 Training programs will become too long; the age at which physicians begin unsupervised clinical practice too high4; the requirements to complete training, become certified, and continue certification too complex5; and the costs too prohibitive.

학습-실제적 차이 고려

Reconsidering the Learning–Practice Divide

우리는 작금의 학습과 실천의 지배적인 교육학적 모델은 시대에 뒤떨어진 것이라고 주장한다. 현재 모델에서는, 졸업장이 충분한 지식과 기술을 보장하고, no practice에서 full practice로의 표시mark가 된다. 높은 수준의 진료를 실시하기 위해서는 의료연수생들은 입학부터 의과대학까지 교육, 훈련, 실습의 연속을 통해 필요한 역량을 습득하고, 실천하며, 유지하는 법을 배워야 한다. 따라서 교육자는 교육, 훈련 및 실습이 [별도의 순차적 단계가 아니라], 서로 보완하고 시간이 지남에 따라 쌓여져나가는 지속적인 병렬 프로세스로 바라보는 연속적인 관점을 개발해야 한다. 실천은 학부 의과 교육(UME)에서부터 지속적인 전문적 개발에 이르기까지 모든 직업 단계에서 필수적인 요소가 되어야 한다.

We argue that the dominant pedagogical model of learning and then practice is outdated. It suggests that a diploma guarantees sufficient knowledge and skills and marks the transition from no practice to full practice. To deliver high-value care, medical trainees must learn to acquire, practice, and maintain the requisite competencies from entry to medical school through the continuum of education, training, and practice to retirement. Educators must therefore develop a continuum view of medicine, in which education, training, and practice are not separate, sequential stages but, rather, ongoing parallel processes that supplement each other simultaneously and build over time. Practice should be an essential component in all career stages, from undergraduate medical education (UME) through continuing professional development.

지속적 자격 증명 가치

The Value of Ongoing Credentialing

전문성의 성취은 다년간의 경험과 의도적 실천DP이 필요하다.6 어떤 사람들은 느린 속도로 전문 지식을 개발하고, 어떤 사람들은 빠르게 발전해나가는데, 이는 개인 능력, 태도, 주체성, 제공된 커리큘럼과 학습 및 직장 환경에서 제공되는 기회에 달려있다.7

The attainment of expertise requires many years of experience and deliberate practice.6 Some develop expertise slowly and others rapidly, depending on their individual capabilities, attitudes, and agency, and on the curricula offered and the opportunities in their learning and workplace environments.7

일반 의료 면허와 전문 인증은, 인증을 받는 그 순간에 일반 지식과 기술을 갖추었음을 성공적으로 입증하였다는 것을 인정해주는 것이다. 그러나 인증을 받을 때 갖춘 지식과 스킬이, 그 이후에 이어지는 의사의 커리어동안 [practice 영역 내에서 갖춰나가야 할 구체적 역량에 맞추어] 지속적으로 진화해나간다는 보장은 없다. 전통적인 면허 과정은 [광범위한 관행과 제한적인 특수성에 기반을 두고 있으며], 끊임없이 전문화되어가는 의사의 practice에 잘 align하지 않는다. 

A general medical license and a specialty certification recognize the physician’s ability to successfully demonstrate the requisite general knowledge and skills at that moment in time. They do not necessarily evolve along with the physician’s career to mirror the specific competencies that individuals build within their defined scope of practice. The traditional licensing process, which is based on a broad scope of practice andlimited specificity, is no longer aligned with the ever-increasing specialization of physicians’ practices. 

따라서 결정적 질문은, 학습자가 자신의 인지적, 테크닉적 기술을 [감독 없이 환자를 돌보는 데] 적용할 준비가 되어 있는지, 그리고 의사가 지난 시간 동안 지식과 기술을 꾸준히 유지했는지 여부를 어떻게 알 수 있는가 하는 것이다. 광범위한 차원에서 졸업장과 자격증은 증가된 책임을 assuming하기 위해 필요한 문턱이 될 수는 있겠으나, 졸업장과 자격증만으로 의사의 장기적 역량이나, 시간에 따른 새로운 능력의 획득을 입증하기에는 부족하다. 의사가 역량을 개발하고, 달성하고, 유지하며, 전문지식을 발전시키려면 지속적인 계획적 실천DP이 의사의 경력 전반에 걸쳐 지속되어야 한다.

The critical questions are how to know whether learners are ready to be trusted to apply their cognitive, technical, and other skills to care for patients without supervision and whether physicians have maintained their knowledge and skills over time. Broad diplomas and certificates can be necessary thresholds for assuming increased responsibilities, but they are insufficient to attest to physicians’ longerterm competence or their acquisition of new competencies over time. Ongoing deliberate practice must continue throughout physicians’ careers for them to develop, achieve, and maintain competence and advance toward expertise.

실무의 범위에 맞춘 역량 개발

Competence Development Targeted at Scope of Practice

CBME 프레임워크에서 필요한 훈련 능력과 결과는 제공된 환자 모집단의 요구에 따라 정의된다.9 CBME의 도입으로, 교육, 훈련 및 실무를 일치시킬 수 있는 잠재력은 현실화되었지만, 완전한 잠재력까지는 실현되지 못했다. EPA는 이러한 단계를 통합 연속체로 통합하기 위한 개발 모델을 제공할 수 있다.10,11

In the CBME framework, the required abilities and outcomes of training are defined according to the needs of the patient populations served.9 With the introduction of CBME, the potential to align education, training, and practice has become real but has not been realized to its full potential. EPAs can provide a developmental model to unite these stages into an integrated continuum.10,11

CBME에 EPA를 도입함으로써 의료계는 교육, 훈련 및 실천의 진정한 연속체를 만들 수 있는 잠재력을 갖게 되었다.10,11 교육자들은 EPA를 브리지로 사용하여 직업 단계에 걸쳐 링크를 만들 수 있다. 한 걸음 물러서서 Core EFAs(Core Eversible Professional Activities for Engustable Professional Activities)를 사용함으로써, 교육자들은 [필요한 역량을 갖춘 상태로 GME에 들어갈 수 있도록 하는] UME의 커리큘럼을 만들 수 있다. 의사 훈련의 더 앞 단계일수록 EPA의 구체성은 낮을 것이다.

The introduction of EPAs into CBME has presented the medical community with the potential to create a true continuum of education, training, and practice.10,11 Using EPAs as the bridge, educators can create a link across career stages. Taking a step back and using the Core Entrustable Professional Activities for Entering Residency (Core EPAs),14 educators can create a curriculum for UME that will enable learners to enter GME with the requisite competencies; the earlier in training a physician is, the less specific the EPAs will be.

본질적으로, EPA는 빌딩 블록 역할을 한다. 예를 들어, 많은 집의 기초는 비슷하다. 그것들은 모두 벽돌이거나 돌이다. 일단 기초가 세워진 뒤에, 어떤 집이든 그 집을 짓는 재료의 수는 제한될 것이지만, 궁극적으로는 [GME의 EPA나 개별 의사의 practice처럼] 각각의 집의 크기와 스타일은 서로 다를 것이다.

In essence, EPAs act as building blocks. For example, the foundations of many houses are similar— they all may be brick or stone. Once the foundations are laid, the houses will be built with a limited number of materials, but they ultimately will become different sizes and styles, like the EPAs in GME and practice for individual physicians.

전체적으로 EPA는 교육 프로그램의 practice outcome를 반영한다. 이러한 결과는 대개 훈련 프로그램이 끝날 때까지 달성되지 않는다. 오히려 EPA 모델을 사용하면 학습자가 초기 단계부터 환자 치료에 안전하게 기여하기 시작할 수 있다.15 그들은 점차적으로 감독이 줄어들면서 의료 실천의 공동체로 성장하며, 궁극적으로 감독 없이 자신에게 맡겨지는 전문 활동을 완료하는 것이 점점 더 허용된다.16–18

In aggregate, EPAs reflect the practice outcomes of an educational program. These outcomes are usually not achieved until the very end of the training program. Rather, with an EPA model, learners can safely start contributing to patient care from an early stage.15 They gradually grow into a community of medical practice as supervision lessens, and they become increasingly permitted to complete professional activities that are ultimately entrusted to them without supervision.16–18

개인화된 시간 가변 훈련은 CBME에서 직접적으로 도출되는 현상이(어야 한)다. 훈련 성과가 고정된 표준이라면, 당연히 각 결과에 도달하는 데 필요한 시간은 학습자마다 다를 것이다. 그러나, 그러한 가변성에 대한 허용은 쉽지도 않고 아직 흔하지도 않다19 그러나 학습자가 그러한 결과를 달성하기 위해 다소 시간이 필요할 때 원하는 결과의 달성을 촉진할 필요가 있다.

Individualized, time-variable training is a direct consequence of CBME. If training outcomes are the fixed standard, the time needed to attain each outcome will vary among learners. Allowing for such variability is not easy and not yet common,19 but it is necessary to facilitate the achievement of desired outcomes when learners need more or less time to achieve those outcomes.

개인화는 시간적 변화뿐만 아니라 학습자가 기초적인 핵심 커리큘럼을 넘어서면 내용적 변화에도 관련된다. 여기에 EPA의 구조가 CBME 프레임워크에 추가 값을 제공하는 것이다. 

• 전체 연습 영역과 관련을 갖는 핵심 EPA에서는 모든 학습자가 역량을 갖추어야 하지만, 

• 선택 EPA는 학습자가 스스로 예상하는 미래의 practice에서 중요하다고 생각되는 영역에 주의를 집중할 수 있도록 함으로써 교육 시간의 효율성을 극대화한다.

Individualization does not only pertain to time variation but also to content variation once a learner gets beyond the foundational core curriculum. Here is where the construct of EPAs provides additional value to the CBME framework. Although all learners must become competent in all Core EPAs relevant to their entire practice domain, elective EPAs may be offered to allow them to focus their attention on areas they feel to be of critical importance in their anticipated future practice, maximizing the efficiency of their training time.

경력개발 및 역량투명성

Career Development and Transparency of Competence

Mastered EPA는 전문적인 작업의 기본 블록이다. 이러한 EPA의 역동적 포트폴리오를 구축하려면 다음이 필요하다

• (1) 포괄적 위탁 결정이 내려진 EPA의 지속적인 실천 

• (2) 기술과 통찰력이 발전한 경우, 최신 능력을 반영하여 향상된 practice 표준에 대한 적응 

• (3) 실무 분야에서 추가 EPA를 위임받을 수 있도록 새로운 지식과 기술을 습득한다. 

• (4) practice하지 않는 EPA가 있다면, 의도적으로 그러한 EPA는 leave behind함

Mastered EPAs constitute the building blocks of professional work. Building a dynamic portfolio of these EPAs requires 

• (1) continued practice of those EPAs for which summative entrustment decisions have been made; 

• (2) adaptation to enhanced standards of practice, reflecting up-to-date abilities if techniques and insights have evolved; 

• (3) acquisition of new knowledge and skills leading to entrustment for additional EPAs in one’s field of practice; and 

• (4) deliberately leaving behind those EPAs, beyond the requirements of the appropriate certifying bodies, that one is not practicing.

의료행위는 달라질 것이며, 따라서 의사의 practice를 정의하는 EPA도 바뀔 것이다. 의료 분야의 기술 혁신(예: 인공지능의 급속한 발전)은 의사가 자신의 실습을 적응시켜야 할 것이다.

Practice, and thus the EPAs that define a physician’s practice, will change. Technological innovations in health care (e.g., rapid advances in artificial intelligence22) will require physicians to adapt their practice.

중요한 것은, EPA가 역량을 통합하고 평가하기 위한 프레임워크를 제공하지만, 개입 전후에 의사의 실습 데이터를 검토했을 때 가장 잘 평가할 수 있는 PBLI(연습 기반 학습 및 개선)와 같은 역량도 있다.

Importantly, although EPAs provide a framework for integrating and assessing competencies, there are some competencies, such as practice-based learning and improvement, that are best assessed by a review of the physician’s practice data before and after an intervention.

교육, 교육 및 실습 연속체 시각화

Visualizing the Education, Training, and Practice Continuum

전통적인 Flexner 의과대학 교육과정은 학습자가 임상 경험을 시작하기 전에 건전한 지식 기반을 갖도록 요구하였다(그림 1 패널 A 참조). 이와는 대조적으로 현대 UME 프로그램은 의과대학 초기 기초과학과 임상경험을 통합하여 UME.25 교육과정 초기부터 점차적으로 구축되는 학습과 실천의 이 통합적 접근방식은 H에서 Z로의 전환으로 지정되었다. 

• 전통적으로 교육과 실습(문자 H; 그림 1, 패널 A 참조) 사이에 급격한 수평적 분할이 있었지만, 

• 보다 현대적이고 통합된 커리큘럼에서는 임상 경험이 점진적으로 증가하고 있다(문자 Z와 유사하다; 그림 1 패널 B 참조).26

The traditional Flexnerian medical school curriculum required learners to have a sound knowledge foundation before they began their clinical experience (see Figure 1, Panel A). In contrast, modern UME programs integrate the basic sciences and clinical experiences in the early years of medical school, thus smoothing the transitions within UME.25 This integrated approach of learning and practice, which gradually builds from the beginning of the curriculum, has been designated as an H to Z transition. Traditionally, there was a sharp horizontal divide between education and practice (which looked like the letter H; see Figure 1, Panel A), yet in more modern, integrated curricula, there is a gradual increase of clinical experience (which looks like the letter Z; see Figure 1, Panel B).26

학습과 실천의 통합이 확립된 접근법이 되었음에도 불구하고, 27 그것은 교육, 훈련, 실천의 연속에 걸쳐 적용되지 않았다. 그림 1의 패널 C는 환자 치료에 대한 책임이 광범위하고 깊이 있게 증가하면서, supervision이 감소하는 동시에, 학습자가 점차 실무자가 되는 미래를 반영한다.

Although the integration of learning and practice has become an established approach,27 it has not been applied across the continuum of education, training, and practice. Panel C in Figure 1 reflects a future in which learners not only gradually become practitioners, with supervision decreasing while responsibilities in patient care increase in breadth and depth, but learning also remains an integral part of practice.

그림 2는 학습자가 의과대학, 레지던트 및 실습을 통해 발전하는 EPA 포트폴리오를 나타낸다.

Figure 2 depicts the EPA portfolio of a learner as she advances through medical school, residency, and practice.

• 일부 EPA는, 그것을 꾸준히 수행하지 않거나 실력이 유지되지 않을 경우, 타당성validity을 상실할 수 있다. 

• 반대로, [생의학 기술의 진보하거나] [의사가 새로운 의료 분야를 선택할 때]에는 새로운 EPA가 나타날 수 있다. 

• Entrustment for some EPAs may lose validity if they are not practiced or maintained, 

• while the need for entrustment for new EPAs may emerge as biomedical science and technology advance or when a physician chooses new practice areas. 

멘토링 및/또는 동료 관찰 및 평가 시스템은 기존 규제 시스템에 통합될 수 있다.

자격 증명의 특정성 문제 해결

Addressing the Specificity of Credentials

다수의 개업 의사 협회는 자격증 있는 기관들이 practice의 niche 영역을 인식할 것을 요청했다. EPA의 동적 포트폴리오를 구축하면 그러한 요청을 충족할 수 있다. 2017년 미국 의료 전문 위원회(ABMS)는 성인 병원 의학에서 최초로 중점 진료 관행을 지정하였다. 그렇게 하는 것은 기회를 나타냈고 규제 기관이 인증을 통해 추가 전문지식의 영역에 대한 표준을 수립, 평가 및 인식할 수 있는 프로세스를 공식화했다.

Multiple communities of practicing physicians have asked for credentialing organizations to recognize niche areas of practice. Building dynamic portfolios of EPAs may fulfill such requests. In 2017, the American Board of Medical Specialties (ABMS) put into effect the first focused practice designation in adult hospital medicine. Doing so represented an opportunity and formalized a process for regulators to set standards for, assess, and recognize areas of additional expertise through certification.28,29

niche practices마다, 그에 해당하는 소수의 의사를 대상으로 심리측정적으로 견고한 검사를 만드는 것은 비용이 많이 든다. 보안 시험 센터에서 제공되는 지속적인 인증을 위한 정기적인 closed-book 시험이, 종방향 온라인 시험으로 대체되고 있다.30 포트폴리오 문서화된 작업장 개입은 또한 의사가 시간이 지남에 따라 그들의 기술을 입증, 관찰, 평가 및 개선할 수 있는 지역 품질 개선 노력에 종방향으로 참여하도록 하기 위해 사용된다.31

creating psychometrically sound examinations for small numbers of physicians in niche practices can be costly. Increasingly, periodic closed-book examinations for continuing certification, offered in secure testing centers, are being replaced with longitudinal online tests.30 Portfolio-documented workplace interventions are also being used to engage physicians longitudinally in local quality improvement efforts during which their skills can be demonstrated, observed, assessed, and improved over time.31

리뷰를 받는 임상의는 그 다음에는 자신의 전문 분야에서 타인을 검토할 수 있다. 이를 통해서 이상적으로는 표준을 준수하는 성숙한 전문 커뮤니티를 형성할 것이며, 여기서 모든 사람이 다른 사람으로부터 피드백과 지침을 받고, 다른 사람에게 피드백과 지침을 제공할 것이다.

clinicians being reviewed would in turn review others in areas of their own expertise, ideally creating a mature professional community that upholds standards and in which everyone receives and provides feedback and guidance from and to others.

역량 결정은 규제 당국에 제출하거나, 충분히 구체적인 결과를 이용할 수 있는 경우 자동 또는 중앙 집중식 판단을 내릴 수 있다.

Determinations of competence could be submitted to a regulatory authority, or, if a sufficiently specific outcome is available, automated or centralized adjudications could be made.

기타 고려사항

Other Considerations

현재의 의료 교육 구조는 지속 가능하지 않은 것으로 보인다. 

• 통합 프로그램보다는 순차적이고 분리된 프로그램. 

• 일률적이고 고정된 훈련 기간 

• 세부전공에 규정된 기간과 순서의 추가 교육 

• 개인, 직업 및 대중에게 지속적으로 증가하는 비용

The current structure of medical education appears unsustainable. 

• with sequential and separated rather than integrated programs; 

• one-size-fits-all, fixed lengths of training; 

• additional training sequences of prescribed duration for subspecialties; and 

• ever-increasing costs to the individual, the profession, and the public—

그러나, 교육자들은 지금 할 수 있다. 

• 매우 다양한 실습 유형에서 의사에게 필요한 EPA를 정의한다. 

• 이들을 위탁 결정을 내리는 데 중요한 역량에 매핑한다. 

• 진보적인 자율성으로 학습 경험을 육성하는 커리큘럼과 평가를 구축한다.

However, educators now can 

• define the EPAs needed for physicians within highly diverse practice types, 

• map them to the competencies that are critical to making an entrustment decision, and 

• build curricula and assessments that foster learning experiences with progressive autonomy. 

학습자는 특정 책임을 준수하고 준비된 것으로 간주되는 즉시 감독을 통해 환자 치료에 기여하기 시작해야 한다. 학습자는 레지던트와 펠로우십 훈련을 마친 후 곧바로 전문가가 되지는 않겠지만, 적어도 그 시점에서 unsupervised practice의 문턱을 넘었을 것이다. 수련을 마친 전공의도 꾸준한 시간동안 계획적인 연습을 해야만 전문가가 될 것이다. 학위를 이수하고 전문 자격증을 받는 주요pivotal 순간들은 덜 중요해 진다.

Learners should start contributing to patient care with supervision as soon as they have been observed and deemed ready for those specific responsibilities. Learners will not be experts after they complete residency and fellowship training, but they will have passed a threshold for unsupervised practice at that point. They will become expert only with time and deliberate practice. the pivotal moments of completing a degree and receiving a specialty certification become less significant.

의사의 경력에 대한 역량 관리에 대한 중앙 집중식 접근방식이 필요할 것이다. 이러한 시스템의 핵심은 [전문적 삶의 과정 중 주어진 순간에 지속적으로 유효한 EPA에 의해 정의되는 의사의 실천 범위를 보여주는] 포트폴리오일 것이다.

A centralized approach to competency management over the career of a physician will be necessary. Key to such a system would be a portfolio that showed physicians’ scopes of practice, defined by continuously valid EPAs at any given moment in the course of their professional life.

이 비전은 먼 미래처럼 보일지 모르지만, 더 나은 치료, 더 나은 건강, 억제 가능한 비용, 회복력이 있는 의사라는 네 가지 목표가 달성된다면, 그것은 우리가 의학계에 가장 잘 도움이 될 것이라고 믿는 방향이다.

This vision may seem like a distant future, but it is the direction that we believe will best serve the medical profession if the quadruple aim of better care, better health, containable costs, and resilient physicians is to be attained.

마지막으로, 의사들의 생각도 바뀌어야 할 것이다. 가장 중요한 원칙은 professional practice를 위해서는 지속적인 학습과 참여가 필요하며, 이것은 입학에서부터 의과대학, 그리고 은퇴할때까지 연속적으로 전달되어야 한다는 것이다. 교육자들이 전문직의 새로운 구성원들이 배움을 중요시하기를 원한다면 평생학습과 professional development의 중요성을 분명히 하는 것이 중요하다.

Finally, physicians’ mindsets will need to change. Their guiding principle should be that professional practice requires ongoing learning and engagement, which must be conveyed throughout the continuum, from admission to medical school until retirement. Making the importance of lifelong learning and professional development explicit in teaching about professional responsibilities is key if educators want new members of the profession to value learning.

Envisioning a True Continuum of Competency-Based Medical Education, Training, and Practice.

보건전문직에서 역량 기반 시간 변동 교육: 갈림길(Acad Med, 2018)

Competency-Based, Time-Variable Education in the Health Professions: Crossroads

Catherine R. Lucey, MD, George E. Thibault, MD, and Olle ten Cate, PhD

의학교육기관은 신뢰성 있는 안전성, 시기적절성, 효과적, 효율적, 공평하고 환자 중심적인 관리를 제공할 수 있고 이를 위해 헌신할 수 있는 의사인력을 준비할 책임이 있다. 전세계의 교육자들은 건강 전문가들이 고부담 객관식 시험으로 시험할 수 있는 영역보다 훨씬 더 확장된 영역에서 역량을 습득할 필요성을 받아들였다.1–3

Medical education institutions are entrusted with preparing a physician workforce that is capable of and committed to providing reliably safe, timely, effective, efficient, equitable, and patient-centered care. Educators around the world have accepted the need for health professionals to master competencies in domains that extend well beyond those that can be tested with a high-stakes multiple-choice exam.1–3

필요한 모든 것을 숙달하는 데 걸리는 시간이 제대로 정해진 적이 없다.

The amount of time it takes to master all that is needed has never been adequately established.

의사가 21세기 환자에게 봉사하기 위해 숙달해야 하는 광범위한 역량을 가르치고 평가해야 할 필요성을 인식하는 것은 역량 기반, 시간 가변 교육의 토대를 제공했다. 교육자들과 규제자들은 그 개념을 열렬히 지지한다.

This recognition of the need to teach and assess the broad set of competencies that physicians must master to serve 21st-century patients has provided the foundation for competency-based, time-variable education. Educators and regulators enthusiastically support the concept.

불행하게도, 대부분의 의학교육 프로그램에는 역량에 기초한 시간 가변 교육의 구성 요소가 존재하지만, 역량 기반 교육의 철학을 완전히 수용한 기관은 거의 없다.1213 심지어 이 프레임워크의 잠재력을 완전히 실현하기 위해 필요한 조직 재설계에 참여한 기관은 더 적다.6,11,14 교육을 위한 목표를 정의하는 것은 일부에 불과하며, 모든 학생과 레지던트가 이러한 목표를 달성하도록 보장하는 프로그램을 만드는 것은 아직 실행되지 않은 단계다.

Unfortunately, although the building blocks of competency-based, time-variable education exist in most medical education programs, few institutions have fully embraced the philosophy of competency-based education.12,13 Even fewer have engaged in the organizational redesign required to fully realize the potential of this framework.6,11,14 Defining the objectives for education is one thing, but creating programs that ensure that every individual student and resident meet these objectives is a step that has not been taken.

의료 교육에 대한 오늘날의 접근 방식과 관련한 당면 과제

Challenges With Today’s Approach to Medical Education

오늘날의 의료 교육 환경에서 시간은 우리의 적이다. 교육구조는 시간이 제한되어 있다. 학습자는 미리 정해진 시간 동안 별도의 교육 단계에 거주하며, 시간 제한 과정을 거쳐 다음 단계의 훈련 단계로 전환하고, 주로 사실에 입각한 지식을 숙지하는 시험에 만족스러운 성과를 보여 준다.

In today’s medical education environment, time is our nemesis. Educational structures are time bound. Learners dwell in discrete phases of education for a predetermined amount of time , and they transition to the nextphase of training after passing time- bound courses and demonstrating satisfactory performance on exams that focus primarily on their mastery of factual knowledge

학습자와 교직원은 시간에 쫓긴다. 임상실습이나 레지던트 로테이션에 대한 교수진의 감독 업무는 효과적이고 비판적인 평가에 필요한 신뢰 관계를 발전시키기에는 짧고 불충분하다.15 그러한 짧은 순환 속에서 교수진은 역량 기반 교육이 요구하는 직접적인 관찰에 참여할 시간이 거의 없다.16 코칭 대화에서 학습자와 대화를 나눌 기술과 시간이 모두 부족하여, 이것 대신 전자 양식을 통해 이러한 평가 판단을 소통한다.17,18

Learners and faculty are time challenged. Faculty supervisory assignments on clerkships or residency rotations are brief and insufficient to develop the trusting relationships needed for effective, critical assessment.15 Within those short rotations, faculty have little time to engage in the direct observation that competency-based education demands.16 They lack both skills and time to engage in coaching dialogues with their learners and instead communicate these assessment judgments through electronic forms.17,18

학생들은 자신들이 가진 짧은 시간 내에 가고자 하는 전공과의 교수진에게 깊은 인상을 줘야 한다는 것을 깨닫기에, 평가를 포용해야하는 기회로 보기보다는, 피해야 할 위협으로 본다.18–21 그들은 직장에서 환자 치료 능력을 최적화하기 보다는 고부담 시험에서 더 높은 점수를 얻기 위해 공부하는 데 시간을 사용한다. 역량을 충족하기 위해 추가 시간이 필요하거나 필요한 것으로 확인된 학습자는 실패로 간주된다.

Students, realizing the short time they have to impress a faculty member and earn the grades they need to pursue their desired residency, view assessment as a threat to be avoided rather than as an opportunity to be embraced.18–21 They use time to study to earn higher scores on episodic high-stakes examinations rather than to optimize patient care competencies in the workplace. Learners identified as needing or desiring additional time to meet competencies are viewed as failures.

정규 교육에서 더 빠른 속도로 학습가능한 학습자는 현행 제도에서는 그렇게 할 수 없다.

Learners who are capable of accelerating their progress through formal education are unable to do so in the current system

프로그램 책임자들은 졸업하는 의대생이나 레지던트가 인턴이나 펠로우로서 그들이 떠맡아야 할 역할에 준비가 되어 있지 않다는 우려를 제기한다.22~26

Program directors raise concerns that the graduating medical students or residents are not prepared for the roles they need to assume as interns or fellows.22–26

혁신을 위한 기회로서 경쟁력 기반, 시간적 가치 있는 교육

Competency-Based, Time-Variable Education as an Opportunity for Transformation

역량 기반, 시간 변동 교육은 관찰 가능하고 평가 가능한 능력의 프레임워크에 기초하는 커리큘럼, 교육 방법, 학습 전략, 평가 프로그램 및 프로그램 평가에 대한 포괄적인 접근 방식이다.29

Competency-based, time-variable education is a comprehensive approach to curriculum, instructional methods, learning strategies, assessment programs, and program evaluation that is based on a framework of observable and assessable abilities.29

역량 기반 교육은 [의료, 간호, 약국, 치과 등 모든 분야에서] 의료 개선을 위한 현대 사회의 요구를 보건 전문가가 숙달해야 하는 역량으로 translating하는 uncompromising focus에서 시작한다.

Competency-based education begins with an uncompromising focus on translating the needs of contemporary society for improved health care into competencies that must be mastered by health professionals across all disciplines, from medicine to nursing, pharmacy, dentistry, and beyond.4

역량 기반 시간 변동 교육은 보건전문직 교육을 연속적인 과정으로 본다. 학생이 전문직 학교에 입학할 때 시작되고 그 개인이 그 직업에서 은퇴할 때 끝나는 것이다. 시간 변동성은 중요한 역량을 숙달했을 때에만 교육 단계를 거쳐 개인의 진보가 바로 이루어지도록 하기 위해 훈련의 속도, 강도 또는 기간을 조정할 필요성을 제도적으로 수용하는 것을 말한다. 정규 교육의 단계를 넘어 실천practice으로 나아가는 것은 시간의 경과가 아니라 신뢰성의 입증에 기초한다. 비록 시간 제약이 완전히 없는 것은 아니지만, 그것들은 부차적인 것이다.

Competency-based, time-variable education views health professions education as a continuous process, beginning when a student enters a health professions school and ending when that individual retires from the profession. Time variability refers to the institutional acceptance of the need to adapt the pace, intensity, or duration of training to ensure that the progress of an individual through and across the phases of education occurs as soon as and only when she or he has mastered essential competencies. Advancement through the stages of formal education and into practice is based not on the passing of time but on the demonstration of trustworthiness. Although time constraints are not totally absent, they are secondary.

역량에 기반한 시간 가변 시스템에서 평가는, 순환이 끝날 때 이루어지는, 무시무시한, 주기적, 지식중심의, 고부담 시험 후에 전문가로부터 받는 등급이 아니다. 평가는 개인의 학습과 향상(즉, 학습에 대한 평가)을 지도하기 위해 열성적으로 관여하는 것은 진행 중인 다방식multi-modal 측정과 코칭의 과정이다.

In a competency-based, time-variable system, assessment is not a grade that one receives from an expert at the end of a rotation or after fearfully taking a periodic, knowledge-focused, high-stakes exam. Instead, it is a process of ongoing, multimodal measurement and coaching that one enthusiastically engages in to guide personal learning and improvement (i.e., assessment for learning).

일단 [충분한 증거가 이 개인이 다양한 상황에서 다양한 환자에게 안전한 치료를 제공할 수 있다는 주장을 뒷받침]한다면 훈련 사이의 transition 또는 out of training 사이의 고부담 결정이 내려진다. 이 증거는 다양한 맥락에 걸쳐 여러 역량 영역에서 개인의 능력에 대한 다양한 관점(교수, 환자, 동료, 기타 전문적 동료)에서 취합하여 미래의 성공에 대한 가장 신뢰할 수 있는 평가를 제공한다.30

High-stakes decisions about transitions between and out of training are made once sufficient evidence supports the assertion that this individual can be trusted to provide safe care for a variety of patients in a diversity of contexts. This evidence is aggregated from diverse viewpoints (faculty, patients, peers, other professional colleagues) of the individual’s abilities in multiple competency domains across different contexts to provide the most reliable assessment of future success.30

역량기반 시간가변 교육에서 시간은 위협이라기 보다는 학습자를 위한 자원이다. 주어진 교육 단계가 끝나기 전에 일련의 역량을 숙달할 수 있는 학습자는 남은 시간을 사용하여 더 진보된 수준 또는 추가된 역량을 지향하는 작업을 추구할 수 있다.

In competency-based, time-variable education, time is a resource for the learner, rather than a threat. Learners who are able to master a set of competencies before the end of a given stage of education can use the remaining time to pursue work on a more advanced level or toward an added competency,

CBTV교육의 미덕은 가능한 한 짧은 시간에 훈련하는 것이 아니라, 가장 높고 넓은 수준의 전문성 추구에 있다.

The virtue lies not in training in the shortest possible time but at the highest professional level and breadth.

동시에 역량 기반 교육은 한 역량 영역(예: 의료 지식)에서의 수월성이 다른 역량 영역(예: 대인 커뮤니케이션)에서 한계 성과를 보상하는 방식을 허용하지 않는다. 일련의 역량을 숙달하기 위해 추가 시간이 필요한 학습자는 교정조치가 필요함에도 불구하고 "충분히 훌륭하다" 평가를 받고 넘어가거나, "실패자"로 낙인찍히지 않는다. 이들에게는 효과적인 전문가가 되기 위해 필요한 기술을 습득할 수 있는 추가 기회가 제공된다.

At the same time, competency- based education does not allow excellence in one competency domain (e.g., medical knowledge) to compensate for marginal performance in another (e.g., interpersonal communication). Learners needing additional time to master a set of competencies are not passed along as “good enough” or branded as “failures” in need of remediation; they are provided with additional opportunities to master the skills they need to be effective professionals

역량 기반 평가를 위해서는 교수진과 학습자가 새로운 역할과 기술을 익혀야 한다. 

• 교수진은 [학습자가 어떤 성적을 받는지를 결정하는 것]이 아니라, [원하는 미래 상태와 관련하여 학습자의 현재 능력을 관찰하고 기술하고 학습자가 진행하도록 구체적인 제안을 제공하는 것]에 초점을 맞춘다.17 

• 학습자는 다음 단계로 전환하기 위해 반드시 달성해야 하는 역량 목표를 알고, 이러한 목표를 달성하는 데 도움이 되는 학습 경험과 중요한 피드백을 적극적으로 탐색한다..20 

• 특별히 교육을 받은 교직원 및 위원회는 학습자의 성과를 분석하고, 학습자가 다음 교육 수준으로 전환할 준비가 되었을 때 확인하기 위한 형태별 평가 데이터를 통합하고 분석할 책임이 있다.31 

Competency-based assessment is supported by new roles and skills for faculty and learners. 

• Faculty focus on observing and describing learners’ current abilities in relation to the desired future state and providing concrete suggestions for learners to progress, rather than on deciding what grade the learners receive.17 

• Learners know the competency goals they must achieve to transition to the next phase of their career and actively seek out both learning experiences and critical feedback to help them achieve those goals.20 

• Committees of specially trained faculty and staff analyze learners’ performance and are responsible for assembling and analyzing formative assessment data to identify when learners are ready to transition to the next level of education.31 

테크놀로지는 이러한 과정과 관계를 서포트 할 수 있다. 학습자들은 준비가 되는 즉시 수업에 접근할 수 있도록 디지털 학습 도구에 접근할 수 있다. 행정 기술은 피드백과 평가의 여러 인스턴스를 수집하여 종합적인 의사결정에 필요한 데이터를 제공한다. 성과 및 성취 데이터는 학습자가 정규 교육 프로그램을 거쳐 실습으로 이동함에 따라, 의료 교육의 연속적인 학습과 역량 향상을 촉진한다.

Technology supports this process and these relationships. Learners have ready access to digital learning tools so that they can access lessons as soon as they are ready. Administrative technology collects multiple instances of feedback and assessment to provide the data needed to make summative decisions.6,30 Performance and achievement data follow the learner as she or he moves through formal educational programs and into practice, facilitating continuous learning and competency enhancement across the continuum of medical education and into practice.

역량에 따른 시간가변 훈련의 이론적 기초와 새로운 사례

The Theoretic Basis for and Emerging Examples of Competency-Based, Time-Variable Training

이 보충 자료에서, 케이트와 동료는 훈련 기간이 단순히 다른 능력을 숙달하고 입증하는 데 필요한 시간의 합으로 설명될 수 없다는 점에 주목한다. 즉, 건강 직업 프로그램에 몰두하는 개인이 학습을 통합하고 전문가로서 성숙하기 위해서는 추가 시간이 필요하다.

In this supplement, ten Cate and colleagues32 note that the duration of training cannot simply be described as the sum of the time required to master and demonstrate different competencies; additional time is needed for individuals immersed in a health professions program to consolidate their learning and mature as professionals.

의료 및 기타 의료 직업 프로그램에서 제공하는 역량 기반 시간 가변 프로그램 설계의 여러 예가 있다. 예를 들어, Hoff와 동료들34는 네덜란드의 개인화된, 역량 기반, 시간 가변 레지던트 프로그램을 설명한다. 여기서는 레지던트들이 파트타임 훈련을 받고, 가족을 위한 시간을 제공받으며, 추가적 임상업무와 연구경험을 제공받는다. 진정한 역량 기반 형태의 프로그램에서는, 어느 단계의 훈련에서 전문성을 획득하였다고 입증되면, 후속 단계에서 훈련을 단축하는 데 사용할 수 있다.

There are a number of examples of competency-based, time-variable program designs from medical and other health professions programs. For example, Hoff and colleagues34 describe individualized, competency-based, time-variable residency programs in the Netherlands that allow residents to pursue training part-time, affording them time for family building, additional clinical work, and research experiences. In true competency-based fashion, demonstrated expertise gained in one stage of training may be used to shorten training in a subsequent stage.

경쟁력 있는 시간적 가변적 교육 구현 전략 및 과제

Strategies and Challenges to Implementing Competency- Based, Time-Variable Education

많은 의료전문직 교육 프로그램에서 역량 기반 평가 요소(예: 마일스톤 및 위탁 가능한 전문 활동)를 채택했지만, 역량 기반 시간 가변 교육 접근방식에 필수적인 것으로 기술된 강력한 "평가 프로그램"은 드물다. Englander와 Carraccio41은 역량 기반 교육이 기반을 둔 평가와 코칭 전략의 유형을 구현하고 싶다면, 현재와 같은 불연속적인 의학 교육 시스템을 뒤집고, 교수들과 학습자들 사이의 새로운 역할과 관계를 지원해야 하는 필요성을 주장한다.

Many health professions education programs have adopted elements of competency- based assessment (such as milestones and entrustable professional activities), but the robust programs of assessment described by as essential to the competency-based, time-variable training approach are rare. Englander and Carraccio41 describe the imperative of reversing our current system of discontinuity in medical education and supporting new roles and relationships between faculty and learners if we wish to implement the types of assessment and coaching strategies on which competency-based education is based.

마지막으로, Custers와 Cate는 현재와 같은 time-bound practice는 시간과 숙련도 개념이 역사적으로 진화한 것에 기초하고 있으며, 진정한 emperic basis는 없음을 상기시킨다.

Finally, Custers and ten Cate46 remind us that current time-bound practices are based in the historical evolution of the concepts of time and proficiency and have no true empiric basis.

결론

Conclusion

우리는 갈림길에 서 있다. 역량에 기반한 교육이 의미 있는 움직임이 되었으며, 돌아갈 길은 없다. 환자 안전을 위한다면, [의료전문직 교육 연속체의 단절된 분획속에서 표준화된 훈련 시간]은 미래의 모습이 될 수 없다. 그보다는 개인화된 교육 경로는 우리의 모습을 조차장marshalling yard로 변화시킬 것이며, 그래야만이 개개인이 자신의 요구와 의료 환경의 요구 모두에 대하여 융통성 있고 맞춤화된 역동적인 개인 포트폴리오를 개발하고 인증받을 수 있을 것이다. 이렇게 하면 의료 전문가의 일생 동안 역량 기반, 안전, 고품질 의료 관행이 보장된다.

We are at a crossroads. Competency- based education has become a significant movement, and there is no way back. For the sake of patient safety, a standardized duration of training, in unconnected compartments of the health professions education continuum, is likely not the landscape of the future. Rather, individualized educational pathways, could transform the landscape into a marshalling yard, in which individuals develop a dynamic personal portfolio of certified qualifications that are flexible and tailored to both their individual needs and the needs of the health care environment. Doing so will ensure competency-based, safe, high-quality medical practice throughout a health care professional’s life.

12 Eva KW, Bordage G, Campbell C, et al. Towards a program of assessment for health professionals: From training into practice. Adv Health Sci Educ Theory Pract. 2016;21:897–913.

13 Schuwirth L, Ash J. Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach. 2013;35:555–559.

14 Holmboe ES, Batalden P. Achieving the desired transformation: Thoughts on next steps for outcomes-based medical education. Acad Med. 2015;90:1215–1223.

41 Englander R, Carraccio C. A lack of continuity in education, training, and practice violates the “do no harm” principle. Acad Med. 2018;93:S12–S16.

32 ten Cate O, Gruppen LD, Kogan JR, Lingard LA, Teunissen PW. Time-variable training in medicine: Theoretical considerations. Acad Med. 2018;93:S6–S11.

33 Teunissen PW, Kogan JR, ten Cate O, Gruppen LD, Lingard LA. Learning in practice: A valuation of context in time-variable medical training. Acad Med. 2018;93:S22–S26.

46 Custers EJFM, ten Cate O. The history of medical education in Europe and the United States, with respect to time and proficiency. Acad Med. 2018;93:S49–S54.

Acad Med. 2018 Mar;93(3S Competency-Based, Time-Variable Education in the Health Professions):S1-S5. doi: 10.1097/ACM.0000000000002080.

Competency-Based, Time-Variable Education in the Health Professions: Crossroads.

의학교육의 결정적 시기: 역량기반 교육과정 개혁의 위험(Adv in Health Sci Educ, 2012)

A critical time for medical education: the perils of competence-based reform of the curriculum

Karen Malone • Salinder Supri

미국, 캐나다, 영국을 포함한 주요 선진국의 의료 교육자들은 의료 커리큘럼에 대한 역량 기반 접근 방식의 채택을 옹호하고 있다. 이것은 커리큘럼의 방향을 [규정된 강좌의 가르침에 중점을 두지 않고], [의학의 실천에 필요한 특정한 과학, 사회 및 행동 역량]에 초점을 맞춘다. (캐나다 의과대학 2000, 종합 의과대학 2002, 2009, 스코틀랜드 의과대학 교육과정 그룹 2002, 미국 의과대학 협회 2009).

Medical educators across major industrialised countries, including the United States, Canada, and the United Kingdom, are advocating the adoption of a competence-based approach to the medical curriculum. This seeks to steer the curriculum away from an emphasis on the teaching of prescribed courses, towards a focus on the specific scientific, social and behavioural competencies that students need for the practice of medicine (Royal College of Physicians and Surgeons of Canada 2000; General Medical Council 2002, 2009; Scottish Medical Deans CurriculumGroup 2002; Association of American Medical Colleges 2009).

그러나 의료 커리큘럼에 대한 역량 기반 접근방식이 이러한 의도된 목표를 달성할 수 있을지는 논란의 여지가 있다. 거의 40년 동안, 역량 기반 커리큘럼은 전 세계에 걸쳐 국가 직업 교육과 훈련의 기초를 형성해 왔는데, 특히 영국, 호주, 뉴질랜드, 아시아, 라틴 아메리카 및 본토 유럽(아르구 ̈elles and Gonczi 2000)에서 두드러진다.

However, it is debatable whether a competence-based approach to the medical curriculum will fulfill these intended aims. For nearly 40 years, competence-based curricula have formed the basis of national vocational education and training across the world, most notably in the United Kingdom, Australia, New Zealand, Asia, Latin America and mainland Europe (Argu¨elles and Gonczi 2000).

역량 기반 커리큘럼은 주로 교육 성과와 employer의 요구 스킬 사이에 더 큰 일관성을 제공함으로써 교육과정의 직무 관련성을 높이기 위해 수동 거래manual trades에 처음 도입되었다(West 2004). 즉, 역량 기반 접근법은 본질적으로 수동 거래에서의 훈련을 평가하도록 설계된 평가 시스템이었다. 그것은 교육 및 학습 프로세스 전체를 포함하는 포괄적인 교육학적 접근방식으로 개발되지 않았다(West 2004).

Competence-based curricula were first introduced for the manual trades, primarily to increase the vocational relevance of courses by providing greater coherence between training outcomes and the skill needs of employers (West 2004). The competence-based approach was thus essentially a system of assessment designed to evaluate training in the manual trades; it was not developed as a comprehensive pedagogical approach encompassing the whole of the teaching and learning process (West 2004).

능력은 복잡하며, 전체는 부품의 합보다 크기 때문에 분리된 요소로 축소할 수 없다.

Competence is complex and cannot be reduced into isolated elements, since the whole is more than the sum of the parts

의문은, 특정 영역의 전체적인 역량이 더 좁고 분리된 역량의 집합을 숙달함으로써 달성될 수 있는가 하는 문제다. 현실 세계의 역량은 일련의 단순한 측정 가능한 과제나 단계로 축소할 수 없는 복잡하고 다면적인 현상이라고 주장되고 있다(Hyland 1993; Halsall 1995; West 2004). 다른 방법으로, 개별 역량 요소의 숙달력이 특정 직무나 기술과 관련된 전반적인 역량을 생산하기 위해 반드시 추가되는 것은 아니다(Ashworth and Saxton 1990; Erridge and Perry 1994).

At issue is the question of whether overall competence in a particular area can be attained by mastering a set of narrower, discrete competencies. It is argued that real world competence is a complex, multi-faceted phenomenon which cannot be reduced to a series of simpler measurable tasks or steps (Hyland 1993; Halsall 1995; West 2004). Put another way, mastery of individual elements of competence do not necessarily add up to produce overall competence in relation to a particular task or skill (Ashworth and Saxton 1990; Erridge and Perry 1994).

임상 성과를 절차적 지식과 기술의 분리된 요소로 원자화한 것을 다시 합한다고 해서 임상 맥락에서의 역량으로 다시 합산되는 것은 아니다(Hudding and Heudebert 2007). 따라서 복잡한 학습 과정에 적용되는 역량의 개념의 타당성은 철학적으로 의문시된다.

Atomising clinical performance into isolated elements of procedural knowledge and skill cannot be added back together to create competence in the clinical context (Huddle and Heudebert 2007). Hence, the validity of the concept of competence as applied to the complex process of learning is philosophically questionable.

역량 기반 접근법은 고도로 숙련된 직업에 적합하지 않다.

Competence-based approaches are not suitable for highly skilled professions

역량 기반 교육은 비교적 일상적인 업무와 간단한 시험 가능한 기술을 포함하는 하위 수준의 직업에 더 적합하다는 것이 오랫동안 주장되어 왔다(Erridge and Perry 1994; Hodkinson and Issitt 1995). 따라서 일상적인 업무와 표준화된 업무의 만족스러운 완료보다 훨씬 더 많은 것을 요구하는 의료와 같은 상위 수준의 직업에는 적합하지 않다. 대신 의학은 임상 문제를 이해하고 감별진단을 실시하기 위해, [분석, 판단, 이전 경험에 대한 성찰과 '상황 읽기 능력'을 포함한] 보다 높은 수준의 인지 능력을 필요로한다(허들 및 휴드버트 2007). 이러한 상위 순위의 기술은 역량 기반 접근법에 쉽게 내어주지 않는다(Cave and McKeown 1993; Winter 1995; Grundy 2001; Cox 2007).

It has long been argued that competence-based education is better suited to lower-level occupations that involve relatively routine tasks and simple testable skills (Erridge and Perry 1994; Hodkinson and Issitt 1995). It is therefore not appropriate to higher-level professions, such as medicine, which require far more than the satisfactory completion of routine and standardised tasks. Instead medicine necessitates higher-order cognitive skills, including analysis, judgment, reflection on previous experience, and ‘‘reading the situation,’’ in order to understand a clinical problem and undertake differential diagnosis (Huddle and Heudebert 2007). Such higher-order skills do not easily lend themselves to a competence-based approach (Cave and McKeown 1993; Winter 1995; Grundy 2001; Cox 2007).

의료 분야의 역량 기반 커리큘럼은 하위 수준 및 특정 목표 업무 또는 위생 절차 및 이력 취사와 같은 프로토콜이 존재하는 분야의 훈련에 적합할 수 있지만, 의학과 같이 강력하고 신뢰할 수 있는 상위 수준의 역량 개발은 여전히 어렵다(Leung 2002).

While competence-based curricula in medicine may be suited for training in areas involving lower-level and specific objective tasks, or where protocols exist, such as hygiene procedures and history taking, the development of robust and reliable higher-order competencies in medicine has remained elusive (Leung 2002).

역량 기반 접근방식이 커리큘럼의 내용을 제한

Competence-based approaches limit the content of the curriculum

• 첫째, 그것은 특정한 상황의 집합에서 특정한 범위의 과제를 완료하는 데 필요한 지식과 기술로 초점을 좁힘으로써 전통적인 광범위한 커리큘럼을 reduce시킨다.

• 둘째, 커리큘럼을 (역량의) 정의에 들어맞는 것, 즉 구체적이고 직접 측정할 수 있는 것으로 제한한다(1995년 겨울).

First, it reduces traditional broad curricula, by narrowing their focus towards the knowledge and skills required to complete a specific range of tasks in a particular set of contexts. Second, it limits the curriculum to what is amenable to definition, that is, to what is concrete and directly measurable (Winter 1995).

예를 들어, 환자들은 종종 심장마비와 같은 복잡한 다면적인 건강 문제를 겪는다. 이러한 의학적 조건을 다루는 방법을 가르치는 것은 역량 기반 접근법을 사용하여 문제가 된다. 왜냐하면 역량기반 접근법에서는 학생들에게 그러한 의학적 필요의 복잡성을 실제로 다룰 수 있는 데 필요한 깊이의 이해를 제공하지 않기 때문이다.

Patients often present with complex multi-faceted health problems, such as heart failure for example. Teaching how to treat such medical conditions is problematic using a competence-based approach, because it does not provide students with the depth of understanding needed to be able to deal with the complexity of such medical needs in practice.

역량 기반 접근 방식은 "테스트에 대한 교육"으로 귀결된다.

Competence-based approaches result in ‘‘teaching to the test’’

실제로 적용하다보면, 역량 기반 접근방식은 "시험을 잘 보기 위한 교육"이라고 불려온 접근방식으로 귀결된다(Grundy 2001). 즉, 가르치는 입장에서는 [시험을 보는 측면에 불과한] 역량 목록에 명시된 것만으로 교육을 제한하는 경향이 있다. 학생들은 결국 그들의 학업을 평가되는 것에 크게 제한한다. 그러므로, 가르치고 배우는 것은 좁고 피상적일 수 있다.

When applied in practice, competence-based approaches result in what has been termed ‘‘teaching to the test’’ (Grundy 2001). In other words, educators tend to limit teaching to what is specified in the list of competencies, because it is only those aspects of the curriculum that are tested. Students in turn largely restrict their studies to what is assessed. Thus, teaching and learning can become narrow and superficial,

역량 기반 접근 방식은 관료적이고 부담스럽다.

Competence-based approaches are bureaucratic and burdensome

(CBA에서) 시스템의 작동과 신뢰성을 보장하기 위해 상당한 양의 문서화된 지침이 작성되어야 한다(Grundy 2001). 따라서 교육자들은 학생들의 교육의 내용과 질보다 시스템을 관리하는 데 더 많은 시간을 소비할 수 있다. 역량 기반 커리큘럼은 각종 형식과 체크박스의 완성으로, 궁극적으로 교육을 문서업무로 축소시키고, 교육자들의 역할을 형식을 채우는 관료들의 역할로 평가절하하는 필요성에 의해 지배될 수 있다(West 2004). 실제로, 이 접근방식의 평가 연구에서 발표된 결과 데이터는 유익한 교육 효과에 대한 명확한 증거는 없이, 행정 부담의 증가를 보여주었다(Bates 1999).

A significant quantity of written guidance needs to be produced to ensure the operation and reliability of the system (Grundy 2001). Educationalists thus may spend more time in administering the systemthan on the content and quality of students’ education. The competence-based curriculum can become dominated by the need to complete forms and check-boxes, ultimately reducing education to a paper chase, and devaluing the role of educators into that of form-filling bureaucrats (West 2004). Indeed, published outcome data from evaluative studies of this approach has revealed an increase in administrative burden, coupled with no clear evidence of beneficial educational effects (Bates 1999).

역량 기반 의료 교육에 대한 비판적이고 창의적인 접근의 필요성

The need for a critical and creative approach to competence-based medical education

그 증거는 이 접근법을 의료 커리큘럼에 무비판적으로 적용하는 것은 의도된 목적을 달성하지 못할 것임을 시사한다.

The evidence suggests that the uncritical application of this approach to the medical curriculum will not achieve its intended aims.

실제로 역량 기반 접근법을 채택하는 것은 쉽지 않다는 것을 인식해야 한다. 역량 기반 커리큘럼은 역량 개발, 교육 및 평가 방법에 있어 새로운 방법론적 과제를 제시하여, 학생들이 요구되는 학문적 및 전문적 수준에서 수행하는 데 필요한 지식과 기술에 대한 강력한 기반을 제공하도록 한다. 더욱이, 역량기반 접근법을 시행할 경우, 현재의 커리큘럼의 상당한 강점을 간과하지 않도록 보장할 필요가 있다. "목욕물을 버리면서 아기도 버리면 안 된다"고 했다. 역량 기반 교육으로 완전히 전환wholesale swing하는 대신, 전통적인 최고의 것을 역량기반 접근법과 어떻게 조화시킬 것인지를 고려해야 한다.

It should be recognised that adopting a competence-based approach in practice is not easy. The competence-based curriculum presents new methodological challenges in terms of how best to develop, teach and assess competencies, so that students are provided with strong foundations in the knowledge and skills needed to perform at the required academic and professional levels. Moreover, educators also need to ensure that, if implementing a competence-based approach, they do not lose sight of the considerable strengths of the current curriculum. They must not ‘‘throw out the baby with the bathwater.’’ Instead of a wholesale swing to competencebased education, they should consider how to blend the best of traditional with competence-based approaches.

Adv Health Sci Educ Theory Pract. 2012 May;17(2):241-6. doi: 10.1007/s10459-010-9247-2. Epub 2010 Sep 14.

A critical time for medical education: the perils of competence-based reform of the curriculum.

의학교육에서 문턱개념(MedEdPublish, 2018)

Threshold Concepts in Medical Education

Virginia Randall[1], Robert Brooks[1], Agnes Montgomery[1], Lauren McNally[1]

도입

Introduction

고등교육에서 문턱개념(TC)은 어떤 전문직에 특유한 사고와 추론의 방법을 설명하기 위해서 사용되며, 문턱개념을 통해 학습자는 전문직처럼 생각하고, 전문직이 될 수 있다. TC 프레임워크는 2003년에 처음 출판된 마이어와 랜드 (Meyer and Land, 2003; Land, Meyer and Smith, 2008; Meyer, Land and Baille, 2010; Land, Meyer and Flanagan, 2016)에 의해 개발되었다. 첫 번째 TC는 경제와 공학, 마이어와 랜드의 학문에 적용되었다. 그 이후 그들은 건축, 문학, 사회학, 회계학 등 다양한 직업에서 유럽, 호주, 뉴질랜드에서 연구되었다. 의료 교육에서 TC를 식별하는 소수의 연구가 최근 영국의 저자들로부터 나타났다(Neve, Wearn and Collett, 2016a; Barradeell and Peseta, 2017; Collett, Neve, Lloyd and Collett, 2017; Neve, Lloyd and Collett, 2017a).

Threshold concepts (TC) is a theoretical framework in higher education to describe ways of thinking and reasoning that are unique to a profession and enable the learner to "think like" and become a professional. The TC framework was developed by Meyer and Land (Meyer and Land, 2003; Land, Meyer and Smith, 2008; Meyer, Land and Baille, 2010; Land, Meyer and Flanagan, 2016) who first published in 2003. The first TCs applied to economics and engineering, the disciplines of Meyer and Land. Since then, they have been studied in Europe, Australia, and New Zealand in such diverse professions as architecture, literature, social studies, and accounting. A handful of studies identifying TCs in medical education have appeared recently from authors in the United Kingdom (Neve, Wearn and Collett, 2016a; Barradell and Peseta, 2017; Collett, Neve and Stephen, 2017; Neve, Lloyd and Collett, 2017b; Neve, Lloyd and Collett, 2017a).

TC에는 다음과 같은 네 가지 핵심 구성 요소가 있다.

There are four key components of a TC:

1. TC는 변혁적이다. 그것은 학습자가 자신을 개인/전문가로 보는 방식에 일대 변화를 일으킨다. (Mezirow, Taylor and associates, 2009). 학습자는 새로운 방식으로 자신을 식별하고, 새로운 방식으로 그들의 새로운 직업에 대한 그들의 역할을 인식하게 된다.

1. A TC is transformational; it causes an ontological shift in the way the learner views himself or herself as a person/professional (Mezirow, Taylor and associates, 2009). The learner comes to identify themselves in a new way, and appreciate their role in their new profession in a new way.

2. TC는 통합적이다; 그것은 전혀 관련이 없어 보이는 지식과 태도들의 조각들을 전체적으로 만들어낸다; 학습자가 깨달았을 때, "오, 그것이 그들이 말하고 있는 것이다" "이제 모든 것이 말이 된다!" 교직원으로서, 우리는 "전구가 켜졌다!"

2. A TC is integrative; it brings pieces of seemingly unrelated knowledge and attitudes into a whole, when the learner realizes, "Oh that is what they are talking about" "Now it all makes sense!" As faculty, we say "The light bulb went on!"

3. 변혁성, 통합성과 얽혀있는 것이 비가역성이다. 일단 TC를 수용하면, 그/그녀는 그것을 배우기 전으로 돌아갈 수 없다. 그것은 그들의 직업적 정체성이 되었다.

3. Intertwined with transformation and integration is irreversibility; once the learner embraces the TC, he/she cannot unlearn it. It has become their professional identity.

4. 네 번째 요소는 '성가심'이다. TC는 학습자가 자신과 자신의 역할을 경험하는 새로운 방법에 접근할 때 느끼는 불안감과 더불어 새로운 미지의 것에 대한 두려움이기도 하다. 우리는 환자에 대한 더 많은 관여와 책임을 원하지만 동시에 그들의 지식이 완전하지 않다는 것을 인식하고 실수를 할까봐 두려워하는 의대생을 본다. 의대생은 서로 상반되는 이 두 가지 존재 방식 사이에서 동요하며 화해하려고 애쓴다. 그들은 의학의 불확실성에 직면해 있다. 이 골치 아픈 단계에서 학생들은 불안해지고, 우울해지고, 냉소적이 될 수 있으며, 의대를 중퇴할 것을 고려할 수도 있다.

4. A fourth component is troublesomeness; a TC involves the angst that learners feel as they approach a new way of experiencing themselves and their role, coupled with their fear of this new unknown. We see medical students who want more involvement and responsibility for their patients, but who are simultaneously aware that their knowledge is not complete and are fearful of making a mistake. They oscillate between these two opposing ways of being and struggle to reconcile them. They are facing the uncertainty of medicine. During this troublesome phase, students may become anxious, depressed, cynical, and may contemplate dropping out of medical school.

TC의 또 다른 특징은 "한계성boundedness"이다. 즉, 얻은 지식은 해당 분야(연구에서, 의료에)에 특정된다. "담론적Discursive"이라는 말은, 어떤 분야의 언어를 사용하는 학생을 말하며, 실천공동체에 적응하는 것을 말한다. 종종 이것은 그들이 "스크립트"를 사용하고 있고 아직 이 새로운 언어의 자연스러운 사용으로 전환되지 않았다는 것을 학생이 알고 있을 때 모방하는 기간을 포함할 수 있다.

Other descriptors of TCs are "boundedness": the knowledge gained is specific to that discipline (in our study, to medical care). "Discursive" refers to the student using the language of the discipline, and fitting into the community of practice. Often times this may involve a period of mimicry, when the student is aware that they are using a "script" and has not yet transitioned to a natural use of this new language.

[자신의 TC 경험을 기억해내는 것은 숙련된 교수들에게 어렵지만], 이러한 개념이 우리 자신의 전문적 및 개인 식별에 눈에 보이지 않게 통합되어 있기 때문에 교수들에게도 중요하다(Meyer and Land, 2006). 교직원으로서, 우리는 TC의 juncture에서 막혀 있는 학생들을 찾아서, 그들의 우려에 귀를 기울이고, 비판단적인 토론을 제공하며, 무엇보다도 학생에 대한 경험이 일반적인 것임을 알려줌으로써 도울 수 있다. 의과대학 학생들이 겪는 고통은 부인할 수 없는 사실이며, 우리 모두는 우울증에 빠져 그들의 임상 시간에 의대를 떠나기로 결정하는 학생들을 보아왔다. 의대생의 고통을 다루는 방법에는 소규모 그룹 세션, 보호 환기 기회 및 반성의 지침이 포함된다(Egnew et al., 2018).

TCs are important for faculty to appreciate, although remembering one’s own TC experiences is difficult for experienced faculty, since these concepts have become invisibly integrated into our own professional and personal identify(Meyer and Land, 2006). As faculty, we can help students who may be stuck at a juncture with a TC by listening to their concerns, providing non-judgmental discussions, and most, of all, normalizing the experience for the student. That medical students suffer is undeniable, and we have all seen students who become depressed and decide to leave medical school in their clinical years. Ways of dealing with medical student suffering include: small group sessions, opportunities for protected venting, and guidance for reflection (Egnew et al., 2018).

방법

Methods

우리는 질적 분석의 기초 이론과 지속적인 비교 접근법을 사용하여 3학년 소아과 임상실습생의 성찰 에세이를 주제분석하였다. 성찰 에세이는 우리 의과대학의 커리큘럼 요건의 일상적인 부분이다. 그리고 학생들은 4년 동안 많은 것을 쓴다.

We used the grounded theory and constant comparison approaches of qualitative analysis to generate a thematic analysis of reflective essays from our 3rd year pediatric clerks. Reflective essays are a routine part of the curricular requirements at our medical school, and students write many during the course of the four years.

서면 반사에 대한 프롬프트:

Prompts for the written reflection are:

1. 임상실습 후 어떻게 변하셨습니까?

2. 의사처럼 생각할 수 있게 하는 의과대학 설립 이후 가장 중요한 개념은 무엇인가?

3. 당신이 경험한, 의사가 되는 과정에서 가장 어려운 개념은 무엇인가?

4. 당신이 올해 개발한 생명, 의학, 또는 학습에 대한 새로운 접근방법을 설명하라.

1. How have you changed since beginning your clerkship year?

2. What is the most important concept you have understood since beginning medical school that enables you to think like a physician?

3. What is the most difficult concept about being a physician you have encountered?

4. Describe any new approaches to life, medicine, or learning that you have developed this year.

에세이는 4학년 의대생 3명과 교직원 1명에게 할당되었다. 각 연구자 쌍은 동일한 과정을 따랐다. 독립적인 라인별 코딩, 해결될 때까지의 차이점 쌍 간의 논의. 연구자 3세트에 걸쳐 개발된 코드는 75개였다. 그 후 쌍 내에서 독립적인 주제 분석이 이루어졌으며, 완전한 합의가 이루어질 때까지 코드를 테마로 분류하고 주제를 논의하였다. 마지막에는 11개의 주제가 있었다. 4학년 의대생들은 TC 이론에 대해 대단한 통찰력을 보였으며, 많은 학생 투쟁으로 쉽게 자기 정체성을 드러냈다는 점에 주목할 필요가 있다. 그들은 교직원들에게 3학년 의대생의 관점을 설명할 수 있었고, 그래서 그룹들 사이에 이해를 만들어냈다.

The essays were divided among three 4th year medical students and a faculty member. Each pair of researchers followed the same process: independent line-by-line coding, then discussion between the pair of differences until resolution. There were 75 codes developed across the three sets of researchers. There followed independent thematic analysis within the pair, sorting the codes into themes and discussing the themes until there was complete agreement. At the end, there were 11 themes. It is worth noting that the 4th year medical students showed great insight into the theory of TCs, and readily self-identified with many student struggles. They were able to explain the point of view of the 3rd year clerks to the faculty member, and so created an understanding among the group.

결과/분석

Results/Analysis

학생들은 일반적으로 1-2페이지를 썼다. 많은 사람들이 TC와의 격렬한 감정적 만남을 묘사했다.

Students generally wrote 1-2 pages. Many were descriptive of intensely emotional encounters with TCs.

"똑똑해지는 것만으로는 충분하지 않아."

• "지식이 전제조건이지만, 그 자체가 아니다."

• "환자를 돌보는 것은 관련 지식을 아는 것뿐만 아니라 환자와의 인간관계를 발전시키는 것을 필요로 한다."

"Being smart isn’t enough"

• "The knowledge is the prerequisite, but it isn’t the thing itself."

• "Caring for patients requires not only knowing the relevant knowledge, but also developing a human relationship with the patient."

"환자에 관한 거야."

• "처음부터 가끔, 그리고 언제, 내가 더 이상 내 자신을 당황하게 하거나 어떻게 일을 했는지에 대해 신경쓰지 않고, 오히려 환자를 치료하고 최선을 다하는 데 신경을 쓰기 시작하는 시점이 왔다."

• "배고픔, 갈증, 수면, 깨끗한 집, 교육 등 내 욕구가 항상 환자의 요구에 뒤쳐질 것이라는 것"

"It’s about the patient"

• "Sometime since the first day, and I am not sure when, there came a point where I no longer cared about embarrassing myself or how I did things, but rather I started caring abut treating the patient and doing the best I could."

• "that my needs, whether it be hunger, thirst, sleep, a clean house or education, are always going to come second to my patient’s needs."

"인생은 공평하지 않아"

• 그는 "젊은 시절이 있는 모든 것이 행복한 결말을 맺는 것은 아니다"라며 "삶이 항상 공평하지는 않다"고 말했다."

• "이 경험은 나에게 어려웠다...이 여자애는 그날로 끝나는 게 아니라 인생을 시작하기로 되어 있었다. 나는 솔직히 다시 의학에 흥분하지 않는 데 시간이 좀 걸렸다."

"Life isn’t fair"

• "It taught me that not everything with youth has a happy ending – life isn’t always fair."

• "This experience was difficult for me…This girl was supposed to begin her life, not have it end that day. It honestly took me a little while t get excited about medicine again."

"때로는 정답이 없을 때도 있다."

• "처음(혹은 아예) 정답이 없는 것은 매우 답답하다."

• "치료 기준과 환자의 자율성 사이의 어려운 균형"

"Sometimes there isn’t a right answer"

• "Not having the right answer the first time (or even at all) is very frustrating."

• "The difficult balance between the standard of care and the patient’s autonomy."

"모든 사람을 구할 수는 없어."

• "나는 네가 모든 사람을 구할 수 없고, 구원할 수 없다는 것을 배워야 했다. 심지어 가장 그럴 자격이 있는 사람일지라도... 이 경험은 때때로 나쁜 결과가 여러분이 할 수 있는 최선을 다했을 때도 일어난다는 것을 가르쳐 주었다."

"You can’t save everyone"

• "I had to learn that you can’t and won’t save everyone, even those who deserve it the most…this experience taught me that sometimes bad outcomes occur even when you do the best you can."

"학습은 평생하는 것이다"

• "나는 내가 배운 모든 것을 새로운 시각으로 다시 배우고 있다는 것을 알게 되었다."

• "지금은 공부를 할 때, 꼭 해야 해서가 아니라 하고 싶어서 그러는 거야."

"Learning is lifelong"

• "I find I am relearning everything I was taught with a new perspective."

• "Now when I study, it’s because I want to, not because I have to."

"의학은 흑백은 아니고, 거의 항상 회색이다(모호하다)"

• "의학적으로 '의학적으로' 있는 것은 많지 않다는 것을 이해하게 되었다.’"

• "처음(또는 전혀) 정답이 없다는 개념은 여전히 매우 어렵다."

"Medicine isn’t black and white, but almost always grey"

• "I have come to understand that not many things in medicine are ‘by the book.’"

• "The concept of not having the right answer the first time (or at all), is still very difficult."

문턱 개념의 가장 중요한 주제는 "내가 의학이라고 생각했던 것과 현실 사이에 단절이 있다"는 것이다. 이 문턱개념은 이것과 이후의 모든 데이터 세트에서, 그리고 각 의대생 공동 투자자에 의해, 그들이 임상실습동안 마주친 것의 핵심으로 확인되었다.

The overarching theme of the threshold concepts is that "There is a disconnect between what I thought medicine was going to be and the reality." This threshold concept was identified in this and every subsequent data set, and by each medical student co-investigator as the core of what they encountered during their clerkship year.

고찰

Discussion

영국의 의대생들은 USUHS의 학생들과 확연히 다르다: 그들은 더 어리고, 의료 분야에서 경험이 적으며, 군대에 있지 않다. 그럼에도 불구하고, 이들 연구에서 드러난 TC들 사이에는 현저한 유사성이 있었다; 사실, 4개는 거의 동일하다. 표 1은 영국 연구와 우리의 연구에 기술된 TC 사이의 정합성을 보여준다.

The UK medical students are distinctly different from the students at USUHS: they are younger, have less experience in the health care sector, and are not in the military (as are the USUHS students.) Nonetheless, there was a striking similarity between the TCs that emerged from these studies; in fact, four are nearly identical. Table 1 demonstrates the convergence between the TCs described in the UK study and in our study.

두 연구 모두 불치의 증거를 발견하지 못했는데, 아마도 이러한 연구가 한 시점에 일어났기 때문일 것이다.

Neither study found evidence of irreversibility, probably because these studies occurred at a single time point.

결론

Conclusion

우리의 연구와 Collett와 Neve의 연구는 Barradell이 발견한 합성 주제, 특히 건강 과학("똑똑해지는 것은 충분하지 않다")과 실천 공동체로의 유입("Medicine is not black and white")을 설명한다. 이러한 TC는 환자를 돌보는 책임을 준비하는 데 보편적일 수 있다. 대안적으로, 이 TC들은 우리 사회와 매우 다른 의과대학 환경에서 다양할 수 있다.

Our work and that of Collett and Neve illustrate the synthetic themes found by Barradell, especially that of working anew with knowledge in the health sciences ("Being smart isn’t enough") and induction into the community of practice ("Medicine isn’t black and white"). These TCs may be universal to preparation for the responsibility of caring for patients. Alternately, these TCs may vary in medical school settings in societies very different from our own.

CBME 프로그램의 도입평가를 위한 핵심요소 프레임워크(Acad Med, 2019)

A Core Components Framework for Evaluating Implementation of Competency-Based Medical Education Programs

Elaine Van Melle, PhD, Jason R. Frank, MD, MA(Ed), Eric S. Holmboe, MD, Damon Dagnone, MD, MSc, MMEd, Denise Stockley, PhD, and Jonathan Sherbino, MD, MEd, on behalf of the International Competency-based Medical Education Collaborators

역량 기반 의료 교육(CBME)이 전 세계적으로 빠르게 채택되고 있음.1 결과적으로, 교육자와 프로그램 리더들은 혁신적인 커리큘럼의 구현을 연구하고 결과를 평가해야 하는 전례 없는 위치에 있다. 그러나, 이러한 연구는 CBME 프로그램을 구성하는 것에 대한 공통적인 설명이 부족하여 방해받고 있다. 이와 유사한 상황은 30년 전 PBL이 직면한 것과 비슷하다. 표준 설명이 부재하여 이것이 일관되지 않고 결론에 도달하지 못한 일련의 논쟁으로 이어졌다.

Competency-based medical education (CBME) is rapidly being adopted across the globe.1 Consequently, educators and program leaders are in an unprecedented position to study implementation and evaluate outcomes of innovative curricula. However, these studies are hampered by the lack of a common description of what constitutes a CBME program. A similar situation faced problem-based learning (PBL) three decades ago when the absence of a standard description contributed to a series of inconsistent and inconclusive arguments regarding the impact of PBL.2–4

CBME 프로그램 구현 평가의 중요성

The Importance of Evaluating CBME Program Implementation

실행평가는 "프로그램이 의도한 대로 운영되고 있는가?"라는 질문을 검토하는 프로그램 평가의 구체적인 형태이다.6 연구자가 프로그램 작동의 "블랙박스"를 열 수 있도록 한다.7 이러한 정보가 없다면, 제3형 오류의 위험에 빠진다. 제3형 오류란 부정적인 결과가 있을 때, 실제로는 프로그램 구현의 문제인데, 이것을 프로그램 이론의 실패로 귀속시키는 것이다. 

Implementation evaluation is a specific form of program evaluation that examines the question “Is the program operating as intended?”6 It allows researchers to open the “black box” of program functioning.7 Without this information, the risk is present of producing a Type III error—that is, attributing negative findings to a failure in program theory when negative findings may actually reflect an error in program implementation.8

예를 들어, 2013년 한 연구에서는 역량 기반 커리큘럼이 의학 실습을 위해 더 잘 준비된 졸업생을 배출하지 않는다고 결론지었다9 따라서 CBME의 기초가 되는 핵심 가정에 도전한다. 그러나 이 연구에서 구현된 CBME는 커리큘럼 시간의 15%를 교수학습의 별다른 변화 없이 역량 개발에 할애하는 것으로 설명되었다. 지식 이와는 대조적으로, CBME의 획기적인 설명에 따르면, "이러한 시스템(CBME)의 구현은 교직원 및 학생 역할과 책임 관계의 실질적인 재정립을 요구한다."10(p55)

For example, a 2013 study concluded that competency-based curricula do not produce graduates who are better prepared for medical practice,9 thereby challenging a key assumption underlying CBME. The implementation of CBME that was studied, however, was described as devoting 15% of curriculum time to competency development without any significant changes to teaching or learning. In contrast, the landmark description of CBME states, “Implementation of such a system demands substantial redefinition of faculty and student roles and responsibilities.”10(p55)

제3형 오류의 회피는 실행 평가를 수행하기 위해 인용되는 가장 일반적인 이유다. 다른 이유로는 

• 구현의 차이 및 차이 문서화 

• 개입에 대해서 보다 의미 있는 비교를 허용한다. 

• 적절한 이행 지침을 제공하여 외부 타당성을 촉진

Avoiding a Type III error is the most common reason cited for undertaking implementation evaluation. Other reasons include 

• documenting deviations from, and differences in, implementation; 

• allowing for more meaningful comparisons of interventions; and 

• promoting external validity by providing adequate guidelines for implementation.11

공통 프레임워크의 필요성

The Need for a Common Framework

그러나 CBME에서 설계 요소의 충실도를 평가하는 것을 방해한 것은 CBME 프로그램을 구성하는 것에 대한 공통의 이해가 부족하다는 것이었다..14 예를 들어 역량 기반 교육을 기술할 때 Spady15는 역량 기반 교육을 규정짓는 네 가지 최소한의 특성으로 성과, 시간, 교육 및 측정을 나열한다. 역량 기반 교육을 의료 분야로 translate함에 있어서, 프랭크와 동료 16은 커리큘럼 성과, 능력에 대한 강조, 시간 기반 교육에 대해서 탈-강조, 학습자 중심성의 촉진을 핵심 요소로 설명한다.

Evaluating the fidelity of design elements in CBME, however, has been hampered by the lack of a shared understanding of what constitutes a CBME program.14 For example, in describing competency- based education, Spady15 lists outcomes, time, instruction, and measurement as the four absolute minimum defining characteristics of competency-based education. In translating competency- based education to the medical field, Frank and colleagues16 describe a focus on curricular outcomes, an emphasis on abilities, a de-emphasis on time- based training, and the promotion of learner centeredness as key elements.

보다 최근에, Carraccio와 Englander1은 CBME프로그램의 필수적 실천요소로서 다음의 특징을 포함했다.

• 기대 성과의 표준화. 

• 의사 전문직이 되기 위한 궤적의 명확한 모델 

• 증거 기반 학습 전략 

• 케어 제공에 기초한 평가 도구 

• 형성 평가에 대한 강조 

• 학습자 직접 관찰 

• 환자, 멘토 및 의료 팀원과의 학습자 간 양질의quality 관계 존재

More recently, Carraccio and Englander1 expanded the qualities of CBME to include 

• the standardization of desired outcomes; 

• a clear model of the trajectory for becoming an expert physician; 

• evidence-based learning strategies; 

• assessment tools based on care delivery; 

• an emphasis on formative assessment; 

• direct observation of learners; and 

• the existence of quality relationships between learners with patients, mentors, and health care team members 

...as essential practices in a CBME program.

공통 CBME 프레임워크를 만드는 데 있어서의 과제

Challenges in Creating a Common CBME Framework

전통적으로 프로그램 구현을 평가하는 연구에 "이행 충실도"(FOI)라는 용어를 적용한다. FOI는 "실제로 실행된 프로그램 구성요소의 비율"로 정의되며, 따라서 "실제, 원래 개발된 프로토콜을 따랐느냐adherence"를 나타낸다.17(p316) 간단히 말해서 충실도는 매번 정확히 동일한 방식으로 설계된 프로그램을 구현하는 것을 의미한다.18

Traditionally, the term “fidelity of implementation” (FOI) is applied to studies that evaluate program implementation. FOI is defined as the “proportion of program components that were implemented” and so represents “the adherence of actual, treatment delivery to the protocol originally developed.”17(p316) Simply stated, ensuring fidelity means implementing a program as designed exactly the same way every time.18

일반적으로 충실도 연구는 특정 프로그램에서 기대되는 필수적 practice에 대한 합의를 도출하는 데 의존한다.19,20 일반적인 중요 범주는 기준을 구성하기 위해 사용될 수 있지만 최종 결과는 FOI를 측정하고 등급을 매기기 위해 사용되는 특정 활동의 체크리스트가 된다.17,21,22

Typically, fidelity studies rely on creating consensus regarding the essential practices one would expect to see in a particular program.19,20 Although generic overarching categories can be used to organize the criteria , the end result tendsto be a checklist of specific activities used to measure and rate FOI.17,21,22

이러한 체크리스트와 관련된 한 가지 문제는 "프로그램의 역동적 특성을 포함하는" 접근이다. 왜냐하면 어떤 프로그램 활동이 필수적인지에 대한 판단은 시간이 지남에 따라 진화하기 때문이다. 예를 들어, CBME 프로그램 구현에서 임상 역량 위원회(CCC)의 설립은 최근에야 필수적인 실행으로 떠오르고 있는 것처럼 보인다.

One issue with a checklist approach “involves the dynamic nature of programs”17(p330) because judgments about which program activities are essential evolve over time. For example, in CBME program implementation, the establishment of a clinical competency committee (CCC) seems to only recently be emerging as an essential practice.23,24

더욱이, 필수적인 practice에 대한 합의가 있을 수 있다고 가정하더라도, 체크리스트와 같은 것의 목적은 이분법적인 예-아니오 판단으로 만드는 것이다.19,20 이 때 구현의 퀄리티는 고려되지 않는다. 그러나 구현 품질은 상당한 차이를 보인다. 예를 들어, 최근의 연구는 모든 CCC가 공통적인 방식으로 작동하지 않는다는 것을 보여준다.25

Furthermore, even assuming that there could be consensus regarding the essential practices, the intent of such lists is to create a dichotomous yes-or-no judgment.19,20 The quality of the implementation is not taken into consideration. Quality of implementation, however, makes a significant difference. For example, recent research reveals that all CCCs do not operate in a common fashion.25

또 다른 과제는 CBME와 같은 교육 혁신은 종종 복잡하다는 것이다. 그들은 다양한 결과에 기여할 수 있는 많은 다른 운영 부분을 가지고 있다.27 그러한 혁신은 맥락에 매우 민감하며,28 따라서 프로그램은 모든 상황에서 정확히 같은 방식으로 구현될 것이라는 FOI의 기대는 그저 비현실적이다. Pérez 등 29는 그러한 조건의 적응, 즉 기술혁신의 무결성이 훼손되지 않는 한 원래 설계의 변경을 허용하는 것이 주된 관심사가 되어야 한다고 주장한다. 이 문제를 해결하기 위해서는, 체크리스트나 레시피 같은 접근방식을 피하고, 오히려 "맥락적으로 해석하고 적용될 수 있는 지침을 제공하는" 구성 요소를 식별해야 한다."18(p254)

Another challenge is that educational innovations such as CBME are often complex26; they have many different operating parts that can contribute to a variety of outcomes.27 Such innovations, therefore, are highly sensitive to context,28 and so the expectation of FOI—that a program will be implemented exactly the same way, using exactly the same practices in every circumstance—is simply unrealistic. Pérez et al argue29 that under such conditions adaptation—that is, allowing for changes to the original design as long as the integrity of the innovation is not compromised—should be the primary concern. Meeting this challenge requires avoiding a checklist or recipe-like approach and, rather, identifying components that “provide guidance that must be interpreted and applied contextually.”18(p254)

방법

Method

이러한 과제를 해결하기 위해 Cousins et al19는 실무적 체크리스트보다는 혁신의 중요한 요소들에 초점을 맞춘다고 설명한다. "개입의 필수 불가결한 요소"로 정의되는 이 핵심 요소들은 중요한 조직체를 제공한다. 이러한 요소들은 혁신과 구체적으로 연관되지만, 다양한 실무적 실행을 수용할 수 있을 만큼 충분히 견고하다. 다시 말해서, 그것들은 다양한 프로그램 상황에 적용될 수 있다. 그러한 핵심 구성요소는 변화를 프레임하는 기본 관점을 명시하고 관점에 맞는 핵심 구성요소를 식별함으로써 식별된다.

To meet these challenges, Cousins et al19 describe focusing on important components of the innovation rather than on a checklist of practices. Defined as “an essential and indispensable element of an intervention,”31(p3) these core components provide an overarching organizer. The components are specific to the innovation yet robust enough to embrace different practices; in other words, they can be applied to a range of program contexts. Such core components are identified by making explicit the underlying perspective framing the change and identifying the key components that align with the viewpoint.

Cousins et al은 유효성 및 사용을 강화하기 위해 공동작업 방식으로 개발이 진행되었다고 기술한다.19 따라서 이것은 CCF(CBME Core Components Framework)를 개발할 때 취해진 접근방식이었다. 보다 구체적으로, 우리는 프레임워크를 개발하고 CBME CCF에 대한 국제 의료 교육 전문가 그룹 간의 합의를 달성하기 위해 2단계 방법을 사용했다.

Cousins et al describe the development as taking place in a collaborative fashion in order to strengthen validity and use.19 Accordingly, this was the approach taken in developing the CBME Core Components Framework (CCF). More specifically, we used a two- step method to develop a framework and then to achieve consensus among an international group of medical education experts on a CBME CCF.

1단계: 초안 CCF 개발

Step 1: Developing a draft CCF

따라서, CBME CCF는 세 개의 연속적인 레이어를 사용하여 설계되었다.32

• 토대 레이어는 각 핵심 구성요소를 CBME.33에 대한 이론, 모델 또는 모범 사례에 연결한다. 

• 원칙 레이어는 "부유한 고차원의 자문"34(p195)를 제공하여 구현을 가이드할 수 있으며, 

• 실행 레이어는 실행의 세부사항을 포착한다

Accordingly, the CBME CCF was designed using three successive layers.32 

• The foundational layer links each core component to theories, models, or best practices informing CBME.33 

• A principles layer offers “a form of rich high-level counsel”34(p195) that can be used to guide implementation, and 

• a practice layer capture the details of implementation.

2단계: 합의점 결정

Step 2: Determining consensus

우리는 CBME CCF.35,36 두 개의 층을 검증하기 위해 델파이 접근방식을 채택했다. 델파이 접근방식은 의견의 일치 기법으로 익명으로 표현될 수 있기 때문에, 따라서 대면 회의를 통해 발생할 수 있는 영향을 제거하기 때문에 선택되었다.37 우리는 프레임워크의 두 계층, 핵심 요소 및 원칙에 초점을 맞추었다. 설명, 왜냐하면 델파이 접근방식은 주제에 대한 심층 탐사와는 달리 상위 수준의 개념으로 가장 잘 작동하기 때문이다.38

We adopted a Delphi approach to validate two layers of the CBME CCF.35,36 The Delphi approach was selected because, as a consensus technique, it allows for views to be expressed anonymously, thereby eliminating the influence that can occur through face-to-face meetings.37 We focused on two layers of the framework, the core components and principle statements, because the Delphi approach works best with higher-level concepts as opposed to an in-depth exploration of the topic.38

델파이 연구에서 합의점을 정의하는 표준 방법이 없기 때문에, 결정 지점의 선택에 대해 명시하는 것이 중요하다.42 우리의 경우, 연구팀은 응답자의 70% 이상이 합의를 나타내기 위한 합리적인 사전 정의된 표준이라는 데 동의했다.  70% 수준에 도달했는지를 판단하기 위해 "동의"와 "수정후 동의"이라는 응답이 함께 추가되었다.

Because there is no standard method for defining consensus in a Delphi study, it is important to be explicit about the choice of decision point.42 In our case, the research team agreed that ≥ 70% of the respondents was a reasonable predefined standard for indicating consensus. The responses “agree” and “agree with rewording” were added together to determine whether we had reached the ≥ 70% level.

결과

Results

CCF 초안 개발

Developing a draft CCF

CBME를 통해 의도된 커리큘럼 변화에 대한 명확한 이해를 위해 노력하면서, 우리는 생산과 개혁이라는 두 가지 다른 관점을 발견했다. (표 1).43,44 

• 생산 관점은 "공장 같은 의대, 사용자의 요구와 요구에 맞춘 매우 바람직한 제품을 생산할 수 있다."43(pS41) 

• 개혁 관점은 "유연한 개별 맞춤 프로그램으로 다양한 역량 달성율에 적응할 수 있다."43(pS4)

As we worked to make explicit our understanding of the intended curricular change through CBME, we found two different perspectives used to frame the change to an outcomes-based approach in medical education: production and reform (Table 1).43,44 

• The production viewpoint draws from the manufacturing industry, where “medical schools, like factories, can produce highly desirable products adapted to user needs and desires.”43(pS41) 

• Alternatively, the reform position focuses on “flexible, individually tailored programs that can adapt to variable rates of competence attainment.”43(pS4)

CBME에 대한 두 가지 다른 관점은 어떤 커리큘럼 요소를 강조하는지에도 영향을 준다. 예를 들어, 

• 생산 관점에서, 문제 학습자를 식별하기 위한 목적으로 주로 평가에 중점을 둔다. 그러나 

• 개혁 관점에서 모든 학습자가 필요한 역량을 개발할 기회를 가질 수 있도록 정렬된 모든 커리큘럼 요소에 대해 동등한 중요성을 부여한다.

These different perspectives of CBME can lead to emphasizing the importance of different curricular elements. 

• For example, in the production perspective, emphasis is placed primarily on assessment for the purposes of identifying problem learners. 

• In the reform scenario, however, equal importance is placed on all curricular elements, aligned in such a way so that all learners have the opportunity to develop the required competencies.44,45

CBME CCF를 만드는 과정을 이끌 하는 관점을 결정함에 있어서, 우리는 CBME의 채택이 종종 변화로 설명된다는 점에 주목했다.1,46,47 즉 (학습자) 행동의 상당한 변화를 필요로 한다.48 결과적으로, 우리는 프레임워크를 개발할 때 개혁 관점을 채택했다.

In deciding which perspective should guide the creation of the CBME CCF, we noted that the adoption of CBME is often described as a transformative change,1,46,47 requiring a significant shift in behaviors.48 Consequently, we adopted a reform characterization in developing the framework.

구체적인 핵심요소를 파악하고, 개혁적 관점에 맞추는 과정에서, 균형 잡힌 생태계에서 서로 지탱하고 존재하는 모든 커리큘럼 요소의 중요성을 강조하는 "건설적 정렬"의 교육적 개념에서 도출했다.44 좀 더 구체적으로, 결과 기반 커리큘럼에서 건설적 정렬을 위해서는 교수, 학습, 평가 관행이 학습 성과를 지향해야 한다.

To identify specific core components, and in keeping with the reform perspective, we drew from the educational concept of “constructive alignment,” which emphasizes the importance of all curricular elements supporting each other and existing in a balanced ecosystem.44 More specifically, in an outcomes-based curriculum, constructive alignment requires teaching, learning, and assessment practices to be oriented toward learning outcomes.44,45

그런 다음 우리는 CBME를 알리는 대표적 문헌을 통해 이러한 커리큘럼 요소를 탐구했다. CBME를 결과 기반 커리큘럼으로 기술함으로써 생태계 조성이 지원되었다. "역량은 교육 프로그램의 목표를 나타내며 커리큘럼은 역량을 획득하는 메커니즘을 제공한다."10(p51) 따라서, 명시적 성과 역량의 표현은 교육, 학습 및 평가 개발을 이끄는 중심 핵심 요소로 식별되었다. 또한, CBME 커리큘럼의 교수, 학습, 평가에 관한 문헌은 CBME 커리큘럼의 포함을 강화하는 뚜렷한 이론적 토대를 별도의 핵심 요소로 기술하였다.

We then explored these curricular elements in light of our search for seminal literature informing CBME. Creating an ecosystem was supported by the description of CBME as an outcomes-based curriculum where “competence represents the goal of an educational programme, and a curriculum provides the mechanism through which competence is to be acquired.”10(p51) Accordingly, the articulation of explicit outcome competencies was identified as a central core component guiding the development of teaching, learning, and assessment. Furthermore, the literature on teaching, learning, and assessment in a CBME curriculum described distinct theoretical foundations reinforcing their inclusion as separate core components.

그러나 우리는 CBME의 기본 개념인 숙달 학습이 아직 프레임워크 개발단계에서 표현되지 않았다는 점에 주목했다. 이는 개별 학습자의 진행에 있어 상당한 유연성을 허용하면서도, "프로그램을 통한 순차적 경로"로서 역량을 정비할 필요성을 의미했다. 완전 학습은 어떻게 CBME가 작동해야 하는가에 대한 토대 개념 프레임워크였다.

We noted, however, that mastery learning, a concept fundamental to CBME, was not yet represented in the evolving framework. Described as the need to arrange competencies as a “sequential path through the programme” while still allowing for considerable flexibility in individual learner progression, mastery learning is a fundamental conceptual framework illuminating how CBME is supposed to work.33,49

따라서 개혁적 관점에서 CBME를 개념화함으로써 다음과 같은 5가지 핵심요소를 식별하게 되었다.

Accordingly, Conceptualizing CBME from a reform perspective therefore resulted in identification of the following five core components:

• 성과 역량

• 순차적 진행 

• 맞춤 학습 경험 

• 역량 초점 교육 

• 평가 프로그램

• Outcome competencies 

• Sequenced progression 

• Tailored learning experiences 

• Competency-focused instruction 

• Programmatic assessment

생태계 내에서 발생하는 건설적 정렬의 특성화에 대응하여, 우리는 결과적 역량과 순차적 진행을 학습, 교육 및 평가 관행의 개발을 이끄는 중심 핵심 요소로서 상상하였다(그림 1).

Responding to the characterization of constructive alignment as occurring within an ecosystem, we envisioned the outcome competencies and sequenced progression as central core components guiding the development of learning, teaching, and assessment practices (Figure 1).

또한, 이 생태계는 프로그램의 크기, 학습 경험을 포함한 자원의 가용성, 학습 환경의 퀄리티과 같은 국지적 맥락의 고유한 특징에 의해 매개moderate된다.

In turn, this ecosystem is moderated by features unique to the local context such as the size of the program, availability of resources including learning experiences, and qualities of the learning environment.

그런 다음 이 다섯 가지 핵심 구성요소를 사용하여 전체 프레임워크를 구성하고 채웠으며, 각 계층은 다음 계층을 알려 CBME 프로그램에 맞게 특별히 맞춤화된 핵심 구성요소 프레임워크를 허용했다(그림 2). 우리는 또한 links.lww.com/ACADMED/A670).에서 이용할 수 있는 각 핵심 구성 요소(보조 디지털 부록 1)를 알리는 데 중요한 작업에서 나온 신학 기사 목록을 만들었다.

These five core components were then used to organize and populate the full framework, with each layer informing the next, allowing for a core components framework specifically customized for a CBME program (Figure 2). We also created a list of seminal articles emerging from our work critical to informing each of the core components (Supplemental Digital Appendix 1, available at http:// links.lww.com/ACADMED/A670).

5가지 핵심 구성 요소에 대한 의견 수렴

Reaching consensus on the five core components

국제 CBME 협력단 59명 중 25명이 참여하기로 합의했다. 패널 크기는 참가자가 10명에서 30명 사이여야 한다고 제안되었기 때문에 이상적인 크기가 10,37명 이상인 50명은 이 패널 크기가 적절하다고 간주되었다.

Of the 59 members of the international CBME collaborators group, 25 agreed to participate. Because it is suggested that a panel size should range from 10 to 30 participants,50 with an ideal size being no less than 10,37 this panel size was considered to be adequate.

1라운드 동안 핵심 요소 5개 모두에 대해 70% 이상의 합의에 도달했다(그림 3).

During Round 1, over 70% agreement was reached for all five of the core components (Figure 3).

원칙적 진술은 2라운드의 구체적인 초점이었다. 다시 한 번, 합의는 모든 원칙 진술에 대해 70%의 사전 정의된 합의 수준에 도달했다(그림 3).

The principle statements were the specific focus of Round 2. Once again, agreement reached the predefined consensus level of 70% for all of the principle statements (Figure 3).

고찰

Discussion

우리는 CBME의 채택에 포괄적인 커리큘럼 개혁이 필요하다는 우리의 견해를 분명히 함으로써 CBME 프로그램 구현의 평가를 안내하기 위한 공통 프레임워크의 개발을 시작했다(표 1).

We began development of a common framework to guide evaluation of CBME program implementation by making explicit our perspective that the adoption of CBME requires comprehensive curricular reform (Table 1).

실천의 체크리스트가 아니라, 핵심 구성요소에 초점을 맞춘다면, 이 프레임워크가 모든 맥락에 동일하게 적용될 수 있을 것이다.

The focus on core components, rather than a checklist of practices, ensures that the framework can be applied equally across all contexts.

맥락의 영향을 수용하는 것은 역동적 조건 하에서는 "one size does not fit all"이라고 인식되는 [프로그램 평가의 최근 양상]과 일치한다. 따라서 [엄격한 규칙에 대한 의존]은 [가이딩 원칙guiding principle]으로 대체되고 있다.51 따라서 FOI는 프로그램이 특정 관행보다는 핵심 개념에 대한 integrity를 예시하는 정도에 초점을 맞춘다. 이러한 방식으로 핵심 요소의 사용은 충실도가 유지되는 동안 국지적 혁신의 촉진을 가능하게 한다.

Embracing the influence of context is consistent with recent developments in program evaluation where it is recognized that under dynamic conditions, “one size does not fit all,” and so the reliance on rigid rules is being replaced by guiding principles.51 FOI accordingly focuses on the extent to which the program exemplifies integrity to key concepts rather than specific practices.18 In this fashion, the use of core components allows for the promotion of local innovation while fidelity is maintained.

국지적 혁신의 가능성은 시간이 지남에 따라 다양한 형태의 CBME가 나타날 수 있음을 시사한다.

The possibility for local innovation suggests that various configurations of CBME may emerge over time.

또한, CBME는 여러 활동과 결과로 구성된 복잡한 서비스 개입이다. 따라서 구현이 진행될 때 활동과 성과 사이의 관계를 심층적으로 이해하는 것이 중요하다. 다섯 가지 핵심 구성 요소는 구현 평가에 대한 보다 체계적이고 조직적인 접근 방식을 지원할 수 있다. 이는 모든 (프로그램) 평가에서 중요시되는 '예상치 못한 결과를 식별할 수도 있는 접근방식'을 말한다.

As well, CBME is a complex service intervention consisting of multiple activities and outcomes. Therefore, creating an in-depth understanding of the relationship between activities and outcomes as implementation unfolds is critical.27 The five core components can support a more systematic and organized approach toward implementation evaluation—an approach that also allows for the identification of unanticipated outcomes, which is an important aspect of any evaluation effort.

연구 한계

Limitations of the study

그러나 우리는 의료 교육 혁신으로서 CBME가 아직 시행 초기 단계에 있다는 것을 완전히 인식하고 있다. 구현 경험을 쌓으면서 다른 관점들이 계속해서 나타날 가능성이 매우 높다.

We fully recognize, however, that as a medical education innovation, CBME is still in the early stages of implementation. It is very possible that other perspectives will continue to emerge as we gain more experience with implementation,

또한 CCF는 주로 CBME의 설계 요소에 초점을 맞추고 있다. 그러나 최근에는, [교육 모델을 뒷받침하는 학습 조건]도 충실도에 영향을 미치는 데 중요하다고 제안되었다.47 CBME를 구현할 때 서로 다른 두 가지 방향을 식별함으로써 서로 다른 학습 조건이 존재할 수 있다. 문제 접근법과 개발 접근법.25 실제로, 결핍에 초점을 맞춘 환경에서 배우는 경험은 성장 사고방식에 의해 움직이는 것과 매우 다르다는 것을 시사하는 증거가 있다.55

As well, the CCF is primarily focused on the design elements of CBME. It has been recently proposed, however, that the learning conditions underpinning the educational model are also important in influencing fidelity.47 That different learning conditions may exist is supported by our identification of two different orientations when implementing CBME: a problem approach and a developmental approach.25 Indeed, there is evidence to suggest that the experience of learning in an environment that focuses on deficiencies is very different from that driven by a growth mindset.55

결론

In conclusion

PBL과 유사하게, CBME의 광범위한 채택에 많은 어려움이 있다는 것이 제안되었다. 그럼에도 불구하고, CBME는 빠르게 실용화되고 있는 혁신이다. CBME 프로그램의 초기 평가는 구현에 대한 보다 정교한 이해의 필요성을 지적한다. PBL에 대한 우리의 경험을 통해 배운 이 글은 이 권고안을 진전시키기 위한 표준화된 접근법을 제공한다. CBME CCF는, 모든 학습자의 성장과 발전을 촉진하기 위해 설계된 [변혁적 혁신으로서의 CBME]에 초점을 두고 있으며, 프로그램 구현 평가의 명확성과 일관성을 촉진한다.

Similar to PBL, it has been suggested that there are many challenges to the widespread uptake of CBME.59 Nonetheless, CBME is an innovation that is rapidly being adopted into practice. Initial evaluation of CBME programs points to the need for a more sophisticated understanding of implementation. Learning from our experience with PBL, this article provides a standardized approach to moving this recommendation forward. With a focus on CBME as a transformative innovation, designed to promote the growth and development of all learners, the CBME CCF promotes clarity and consistency in evaluating program implementation.

이러한 연구가 이론에 기초해야 한다는 필요성 또한 PBL에 대한 우리의 경험에서 비롯된 권고사항이다. 이 교훈은 프로그램 평가 분야에서 더 많은 이론 중심적인 노력에 대한 요구와 유사하다.62

The need for these studies to be theory based is also a recommendation stemming from our experience with PBL.60,61 This lesson learned parallels the call for more theory-driven efforts in the field of program evaluation.62

10 McGaghie WC, Miller GE, Sajid AW, Tedler TV. Competency-Based Curriculum Development in Medical Education: An Introduction. Geneva, Switzerland: World Health Organization; 1978.

16 Frank JR, Mungroo R, Ahmad Y, Wang M, De Rossi S, Horsley T. Toward a definition of competency-based education in medicine: A Canada. systematic review of published definitions. Med Teach. 2010;32:631–637.

32 Varpio L, Bell R, Hollingworth G, et al. Is transferring an educational innovation actually a process of transformation? Adv Health Sci Educ Theory Pract. 2012;17: 357–367.

61 Norman GR, Schmidt HG. Revisiting “Effectiveness of problem-based learning curricula: Theory, practice and paper darts.” Med Educ. 2016;50:793–797.

Acad Med. 2019 Jul;94(7):1002-1009. doi: 10.1097/ACM.0000000000002743.

A Core Components Framework for Evaluating Implementation of Competency-Based Medical Education Programs.

세대적 타자화: 밀레니얼 학습자에 대한 오해(Med Educ, 2019)

Generational ‘othering’: the myth of the Millennial learner

Joshua Jauregui,1 Bjorn Watsjold,1 Laura Welsh,2 Jonathan S Ilgen1 & Lynne Robins3

도입

INTRODUCTION

건강 직업 교육(HPE) 문헌에는 교육자가 수 세대에 걸친 학습자의 요구에 어떻게 실천을 적용해야 하는지에 대한 권고사항이 풍부하다. HPE 내에서 이러한 '세대'를 다룬 문헌의 확산은 비교적 최근에 일어났으며, X,1세대를 언급하였고, 더 최근에는 'Net Generation',2세대 'Generation Me',3,4세대 및 'Millenials'을 다루고 있다.1.5 특정 세대 코호트에 대한 교육적 권고사항을 제공하는 것은 [개인의 가치, 동기 및 행동이 그 개인의 생년월일을 기준으로 추정될 수 있다는 생각을 중심으로 한 일련의 믿음]인 세대 이론을 적용하는 것을 의미한다.

The health professions education (HPE) literature abounds with recommendations for how educators should adapt practices to the needs of generations of learners. This proliferation of generational literature within HPE has occurred relatively recently, with early references to Generation X,1 and, more recently, the ‘Net Generation’,2 ‘Generation Me’,3,4 and ‘Millennials’.1,5 Providing instructional recommendations for particular generational cohorts implies the application of generation theory, a set of beliefs centred around the idea that an individual’s values, motivations and behaviours can be surmised based upon that individual’s date of birth.

세대 이론이 만약 사실이라면, 이 이론은 학습자 중심의 교육에 대해서, 나이가 유사한 집단에 대해 도움이 될 만한 일반화를 제공한다. 따라서, 교수자와 서로 세대가 다른 학습자에게 주의를 기울여야 하는 권고안은 일반적으로 그들의 세대적 속성을 추정하고, 문제화한다. 예를 들면, 밀레니얼의 특성화(권한, 나르시시즘적, 기술에 끌리는)와 같은 것이다. 이렇게 문제화된 특성에 대해서 다른 세대의 구성원들이 특정 출생 코호트의 학습자들을 이해하고 효과적으로 도달할 수 있는 방법에 대한 지침을 제공한다.

If true, this theory provides generalisations about groups of individuals who are similarly aged in ways that might inform learner-centred instruction.1,3,4,6,7 Accordingly, recommendations to attend to different generations of learners generally problematise their supposed generational attributes – such as in the characterisation of Millennials as entitled, narcissistic and drawn to technology1,3,4,8 – and then provide guidance for how members of another generation can understand and effectively reach learners of a particular birth cohort.

세대이론의 기원

Origins of generation theory

세대의 개념은 가장 오래된 문헌에도 나온다: 그것은 부모에서 자녀로 지식의 소통을 포착하는 맥락에서 Ptahhotep(c. 2400 BCE)의 글에 나타나며, 사회의 원로들 사이에서 지혜가 성취되는 것이다.9 근대적 세대사상generational thinking은 18세기 후반과 19세기에 산업화와 민주화가 가족, 사회 계층 및 지리적 위치와의 전통적 유대관계를 약화시킴에 따라 일어난 사회변화의 유형에 대한 설명모델로 등장하였다.7,10 

The notion of generations can be traced to one of the oldest written texts: it appears in the writings of Ptahhotep (c. 2400 BCE) in the context of capturing the communication of knowledge from parent to child, and the achieving of wisdom amongst the elder members of a society.9 Modern generational thinking emerged in the late 18th and 19th centuries as an explanatory model for the types of social changes that took place as industrialisation and democratisation diminished traditional ties to family, social class and geographic location.7,10 

1928년 칼 만하임은 '세대의 문제'를 썼는데, 이 에세이는 '세대 이론'이라고 총칭할 수 있는 것에 대한 기초적 에세이로 남아 있다. 이 작품은 사회적, 문화적, 역사적 세대에 대한 현대적 사상을 공유한 경험이 그들의 세계관을 형성하고 그 행동들이 차례로 사회적 변화와 진보를 이끌어낸 비슷한 연령대의 개인들의 집단으로 검토했다.

In 1928, Karl Mannheim wrote ‘The Problem of Generations’, which remains a foundational essay for what can be collectively referred to as generation theory.11 This work examined contemporary ideas of social, cultural or historical generations as groups of similarly aged individuals whose shared experiences shaped their world views and whose actions, in turn, drove social change and progress.7,11 

현대 세대 이론의 많은 적용은 미국 역사에 근거하여 느슨하게 세대 스키마를 개발한 대중 사회학자 닐 하우와 윌리엄 스트라우스 덕분이다. 그들이 쉽게 알아볼 수 있는 세대 라벨의 틀에는 'GI 세대', '침묵 세대', '베이비 부머', 그리고 더 최근에는 '밀레니얼'이 포함된다. 다른 사람들에 의해 'X세대'와 'Cuspars'와 같은 추가적인 세대 라벨이 적용되었다.

Much of the modern application of generation theory can be attributed to Neil Howe and William Strauss, pop sociologists who developed a generational schema based loosely upon US history.7,12 Their easily recognisable framework of generational labels includes the ‘GI Generation’, the ‘Silent Generation’, ‘Baby Boomers’ and, more recently, ‘Millennials’.13,14 Additional generational labels, such as ‘Generation X’15 and ‘Cuspars’,5 have been applied by others.

세대이론은 '공유된 경험을 바탕으로 한 집단적 정체성을 강조함으로써 '전기와 역사의 격차를 메워라'는 찰스 라이트 밀스의 요구에 부응한다.16 한 세대 내의 멤버쉽은 더 넓은 사회문화적 틀에 사적인 경험, 인생 사건 및 기억을 앉힐 수 있는 수단을 제공하며, HPE의 학습자와 교육자 사이에 존재하는 나이 집단 간의 차이를 이해하는 틀을 제공하기 때문에 매력적이다.

Generation theory, for those with whom a generational identity resonates, answers Charles Wright Mills’ call to ‘fill[ing] the gap between biography and history’ by emphasising a collective identity based on shared experiences.16 Membership within a generation provides a means to situate private experiences, life events and memories in a wider sociocultural frame and is appealing because it offers a framework for understanding differences between age groups, such as those that exist between learners and educators in HPE.

방법

METHODS

이 검색은 반드시 비체계적이고 포괄적이지 않다. 그 대신, 그 목적은 세대간 코호트 간에 왜 알려진 차이가 존재할 수 있는지에 대한 새로운 사고방식을 자극하고, 우리의 교육과 연구 관행을 알리기 위해 세대 이론을 사용하는 잠재적인 결과를 이해하기 위한 수단으로 보건 직업 외부의 문맹으로부터 이끌어내기 위한 것이다.

this search is necessarily non-systematic and non-comprehensive. Instead, the intent is to stimulate new ways of thinking about why purported differences between generational cohorts might exist, and to draw from literatures outside the health professions as a means to understand the potential consequences of using generation theory to inform our instruction and research practices.

결과

RESULTS

건강 직업 문학에서 세대 이론이 어떻게 사용되어 왔는가.

How generation theory has been used within the health professions literature

세대차이에 대한 언급은 20세기 후반부터 HPE 문학에서 확산되기 시작했으며, 초기 연구에서는 X세대의 학습자들을 가르치는 방법에 대해 논의했고, 밀레니얼 학습자들을 다루는 더 최근의 연구가 이뤄졌다.6 우리가 찾은 연구의 대부분은 밀레니얼 학습자들을 다루고 있다. 

References to generational differences began to proliferate in the HPE literature in the late 20th century, with earlier work discussing how to teach learners from Generation X20 and more recent scholarship addressing Millennial learners.6 the vast majority of articles we found addressed Millennial learners,

'밀레니얼을 가르치는 방법'에 관한 HPE 문헌의 대부분은 일반적으로 밀레니얼 학습자의 특색을 나타내고 있다. 이들은 entitled하며, 빈번한 피드백과 칭찬이 필요하며, 테크놀로지-강화 학습에 적합하며, 멀티테스킹 학습에 적합한 짧은 집중도를 가지고 있는 것으로 묘사한다.14 밀레니얼 학습자의 믿음과 동기를 다루기 위해, 이들 연구에서는 강의시간을 줄이고,21 더 많은 온라인 학습 플랫폼을 통합하고,22 실습 학습 및 시뮬레이션 참여와 같은 핸즈온 교육 접근법 사용을 권고한다..1 교육자들은 또한 멘토링과 피드백을 할 때, 위계에 대한 이 세대의 반감을 고려하고, 더 비공식적인 업무 관계를 포용할 것을 권장한다.4,23 밀레니얼을 겨냥한 교수 채용 및 보유 전략도 이러한 개인들이 더 focused하고 기관의 목표보다 일과 삶의 균형을 추구한다는 개념과 일치시킬 것이 권장된다.

Much of the HPE literature concerning ‘how to teach Millennials’ generally characterise Millennial learners as entitled, in need of frequent feedback and praise, drawn towards technology-enhanced learning, and as having short attention spans suited to multi- tasking.1,4 To address the beliefs and motivations of Millennial learners, these articles suggest instructional approaches, such as shortening lectures,21 incorporating more online learning platforms,22 and engaging in more hands-on learning and simulations.1 Educators are also encouraged to tailor their mentoring and feedback so that they fit with this generation’s antipathy towards hierarchy and its embrace of more informal working relationships.4,23 Faculty recruitment and retention strategies targeting Millennials are recommended to align with the notion that these individuals are more focused on their work–life balance than on the goals of their institution.24

밀레니얼 학습자의 알려진 속성을 비판적으로 조사하는 문헌은 매우 적었다.31 예를 들어, 몇몇 그룹들은 밀레니얼 학습자가 선천적으로 기술에 능숙한 '디지털 원주민'이라는 개념에 이의를 제기했다.32 

We found a smaller body of HPE literature that critically examines the purported attributes of Millennial learners in the health professions.31 For example, several groups have disputed the notion that Millennial learners are ‘digital natives’ who are naturally facile with technology.32 

이 저자들은 대신 다음과 같이 제안한다. 기술에 대한 조기 노출과 편안함은 사회-경제적 지위와 같은 요인을 반영할 가능성이 높고, 기술에 대한 지속적인 강조가 오히려 점점 더 advantaged 학습자와 less advantaged 학습자 사이의 격차를 더 벌릴 수 있다고 경고한다. 다른 이들은 이 젊은 세대의 강점으로 추정되는 멀티태스킹이 실제로 시험 점수를 낮춘다고 강조하였다. 이 적은 문헌들은 일반적으로 맥락이 중요하다고 강조하며, 학습자의 행동은 개인의 인구 통계학으로 미리 결정되는 것보다 환경에 의해 더 많이 결정된다고 경고한다.

These authors suggest instead that early exposure to and comfort with technology are likely to reflect factors such as socio-economic status, and warn that continued emphasis on technology may widen the divide between more and less advantaged learners.33 Others have highlighted that multi-tasking, a supposed strength of this younger generation, actually lowers its test scores.33 This smaller body of literature generally cautions that context matters, and that learner behaviour is determined more by the environment than it is predetermined by the demographic of individuals.32,33

건강전문 문헌을 벗어난 세대이론의 비판

Critiques of generation theory outside the health professions literature

세대이론은 사회학문헌 7,10,16,17,34,35에서 널리 비판되어 왔으며, 이러한 비판들은 교육에 세대차이 구인을 적용하는 것에 대해 우려를 제기한다.

Generation theory has been widely criticised in the sociology literature7,10,16,17,34,35 and these critiques raise important concerns about the application of the generational differences construct in education.

세대적 고정관념을 만드는 것은 제한적이고 일반적이지 않은 데이터에 바탕을 두고 있다. 데이터와 무관하게, 전체 세대에 맞는 독특한 고정관념의 구축은 [많은 사람들 속에 내재된 내부 차이와 다양성을 무시]하며, 세대적 고정관념은 실제 차이나 행동가능한 차이보다 협소하고 특권적인 관점만을 반영할 수 있다.

the creation of generational stereotypes is based on limited, non-generalisable data; regardless of the data, the construction of a singular stereotype to fit an entire generation ignores the internal differences and diversity inherent in a large group of people, and the creation of generational stereotypes may reflect narrow or privileged perspectives more than real or actionable differences.

비즈니스 언론 34,36과 교육문학 17에서 최근 세대이론에 대한 검토가 있었지만, 1960년대와 1970년대 사회문학에 대한 광범위한 논쟁 끝에, 10,35,37–39 세대이론은 이후 2000년대까지 학술 연구에서 사라졌다. 현재 세대론의 부활은 '사회과학'이라기 보다는 '대중문화'로 보인다.34

There have been recent reviews of generation theory in the business press34,36 and education literature,17 but after extensive debate in the sociology literature in the 1960s and 1970s,10,35,37–39 generation theory disappeared from academic study until the 2000s. The current resurgence of generation theory appears to be ‘more popular culture than social science’.34

Strauss와 Howe가 밀레니얼에 대한 고정관념을 만들기 위해 사용하는 데이터 세트는 결과의 한계가 있다. 조사가 익명이 아니라 교사에 의해 관리되었기 때문에 잠재적으로 편향되어 있으며, 분석에는 응답의 45%를 차지하는 모든 '확실/모른' 답변이 포함되었다.17,40 리뷰어들은 또한 Strauss와 Howe의 주장이 종종 그들 자신의 데이터, 더 큰 데이터 세트의 주장 또는 다른 연구자들의 주장과 일치하지 않는다고 언급했다.3,17,40

The dataset used by Strauss and Howe to create the stereotype of Millennials are subject to the limitations of survey results and are potentially biased as the surveys were administered by teachers and not necessarily anonymous, and the analysis included the removal of all ‘not sure/don’t know’ answers, which comprised 45% of the responses.17,40 Reviewers have also noted that Strauss and Howe’s assertions often do not match their own data, those of larger datasets, or those of other researchers.3,17,40

세대 이론의 시작부터, 만하임은 각 연령 코호트에는 다수의 세대적 단위unit가 포함될 수 있다는 것을 인정했다. 그 단위들 자체로는 전체를 대표하지 못하며, 어떤 단위에 대해서는 일부 사람들만 접근권한이 있었을지도 모른다. 이러한 구분(세대를 시대정신이자, 결정론적이자, 메타피지컬 함의로 보는 것과 세대를 출생년도에 의해 정의되는 연령 코호트, 계보적 후예, 역사적으로 비슷한 삶의 단계와 경험을 공유하는 집단으로 보는 구분)이 세대이론을 사회학 연구로부터 분리시켰다.

Fromthe outset of generation theory, Mannheim conceded that each age cohort might contain several generational units, which themselves may not be representative of the whole, and membership of which may have been accessible to only a segment of society.11,16 This distinction, between 

• generation as ‘zeitgeist’, with deterministic, ‘metaphysical’ connotations, and 

• generation as ‘age cohort’, defined by birth year, genealogical descent, life stage or a shared experience of history, 

has separated generation theory fromsociological research.10,35,37

집단 간의 경계를 긋기 위한 시도를 하였으나, 인구통계학자 및 사회학자들은 [성별, 인종, 사회-경제적 지위 및 지리적 이유로 집단 내 차이가 집단 간 차이보다 더 큰 경우]가 많다는 점에 주목했다.

In attempting to draw boundaries between groups, demographers and sociologists have noted that within-group differences are often larger than between-group differences because of gender, race, socio-economic status and geography,

세대 간 구별을 뚜렷하게 만들기 위해서, 이러한 집단 내 차이를 뭉뚱그리는 것은 ageism의 초기 고찰에 있었고, 후에 다시 설명할 본질주의essentialism의 한 예이다.

Collapsing these within-group differences in favour of demonstrating clearer divides between age group has been acknowledged during these early discussions as a formof ageism41 and is an example of essentialism, to which we will return.

지식인들은 만하임 시대의 세대 집단의 중심에 자신들을 두었지만, 1960년대 이후, 세대는 주로 외부 당사자들에 의해 분류되어 왔다.10,11,16 

Intellectuals placed themselves at the centre of generational groups in Mannheim’s era, but since the 1960s, generations have largely been classified by outside parties.10,11,16 

로버트 월은 이 사실을 확인했다. '세대적 현상'은 그 자체가 역사의 특정 순간에 특정 사회의 특정 종류의 사회 집단의 반영일지도 모른다' 또한 한 세대를 정의하는 데 있어서, 세대를 정의하는 집단은 실재주의자substantialist의 오류를 범할 수 있다. 이는 '지식인들로 하여금 종종 자신의 미시적 특성을 전 세계로 확장하는 논리'를 말한다. 푸로넨은 부르디유의 사회 분류 이론을 세대 이론에 적용하여 한 집단이 다른 집단을 정의할 수 있을 때 생성된 권력의 차등, 그리고 우리가 다른 집단의 개념과 관련되는 그 정의에 편견을 가질 수 있는 동기를 식별하였다.16

Robert Wohl identified that ‘the generational phenomenon ... might itself be the reflection of a certain kind of social group in a certain kind of society at a certain moment in history’,10 and in defining a generation, the defining group may commit the substantialist fallacy, ‘the logic which often makes intellectuals extend to the whole world the characteristics of their own microcosm’.16 Purhonen applied Bourdieu’s theories of social classification to generation theory to identify the power differential created when one group is allowed to define another group, and the motivations that may bias that definition, which we relate to the concept of othering.16

고찰

DISCUSSION

우리는 세대간 차이점이 진정한 교육적 현상이라는 개념을 뒷받침할 만한 증거를 거의 찾지 못했다. 대신에 세대 집단을 특징짓는 행위, 즉 'entitled', ' 나르시시즘', '소시오패스', '기술지식', '팀워크 지향' 또는 '다양성 포용'으로 분류하는 행위들은, [라벨이 붙여진 집단]에 대한 것보다 이러한 [라벨을 적용할 힘을 가진 사람]들에 대해 더 많은 것을 말할 수 있다.

We found little evidence to support the notion of intergenerational differences as a true educational phenomenon. Instead, the act of characterising a generational group, whether as ‘entitled’, ‘narcissistic’, ‘sociopathic’, ‘tech savvy’, ‘teamwork-oriented’ or as ‘embracing diversity’, may say more about those who have the power to apply these labels than it does about the group that is being labelled. 

세대별 학습자, 그리고 더 최근에는 밀레니얼 학습자는 사회적으로 구성된 신화이다. 그리고 이 신화가 영속화되면서 권력의 차이와 고정관념은 둘 다 강화된다. 그 결과 개개인의 고유한 특성과 신념은 정당한 지위를 잃게 된다.

The generational learner, and more recently the Millennial learner, is a socially constructed myth, and it is the perpetuation of this myth that reinforces both power differentials and stereotypes, thereby delegitimising the unique attributes and beliefs of individuals.

따라서, 우리는 세대주의를 명확히 하기 위한 렌즈로서 본질주의와 타자화의 개념을 소개한다.

Thus, we introduce the concepts of essentialism and othering as a lens through which to clarify generationalism

우리는 HPE 문헌에서 이미 문화적 역량에서 문화적 겸손으로의 변화를 관찰했다. 세대주의도 마찬가지라면, 세대적 겸손이라는 새로운 개념의 채택을 주장한다. 우리는 [학습자의 배경과 무관하게, 모든 학습자들을 위한 실천 수단]으로 비판적 의식을 발전시키기 위하여 문화적 겸손의 권고를 반복한다.

We have observed the shift from cultural competency to cultural humility already in the HPE literature,42–44 and we view generationalism as a parallel construct and argue for the adoption of a novel concept of generational humility. We reiterate the recommendations of cultural humility towards developing critical consciousness as a means to practice for all learners, regardless of background.

본질주의는 겉으로 드러나는apparent 차이점에 근거하여 집단을 분류할 수 있다는 개념이며, 차이를 확인identify할 수 있는 한, 그 차이는 규정된 집단의 특성이 된다. 의학에서 본질주의는 범주화의 확장에서 발생한다. 범주화는 적절한 범주화(질병의 특징)부터 부적절한 범주화(외무나 출신지에 따른 사람의 범주화)까지 다양하다. 인종적 고정관념과 유사하게, 일단 연령 코호트에 대한 일련의 가정이 확립되면, 그 가정이 그 집단에 대한 우리의 인식을 형성하며, '생물학적이든 아니든, 특정 집단과 연관되어 발견되는 온갖 특징들이 그 집단에게 자연스러운 것으로 간주된다.'

Essentialism is the concept that groups can be categorised based upon apparent differences and, to the extent that differences are identifiable, that those differences are characteristic of the defined groups.45,46 In medicine, essentialism arises from the extension of categorisation from areas in which it may be appropriate, such as in characterising disease,46 to areas in which it may be inappropriate, such as in creating different categories of persons based on appearance or geographic origin, as in the social construct of race.45,47 Similar to racial stereotypes, once a set of assumptions about an age cohort is established, it can shape our perceptions of that group and ‘all manner of traits found in association with a particular group, whether biologic or not, are considered to be natural to that group’.45,48

특정 연령 코호트를 가장 효과적으로 가르치는 방법에 대한 [본질주의적인 가정]은 학습자의 개인적 강점과 도전에 대한 교사들의 호기심을 제한할 수 있다. 예를 들어, 밀레니얼 학습자가 테크놀로지에 능숙하다는 흔한 고정관념은 잘못된 결론으로 이어질 수 있다. 예를 들어, 이러한 학습자들이 정교한 소셜 미디어 문해력을 가지고 있다는 결론일 수도 있고, 각종 테크놀로지에 대한 접근성이 낮았던 disadvantaged 배경을 가진 학생에 대해서 낙인을 찍는 결론일 수도 있다.

 Essentialist assumptions about how to most effectively teach specific age cohorts may limit teachers’ curiosity about their learners’ individual strengths and challenges. For example, the commonstereotype that Millennial learners are technically savvy can lead to erroneous conclusions, such as that these learners also possess nuanced social media literacy, or stigmatisations, such as of students from disadvantaged backgrounds who may have had less access to emerging technologies. 

[세대 이론의 개념적 프레임워크에 결함이 있다는 점]과 [학습자의 세대에 기초하여 교육방식을 수정하는 것에 대한 근거 부족]을 고려한다면, 교육 방법 및 평가는 교육주제와 학습의 맥락을 목표로 해야 한다. 즉, 연령에 따라 학습자를 구분하여 여기서부터 추정한 요구나 욕구를 기반으로 해서는 안 된다. 예를 들어, 학생들이 테크놀로지 관련한 것을 선호할 것이라는 인식에 근거해서 무성찰적으로 새로운 교육 테크놀로지를 채택하는 대신, 우리는 그 테크놀로지가 의도한 학습 목표와 이러한 목표들이 달성되어야 하는 맥락과 일치하는지 평가해야 한다.

Given the flaws in the conceptual framework of generation theory and the paucity of empirical evidence for the modifying of teaching practices based on a learner’s generational label, educational methods and assessments should target the subject matter being taught and the context of learning, not the presumed needs or desires of learners in an age-based cohort. For example, instead of unreflectively adopting new educational technologies based on the perceived technology-related preferences of our learners, we ought to assess their alignment with intended learning objectives and the contexts in which these are to be achieved.

타자화는 본질주의와 상호작용하는 프로세스이다. 원래 de Beauvoir에 의해 '지배적인 남성 기준에 따라 여성을 차별화하는' 과정을 설명하기 위해 만들어진 타자화라는 용어는, 이제는 '어떻게 개인 간 구별짓기가 사회적 배제와 종속성의 뚜렷한 형태를 만들어내는가'를 설명하기 위해 더 광범위하게 적용되었다.50 지배적인 에이전트agent 그룹은 다른 대상target 그룹의 표상을 형성한다. 이 때의 기준은 에이전트 그룹의 규범적 기준과의 차이로 인한 대상 그룹의 특징이다. 이를 통해서 [사회적 공간에서 서로 다른 위치]를 반영하고자 하며, 이를 통해서 [에이전트 그룹과 대상 그룹의 대표적 구성원들 사이에 존재하는 정치적, 권력적 차이]를 강화하고자 한다.

Othering is a process that interacts with essentialism. Originally formulated by de Beauvoir to describe the process of ‘differentiating women according to a dominant male standard’,50 othering is now more broadly applied to describe how ‘interpersonal differentiation generates a distinct form of social exclusion and subordination’.50 The dominant agent group creates a representation of the other target group characterised by the latter’s differences from the agent group’s normative standard, to reflect different positions in social space and to reinforce political and power differentials between representative members of the agent and target groups.16,51–53

교수자와 학습자처럼, 만약 두 개의 그룹이 이미 분리된 사회적 공간에 존재하는 경우, 연령을 바탕으로 한 분리는 사회적 분리와 중첩되어서, 더 손쉽게 개별 학생의 정체성을 원초적인archetypal 정체성으로 응축하고, 교육와의 상대적인 지위를 더 쉽게 감소시키는 결과를 낳는다.54 교육자들은 연습생에 대한 관찰과 이들과의 상호작용을 해석할 때 [무의식적으로 세대적 가정에 의해 편향]될 수 있다. 예를 들어, 학습자가 일정 변경을 요청하거나 특정 개인 경력 기회를 옹호하는 경우, 이 요구를 세대적 고정관념을 사용하여 해석한다면, 그 자체의 장점이나 가치로 고려되기 보다는 밀레니얼 학습자의 'entitled된' 요구로 여겨져서 거부될 수 있다.

If two groups already exist in separate social spaces (e.g. HPE educators and their learners), this social separation, which overlaps a separation between age groups, readily allows for the students’ individual identities to be condensed into archetypal identities and diminishes their standing relative to that of the educators.54 Educators may be unconsciously biased by generational assumptions when they interpret their observations and interactions with trainees. For example, if learners request schedule changes or advocate for specific individual career opportunities, and those requests are interpreted using generational stereotypes, they may be denied as the ‘entitled’ demands of a Millennial learner rather than considered for their own merit or value.

최근의 문화적 역량에 관한 문헌은 HPE 공동체가 문화적 겸손의 틀을 향해 나아갈 것을 권고했다.42,43 이 저자들은 우리는 사회의 모든 구성원들에게 최상의 퀄리티 케어를 제공하기 위해 권력, 특권, 불평등의 사회적 역학을 이해하려고 하는 비판적 의식을 개발해야 한다고 주장한다. 

Recent literature on cultural competence challenged the HPE community to move towards a framework of cultural humility.42,43 These authors argue that we must develop a critical consciousness that seeks to understand the social dynamics of power, privilege and inequities in order to provide the best quality care for all members of society.

최근의 문헌 검토는 HPE 전체적으로 비판적 의식을 함양하는 것의 중요성을 강조한다. 이를 통해 '헬스케어 문화의 구성원들은 억압을 조장하는 검증되지 않은 가정과 싸울 수 있도록'해야 한다는 것이다.55 이를 위해서는 초점의 전환이 필요하다. 초점은 ['비인간적 고정관념'으로 저하될 수 있는 인식된 문화적 속성에 대한 지식, 기술, 태도를 가르치는 것]으로부터, [왜 이런 차이가 존재하는지 그리고 그것이 어떻게 치료에 영향을 미치는지에 대해 의문을 품게 하는 것]으로 전환되어야 한다.

Arecent literature review substantiates the importance of fostering critical consciousness within HPEas a whole so that ‘members of a healthcare culture can contend with unexamined assumptions that foster oppression’.55 This requires a shift in focus fromthe teaching of knowledge, skills and attitudes regarding perceived cultural attributes, which candegrade into ‘dehumanising stereotypes’, towards questioning why these differences may exist and howthey influence care.42,43,55

세대별 코호트에 기초한 HPE 학습자들의 고정관념을 피하기 위해, 우리는 [비판적 인식과 겸손을 바탕으로 학습자들의 고유한 요구, 가치 및 동기를 탐구하는 접근방식]인 세대적 겸손을 채택할 것을 제안한다. 세대차이의 렌즈를 통해 교육적 권고를 하게 되면, 이러한 차이를 자연스럽고 불변의 것으로 강화할 뿐이다. 대신 세대적 겸손은 교육자들이 그들의 교육적 관계에 내재된 권력의 차이에 대해 성찰을 유지하게 하고, 우리 학습자들의 인지, 감정적, 행동적 '재인간화'를 보다 깊이 생각하도록 요구할 것이다.43

To avoid stereotyping HPE learners based upontheir generational cohorts, we propose the adoption of generational humility, an approach in which critical consciousness and humility are used to explore the unique needs, values and motivations of learners. Formulating educational recommendations through the lens of generational differences reinforces these differences as natural and immutable. Generational humility would instead require educators to remain reflexive about the power differential inherent in their instructional relationships and to more deliberately consider the cognitive, affective and behavioural ‘rehumanisation’ of our learners.43

결론

CONCLUSIONS

밀레니얼 학습자를 포함하여, 세대적 원형generational archetype은 연령 코호트 내의 다양성을 무시하고, 연령층 간의 힘의 차이를 강화하는 신화다. 우리는 문화적 인식이 문화적 겸손에서 더 나아가 세대적 겸손을 포함하도록 확장할 것을 권고한다. 이를 위해서 우리는 HPE 공동체가 새로운 학습자 세대 내에 포함된 개개인을 형성하는 복잡하고 역동적인 사회적, 문화적, 역사적 상호작용을 이해함으로써 모든 학습자들을 위한 최선의 실천을 끊임없이 추구해야 한다. 세대차이에 기초한 교육적 권고안은 (그 차이가 긍정적이고 매력적인 속성이든, 부정적이고 낙인찍는 속성이든) 복잡하고 역동적인 사회적, 문화적, 역사적 영향과 개인의 요구를 무시하기 때문이다.

Generational archetypes, including the Millennial learner, are myths that minimise the diversity within age cohorts and reinforce power differentials between age groups. We recommend extending the cultural consciousness argument for cultural humility to include generational humility, in which we as an HPE community continue to seek best practices for all our learners through understanding the complex and dynamic social, cultural and historical interactions that shape the individuals in each new generation of learners. Educational recommendations based on generational differences, whether these are positive exoticised attributes or negative stigmatising ones, ignore these influences and individual needs.

REFERENCES

Generational 'othering': The myth of the Millennial learner.

질적연구를 실천의 변화에 쓰기 (Clin Teach, 2019)

How to … use qualitative research to change practice

Anu Kajamaa1 , Anne de la Croix2,3 and Karen Mattick4

도입

INTRODUCTION 

의료 연구자, 교육자 또는 실무자로서, 우리는 (임상 및 교육 모두) 연구와 실제 사이의 간극에 좌절할 수 있다. 실천적 변화를 촉진하기 위해, 정성적 연구는 연구 참여자와의 파트너십에 따라 공동 설계 및 공동 제공될 수 있다. 이 경우 의료 종사자는 다음과 같다. 예를 들어 연구자의 임상실무 관찰을 통해 지역적 맥락에서 대화와 상호작용을 포함한 학습환경과 임상실무에 대한 연구자의 관찰을 통해 연구자와 의료실무 사이의 격차를 줄일 수 있다. 연구 질문은 실습 사이트의 연구 파트너와 협력하여 공식화할 수 있다.1 

As health care researchers, educators or practitioners, we may become frustrated by the gap between research and practice (both clinical and educational). To help facilitate practice change, qualitative research can be co-designed and co-delivered in partnership with research participants, in this case health care practitioners. The gap between research and health care practice can be reduced by the immersion of the researcher in the practice environment, for example, through researchers’ observations of clinical practice and the learning environment, including conversations and interactions, in its local context. The research questions may be formulated collaboratively with the research partners from the practice site.1 

본 논문에서 기술한 질적 연구에 대한 접근방식에서, 연구자는 참가자들에게 서로의 생각과 믿음에 대한 통찰력을 제공하기 위해 참가자들에게 목소리를 주는give voice 것을 목표로 한다. 이러한 목적을 위해, 그녀 또는 그는 미팅과 대화를 가질 수 있는데, 이것은 다른 당사자들이 복잡한 프로세스와 관행, 팀, 제도적 비전 등을 통해 그들의 일상적 만남의 경험을 이해하는데 도움을 줄 수 있다. 또한 연구자는 사전에 정의내린 변화의 구현을 강요하기보다는 참가자들이 공동 대화를 구현하고, 기존의 규범, 노동 분업 및 역할과 같은 문제를 논의할 수 있도록 서포트한다. 연구자가 제안한 '왜'와 '어떻게' 문제는 참가자들이 그들의 사고 과정과 그들이 마주치는 문제들을 표현articulation하는 데 도움을 줄 수 있다. 

In the approaches to qualitative research described in this paper, the researcher aims to give voice to the participants in order to provide insights into each other’s thoughts and beliefs. For this purpose, she or he may hold meetings and conversations, which can help different parties to make sense of their experiences of their daily encounters with complex processes and practices, their teams, their institutional vision and so forth. Moreover, the researcher does not seek to implement predefined change mandates but supports the participants to establish a joint dialogue,2 and to discuss issues such as their existing norms, division of labour and roles. The ‘why’ and ‘how’ questions proposed by the researcher can aid participants in their thought process and articulation of problems they encounter. 

그러한 참여적 방법의 인기가 증가하고 있음에도 불구하고, 그리고 여러 이해관계자들의 참여에도 불구하고, 환자 진료 개선을 위한 의료 관행의 변화를 가져오는 것은 여전히 자주 어렵다. 연구와 실무 사이의 차이는 여러 수준에서 감지될 수 있다. 기존 연구에 따르면, 의료는 종종 고품질 진료와 병행하여 비용 효율적인 제공과 같은 상반된 요구를 수반한다.3,4 이것은 의료 관리자가 변화 이니셔티브를 도입하고 그 효과를 평가하도록 유도하며, 그것들을 원래의 상황과 의도된 결과와 비교한다. 변화 노력은 일반적으로 합리화, 시장화 및 비용 효과성을 강조하는 [정량적 측정 시스템과 관리 모델]에 기초하지만, 변화의 노력이 항상 효과적인 것은 아니다. 왜냐하면 하향식 변경 노력은 의료 기관의 요구와 복잡성을 수용하지 못할 수 있기 때문이다. 

Despite the increasing popularity of such participatory methods, and despite the involvement of several stakeholders, it is still frequently difficult to bring about change in health care practices for improved patient care. The gap between research and practice may be detected at multiple levels. According to existing studies, health care often involves opposing demands, such as cost-effective delivery in tandem with high-quality care.3,4 This leads health care managers to introduce change initiatives and evaluate their effects, comparing them to the original situation and the intended outcomes. These efforts are typically based on quantitative measuring systems and management models that emphasise rationalisation, marketisation and cost-effectiveness5 and are not always effective6 because top-down change efforts can easily fail to accommodate the needs of the practitioners and the complexity of health care organisations. 

따라서 질적 데이터와 참여적 방법론을 도출하고 지역적 맥락에서 문제에 대한 미묘한 이해를 제공할 수 있는 간섭 기법이 점점 더 필요하다.7 여기에는 진료과정에 관여하는 다른 건강전문가들 사이의 전문적 경계와 같은 이슈에 주의를 기울이는 것이 포함되는데, 이는 진료과정에 영향을 미칠 수 있기 때문에, 오래 동안 형성되었을 수 있다. 또한 이러한 복잡한 환경 내에서 자주 어려움을 겪는 의료 학생 및 연습생들의 작업과 학습에도 주의를 기울여야 한다.8 복잡한 프로세스와 관행을 변경하려고 할 때 예기치 않은 결과가 발생할 가능성을 인정하는 것도 중요하다. 아래에, 우리는 연구자와 실무자가 복잡한 직장 문제와 변화에 대한 필요를 해결할 때 유연하고 효과적으로 협력할 수 있는 방법을 제공하는 두 가지 접근법을 제시한다. 

Intervention techniques that draw on qualitative data and participatory methodologies, and that may provide a nuanced understanding of problems in local contexts, are thus increasingly needed.7 This involves paying attention to issues such as the professional boundaries between the different health professionals involved in care processes, which may have formed over a long time, since they may influence the process of delivering care. Increased attention also needs to be directed to the work and learning of health care students and trainees who often experience challenges within these complex environments.8 Acknowledging the possibility of unexpected consequences when attempting to change complex processes and practices also becomes important. Below, we present two approaches that provide ways for researchers and practitioners to collaborate flexibly and effectively when addressing complex workplace problems and needs for change. 

실천기반 연구를 하는 두 가지 방법

TWO WAYS OF DOING PRACTICE-BASED RESEARCH 

액션리서치와 변경 실험실 방법은 하향 지시된 변경 명령의 구현을 추구하지 않고 작업 프로세스와 관행 연구에 적용되며, 따라서 작업 생활working life의 민주화와 연계된다. 이들은 전체 조직 시스템 내에서 실천요강의 질적 변환에 초점을 맞추고, 여러 사이클의 변화를 포함하며, 다양하고 종종 덜 대표되는 관점을 가진 참여자들을 참여시킨다. 그들은 실천력 향상을 목표로, [의사소통의 어려움, 병동에서 수술실로의 환자 이동 지연 등 진료 관행의 병목 현상, 병든 잎으로 인한 직원 부재, 대체물 부족 등의 기타 문제 등], 지역 개발의 필요성과 문제점을 연구한다. 

Action research and The Change Laboratory method are applied in the study of work processes and practices without seeking to implement top-down directed change mandates, and are thus linked to the democratisation of working life. They focus on qualitative transformation of practice within entire organisational systems, include multiple cycles of change, and involve participants with diverse and often under-represented views. Aiming to facilitate practice improvement, they study 

• local development needs and problems, such as communication challenges, 

• bottlenecks in care practices, such as a delay in moving a patient from a ward to the operating room, and 

• other problems, such as absence of staff due to sick leaves and lack of substitutes. 

그들은 새로운 지식과 관행을 창출하기 위한 사회적 상호작용, 사회적 관행, 사회적 변화, 새로운 형태의 협력에 초점을 맞춘다. 이는 연구 맥락과 매우 관련성이 높고 고품질 관리를 촉진할 수 있기 때문에 일반적으로 영향을 미친다.19 

They focus on social interaction, social practices, social changes and new forms of collaboration to generate new knowledge and practices. These are typically impactful since they are highly relevant to the research context and can promote high-quality care.1,9 

액션리서치 프로젝트 및 변경 실험실 방법은 사건 및 프로세스의 공유 메모리를 구축하는 데 도움이 될 수 있는 다중 관점이 제시될 수 있도록 하며, 이는 직장 공동체의 identity and integrity에 필수적이다. 조치 연구와 변경 실험실 방법은 모두 현지 솔루션과 이전 가능한 지식 사이의 긴장을 수용하고 연구 결과를 더 일반적으로 적용할 수 있도록 하는 것을 목표로 한다.  1,10–12 두 가지 접근법 모두 (예를 들어 위기 상황에 대한 개입을 용이하게 하는 데 있어) 연구자의 깊은 인지 및 정서적 관여를 요구한다. 

Action research projects and The Change Laboratory method allow multiple viewpoints to be presented that can help build a shared memory of events and processes, which is essential to the identity and integrity of a workplace community. Both action research and The Change Laboratory method embrace a tension between local solutions and transferable knowledge and aim to make the results of research more generally applicable. 1,10–12 Both approaches also call for deep cognitive and emotional engagement from the researcher, for example, in facilitating interventions in near crisis contexts. 

액션 리서치 

Action research 

행동 연구는 독일계 미국인 심리학자 커트 르윈(1947년)의 연구에서 비롯되었으며, '연구자와 실무자가 상호 수용 가능한 윤리적 틀 안에서 긍정적인 변화를 발견하고 영향을 주기 위해 확인된 문제의 맥락에서 함께 행동하는 반복적인 과정'으로 정의되었다. 주로 사회 관행과 그 개선에 초점을 맞추고 있으며, 작업은 항상 참가자들과 협력하여 수행된다. 작용 연구 내의 테오라이징은 이론과 실천이 통합되고 무한한 자기 갱신의 가능성이 있는 생성적 변화 주기로서 실제의 한 형태로 이해된다. 13 작용 연구는 보건의료 및 의료 교육 연구 내에서 광범위하게 사용되었다.15 예를 들어, 박스 1을 참조한다. 

Action research originates from the work of German-American psychologist Kurt Lewin (1947) and has been defined as ‘an iterative process in which researchers and practitioners act together in the context of an identified problem to discover and effect positive change within a mutually acceptable ethical framework’.1 The focus is usually on societal practices and their improvement, and work is always undertaken in collaboration with the participants. Theorising within action research is understood as a form of practice, with theory and practice seen as integrated and as a generative transformational cycle that has the potential for infinite self-renewal. 13 Action research has been used widely within health care14 and medical education research.15 For an example, see Box 1. 

The Change Laboratory 

The Change Laboratory 

실천적 변화를 촉진하는 또 다른 방법은 The Change Laboratory라고 불리는 연구 지원 방법인데, 이는 활동 이론에서 유래한 것으로, 작업장 학습을 연구하기 위해 광범위하게 사용되어 왔으며, 의료 교육에서도 점점 더 많이 사용되고 있다.8 1990년대 후반부터 변화 연구소는 현재의 상황과 변화의 필요성에 대해 설명하기 위해 10,16 보건의료 연구 개발에 성공적으로 활용되었다. 이 접근방식은 무엇이 활동을 방해하고 있는지를 이해하기 위해 '방해'와 '불일치'를 활용한다. 이 과정을 통해 새로운 집단적 통찰력이 발전하여 실천적 변화를 이끌어낼 수 있다. 이 방법은 집단 학습을 향상시키는 모델의 개발을 지원한다. 즉, '아직 없는 것'에 대한 학습을 지원한다.10–12 활동 이론은 실행 연구 프로젝트의 분석에도 사용될 수 있다.9,17 변경 연구소의 예는 상자 1을 참조한다.

Another way to facilitate practice change is the research-assisted method called The Change Laboratory, which stems from activity theory, which has been used extensively to study workplace learning11 and increasingly also in medical education.8 Since the late 1990s, The Change Laboratory has been utilised successfully in health care research and development,10,16 to explain the current situation and the need for change. This approach harnesses the ‘disturbances’ and ‘contradictions’ – in other words, things in the workplace that aren’t happening as intended – in order to understand what is hampering the activity. Through this process, new collective insights can develop, leading to practice change. This method supports the development of models enhancing collective learning, in other words, learning of ‘something that is not yet there’.10–12 Activity theory can also be used in the analysis of action research projects.9,17 For an example of a Change Laboratory, see Box 1. 

액션리서치, 변화연구소 방법의 장점과 어려움

BENEFITS AND CHALLENGES OF USING ACTION RESEARCH AND THE CHANGE LABORATORY 

연구자들이 우리가 여기서 설명하는 종류의 일을 할 때 사용할 수 있는 많은 전략과 도구들이 있다. 호기심, 흥미, 경청 및 신뢰 구축에 따라 요구되는 많은 자질들이 이미 당신의 기술에 들어 있을 것이다. 자체 조치 연구 또는 변경 연구소를 시작하려면 상자 2와 그림 1에서 초보 연구자를 지원하는 몇 가지 조언을 참조하십시오. 

There are many strategies and tools that researchers can use when doing the type of work we describe here. Many of the required qualities might already be in your skill-set, as they draw on curiosity, interest, listening and building trust. Should you want to start your own action research or The Change Laboratory, see Box 2 and Figure 1 for some advice to support novice researchers. 

조치 연구와 변경 실험실 방법은 방법론적 기회와 과제를 모두 제공한다. Change Laboratory는 연구 참여자와 함께 조치 연구를 통해 수집된 데이터를 분석하는 데 사용할 수 있다.9 또한 의료의 관행을 살펴볼 수 있는 새로운 방법을 제공하는데, 이 때 모순을 통해서 서로 다른 전문 그룹 내부와 사이의 도전을 검토할 기회를 제공한다.

Action research and The Change Laboratory method offer both methodological opportunities and challenges. The Change Laboratory can be used to analyse data collected through action research, together with the research participants.9 It also provides a new way to look at the practice of health care in which contradictions offer the opportunity to examine challenges within and between different professional groups. 

중요한 것은, 행동 연구와 변화 연구소는 둘 다 미리 정해진 결과를 두지 않은 상태에서 프로세스를 촉진하며, 참가자들의 집단 학습과 변화하는 상황적 요구에 대한 이해를 돕는 것을 목표로 한다. 따라서 결과는 참여자가 자신의 작업장에서 발생하는 문제에 대한 광범위한 해결책을 도출할 때 설계된다. 10 그러나 관리 프로세스의 복잡성과 결과에 대한 불확실성8은 참여자들 사이에 좌절, 모호성 및 추가적인 긴장을 야기할 수 있으며, 이는 또한 연구자가 관리하기 어려울 수 있다. 또한 여기서 설명하는 두 가지 접근방식은 잠재적 보상을 고려할 때 가치가 있다. 

Importantly, action research and The Change Laboratory both facilitate a process without predetermined results, and aim to aid the participants’ collective learning and sense-making of the changing contextual demands. Thus, the outcomes are designed by participants as they work out expansive solutions to the problems within their workplaces. 10 However, the complexity of care processes and the uncertainty about outcomes8 can create frustration, ambiguities and further tensions amongst participants, which can also be challenging for the researcher to manage. In addition, both approaches described here uncertainty of outcomes are worthwhile given the potential rewards. 

결론

CONCLUSIONS 

우수한 정성적 연구 프로젝트는 독창적이고 엄격하며 목적적합하다18 - 여기에서 기술된 접근법의 특정 강점인 실천요강 변경에 대한 타당성이다. 조치 연구와 변경 연구소는 의료 및 의료 교육 관련 실천요강의 전달에 어려움을 초래할 수 있는 일상적인 이슈에 '다시 보기' 방법을 제공한다. 그들은 복잡한 조직에서 까다로운 '왜'와 '어떻게' 질문에 답하고 참여와 지역사회 발전을 장려하는 데 도움이 된다. 작업 관행의 문제와 긴장감은 중요한 '동력자'로 보여지며, 임상 작업의 변화와 정련에 유용한 자극을 제공한다.

A good qualitative research project is original, rigorous and relevant18 – and it is the relevance for practice change that is the particular strength of the approaches described here. Action research and The Change Laboratory provide ways of ‘looking again’ at everyday issues that may cause struggles in delivering health care and health care education-related practices. They help to answer tricky ‘why’ and ‘how’ questions in complex organisations and encourage participation and community development. Problems and tensions in work practices are seen as important ‘drivers’, providing a useful stimulus for change and refinement of clinical work. 

Clin Teach. 2019 Oct;16(5):437-441. doi: 10.1111/tct.13085. Epub 2019 Sep 5.

How to … use qualitative research to change practice.

질적연구: 질적자료를 다양한 방법으로 분석하기(Clin Teach, 2018)

How to…analyse qualitative data in different ways

Dierdre Bennett1, Aileen Barrett2 and Esther Helmich3

도입

INTRODUCTION 

넓게 말하면, 질적 연구에서 분석적 접근법은 [말해진 것(내용)]이나 [그것이 어떻게 말하는지(사용되는 언어)]를 검토하는 것으로 생각할 수 있다. 각 범주는 연구자에게 흥미로운 가능성을 제공한다. 우리는 3,4,11–15 아래에 일반적으로 사용되는 옵션의 개요를 설명하고 표 1의 예를 제공한다. 그러나 이들에 대해 논의하기 전에, 우리는 먼저 '방법'과 '방법론'의 차이라는 분석에 대한 접근법을 이야기할 때 발생하는 중요한 구별을 고려해야 한다. 

• 방법이란 데이터를 수집하고 분석하기 위해 취한 일련의 절차적 단계를 말한다. 

• 반면에 방법론은 데이터 분석에 사용되는 방법을 포함하여 전체 연구를 뒷받침하는 가정, 가치 및 이론의 프레임워크를 말한다.1.2 

Broadly speaking, we can think of analytical approaches in qualitative research as examining either what is said (the content) or how it is said (the language used). Each category offers interesting possibilities for the researcher. We outline some commonly used options below,3,4,11–15 and provide examples in Table 1. But before we discuss these, we must first consider an important distinction that arises when talking about approaches to analysis: the difference between ‘method’ and ‘methodology’. 

• Method refers to a set of procedural steps taken to collect and analyse data. 

• Methodology, on the other hand, refers to a framework of assumptions, values and theories that underpin the whole study, including the method used to analyse the data.1,2 

연구자가 특정 '방법론' 내에서 연구를 수행하기로 선택했는지, 또는 보다 유연하게 사용할 수 있는 '방법'을 선택했는지의 여부는 연구 질문이나 이론적 입장에 따라 달라질 것이다. 분석적 접근방식의 선택은 대개 연구의 초기 단계에서 이루어지지만, 이론적 입장, 연구 질문 및 분석 사이의 일관성이 유지되는 한 계획된 접근방식을 변경할 수 있는 유연성이 있다. 

Whether the researcher chooses to conduct the study within a particular methodology, or to select a method that can be used more flexibly will depend on the research question and his or her theoretical stance.3,4 The choice of analytical approach is usually made at the outset of the study, but there is flexibility to change the planned approach as long as consistency between theoretical stance, research question and analysis is maintained. 

질적 분석의 공통 특징

COMMON FEATURES OF QUALITATIVE ANALYSIS 

질적 데이터는 다양한 형태로 제공되는데, 인터뷰나 포커스 그룹과 같은 오디오 형식의 오디오, 쓰기 및 시각 데이터는 일반적으로 분석에 앞서 서면 데이터로 '변환'된다. '전사'는 디테일의 수준에 따라 다를 수 있다

• 면밀한 전사, 예를 들어 담화 분석의 형태, 4는 정지, 말더듬기, 웃음 등을 포함한다. 

• 다른 대부분의 방법에는 덜 상세한 전사가 충분하지만, 대화를 정확하게 표현하고 참조를 위해 라인 번호를 사용해야 한다(박스 1). 

Qualitative data come in a variety of forms: audio, written and visual Data in audio format, such as interviews and focus groups, is typically transcribed, in other words ‘converted’ into written data, prior to analysis. Transcription varies in terms of detail: 

• close transcription, which is required for some analytical approaches, e.g. forms of discourse analysis,4 includes pauses, stutters, laughter, etc. 

• Less detailed transcription is sufficient for most other methods, but dialogue must be accurately represented and line numbers used for reference (Box 1). 

전체 데이터 세트의 전형이 비실용적인 경우, 연구자들은 반사적으로 분석을 위해 가장 관련 있는 섹션을 선택할 수 있다. 또한 아래에 언급된 소프트웨어 패키지를 이용하여 전사 없이 오디오 데이터를 분석할 수도 있다. 정성적 분석에 대한 대부분의 접근방식은 공통적인 특징을 공유한다. 첫 번째는 연구자가 데이터를 숙지하기 위한 요구 사항으로, 때로는 몰입immersion이라고 한다. 이것은 연구 질문을 염두에 두고, 초기 인상을 형성하고, 메모를 하면서, 반복적으로 데이터를 듣거나, 읽거나, 보는 것을 포함한다. 듣기는, 녹취록을 읽을 때, 또한 전사의 질을 확인할 수 있는 기회를 제공한다. 인터뷰 내용을 직접 기록한 연구자들은, 비록 이 작업이 시간이 많이 걸리긴 하지만 데이터에 익숙해지는 좋은 방법이라는 것을 알게 될 것이다. 

If transcription of the full data set is impractical, researchers may reflexively select the most relevant sections for analysis. It is also possible to analyse audio data without transcription, using the software packages mentioned below. Most approaches to qualitative analysis share common features. The first is a requirement for the researcher to familiarise themselves with the data, sometimes referred to as immersion. This involves repeatedly listening to, reading or looking at the data, with the research question in mind, forming initial impressions and making notes. Listening, when reading transcripts, also provides an opportunity to check the quality of the transcription. Researchers transcribing their own interviews will find that, although time consuming, it is a great way to become familiar with the data. 

두 번째 공통적인 특징은 데이터를 '코딩'하는 반복적인 과정이다. 코딩은 데이터 덩어리를 선택하고 연구 질문의 측면에서 의미 있는 요약 용어 또는 코드, 서술적 또는 해석적 할당을 의미한다.2,5 코드들은 더 높은 수준의 이해를 얻기 위해 후속 분석 라운드에서 그룹으로 분류된다. 사용되는 코드와 범주의 특성과 이러한 범주의 결합방식은 아래에 설명된 바와 같이 사용 중인 특정 접근방식에 따라 달라진다. 실용성 측면에서, 코딩은 형광펜, 가위, 데이터의 하드 카피를 사용하여 수동으로 수행할 수 있다. 또한 컬러 강조 표시 또는 '주석 추가' 기능을 사용하여 마이크로소프트 워드(Microsoft Corp, Redmond, WA, USA)에서 수행할 수 있다. 마지막으로 정성적 분석을 위해 설계된 소프트웨어 패키지가 있다. 예를 들어, NVivo(QSR International Pty Ltd., Victoria, Victoria), ATLAS.ti(ATLAS.ti Scientific Software Development GmbH, 독일 베를린) 등이 있다. 개인 선호도, 데이터 양 및 선택한 분석 접근방식에 따라 선택이 달라진다. 

A second common feature is the iterative process of ‘coding’ the data. Coding means selecting a chunk of data and assigning a summary term or code, descriptive or interpretative, that is meaningful in terms of your research question.2,5 Codes are categorised into groups in subsequent rounds of analysis to gain a higher level of understanding. The nature of the codes and categories used, and the manner in which they are combined, depends on the particular approach in use, as outlined below. In terms of practicalities, coding can be performed manually, using highlighter pens, scissors and hard copies of the data. It can also be performed in Microsoft¢ç Word (Microsoft Corp., Redmond, WA, USA), using coloured highlighting, or the ‘add comment’ function. Finally, there are software packages designed for qualitative analysis, e.g. NVivo (QSR International Pty Ltd., Victoria, Australia) and ATLAS.ti (ATLAS.ti Scientific Software Development GmbH, Berlin, Germany). Your choice will depend on personal preference, the volume of data and your chosen analytical approach. 

결과의 타당성 또는 신뢰성은 분석 과정을 명확하게 설명할 수 있느냐에 따라 달라진다. 감사 추적을 작성하기 위해서는 메모나 메모를 작성하는 것이 중요하다. 즉, 분석의 다른 지점에서 어떤 생각을 하고 있었는지와 특정 결정이 내려진 이유를 상기시킨다. 연구자들은 종종 연구 과정 전반에 걸쳐 성찰적 일기를 쓰는데, 연구 질문의 선택에서부터 연구 결과의 해석에 이르기까지, 그리고 그 밖의 연구 과정과 관련된 모든 것에 대한 영향을 반영한다. 질적 연구는 이상적으로는 서로의 성찰성을 지지하고, 서로의 가정에 도전하며, 데이터의 설명이나 해석을 공동 구성할 수 있는 최소 두 사람에 의해 수행된다. 

The validity, or trustworthiness, of your findings depends upon being able to describe the analytical process clearly. Making notes or memos throughout is important to create an audit trail: a reminder of what you were thinking at different points in the analysis and why particular decisions were made. Researchers often keep a reflexive diary throughout the research process, to reflect on the impact that they are having on the research, from the choice of research question through to the interpretation of the findings, and anything else pertinent to the research process. Qualitative research is ideally undertaken by a minimum of two people who can support each other’s reflexivity, challenge each other’s assumptions and co-construct a description or interpretation of the data.5 

내용에 촛점: '말해진' '무엇을' 말했는지를 분석

FOCUS ON CONTENT: ANALYSING WHAT IS SAID 

주제 분석(TA)은 참가자의 진술 내용에 초점을 맞춘 일반적으로 사용되는 정성적 방법이다: '데이터 내의 패턴(테마) 식별, 분석 및 보고'.2 주제 분석은 특정 방법론에 구속되지 않으며 분석 프로세스의 명확한 단계가 설명되었다. 이것은 초보 연구자들에게 편안한 출발점이 된다. TA의 스타일은 다양하지만, 세 가지 단계를 따르는 기본적인 시스템이 있다. 

• 서술적 코딩, 

• 해석적 코딩, 

• 중요한 테마를 식별 

Thematic analysis (TA) is a commonly used qualitative method that focuses on the content of participants’ statements: ‘identifying, analysing and reporting patterns (themes) within data’.2 Thematic analysis is not bound to a specific methodology and clear steps in the analytical process have been described. This makes it a comfortable starting point for novice researchers. Although there are various styles of TA, there is a basic system following three steps: 

• descriptive coding; 

• interpretive coding; and 

• identifying overarching themes. 

연역적 분석은 미리 결정된 카테고리를 사용할 때, 귀납적 분석은 개방형 코딩 프로세스의 데이터에서 코드가 발생할 때 이다. 귀납적 분석의 경우, 맞지 않는 데이터도 코드화되거나, 프레임워크 외부에 분류되어 예상치 못한 결과를 얻을 수 있도록 하는 것이 중요하다. 주제 분석은 다른 컨텐츠 중심 방법과 밀접하게 관련되어 있다. 예를 들어, 컨텐츠 분석,6은 데이터에 코드와 테마의 숫자 빈도를 기록하는 것을 포함할 수 있으며, 프레임워크 분석은 7은 데이터가 정렬되는 매트릭스의 개발을 수반한다. 

Analysis may be inductive, when codes arise from the data in an open coding process, or deductive, when predetermined categories are used. In the latter case, it is important that data that do not fit are also coded or categorised, outside the framework, thus allowing for unexpected findings. Thematic analysis is closely related to other content-focused methods: for example, content analysis,6 which may include recording the numerical frequency of codes and themes in the data, and framework analysis,7 which involves the development of a matrix into which data are sorted. 

그라운드드 이론(GT)은 TA와 마찬가지로 참가자의 진술 내용에 초점을 맞추지만, TA와 달리 방법론이기 때문에 연구는 전체적으로 GT의 가정과 가치와 일치해야 한다. GT에서 연구자는 데이터로부터 새로운 이론을 생성한다. Charmaz가 제안한 접근방식은 의학 교육에서 자주 사용된다.5 GT에서 연구 질문은 어떻게 또는 왜 어떤 일이 일어나는지 묻는다. 

Grounded theory (GT), like TA, focuses on the content of participants’ statements, but unlike TA it is a methodology, and therefore requires that the study is consistent with the assumptions and values of GT throughout. In GT the researcher generates a new theory from the data. The approach proposed by Charmaz is frequently used in medical education.5 A GT research question asks how or why something happens. 

GT가 TA와 같는 주요 차이점은, GT에서는 분석 과정 전반에 걸쳐 [(단순히) 범주를 기술하기 보다는] 범주 간 설명적 연계를 만들려고 한다는 것이다. 결과 이론의 타당성을 보장하기 위해 정의된 단계를 따라야 한다. 끊임없는 비교와 메모 쓰기는 이 과정의 중요한 부분이다. 데이터 수집과 분석은 보통 병렬로 진행되며, 연구 문제는 분석이 진행됨에 따라 진화할 수 있다. GT 분석 결과는 관심 프로세스에 대한 이론적 모델에 대한 설명이다. 일부 연구원들은 분석에 대한 접근법을 '수정된 근거 이론'이라고 표현하기도 한다. 이것은 대개 그들이 지속적인 비교와 이론적 코딩과 같은 GT의 요소를 사용했지만 GT에서 요구되는 모든 단계를 엄격히 준수하지 않았다는 것을 의미한다. 

A key difference between TA and GT is that throughout the analytical process the grounded theorist is trying to make explanatory links between categories, rather than describing the categories. Defined steps must be followed to ensure the validity of the resulting theory. Constant comparison and writing memos are important parts of this process. Data collection and analysis usually run in parallel, and the research question may evolve as the analysis progresses. The outcome of a GT analysis is a description of a theoretical model for the process of interest. Some researchers describe their approach to analysis as ‘modified grounded theory’. This usually means that they have used elements of GT, such as constant comparison and theoretical coding, but have not strictly adhered to all of the steps required in GT. 

언어에 초점: '어떻게' 말해졌는지를 분석

FOCUS ON LANGUAGE: ANALYSING HOW  THINGS ARE SAID 

비판적 담론 분석(CDA)은 사회 구조, 권력 관계 및 정체성에 대한 질문에 답하기 위해 관심 주제에 대해 사물이 말하는 방식을 콘텐츠 이상으로 살펴보는 질적 방법론의 집단을 말한다. 이러한 접근법을 뒷받침하는 핵심 아이디어는 언어가 콘텐츠 정보를 전달하는 것 이상을 한다는 것이다. 푸코울드 담론 분석은 의학 교육 주제에 적용되었던 그러한 접근법 중 하나이다.8 프랑스 철학자 미셸 푸코의 이론을 바탕으로 담론을 특정 주제가 사회에서 어떻게 구성되었는지를 반영하는 생각의 집합으로 본다. Fouculdian 연구의 초점은 담론의 발달을 위한 역사적 맥락, 일부 담론의 다른 담론에 대한 지배, 담론이 사회적 구조를 형성하거나 사회적 구조가 담론을 형성하는 것 등이다. 어떤 주제에 대한 '사실' 또는 '진실'의 진술(의심하지 않는 것으로 제시된 진술)을 검토하고, 그것들이 어떻게 되었고, 누구의 이익에 기여하게 되었는지에 대한 의문을 제기하는 단계들이 광범위하게 설명되어 왔다. 

Critical discourse analysis (CDA) refers to a group of qualitative methodologies that look beyond content at the way things are said about the topic of interest, in order to answer questions about social structures, power relationships and identity. A key idea underpinning these approaches is that language does more than communicate content information. Foucauldian discourse analysis is one such approach that has been applied to medical education topics.8 Based on the theories of the French philosopher Michel Foucault, it views discourse as a collection of ideas that reflect how a particular topic has been constructed in society. The focus of Foucauldian studies is on the historical context for the development of discourses, the dominance of some such discourses over others, and the way in which discourses shape social structures and vice versa. Steps have been broadly described that include examining statements of ‘fact’ or ‘truth’ about a topic (statements presented as not being open to doubt), and questioning how they came to be and in whose interests they serve. 

Gee의 담론 분석은 푸카울드식 접근법보다 언어의 구조에 더 세심한 주의를 기울이는 CDA의 또 다른 형태지만, 사회적, 문화적, 정치적 의미도 다룬다.9 Gee는 연구자들이 그들 자신의 연구 질문에 적응할 수 있는 27개의 도구(연구자가 데이터에 대해 요구하는 질문)를 정의한다. 컨텐츠 기반 접근법과 마찬가지로 데이터는 사용 중인 도구에 따라 반복적으로 읽고 주석을 달았다. 예를 들어, '아이덴티티 빌딩' 도구는 화자가 enact하려고 하거나 다른 사람들이 인식하도록 하기 위해 사회적으로 인식 가능한 신분은 무엇이며, 말하는 것에서 화자가 다른 사람을 어떻게 배치하고 있는지를 묻는다. 

Gee’s discourse analysis is another form of CDA that pays closer attention to the structure of language than the Foucauldian approach, but also deals with social, cultural and political meaning.9 Gee defines 27 tools (questions the researcher asks of the data) that researchers can adapt for their own research questions. Similar to content-based approaches, data are read and annotated in an iterative manner depending on the tool in use. For example, the ‘Identities Building’ tool asks what socially recognisable identities the speaker is trying to enact or to get others to recognise, and how the speaker is positioning others in what is said. 

대화 분석(CA)은 예를 들어 의사-환자 상담이나 소규모 그룹 학습 세션(표 1)에서 언어가 어떻게 사용되는지에 대한 언어학적 접근법이다.10 대화 분석은 억양, 침묵, 시선과 같은 비언어적 단서들과 어떻게 말을 할 것인가와 같은 상호작용의 구조를 조사한다. 대화 분석에는 식별된 상호작용 패턴을 설명하는 모델을 만드는 것을 목표로 하는 귀납 및 반복 분석 프로세스가 포함된다.

Conversation analysis (CA) is a linguistic approach to how language is used during natural (unscripted) social interactions: for example in a doctor–patient consultation or in a small group learning session (Table 1).10 Conversation analysis examines non-verbal cues such as intonation, silences and gaze, and the structure of the interaction, such as how turns to speak are taken. Conversation analysis involves an inductive and iterative analytical process that aims to produce a model to describe the patterns of interaction identified. 

시각 자료 분석

ANALYSING VISUAL DATA 

시각 자료는 그림, 그래픽 소설, 만화 또는 참가자들이 만든 사진을 포함한다(예: 그림 1 참조). 자료는 다르지만, 시각 자료는 내용이나 언어에 초점을 맞추어 면담 녹취록에 기술된 것과 같은 방법으로 접근할 수 있다. 콘텐츠를 찾을 때 다음과 같은 질문을 한다. 

• 그림이나 사진에 묘사된 것은? 

• 사진 속의 요소(사람, 동물, 생각의 거품)는 무엇인가? 

• 그들은 어떻게 상호 연관되어 있는가? 

Visual data include drawings, graphic novels, comics or photographs made by participants (for examples, see Figure 1). Although the materials are different, visual data can be approached in the same way described for interview transcripts, focusing on content or on language. When looking for content we ask: What is depicted in the drawing or photo? What are the elements (people, animals, thought bubbles) within the picture? and How are they interrelated? 

언어에 초점을 맞출 때, 우리는 형태, 색상, 아이콘, 은유 등의 사용을 묘사하면서 사용되는 시각적 언어visual language에 관심이 있다. 시각적 분석에서, 우리는 전형적으로 내용과 시각적 언어에 초점을 맞춘다. 우리는 그림에 있는 것에 대한 공개적인 설명(즉, 개방 코딩)으로 시작하고, 같은 연구 내에서 다른 그림들을 비교하면서 패턴이나 반복적인 모티브(즉, 집중적인 코딩과 분류)를 찾는 것으로 진행한다. 

When focusing on language, we are interested in the visual language used, describing, for instance, the use of shape, colour, icons and metaphors. In visual analysis, we typically combine a focus on content and visual language. We start with an open description of what is in the picture (i.e. open coding), and then proceed with comparing different pictures within the same study, looking for patterns or recurrent motifs (i.e. focused coding and categorising). 

결론

CONCLUSION 

우리는 질적 분석에 대해 생각할 수 있는 프레임워크와 다른 접근법이 어떻게 수행되었는지를 보여주는 예를 제공했다. 당신이 이용할 수 있는 옵션들을 중심으로 읽고, 다른 사람들이 그것을 어떻게 사용했는지, 그리고 그것들이 당신의 연구에 더 넓은 방법론적 의미를 가지고 있는지를 이해하는 것이 중요하다. 우리는 이 논문이 그 과정에 도움이 되기를 희망한다. 그러나 경험적인 학습보다 더 나은 것은 없다. 질적 분석 방법을 배우는 가장 좋은 방법은 좀 더 숙련된 연구자의 도움을 받아 그것을 하는 것이다.

We have provided a framework to think about qualitative analysis, and examples of how different approaches have been undertaken. It is important to read around the options available to you, to see how others have used them, and to understand whether they have broader methodological implications for your research. We hope that this paper will help with that process; however, nothing beats experiential learning. The best way to learn how to do qualitative analysis is to enlist the help of a more experienced researcher and just do it.

Clin Teach. 2019 Feb;16(1):7-12. doi: 10.1111/tct.12973. Epub 2018 Nov 25.

How to…analyse qualitative data in different ways.

질적연구: 여러 방법으로 연구 면담하는 법(Clin Teach, 2018)

How to…do research interviews in different ways

Anne de la Croix 1,2 , Aileen Barrett 3 and Terese Stenfors 4

도입

INTRODUCTION 

개인이나 사람들의 그룹을 인터뷰한다는 생각은 어떤 사람들에게는 벅찬 것일 수도 있지만, 임상 교사들은 인터뷰에 관한 한 결코 아마추어들이 아니다. 대부분의 임상 교사들은 병력청취에서 인터뷰하는 기술을 숙달할 것이다. 동시에 당신은 교육 환경에서 질문을 하는 것과 학생들의 딜레마와 사고 과정을 알아내려고 노력teasing out하는 것에 매우 익숙할 것이다. 그러나, 연구면담은 이런 것과는 목표부터 다른 작업이다. 1,2 질적 연구를 수행하는 우리의 시리즈의 다음 단계로, 우리는 이제 당신의 연구면접 기술을 개발하는 데 도움이 될 몇 가지 고려사항, 힌트 및 팁을 제시한다. 

The idea of interviewing individuals or groups of people might be daunting for some, but clinical teachers are by no means amateurs when it comes to interviewing. Most clinical teachers will master the skill of interviewing in the context of medical history taking. At the same time you might be very familiar with asking questions in educational settings, and teasing out students’ dilemmas and thought processes. Conducting a research interview, however, is a different task with a different goal. 1,2 As a next step in our series on conducting qualitative research, we now present some considerations, hints and tips that will help you to develop your research interviewing skills. 

리서치 인터뷰 

THE RESEARCH INTERVIEW 

인터뷰는 질적 연구를 위한 자료를 수집하는 일반적인 방법이며, 사람들과 말하고 듣는talking and listening 체계적인 방법으로 정의할 수 있다. 인터뷰는 또한 조사와 결합된 혼합 방법 연구에서도 일반적으로 사용된다. 인터뷰는 설문조사를 구성하는 주제를 식별하기 위해 수행될 수 있으며, 조사 결과에 대한 보다 심층적인 이해를 제공하기 위해 사용될 수 있다(설명 설계). 3 

Conducting interviews is a common way to gather data for qualitative research, and can be defined as a systematic way of talking and listening to people. Interviews are also commonly used in mixed- method studies, combined with surveys: interviews may be conducted to identify themes around which to build the survey (exploratory design), or may be used to provide a more in- depth understanding of survey findings (explanatory design). 3 

그렇다면, '좋은' 인터뷰란 무엇인가? 

• 분명한 대답은: 좋은 인터뷰는 당신에게 당신의 연구 질문에 대답하는 데 도움이 되는 데이터를 제공한다. 4 그것은 철저한 분석이나 설명을 가능하게 하는 데이터를 생성하고, 연구 목표와 이론적 틀에 맞춰져 있다. 5 

• 덜 명백하지만 더 두드러진 대답은 좋은 인터뷰가 사람들의 경험, 의견, 생각, 감정에 대한 통찰력을 풀어준다는 것이다. 면접자가 환자든, 동료든, 학생이든 간에, 여러분의 면접자의 목소리를 진정으로 듣는 것은 건강 직업 교육이나 실습을 개선하기 위한 목적으로 면접 데이터를 수집할 때 매우 중요하다. 참가자들의 내면세계에 접근하는 것은 풍부한 데이터를 얻기 위한 진정한 수단이다. 

So, what is a ‘good’ interview? 

• The obvious response is: a good interview gives you data to help answer your research question. 4 It generates data that allow for thorough analysis or description, and are aligned with the research goal and theoretical framework. 5 

• The less obvious, but more salient, answer is that a good interview unlocks insights into people ’ s experiences, viewpoints, opinions, thoughts and feelings. Truly hearing your interviewees’ voices, whether they be patients, colleagues or students, is very important when collecting interview data with an aim to improve health professions education or practice. Getting access to participants’ inner worlds is the real trick to acquiring rich data. 

우리의 경험상 면접의 질은 피면담자가 얼마나 편안하게 느끼느냐에 따라 크게 좌우된다. 좋은 연구 면접 환경을 조성하는 데 있어 관계 구축은 중요한데, 이것은 연구자의 최적의 의사소통 능력을 필요로 한다. 따라서 [피면담자에게 중요한 것으로 생각되는 내용을 확인하고, 그들의 의견을 분명히 감사하며, 존중하며, 호기심을 갖고, 아마도 가장 중요하게 생각하는 내용을 파악함으로써] connect하라. 

In our experience, the quality of an interview is heavily dependent on how comfortable the interviewee feels. Building rapport is of key importance in creating the circumstances for a good research interview: this requires optimal communication skills from the researcher. So, connect with your interviewee by finding out what they deem to be important, explicitly appreciate their input, show respect, be curious and – perhaps most importantly – listen. 

흔한 인터뷰 형식

COMMON TYPES OF INTERVIEWS 

일대일 인터뷰 

One- to- one interviews 

가장 흔한 인터뷰는 1 대 1 면접이며, 몇 가지 다른 방식으로 진행된다. 

• 인터뷰는 체계적으로 구조화될 수 있으며, 이는 질문들이 정확히 동일하다는 것을 의미하며, 각 면접관에게 동일한 순서로 자세를 취한다는 것을 의미한다. 

• 개방형 인터뷰는 질문으로 시작하지만, 인터뷰 과정은 피면담자의 답변에 따라 크게 좌우된다. 

• 반구조화된 인터뷰는 이러한 두 가지 접근법 사이의 어딘가에 있으며, 미리 결정된 주제를 다루기 위해 몇 가지 질문을 사용하지만, 인터뷰 진행자 자신의 생각 및 가능한 후속 질문을 따를 수 있는 여지를 더 많이 남겨둔다. 6 

The most common interview is the one- to- one interview, in a few variations. 

• An interview can be structured, meaning that the questions are exactly the same, and posed in the same order, for each interviewee. 

• An open interview starts with a question, but the course of the interview is very dependent upon the answers of the interviewee. 

• A semi- structured interview lies somewhere between these two approaches, using a few questions to address predetermined themes, but leaving more room to follow the interviewee ’ s own line of thought and for possible follow- up questions. 6 

반구조적 인터뷰는 건강전문교육연구에서 흔히 볼 수 있다. 그들은 인터뷰 때마다 동일한 주제를 다루도록 보장하지만, 면접관으로부터 개인적 해석과 연관성을 위한 여지를 남겨둔다. 내러티브 인터뷰는 각 참가자가 자신의 이야기를 들려주는 것을 돕는 것이 목적이며, 인터뷰 진행자가 인터뷰 내용을 끌어내는 데 초점을 맞추어야 하는 특정한 기술이다. 7 

Semistructured interviews are common in health professions education research; they guarantee that the same topic is dealt with in each interview, but leave open space for personal interpretations and associations from the interviewee. Narrative interviewing, in which the aim is to help each participant to tell his or her story, is also a specific skill requiring the interviewer to focus the interview on drawing out those stories. 7 

그룹 인터뷰 

Group interviews 

당신의 연구 질문에 따라, 당신은 집단으로 사람들을 인터뷰하는 것을 선택할 수 있다. 

• 한 가지 접근법은 그룹 내의 각 개인에게 각각의 질문에 개별적으로 응답하도록 요청하는 것이다(그룹 인터뷰라고도 함). 

• 또 다른 옵션은 그룹의 구성원들이 서로 반응하는 포커스 그룹을 수행하는 것이다. 포커스 그룹은 복수의 사람(최대 12명, 가장 일반적으로 7명 포함)으로부터 입력을 얻을 수 있는 장점이 있으며, 이러한 사람들이 서로의 관점을 상세히 설명하거나 서로 의견이 다를 때 흥미로운 데이터를 제공할 수 있다. 8 그러나, 당신의 연구 질문에 따라, 어떤 이슈들은 그룹 내에서 논의하기에는 너무 민감하다고 여겨질 수 있으며, 따라서 개인 면접에 더 적합하다. 또한 개인의 차이나 의견이 그룹 설정에서 발언되지 않을 위험도 있다. 

Depending on your research question, you could choose to interview people in groups. 

• One approach is to ask each person in the group to respond individually to each question (sometimes called a group interview). 

• Another option is to conduct a focus group, in which members of the group respond to one another. A focus group has the advantage of getting the input from multiple people (with a maximum of 12, but most commonly including seven people), and might provide interesting data when these people elaborate on each other ’ s viewpoints, or when they disagree. 8 Depending on your research questions, however, some issues may be considered too sensitive to discuss in a group, and are therefore better suited for individual interviews. There is also a risk that individual differences or opinions are not voiced in a group setting. 

그룹 인터뷰는 더 많은 목소리 출연자나 더 높은 위치에 있는 참가자들이 토론을 지배할 위험이 있기 때문에, 그룹 내 다른 참가자들이 목소리를 높이지 않는 완전히 새로운 일련의 기술들을 관리해야 한다. 다시 한 번 말하지만, 사람들을 안전하고 편안하게 만드는 것이 가장 중요하다; 이것은 그룹에게 있어 도전이다; 참여자들은 연구원으로서뿐만 아니라 다른 모든 참가자들을 신뢰해야 하기 때문이다. 따라서 그룹을 만들 때 세심한 고려가 필요하다. 단체 인터뷰를 촉진하기 위해서는 비언어적 의사소통 읽기, 요약 및 반복하기, 교대로 주기, 동의와 의견 불일치 요구 등 그룹 관리 기술이 필요하다. 

Group interviews require a whole new set of skills to manage, as there is the danger of the more vocal participants, or participants in a more senior position, dominating the discussion, with the others in the group not speaking up. Again, making people feel safe and comfortable is the most important thing; this is a challenge for a group, as the participants need to trust not only you as a researcher but also need to trust all of the other participants. Careful consideration is therefore needed when creating the group. Facilitating a group interview requires group management skills such as reading non- verbal communication, summarising and rephrasing, giving turns, and asking for agreement and disagreement. 

새롭게 등장하는 면담 방법

New and emerging interview methods 

질적인 연구가 인기를 얻으면서, 인터뷰를 하는 새로운 방법들도 인기를 얻고 있다. 예를 들어, Stimulated recall interview는 [관찰된 행동]과 [그들이 왜 특정한 방식으로 행동했는가에 대한 인터뷰 대상자들의 생각]을 결합시킨다 9 인터뷰 대상자들에게 경험, 생각 또는 감정을 그려내거나 시각화하는 것은 인터뷰로부터 더 풍부한 데이터를 얻는 방법이다. 10 의미 있는 대화를 위해, 그것은 또한 사람들을 인터뷰하기 위한 장소로서 사무실 공간을 넘어서 생각하는 데 도움이 될 수 있다: 왜 걷기와 대화를 동시에 하지 않는가? 11 딜레마에 대해 정말로 긍정적이고 유용한 해결책을 장려하는 특별한 인터뷰 스타일도 있다. 12 마지막으로, 인터뷰는 (NGT과 같은) 중요한 이슈의 정량적 순위를 알아내는 것을 목표로 하는 연구의 일부가 될 수 있다. 13 표 1에서는 인터뷰로부터 더 많은 정보를 얻을 수 있는 이러한 다양한 도구와 기법에 대한 개요(절대 철저하지 않음!)를 제시한다. 

As qualitative research gains popularity, so do newer ways of conducting interviews. Stimulated recall interviews, for example, combine observed behaviour with the interviewees’ ideas of why they behaved in a certain way. 9 Asking interviewees to draw or visualise experiences, thoughts or feelings is a way to get richer data from interviews, resulting in a combination of visual and interview data. 10 For meaningful conversations, it can also help to think beyond office spaces as locations to interview people: why not walk and talk at the same time? 11 There is also a special style of interviewing that really encourages positive and useful solutions for dilemmas (‘appreciative interviewing’). 12 Finally, interviews can be part of studies aiming to find out a quantitative ranking of important issues (such as in the nominal group technique). 13 In Table 1 we give an overview (by no means exhaustive!) of these different tools and techniques that might help get more informative data from an interview. 

선택, 선택, 선택 

CHOICES, CHOICES, CHOICES 

연구 연구를 수립하려면 많은 선택을 해야 한다. 이전의 논문과 마찬가지로, 우리는 당신의 연구를 위해 몇 가지 실용적이고 이론적인 고려사항과 질문을 공유할 것이다. 언제나 그렇듯이, 이런 종류의 연구를 위해서는 윤리적인 승인이 필요하며, 당신은 특별히 인터뷰 기록을 위한 동의를 얻어야 할 것이다. 그리고 당신의 방법과 샘플링의 선택은 당신의 질문에 의해 결정될 것이다. 

Setting up a research study requires making many choices. As with our previous papers, we will share a few practical and theoretical considerations and questions for your study. As always, ethical approval is necessary for any study of this kind, and you will specifically need to obtain consent to record interviews. And your choice of methods and sampling will be determined by your question. 

면접은 언제가 적당할까? 위에서 언급한 바와 같이, 면접은 개인적인 경험, 관점, 느낌, 생각을 찾고 있다면 특히 적절하고 유용하다. 즉, 연구에 자주 사용되는 다른 방법(행정 시스템의 질문, 관찰 또는 데이터)에서 수집하기 어려운 측면이다. 

When is interviewing suitable? As mentioned above, interviewing is particularly appropriate and useful if you are seeking personal experiences, viewpoints, feelings and thoughts. In other words: aspects that are hard to gather in any of the other methods frequently used in research (questionnaire, observations or data in administrative systems). 

면접관 모집 방법? 균질한 응답자 그룹을 선택하시겠습니까, 아니면 표본의 variation을 원하십니까? 질적 연구에서는 power calculation이 적용되지 않으며, 일반적으로 사용되는 'saturation'의 개념이 항상 적용되는 것은 아니다.14 'information power'라는 개념은 필요한 응답자 수가 연구의 목표, 표본특성, 확립된 이론의 사용, 데이터의 품질 및 분석의 기초가 된다는 것을 시사한다.  15 

How to recruit your interviewees? Do you choose a homogenous group of respondents, or do you want variation in your sample? In qualitative research, power calculations do not apply, and the commonly used concept of ‘saturation’ is not always applicable. 14 The idea of ‘information power’ suggests that the number of respondents needed is based on: the aim of the study, the sample specificity, the use of established theory, the quality of the data and the analysis strategy that will be used. 

전략적 또는 목적적 샘플은 당신이 당신의 연구 질문에 적합하다고 생각하는 변수들(예: 연륜, 성별 또는 직업적 배경)에 근거하여 응답자를 선택하는 것이다. 다른 선택사항으로는 편의성 샘플(반 모든 사람과 같이 접근 가능한 그룹 초대) 또는 눈덩이 샘플(fi rst 응답자에게 추가 응답자를 제안하도록 요청)이 있다. 또한 전자우편이나 직접 참여자에게 어떻게 접근할 수 있는지 고려해보십시오. 

15 A strategic or purposive sample is one in which you choose respondents based on the parameters that you deem relevant for your research question: for example, years of experience, gender or professional background. Other options are a convenience sample (invite an accessible group of people, such as everybody in your class) or a snowball sample (ask the first respondents to suggest further respondents, etc.). Also consider how you might approach the potential participants: by e-mail or in person? 

누가 면접관이어야 하는가? 내부자가 되는 것(예: 다른 임상 교사들을 인터뷰하는 임상 교사)이 유익할 때와 그 과정을 방해할 수 있는 때를 모두 고려해 보십시오. 인터뷰를 진행하기 전에 항상 (명확하든 덜 명확하든) 권력 역학을 고려하십시오. 만약 당신이 당신의 학생들이 새로운 교육 이니셔티브에 대한 그들의 인식을 인터뷰하는 임상 교사라면, 당신은 그들로부터 솔직한 대답을 들을 수 있는가? 16 반면에 문맥을 이해하는 것은 최상의 질문을 하는 데 적절할 수 있다. [당신이 당신의 연구와 그 참여자들에게 이 위치와 그것의 잠재적인 영향을 어떻게 표현하는지]를 말하는 reflexivity는 이러한 선택을 보고할 때 중요하다. 면접에서, 지식은 면담자와 피면담자 사이에 형성된다: 해석 행위는 데이터 분석을 수행할 때뿐만 아니라 데이터 수집 중에도 발생한다. 

Who should be the interviewer? Consider when being an insider (e.g. a clinical teacher interviewing other clinical teachers) is of benefit, and also when it may hinder the process. Always consider any power dynamics – both obvious and less obvious – prior to conducting the interviews. If you are a clinical teacher interviewing your own students about their perceptions of a new educational initiative, are you likely to get honest answers from them? 16 On the other hand, understanding the context may be pertinent for asking the best questions. Reflexivity, or how you articulate this position and its potential influence on your study and its participants, 7 is important when reporting these choices. In an interview, knowledge is coconstructed between interviewer and interviewee: the act of interpretation does not only occur when conducting the data analysis but also during the data collection. 

면접을 당신의 연구 설계의 다른 측면과 어떻게 일치시킬 것인가? 여러분의 연구 질문뿐만 아니라 계획된 분석 방법에 따라 인터뷰 유형을 선택하도록 하십시오: 어떤 접근방식의 경우, 면접이 매우 개방적이고 많은 내레이션과 함께 필요할 수 있으며, 다른 접근방식의 경우, 반 구조화된 개별 면접이 가장 좋다. 또한 모든 인터뷰가 분석을 시작하기 전에 실시되어야 하는지, 인터뷰와 분석이 반복적으로 이루어지는지 여부를 고려한다. 정해진 수의 응답자를 사용해야 하는가, 아니면 이 숫자가 도중에 결정되어야 하는가? 그러므로 면접 연구를 개발할 때 당신의 연구 질문과 분석 방법을 모두 고려해보라. 

How to align the interview with other aspects of your research design? Make sure to choose the type of interview depending not only on your research question but also on the planned method of analysis: for some approaches, you may need the interview to be very open, with lots of narration; for others, a semi- structured individual interview is best. Also consider whether all interviews should be conducted before the start of the analysis, or whether interviews and analysis happen in an iterative process. Should a set number of respondents be used or should this number be decided along the way? So, consider both your research question and your method of analysis in developing your interview study. 

면접 공부를 시작할 때, 당신은 더 어려운 질문이 있을 수 있다. 우리는 인터뷰 연구에서 발생할 수 있는 문제를 해결하는 방법에 대한 요령과 요령을 포함하여 표 2에 그 중 몇 가지를 요약했다. 

When starting with your interview study, you might have more difficult questions. We have summarized a few of them in Table 2 , including tips and tricks on how to resolve issues that might arise in an interview study. 

결론

CONCLUSION 

인터뷰를 연구 데이터를 수집하는 방법으로 사용하기로 결정할 때 많은 선택들이 있다. 그것은 약간의 철저한 사고와 준비가 필요하지만, 우리는 그것이 연구를 하는 매우 개인적인 풍요로운 방법이라는 것을 발견한다. 인터뷰를 함으로써 여러분은 놀라고 충격을 받고 감동할 수 있다. 인터뷰 연구는 마침내 시간을 내어 특정 주제에 대해 사람들과 심도 있게 대화할 수 있는 완벽한 이유가 될 수 있다. 인생의 모든 것들과 마찬가지로, 연습은 완벽을 만든다. 그러니 그 호기심 많은 자세를 취하고, 시작, 배우고, 좋은 인터뷰가 얼마나 강력한지 스스로 놀라도록 하라.

There are a lot of choices when deciding to use interviews as a way to gather research data. It requires some thorough thinking and preparation, yet we find it a very personally enriching way to do research. By holding interviews, you can be surprised, shocked and moved. An interview study could be the perfect reason to finally take the time to talk to people in depth about a certain topic. As with all things in life, practice makes perfect. So take on that curious stance, start, learn and let yourself be surprised by how powerful a good interview can be.

Clin Teach. 2018 Dec;15(6):451-456. doi: 10.1111/tct.12953. Epub 2018 Oct 21.

How to…do research interviews in different ways.

질적연구: 여러 유형의 데이터 중에서 선택하기 (Clin Teach, 2018)

How to…choose between different types of data

Esther Helmich 1,2 , Terese Stenfors 3 and Aileen Barrett 4

도입

INTRODUCTION

질적 연구의 세계로 진입하는 임상의들의 경우, 면담이야말로 어떤 현상의 경험이나 인식을 이해하기 위해 수집하고 분석할 수 있는 가장 명백한 자료의 원천인 것처럼 보일 수 있다. 그러나, 일부 덜 알려져 있지만 잠재적으로 매우 가치 있는 데이터들이 있고, 이것이 우리의 이해를 증진시키기 위해 사용될 수 있다. 사실, 질적 연구에서는, 실제 세계의 거의 모든 것이 자료의 역할을 할 수 있다(거리에서 듣거나 말하는 것, 학교에서 보는 것, 진료소에서 토론하는 것, 인터넷에서 찾은 것 등). 데이터는 참가자가 자신의 경험에 대해 말하는 서면 또는 구문을 포함할 수 있다. 또한 연구원들은 참가자들에게 그림이나 그림 등을 통해 자신의 경험을 어떻게 인식하고 이해하는지 보여주도록 초대할 수 있다. 그리고 연구원들은 그들의 연구 주제나 정책 문서나 소셜 미디어 포스트와 같은 그들의 사실들을 관찰할 수 있다. 

For clinicians entering the world of qualitative research, it can seem that interviews are the most obvious source of data that can be collected and analysed to understand experiences or perceptions of a phenomenon; however, some lesser known, but potentially extremely valuable, data can also be used to enrich our understanding. In fact, in qualitative research, almost everything in the real world can serve as data: what you hear or talk about on the streets, what you see in schools, what you discuss in the clinic and what you find on the Internet. Data may include written or spoken text, in which participants tell about their experiences. Researchers may also invite participants to show how they perceive and understand their experiences through, for example, pictures or drawings. And researchers can observe their research subjects, or their artefacts, such as policy documents or social media posts. 

이 글에서는 질적 교육 연구를 시작하는 방법에 관한 유럽 질적 조사 및 교육 연구 센터(EXQUISITE) 시리즈의 세 번째 시리즈인 1 우리는 인터뷰에 대한 몇 가지 대안들을 데이터 소스로 설명하고, 그들이 특정 연구 질문에 답하는데 어떻게 가치가 있을 수 있는지를 설명할 것이다. 데이터 분석이 향후 논문에서 논의되겠지만, 우리는 이러한 데이터 유형이 어디에서 사용되었는지, 그리고 그들이 조명하고 도해한 질문들에 대한 몇 가지 예를 제공할 것이다. 연구에 사용될 데이터 유형의 선택은 핵심 고려사항이며, 연구 질문 2와 질문에 적합한 이론적 및 개념적 프레임워크에 의해 명확하게 안내된다. 3 또한 데이터 분석 방법과 프로세스를 결정할 것이다. 

In this article, the third in our European Centre of Excellence in Qualitative Inquiry and Study in Training and Education (EXQUISITE) series on how to get started in qualitative education research, 1 we will describe some alternatives to interviews as data sources and how they can be of value in answering certain research questions. Although the analysis of data will be discussed in a future paper, we will provide some examples of where these data types have been used and the questions they have illuminated and illustrated. The choice of data types to be used in your study is a key consideration, guided clearly by your research question, 2 and by the theoretical and conceptual frameworks appropriate to your question. 3 This will also determine your data analysis methods and processes. 

말하기, 보여주기, 관찰하기

TELLING, SHOWING, OBSERVING 

참가자에게 자신의 이야기를 들려달라고 요청 

Asking participants to tell their stories 

이야기를 하는 것은 사람들 사이에 경험을 공유하는 가장 오래된 방법 중 하나이다; 그것은 언어, 시간 경과에 따른 발전, 구조, 등장인물, 줄거리 선에 의존한다. 이야기를 하는 것은 어떤 경험을 해명하고, 그것에 의미를 부여하고, 그것을 다른 사람들에게 설명하는 데 도움이 될 수 있다. 의학 교육에서 이야기 또는 내러티브를 수집하는 가장 흔한 방법은 인터뷰 진행자가 미리 정해진 질문의 집합을 질문함으로써 대화를 지시하는 개인 또는 포커스 그룹 인터뷰일 수 있다; 4 그러나, 몇 가지 흥미로운 대안이 있다. 

Telling stories is one of the oldest ways of sharing experiences between people; it relies on language, development over time, structure, characters and plot lines. Telling stories can help to elucidate a certain experience, to give meaning to it and to explain it to others. The most common way of collecting stories, or narratives, in medical education may be the individual or focus group interview, in which the interviewer directs the conversation by asking a set of more or less predetermined questions; 4 however, there are some interesting alternatives. 

오디오 다이어리와 서면 로그는 참가자들에게 인터뷰 진행자의 언어적 또는 비언어적 신호에 영향을 받지 않고, 이전 질문에 조금 더 오래 매달리고 싶을 때 다음 질문에 응답할 필요 없이 중단 없이 자신의 이야기를 말할 수 있는 기회를 제공한다. 일지 연구에서 참가자들은 일반적으로 '지난 날이나 일주일 중 가장 형태적인 경험을 되돌아볼 수 있는가?'와 같은 몇 가지 질문을 받는다. 그들은 그들의 기여에 대한 어떠한 직접적인 반응도 받지 않고, 그들의 성찰을 기록하거나 오디오 코딩을 하고 연구자에게 이것을 보내도록 초대 받는다. 따라서 비록 연구자가 수집된 데이터에 대해서 통제할 수 있는 부분이 제한적이지만, 이 참여자는 데이터 수집에 대한 접근법을 주도하여 보다 자발적이고 참가자의 고유한 방식으로 이야기를 전달할 수 있도록 크게 도울 수 있다. 

Audio diaries and written logs provide participants with the opportunity to tell their stories without interruptions, without being influenced by the verbal or non- verbal cues of the interviewer, and without having to respond to a next question when they would prefer to linger a bit longer with the previous one. In diary studies, participants are generally provided with just a few prompts, such as: ‘Could you reflect on the most formative experience of the past day or week?’ They are invited to write down their reflections or to make an audiorecording and to send this to the researcher, without receiving any direct responses to their contributions. The researcher thus has limited control over the data collected, but this participant led approach to data collection can greatly help to get the story across more spontaneously and in the participant ’ s unique way. 

예를 들어, 우리는 전문적 정체성의 발달에 대한 교차 문화적 연구의 일환으로 대만과 네덜란드의 의대생들로부터 오디오 일기를 수집했다. 이 연구를 수행하면서, 우리는 참가자들 사이에 감정적인 경험에 대해 이야기하라는 초대에 응한 방법과 이것이 그들의 직업적 정체성의 발달에 어떤 영향을 끼쳤는지 상당한 차이점을 발견했다. 

• 대만 학생들은 많은 다양한 인물들로 채워진 의학의 세계를 매우 활기차게 스케치했다.엘리트들, 환경, 음식, 음료수, 스포츠, 그리고 그들이 어떻게 먼저 '좋은 사람들'이 되려고 했는지를 반성했다. 그들은 이것이 좋은 의사가 되기 위한 전제조건이라고 여겼기 때문이다. 

• 같은 프롬프트에 대해 네덜란드 학생들은 전형적으로 자기 자신, 감독자 한 명, 환자 한 명, 당면한 특정 과제에 대해 구체적으로 언급하면서 의사가 되는 과정에서 기술이나 역량의 발달에 대해 매우 집중적인 이야기를 했다. 

To demonstrate an example, we collected audio diaries from medical students in Taiwan and in the Netherlands as part of a cross- cultural study on the development of professional identity. In conducting the study, we found substantial differences between participants in how they responded to the invitation to talk about an emotional experience, and how this impacted the development of their professional identity. 5 Taiwanese students sketched very lively pictures of the world of medicine, populated with a large variety of figures, relationships, environments, food, drinks and sports, and reflected upon how they intended to become ‘good people’ first, as they considered this a prerequisite for becoming good doctors. In response to the same prompt, Dutch students typically told very focused stories about the development of skills or competencies in the process of becoming a doctor, referring specifically to themselves, one supervisor and one patient, and to the specific task at hand. 

인터뷰나 포커스 그룹이 두 그룹을 위해 더 직접적인 데이터를 제공했을 수도 있지만, 오디오 일기는 상당히 다른 맥락에서 학생들이 경험하는 것처럼 착색된 세계를 볼 수 있는 풍부한 정보를 제공했다.

Whereas interviews or focus groups might have provided more straightforward data for the two groups, the audio diaries offered a colourful glimpse into the figured worlds as experienced by students in fairly different contexts. 

참가자들에게 자신의 경험을 보여주도록 요청한다. 

Asking participants to show their experiences 

살아 있는 경험을 서술하는 또 다른 접근법은 반드시 언어를 사용하지 않는 자기 자신을 표현하는 시각적 방법이나 구체화된 방법을 사용하여 무슨 일이 일어나고 있는지를 보여주는 것이다. 건강관리 내에서, 그리고 보건전문가들의 교육에서, 연구자들은 점점 더 사진 도출이나 광채화, 그리고 그림, 그림 또는 콜라주 같은 창조적이고 예술적인 접근법을 이용하고 있지만, 사람들은 또한 음악, 춤, 연극 또는 비디오 공연을 연구 방법으로 사용하는 것을 생각할 수 있다. 6 언어를 넘어서 창의적인 표현과 반성의 기회를 만드는 것은 단어만으로는 접근할 수 없는 감정이나 우려를 식별하는 데 도움이 될 수 있다. 

Another approach to narrating lived experiences is showing what is going on, using visual or embodied ways of expressing oneself that do not necessarily use language. Within health care, and in the education of health professionals, researchers are increasingly making use of these creative, arts- based approaches, such as photo elicitation or photovoice, and drawings, pictures or collages, but one could also think of using music, dance, theatre or video performances as a research method. 6 Going beyond the verbal and creating other opportunities for creative expression and reflection may help to assist in identifying feelings or concerns that are not accessible through words alone. 

우리가 복잡한 상황에 대응하여 의학 수련생들의 감정을 탐구하기 위해 도면을 사용한 최근의 연구에서 참가자들은 말 그대로 좌절, 불확실성, 분노와 두려움을 보여주었고, 자신을 타인에 비해 매우 작거나 말초적인 존재로 묘사하거나 심지어 논문에서 도망치는 것까지도 묘사했다. 7 

In a recent study in which we used drawings to explore medical trainees’ emotions in response to complex situations, participants literally showed their frustrations, uncertainties, anger and fears, depicting themselves as very small or peripheral relative to others, or even running away from the paper, and thus from the situation. 7 

실제의 세계를 실제로 관찰하는 것 

Observing the real world in action 

위에서 설명한 대로 말하고 보여주는 것은 모두 사람들이 어떻게 그들의 경험을 인지하는지에 대한 반성을 제공하지만 실제로 무슨 일이 일어나는지에 대해서는 연구하지 않는다. 이것은 사람들이 어떻게 상호작용하고, 움직이고, 옷을 입고, 공간을 사용하는지를 관찰함으로써 더 잘 포착될 수 있다. 이러한 것들은 현실이 어떻게 구성되는지의 매우 많은 부분이기 때문이다. 관찰은 다른 유형의 연구에 사용될 수 있지만, 이 방법은 일반적으로 민족지학(Ethnography)과 연관된다. 8 관찰에 의해 탐구될 수 있는 상황으로는 예를 들어 임상 실습, 회진, 시뮬레이션 이벤트 및 세미나가 포함된다. 

Both telling and showing, as described above, provide reflections of how people perceive their experiences, but do not study what actually happens . This can be better captured by observing how people interact, move, dress and use space, as these are very much part of how reality is constructed. Although observations can be used in different types of research, this method is typically associated with ethnography. 8 Settings that may be explored by observation include, for instance, clinical practice, rounds, simulated events and seminars.

관찰은 학생과 교사 또는 환자 또는 다른 직업의 학생들 사이의 상호작용에 대한 통찰력을 제공하기 위해 사람들이 하는 행동에 대한 추가적인 관점을 제공할 수 있다. 이것은 특정 과정을 포착하거나 학습이 이루어지는 더 큰 맥락에 대한 추가 정보를 제공하는 데 도움이 될 수 있다. 컨텍스트에는 물리적 공간뿐만 아니라 소리, 냄새, 눈 접촉 또는 그러한 신체적 접촉 부족, 상호작용에 사용되는 목소리의 톤 및 사람이 움직이는 방법이 포함될 수 있다. 관찰은 시간적으로 상당히 제한적일 수 있지만(예: 2시간 모의 세션의 세 가지 관찰), 학생이나 감독자의 일상 생활 동안 며칠 또는 몇 주 동안 그림자처럼 관찰함으로써 수행될 수도 있다. 

 Observations may provide an additional perspective on what people say they do, to provide insight into interactions between students and teachers or patients, or between students from different professions. This can help to capture a certain process or provide further information on the larger context in which learning takes place. Context can include the physical space as well as sound, smell, eye contact, or lack of such, physical contact, the tone of voice used in an interaction and how people move. Observations may be fairly limited in time (e.g. three observations of a 2- hour simulated session), but they can also be conducted by shadowing a student or a supervisor throughout their daily practice for several days or weeks. 

한 연구에서, 우리는 64명의 환자와 건강관리 전문가들(전문가가 다른 의사, 간호사, 영양사, 사회복지사)과 건강관리 전문가들이 서로 어떻게 상호 작용하는지를 연구하기 위해 다원적 만성 신장 질환 클리닉에서 일일 회진하는 것을 관찰했다. 이러한 보편적인 형태의 치료 기능에 대한 이해를 넓히기 위해서. 9 우리의 연구결과는 진료소 내에서 협력적으로 일할 것으로 기대되는 건강전문가들 사이의 경계 문제, 복잡한 환자의 관리에 있어서의 의료전문, 그리고 간병인과 환자 사이의 경계 문제를 중심으로 이루어졌다. 의료 전문가들을 관찰함으로써, 우리는 그들이 분명히 알지 못하는 그들의 상호작용의 측면을 포착했고, 따라서 그들이 그들에 대해 우리에게 보여주거나 말하도록 요구하는 방식으로는 포착할 수 없었을 것을 포착했다.

In one study, we observed 64 consultations between patients and health care professionals (physicians with different specialties, nurses, dieticians and social workers) and end- of- day rounds at a multidisciplinary chronic kidney disease clinic, to explore how health care professionals interact with one another, patients, families and caregivers in order to expand our understanding of how this increasingly common form of care functions. 9 Our findings revolved around the question of boundaries between the health professionals who were expected to work cooperatively within the clinic, between medical specialties in the management of complex patients, and between caregivers and patients. Through observing the health care professionals in action, we captured aspects of their interactions that they were not explicitly aware of, and hence would not have been possible to capture by asking them to show or tell us about them. 

결론

CONCLUSIONS 

이 짧은 소개에서 우리는 가능한 많은 유형의 데이터 중 몇 가지만 설명하였다. 종종, 그러나 배타적이지는 않지만, 민족학 연구에서는 몇 가지 유형의 질적 데이터가 단일 연구에 결합된다. 예를 들어, 학생들을 인터뷰한 다음 관찰하거나, 연습생들에게 그들의 경험을 담아낸 시나 단편 소설을 쓰라고 요청하고, 그 후 인터뷰에 응할 수 있다. 

In this short introduction we have described only a few of many possible types of data. Often, but not exclusively, in ethnographic studies, several types of qualitative data are combined in a single study: one may, for example, interview students and then observe them, or ask trainees to write a poem or short story capturing their experiences, and then follow up with interviews. 

질적 연구의 세계로 진입하는 임상의들의 경우 데이터 수집 기회 수와 범위가 압도적으로 보일 수 있다. 연구에 적합한 데이터 유형을 선택할 때 세 가지 질문을 고려하십시오. 

For clinicians entering the world of qualitative research, the number and range of opportunities to collect data may seem overwhelming. In choosing the types of data appropriate to your study, we suggest you consider three questions. 

1. 당신이 대답하고 싶은 연구 질문은 무엇이며, 어떤 종류의 자료가 당신에게 답을 줄 것이며, 당신은 연구 윤리 위원회에 제출할 때 이것을 정당화할 수 있는가? 

1 . What is the research question you want to answer, what kind(s) of data will give you the answers and can you justify this in your submission to the research ethics committee? 

2 . 그 질문을 탐구하고자 하는 특정 이론이나 프레임워크를 확인하셨습니까? 그리고 데이터의 특정 유형(또는 유형)이 다른 것들보다 이론적 가정에 더 잘 맞으시겠습니까? 

2 . Have you identified a certain theory or framework within which you want to explore that question, and would a certain type (or types) of data better fit its theoretical presumptions than others? 

3. 이러한 다양한 유형의 데이터의 특정 이점 또는 어려움은 무엇인가? 

3 . What are the specific benefits or challenges of these different types of data? 10 

마지막으로, 여러분이 연구자로서 여러분 자신에게 묻고 싶은 궁극적인 질문은 개인적으로 어떤 유형의 데이터에 대해 흥분하고 있는지이다. 질적 연구의 풍부한 분야에서, 우리는 연구자들이 그들의 호기심과 흥미 그리고 자신의 창의성을 따르도록 영감을 받기를 바란다!

Finally, the ultimate question you may want to ask yourself concerns what types of data you personally feel excited about as a researcher. In the rich field of qualitative research, we hope that researchers will feel inspired to follow their curiosity, interest and own creativity!

How to…choose between different types of data.

질적연구: 이론으로부터 시작하기 (Clin Teach, 2018)

How to… get started with theory in education

Jenny Johnston 1 , Deirdre Bennett 2 and Anu Kajamaa 3

도입

INTRODUCTION 

교육 연구를 수행하는 임상의들은 익숙하지 않은 영역에 있을 수 있다. 오래 지속된 믿음은 연구에 대한 새로운 사고방식에 의해 도전받을 수 있다. 여러 분야에 의해 알려진 이 새로운 지적 지형에서, 이론은 크게 나타나고 불쾌해 보일 수도 있고, 심지어 압도적으로 보일 수도 있다. 이 논문에서는 이론의 복잡성을 어느 정도 해소하고, 어떤 신비성에 도전하고, 그것을 보다 쉽게 접근할 수 있도록 하는 것을 목표로 하고 있다. 이론에 정통한 연구가 건강 전문 교육 주제를 어떻게 조명할 수 있는지, 초보자도 쉽게 접할 수 있는지를 보여줄 것이다. 

Clinicians who undertake education research may find themselves in unfamiliar territory. Long- held beliefs may be challenged by new ways of thinking and talking about research. In this new intellectual landscape, informed by multiple disciplines, theory looms large and can seem offputting, or even overwhelming. In this paper, we aim to unravel some of the complexity of theory, to challenge any mystique and to make it more accessible. We will show how theory-informed research can shed light on health professional education topics, and can be accessible even to beginners. 

Mouly는 이론을 '편리함 - 꼭 필요한 것 - 여러 가지 사실, 법, 개념, 구성, 원리들로 이루어진 모든 것을 의미 있고 다루기 쉬운 형태로 조직하는 것'이라고 묘사했다. 1 이론은 단순히 우리가 세상을 이해하는데 도움을 주는 지침이나 도구로 생각할 수 있다. 학문과 심리학 등 이론을 활용한 연구 분야가 다양하다. 이러한 학문들, 그리고 다른 것들로부터 파생된 이론들은 의학 교육 연구에 사용하기 위해 repurpose될 수 있다. 2 이론들은 세계를 볼 수 있는 렌즈와 같은 것으로, 흐릿한 물체를 명확한 초점으로 가져오고 연구자들이 가까이 또는 멀리 볼 수 있도록 도와준다. 다른 렌즈들이 연구자에게 각기 다른 것을 보여 주므로, 연구 질문에 이치에 맞는 이론을 고르는 것이 합리적이다. 연구자는 기존의 이론적 관점(연역적 접근법)을 사용하거나 심지어 이론(귀납적 접근법)을 세우는 것을 선택할 수 있다. 우리는 이 두 가지 선택에 대해 아래에서 더 자세히 논의할 것이다. 

Mouly described theory as ‘a convenience – a necessity really – organising a whole slough of assorted facts, laws, concepts, constructs, principles, into a meaningful and manageable form’. 1 Theory can be thought of simply as a guide or a tool that provides an explanation of something, helping us to make sense of the world. There are lots of different fields of research that use theory, such as education and psychology. Theory derived from these disciplines, and others, may be repurposed for use in medical education research. 2 Theories are like lenses through which to see the world, bringing fuzzy objects into clear focus and helping researchers to see up close or into the distance. Different lenses show up different things to the researcher, so it is sensible to pick a theory that makes sense for the research question. The researcher can choose to use an existing theoretical perspective (a deductive approach), or even choose to build a theory (an inductive approach). We will discuss both of these choices in greater detail below. 

이론의 다양한 레벨

DIFFERENT LEVELS OF THEORY 

이론을 대, 중, 하의 세 계층으로 나누면 연구에서의 각 계층의 역할을 이해하는 데 유용한 틀을 만들 수 있다. 3 이 세 계층은 각각 다른 연구 프로젝트와 일치하지만 뭔가 다른 기여를 하는 하나의 연구 프로젝트에 존재할 수 있다. 

Dividing theory into three tiers – grand, mid- range and low level – creates a useful framework for understanding the role of each in research. 3 All three may be present in one research project, each aligning with the others but contributing something different. 

가장 중요한 것은 그랜드 이론이다. 이것들은 모든 것을 설명하려고 노력하면서, 세상에 대해 광범위하고 중요한 진술을 한다. 4 때때로 그랜드 이론들은 너무 흔해서 거의 보이지 않게 될 수 있다. 예를 들어, 과학적 방법과 증거에 기초한 의학은 '실증주의'라고 불리는 대이론에서 파생되었다. 실증주의의 주요 전제는 객관적인 연구 증거가 인간을 우리 주변의 세계에 대한 완전한 이해로 이끌 것이라는 것이다. 5 많은 의료 전문가들이 이러한 사고방식을 인식하고 지지하겠지만, 이론으로 인식되는 경우는 적다. 주요 의학 저널을 한 번 보면 전형적인 RCT를 볼 수 있는데, 이에 대해 어떠한 이론적 관점도 언급하지 않는다. 6 

At the most overarching level are grand theories. These try to explain everything, making broad, overarching statements about the world. 4 Sometimes, grand theories can be so commonplace that they become all but invisible. For example, the scientific method and evidencebased medicine are derived from a grand theory, termed positivism . The main premise of positivism is that objective research evidence will lead humankind to a full understanding of the world around us. 5 Although many health care professionals will recognise and espouse this way of thinking, it is less often recognised as a theory; a glance at any major medical journal will show that the typical randomised controlled trial makes no mention of any theoretical perspective. 6 

또한 사회과학 분야에서는 인간의 관행과 과정을 다른 방식으로 묘사하고 관찰과 해석의 중요성을 강조하는 다른 그랜드 이론들이 사용된다. 해석주의는 지식을 쌓는 데 있어 연구자의 역할에 더 중점을 두는 것이며, 개개인이 세상을 다르게 경험할 수 있다는 것을 받아들이는 것이다. 7 해석학은 사회적 세계에서 다양한 세계관과 구성의 공존을 수용하기 때문에 의학 교육 연구 8에서 꽤 일반적인 관점이다., 그리고 현재 여러 저자들은 이것을 연구에 사용한다. 

There are also other grand theories used in social science disciplines, which describe human practices and processes in different ways, and stress the significance of observations and interpretations. Interpretivism is one that focuses more on the role of the researcher in constructing knowledge, and accepts that individuals may each experience the world differently. 7 Interpretivism is quite a common perspective in medical education research 8 because it accommodates the coexistence of different worldviews and constructions of the social world, and is used by the present authors in their work. 

Low-level theory은 스펙트럼의 다른 끝에 있으며, 사물에 대한 우리 자신의 상투적인 설명으로 구성되어 있다. 만일 그랜드 이론이 모든 것을 설명하려고 한다면, low-level 이론은 그 설명력에서 구체적이다. 우리 모두는 일상 생활의 사건들을 설명하기 위해 우리 자신의 비공식적인 작업 이론을 만든다. 아마도, 예를 들어, 당신은 당신의 경험을 통해, "학생들은 당신이 상담하는 것을 보는 것보다 환자와 상호작용하는 것을 더 잘 배운다"는 이론을 세울지도 모른다. 일반화되지는 않지만, 이러한 유형의 이론은 연구들에서 정식으로formally 검증, 탐구, 설명될 수 있는 작업 가설을 제공하는 데 정말 유용하다. 

Low- level theory is at the other end of the spectrum and consists of our own mooted explanations of things. If grand theory tries to explain everything, low- level theory is specific in its explanatory power. We all make our own informal working theories to explain the events of everyday life. Perhaps, for example, you might theorise that, in your experience, students learn better from interacting with patients rather than from watching you consult. Although not generalisable, this type of theory is really useful in providing a working hypothesis that can then be tested, explored or explicated formally in research. 

이 두 가지 다른 유형의 설명을 연결하는 것은 중범위 이론으로, 종합적 설명과 경험적 관찰 사이의 차이를 메운다. 3 그들은 사물에 대한 추상적인 설명을 제공하지만, 여전히 연구 데이터에 기반을 두고 있다. 중간 범위 이론은 그랜드 이론처럼 넓은 진술을 하려 하지 않고, 특정한 맥락 안에서 심도 있는 설명을 허용한다. 중간 범위 이론은 대개 그랜드 이론과 일치align하며, 같은 근본적인 가정들을 공유하여, 이 둘은 서로 make sense한다. 중간 범위 이론은 매우 다양하기 때문에, 이것들은 일반적으로 논문에서 인용되며 의학 교육 연구자들에게 실질적으로 유용한 유형의 이론이다. 중간 범위 이론의 예로는 계획된 행동 이론(공공 보건 연구에서 흔히 사용되는 실증 이론)과 실천 이론 공동체(의학 교육에서 인기 있는 사회적 학습 이론)가 있다.

Connecting these two different types of explanation are mid- range theories, which bridge the gap between overarching explanations and empirical observations. 3 They provide abstracted explanations of things, yet explanations that are still grounded in research data. Mid- range theories do not try to make broad statements like grand theories, but they allow for in- depth explanations within particular contexts. A mid- range theory is usually aligned with a grand theory, sharing the same fundamental assumptions, so that they make sense together. There are lots of different mid- range theories, so these are commonly cited in papers and are practically useful types of theory for the medical education researcher. Examples of mid- range theories are the theory of planned behaviour (a positivist theory, commonly used in public health research) and communities of practice theory (a social learning theory popular in medical education). 9,10 

근거이론

GROUNDED THEORY 

또는 연구자가 직접 이론가가 되는 것이 있는데, 근거 이론을 이용하여 당신 자신의 중간 범위 이론을 구축하는 것이다. 11,12 이것은 실증주의와 해석주의적 연구와는 약간 다른 방법을 제공하여, well-published steps가 있다. 12 이 경우, 당신의 연구는 다른 이론에 의해 지시되지 않는다. 대신에, 그 이론은 자료로부터 만들어진다. 연구자로서, 당신은 여러 차례의 동시 데이터 수집과 분석에 참여한다. 모든 단계에서, 설명은 여러분이 특정한 맥락 안에서 특정한 현상에 대한 설명을 제공하고, 다른 유사한 맥락(즉, 중간 범위 이론)으로 잠재적으로 이전할 수 있는 모델을 개발하기 전까지는 점점 더 정교해지고 추상화된다. 그렌드 이론은 의학 교육에 성공적으로 사용되었다. 13,14 

An alternative option is to become a theorist yourself, building your own mid- range theory using grounded theory . 11,12 This offers well- published steps, with slightly different methods for positivist and interpretivist research. 12 In this case, your research is not directed by any other theory. Instead, the theory is built from the data. As the researcher, you engage in several rounds of concurrent data collection and analysis. At every step, the explanations become increasingly sophisticated and abstract until you have developed a model that offers an explanation of a particular phenomenon within a particular context, and that is potentially transferrable to other similar contexts (in other words, a mid- range theory). Grounded theory has been successfully used in medical education. 13,14 

이론 선택 및 사용 방법 

HOW TO CHOOSE AND USE A THEORY 

아마도 가장 큰 도전은 당신의 연구를 위한 올바른 종류의 이론을 얻는 것이다. 바쁜 임상의에게 이것은 처음부터 엄청난 장애물처럼 보일지도 모른다. 그러나 이론의 사용에 대한 '규칙'에 대한 기본적인 이해와 주요 건강 직업 교육 저널에 대한 약간의 친숙함은 다른 연구자들이 한 일을 해명하는 데 큰 도움이 될 것이다. 거기서부터, 그 연구자는 이론으로부터 출발한 연구를 향한 자신만의 길을 개척할 수 있다. 

Perhaps the biggest challenge lies in getting the right sort of theory for your research. For the busy clinician, this may seem like an enormous hurdle to begin with. Yet a basic understanding of the ‘rules’ of theory use, along with some familiarity with major health professions education journals, will go a long way towards elucidating what other researchers have done. From there, the researcher can make his or her own forays into theory- driven research. 

EBM과 마찬가지로, 선택된 이론과 방법이 연구 문제와 함께 잘 작용하는 것이 필수적이다. 질문이 가능한 질문들은 무엇보다도 연구자가 지지하는 그랜드 이론에 달려있다. 

• 실증주의 연구는 그 자체를 측정, 관찰, 그리고 '무엇' 질문에 잘 기여하는 반면, 

• 해석주의 연구는 맥락, 과정, 그리고 '어떻게' 또는 '왜' 질문의 분석에 의존한다. 15 

As with evidence- based medicine, it is essential that the chosen theory and methods work well together with the research question. The questions that can be asked will depend first of all on which grand theory the researcher espouses: positivist research lends itself well to measuring, observing and ‘what’ questions, whereas interpretivist research lends itself to analysis of context, process and ‘how’ or ‘why’ questions. 15 

(그랜드 이론이) 결국 가장 유용할 이론과 방법들을 지시할 것이다. 

• 객관적 구조화된 임상시험(OSCE)에서 인지적 성과를 보고 있는가? 그렇다면 아마도 심리학과 통계 분석이 당신의 친구일 것이다. 

• 당신은 전문적인 문화와 정체성을 연구하고 있는가? 그런 다음 사회문화 학습 이론과 반구조적 인터뷰를 고려해보자. 

This in turn will dictate the sort of theory and methods that might be most useful. 

• Are you looking at cognitive performance in objective structured clinical examinations (OSCEs)? Then perhaps psychometrics and statistical analysis are your friends. 

• Are you researching professional culture and identity? Then consider sociocultural learning theory and semi- structured interviews. 

서로 다른 기저 이론들 사이의 결합, 연구 질문, 방법론 그리고 방법은 엄격한 논문을 설계하는 데 필수적인 부분이다. 8 당신의 전공에서 흔히 사용되는 이론의 종류에 대한 개요를 개발하면 이론을 선택하고 적용하는 능력과 다른 사람들이 어떻게 그것을 사용했는지 이해할 수 있는 능력을 향상시킬 것이다. 그런 의미에서 교육연구에 대한 이론적 사용은 실증적 연구에 대한 통계와 비판적 평가를 이해하는 것과 다소 유사하다. 

Congruence between the different underpinning theories, the research question, methodology and methods is an essential part of designing a rigorous piece of work. 8 Developing an overview of the sorts of theory that are commonly used in your fi eld will enhance your ability to choose and apply a theory, and to understand how others have used it. In that sense, theory use for education research is somewhat analogous to understanding statistics and critical appraisal for positivist research. 

일단 당신이 이론과 적절한 연구 질문을 선택했으면, 당신이 선택한 관점을 어떻게 사용할 것인지를 고려하라. 당신은 이론적 개념이 단순히 당신의 분석을 민감하게 하는sensitize '가벼운 접촉light touch' 접근법을 선택할 수 있다. 예를 들어, 질적 데이터의 경우 귀납적 주제 분석을 사용할 수 있지만, 귀납적 분석을 하는 과정에서 주요 개념 중 일부는 예전에 읽었던 것 중 기억하고 있는 개념일 수 있다. 또는 앞서 확인한 데이터 내의 특정 측면에 대해 코드화하는 프레임워크 분석을 사용할 수도 있다. 17 어떤 식으로든, 의도는 특정 렌즈를 사용하여 특정 사물을 보는 것이다. 우리는 우리 자신의 연구에서 이론을 사용한 다른 방법의 세 가지 예를 제시한다(표 1). 

Once you have chosen a theory and appropriate research question, consider how you would like to use the perspective you have chosen. You may choose a ‘light touch’ approach, where theoretical concepts simply sensitise your analysis. For example, for qualitative data you might use an inductive thematic analysis, 16 but keep some of the main concepts that you have read about in mind as you do so. Or you might choose a heavily theory-driven approach, using a framework analysis to code for particular aspects within the data that you have identified a priori, for example. 17 Either way, the intention is to use a particular lens to see particular things. We give three examples of different ways in which we have used theory in our own research (Table 1 ). 

언제 자료로부터 나름의 이론을 유도해야 할 것인가? 어느 정도 이것은 개인적인 선택의 문제지만, 근거 이론은 특히 과정을 보고 사물의 관계를 조사하는 데 유용하다.12 근거 이론은 이론에 대한 어떤 사전 지식도 가정하지 않기 때문에 초보 연구자가 다소 더 쉽게 접근할 수 있는 것처럼 보일 수도 있다. 그러나 당신이 사용하고 있는 근거이론의 branch를 고수하는 것은 필수적이다. 세 가지가 있다: 

When might you choose to induce your own theory from data? To an extent, this is a matter of personal choice, but grounded theory is especially useful for looking at processes and for examining relationships between things. 12 Because grounded theory does not presume any prior knowledge of theory, it may seem somewhat more accessible to the novice researcher. It is essential, however, to stick with the branch of grounded theory that you are using. There are three: 

• 상대적으로 실증주의적인 것 the original, taking a relatively positivist view; 18 

• 해석주의적 관점 the third, taking an interpretivist view, 12 and 

• 그 중간 the second, occupying a middle ground. 19 

널리 발표된 세 가지 각각에 대한 적절한 절차를 지키는 것도 중요하다. 근거 이론 방법론과 주제 분석을 구별하는 것이 바로 절차이다. 따라서 근거이론 접근방식은 주의 깊게 수행되어야 하며, 반드시 쉬운 선택을 나타내는 것은 아니다. 

It is also vital to adhere to the proper procedures for each of the three, which are widely published – it is these that distinguish grounded theory methodology from thematic analysis. Grounded theory approaches must thus be undertaken with care, and do not necessarily represent an easy choice. 

결론

CONCLUSIONS 

결론적으로, 우리는 그 이론이 어떤 수준에서든 우리가 세상을 조금 다르게 볼 수 있도록 돕기 위해 존재한다는 것을 반복한다. 우리는 이론의 의미와 사용을 둘러싸고 있을지도 모르는 두려움과 미스터리의 일부를 제거하려고 노력해 왔다. 건강 전문 교육 연구 질문은 서로 다른 이론 렌즈를 통해 살펴봄으로써 빛을 발할 수도 있고, 스스로 이론을 세우는 연구원들에 의해 대답될 수도 있다. 비록 더 많은 경험을 가진 멘토에게 항상 도움이 되지만, 모든 사람이 이 자원에 접근할 수 있는 것은 아니다. 미루지 말라: 읽고 쓰고, 동료들로부터 배우고, 실험한다.

To conclude, we reiterate that theory, at whatever level it is pitched, is simply there to help us to see the world a little differently. We have tried to remove some of the fear and mystery that may surround the meaning and use of theory. Health professional education research questions can be illuminated by looking at them through different theoretical lenses, or answered by researchers building theories of their own. Although it is always helpful to fi nd a mentor with more experience, not everyone will have access to this resource. Do not be put off: read; write; learn from peers, and experiment. 

모든 의학 교육 컨퍼런스에서, 당신은 당신이 어떻게 특정한 이론을 사용할 수 있는지에 대해 조언하는 열성팬들을 발견할 수 있을 것이다. 대학원 연구를 수행하는 사람들을 위해 소셜 미디어에는 활발한 이론 커뮤니티가 있다. 예를 들어, @사회적 테오리앱, @이론 학교, 심지어 @노예적 크리스마스도 모두 트위터에서 시도해 보라. 이론에 관여하는 것이 위압적일 필요는 없다. 대신에, 그것은 완전히 새로운 연구 가능성의 세계를 열 수 있다.

At every medical education conference, you are likely to find enthusiasts happy to advise about how you could use certain theories. For those undertaking postgraduate research, there is also a vibrant theory community on social media: for example, try @socialtheoryapp, @theoryschool and even @averytheoryxmas, all on Twitter. Engaging with theory need not be daunting. Instead, it can open up a whole new world of research possibilities.

How to… get started with theory in education.

좋은 연구질문을 쓰는 법(Clin Teach, 2018)

How to…write a good research question

Karen Mattick 1 , Jenny Johnston 2 and Anne de la Croix 3,4

도입

INTRODUCTION 

대부분의 임상 교사들은 연구 프로젝트를 수행하거나, 그들의 교육 관행을 평가하거나, 직업의 어느 시점에 회의 포스터를 준비할 것이다. 대부분의 임상 교사들은 또한 자신의 실습과 관련된 주제에 대해 출판된 문헌(예: 교수 혁신, 평가 전략 또는 학생 지원 접근법)을 탐구할 것이다. 이러한 활동들은 여러분이 무엇을 하고 있는지 그리고 왜 그런지 명확히 생각하기 위해 연구 질문을 작성함으로써 향상될 수 있다; 그러나 모든 임상 선생님들이 좋은 연구 질문을 쓰는 방법에 대한 훈련을 받은 것은 아니며, 이것은 보이는 것만큼 간단하지 않다. 특히 질적 연구를 위한 질문을 쓰는 것은 많은 건강 전문가들에게 새로운 것일지도 모른다. 본 논문은 저자들(대부분적으로 출판한 의학 교육 연구원)이 유용하다고 판단한 몇 가지 요령과 틀을 공유하는 것을 목표로 하고 있는데, 우리는 교육 영역에서 초보 연구자인 임상 교사들을 지원하고, 아마도 더 경험이 많은 연구원들에게 도움이 되는 리프레셔를 제공하기를 희망한다. 

Most clinical teachers will undertake a research project, evaluate their education practice or prepare a conference poster at some point in their careers. Most clinical teachers will also explore the published literature on a topic relevant to their practice: for example, a teaching innovation, assessment strategy or student support approach. These activities can be enhanced by writing a research question in order to think clearly about what you are doing and why; however, not all clinical teachers have had training in how to write a good research question, and this is not as straightforward as it may seem. Writing questions for qualitative research, in particular, might be new for many health professionals. This article aims to share some tips and frameworks that the authors (medical education researchers who have published quite extensively) have found useful, which we hope will support clinical teachers who are novice researchers in the education sphere, and perhaps provide a helpful refresher for more experienced researchers. 

좋은 연구 질문이란? 

WHAT IS A GOOD RESEARCH QUESTION? 

좋은 질문은 사람들로 하여금 잠시 멈추고 다른 방식으로 사물을 보게 하거나 토론, 인터넷 검색 또는 문학 리뷰를 통해 더 많은 것을 배우도록 동기를 부여할 수 있다. 아이가 부모에게 바다가 왜 파랗냐고 물으면, 부모들은 정보에 정통한 대답을 하기 전에 정보 자원과 상의해야 할 수도 있다! 새로운 잠재적으로 변화할 수 있는 관점을 명확히 하기 위해서는 (이는 '문제화'라고 불리는 과정이다), 일상적으로 받아들여지는 가정이나 실천적 문제에 대해 비판적으로 생각하는 것이 연구 질문을 생성하는 가장 유용한 방법 중 하나이다. 좋은 연구 질문은 분석되고 해석될 수 있는 데이터를 식별하거나 수집하여 새로운 통찰력을 제공하는 퀘스트로 연구자를 보낼 것이다. 

A good question can make people pause and see things in a different way, or can motivate them to learn more through discussion, an internet search or literature review. When a child asks their parents why the sea is blue, the parents may need to consult an information resource before providing a well- informed answer! Thinking critically about everyday taken- for- granted assumptions or practice problems, to enable new potentially transformative viewpoints to be articulated (a process called ‘problematising’), is one of the most useful ways of generating research questions. A good research question will send the researcher on a quest to identify or collect data that can be analysed and interpreted, such that it provides new insights. 

그렇다면 좋은 질문의 특징은 무엇인가? 무엇보다도, 그 문제는 중요한 주제에 초점을 맞춰야 한다. 이 연구가 수행되지 않을 경우 어떻게 될 것인지 자문해 보십시오. 이것이 정말 중요한가? 누가 그것으로부터 이익을 얻을 것인가? 

So what are the features of a good question? First and foremost, the question should focus on an important topic. Ask yourself what will happen if this research is not done – does it really matter? Who will benefit from it? 

좋은 질문들은 종종 그 발견을 사용하거나 그 결과로부터 이익을 얻을 수 있는 사람들과 함께 만들어진다. 다른 사람들이 중요한 질문이라고 생각하는 것을 알고 싶다면, 저널, 기금 기관, 임상 교육 분야의 우선순위 설정 등에서 도출된 우선순위를 보라. 1 때때로 새로운 데이터는 연구 질문을 던질 수 있다: 예를 들어, 국가 조사의 결과로부터 출발할 수도 있다. 다른 연구 문제들은 실제로 일어나고 있는 것에 대한 이론이나 가설에 의해 추진된다. 연구 질문들이 가까운 교육적 맥락에 초점을 맞추어 상당히 '지역적이고 특정한' 것으로 시작하는 것은 드문 일이 아니지만, 그것들은 종종 더 광범위한 관련성을 지닌 질문으로 발전될 수 있다.

Good questions are often co- created with those who may use or benefit from the findings. Look at the priorities identified by journals, funding bodies or priority- setting exercises in the clinical education field to see what others think are important questions. 1 Sometimes new data might prompt a research question: from the findings of a national survey, for example. Other research questions are driven by a theory or hypothesis about what is happening in practice. It is not uncommon for research questions to start out by being quite ‘local and particular’, focused on the immediate educational context, but they can often be developed into questions with broader relevance. 

좋은 연구 질문은 대개 상당히 좁거나 구체적이지만, 종종 그렇게 시작하지 않는다. 당신은 연구에 대한 일반적인 주제나 아이디어(예: 학습 동기)로 시작할 수 있으며, 이는 시간이 지남에 따라 보다 구체적인 질문으로 발전한다(예: 의대 졸업생들은 근무 시간 외에 전자 학습 자원과 어떻게 관여하는가?). 초보자들은 종종 매우 광범위한 질문을 던지지만, 이러한 질문들은 짧은 시간 내에 답변될 것 같지 않고 방향과 영향이 부족할 수 있다. 2 

Good research questions are usually quite narrow or specific, but often do not start out that way. You might start with a general theme or idea for research (e.g. motivation for learning), which develops into a more specific question over time (e.g. how do medical school graduates engage with e- learning resources outside their working hours?). Novices often ask very broad questions, but these are unlikely to be answered in a short time frame and can lack direction and impact. 2 

연구 문제를 개발한 후에는 기존의 출판된 문헌을 통해 답변할 수 있는지, 새로운 자료를 반드시 수집해야 하는지를 검토할 필요가 있을 것이다. 그 문제에 명확한 경계가 있을 경우에만 문헌을 검토할 수 있다. 연구에서는, 우리는 종종 거대한 도약보다는 기존의 지식에 작은 한 걸음 기여하고 있다. 작은 기여가 전혀 변하지 않는 것보다 낫다. 그래서 짧고 모호한 질문보다는 길고 구체적인 질문이 더 바람직할 것이다.

After developing a research question, you will need to consider whether it can be answered through the existing published literature or whether new data must be collected. Reviewing the literature is only manageable if the question has clear boundaries. In research, we are often contributing a tiny step to the existing knowledge, rather than making huge leaps. Small contributions are better than no changes at all. So a long, specific question is likely to be preferable to a short vague question. 

이러한 점을 설명하기 위해 표 1은 몇 가지 특정 예를 제공하며, 다음 절에서는 몇 가지 주요 고려사항에 대해 논의한다. 

To illustrate these points Table 1 provides some specifi c examples, and in the next section we discuss some key considerations. 

고려사항: 관련성, 오리지널리티, 엄격성

CONSIDERATIONS: RELEVANCE, ORIGINALITY AND RIGOUR 

여기서, 우리는 위에서 제기된 요점을 바탕으로 연구 질문을 개발할 때 고려해야 할 몇 가지 사항을 강조한다. 이러한 분석은 특정 순서에 따라 수행되지 않는다. 고려사항은 세 가지 주요 범주로 분류된다(그림 1 ). 이 범주는 연구 질문의 관련성, 독창성 및 엄격성에 대해 광범위하게 생각할 수 있으며, 상호 관련성이 있고 부분적으로 영국 연구 우수 프레임워크에서 영감을 받았다. 3 카테고리 중 하나로 시작해서 각 카테고리를 여러 번 다시 방문할 수 있다. 그렇게 함으로써, 당신은 당신의 연구 질문을 약간 또는 완전히 바꿀 수 있다. 많은 반복을 겪더라도 낙담하지 마라. 이 과정에 소비되는 시간은 항상 좋은 투자이다.

Here, we highlight some things to think about as you develop your research question, building on the points raised above. These analyses are not intended to be undertaken in any specific order. The considerations fall into three main categories (Figure 1 ), which can be thought of as broadly concerning the relevance, originality and rigour of the research question, and which are interrelated and partly inspired by the UK Research Excellence Framework. 3 You may start with any one of the categories and revisit each one multiple times. In doing so, you may change your research question slightly or completely. Don ’ t be disheartened if you go through many iterations; time spent on this process is always well invested. 

관련성

Relevance 

당신이 연구하고자 하는 중요한 사회 문제나 실천적 문제를 파악하고 설명함으로써 시작하라. 다양한 대상들에게 이 연구가 갖는 중요성을 알기 위해서는, 여러 가지 방법으로 문제를 설명하도록 시도해보라. 아마도 이를 위해 임상 교육 기관의 다른 이해당사자들과 함께 작업할 수 있을 것이다(Box 1). 당신의 프로젝트 아이디어에 대해 일반 용어로 이야기하고 열린 마음으로 사람들의 반응을 관찰하라. 그 과정은 당신이 분명하게 그리고 다른 관점에서 생각하도록 요구할 것이다. 

Begin by identifying and articulating the important societal or practice problem that you wish to research. To consider the significance of the research question for different audiences, try articulating the problem in multiple ways, perhaps working with different stakeholders from the clinical education field to do this (Box 1 ). Talk about your project idea in lay terms and observe people ’ s reactions with an open mind. The process will require you to think clearly and from different perspectives. 

독창성

Originality 

또 다른 중요한 고려사항은 연구 문제가 새로운 통찰력을 창출하고 이전의 연구를 복제하지 않는 독창적인 작업으로 이어지도록 하는 것인데, 이는 문헌 검토를 통해 결정할 수 있다. 문헌검토에는 여러 가지 접근방법이 있는데, 4 이것을 목적에 맞게 조정할 수 있다. 정의하고자 하는 질문에 대한 답변(또는 부분적 답변)을 제공하는 기존의 연구 조사 또는 관심 주제에 대한 검토 기사를 찾을 수 있다면, 처음 예상한 연구를 수행할 필요가 없을 수 있다. 이것은 좋은 소식이다. 왜냐하면 당신의 시간이 이미 알려진 것을 의도치 않게 복제하는 것이 아니라 그 일을 확장하고 지식에 기여하는 데 사용될 수 있기 때문이다. 당신이 연구하고자 하는 문제를 확인하고 이미 수행된 연구가 무엇인지 알게 되면, 당신은 당신이 다루고자 하는 연구의 차이를 명확히 할 수 있을 것이다. 현재의 문제를 명확히 하고, 중요한 지식 격차를 부각시키며, 청중들에게 이 격차가 문제라는 것을 설득하는 것을 제안하는 '문제, 갭, 후크'에 대한 링가드의 논문은 이것에 대해 생각하는 유용한 방법이다. 5

Another key consideration is to ensure that the research question will lead to original work that generates new insights and does not duplicate previous research, which can be determined through a literature review. There are many different approaches to literature reviewing, 4 so you can tailor this to the purpose. If you can find an existing research study or review article on your topic of interest that answers (or partially answers) the question you are trying to define, then you may not need to do the study you had first envisaged. This is good news, as your time can now be spent extending that work and contributing to knowledge, rather than unintentionally duplicating what is already known. Once you have identified the problem that you wish to research and know what research has already been undertaken, you will be able to articulate the gap in the literature that you wish to address. Lingard’ s paper on ‘Problem, Gap, Hook’, which suggests articulating a current problem, highlighting an important knowledge gap and convincing the audience that this gap is problematic, is a useful way of thinking about this. 5 

엄격성

Rigour 

데이터 수집 및 데이터 분석의 연구 질문 및 방법이 일치하는지 확인하는 것은 엄격함의 핵심 요소다. 연구 질문들은 특정한 유형의 해답을 제시할 수 있다. 예를 들어, 어떤 질문들은 예 또는 아니오 대답을 요구하고, 어떤 질문들은 답으로서 숫자나 순위를 요구하고, 어떤 질문들은 단어의 형태로 데이터를 가지고 더 잘 대답할 수 있다. 다른 사람들이 특정한 유형의 질문, 즉 어떤 사람들은 '무엇'을 선호하고, 어떤 사람들은 '왜' 또는 '어떻게'를 선호하며, 이러한 선호들은 그들의 지식과 이전의 경험에 의해 형성된다는 점에 주목할 필요가 있다. 일반적으로 경험, 관점, 그룹 프로세스 및 개인 개발에 초점을 맞춘 질문은 질적인 연구에 더 잘 맞는 경향이 있다. 6 

Ensuring that the research question and methods of data collection and data analysis are aligned is a key element of rigour. Research questions may suggest a particular type of answer. For example, some questions demand a yes or no answer, some require a number or a ranking as an answer, and some may be better answered with data in the form of words . It is worth noting that different people may be drawn to particular types of question: some favour ‘What’, and some favour ‘Why’ or ‘How’, and these preferences are shaped by their knowledge and prior experiences. Generally, questions focusing on experiences, viewpoints, group processes and personal development tend to lend themselves better to qualitative research. 6 

질문은 또한 연구자들이 선호하는 방법론적 도구에 의해 형성될 수 있는데, 이는 필연적으로 그들이 세상을 보는 방식과 연계된다: 7 예를 들어, 그들이 질적 지향성을 가지고 있는지 양적 지향성을 가지고 있는지 하는 것이다. 동료 연구원들과 대화하십시오. 그들은 이 질문에서 어떤 종류의 연구 디자인을 예상할 수 있을까? 어떤 이론과 방법론이 이 질문에 답하는데 유용할 수 있을까? 당신의 연구 프로젝트가 끝날 무렵에도 결론을 도출할 때는 연구의 일관성을 보장하기 위해 연구 질문을 다시 참고하라. 

Questions may also be shaped by researchers’ preferred methodological tools, which are inevitably interlinked with the way that they see the world: 7 for example, whether they have a qualitative or quantitative orientation. Talk to fellow researchers. What kind of study design would they anticipate from this question? What kinds of theories and methodologies might be useful in answering this question? Even towards the end of your research project, when drawing conclusions, refer back to the research question to ensure the coherence of the study. 

연구질문 쓰기 팁

TIPS FOR WRITING YOUR RESEARCH QUESTION 

연구 질문의 초안을 작성할 때, 당신이 하고 있는 것과 당신의 연구 질문의 구성요소에 대해 명확하게 생각하는데 도움이 되는 몇 가지 유용한 프레임워크가 있다. 독자들은 학습을 평가하는 커크패트릭의 모델과 탐구할 수 있는 다른 유형의 교육 결과를 고려하는 Bar et al.에 의해 설명된 확장된 버전에 익숙할 수 있다 8,9 

When drafting your research question, there are some useful frameworks that you can use to help you think clearly about what you are doing and about the components of your research question. Readers might be familiar with Kirkpatrick ’ s model for evaluating learning and the expanded version described by Barr et al., which considers different types of education outcome that may be explored. 8,9 

지금까지 많은 임상 교육 연구는 학습자의 만족도에 초점을 맞추었지만, 지식 이득, 행동 변화 또는 환자 결과를 고려한 연구를 설계하는 것은 가능하다. 블룸의 분류법은 교육적 결과와 관련하여 사용되는 서술자에 대해 생각하는 데 유용하다. 10 독자들은 또한 PICO(환자, 중재자, 대조군/비교, 결과) 프레임워크, 11 SPIDER (샘플, 관심 현상, 설계, 평가, 연구 유형)에 질적인 대안을 제공하는 것에 익숙할 수 있다. 12 SPIDER 프레임워크는 질적인 작업에 대한 질문의 핵심 요소들을 기술하는 데 도움이 될 수 있다.

Much clinical education research to date has focused on learner satisfaction, but it is possible to design research that considers knowledge gain, behaviour change or patient outcomes. Bloom ’ s taxonomy is useful for thinking about the descriptors used in relation to educational outcomes. 10 Readers might also be familiar with 

• the PICO (patient, intervention, control/ comparison, outcome) framework, 11 

• with SPIDER (sample, phenomenon of interest, design, evaluation, research type) providing a qualitative alternative. 12 

The SPIDER framework can help to spell out the key elements of a question for qualitative work. 

일단 연구 프로젝트를 시작했으면, 정기적으로 연구 질문을 다시 방문하라revisit. 일부 프로젝트는 연구 중에 진화하고 표류하며, 궁극적으로 연구 질문에 답하지 않는다. 모든 것을 흡수하는 연구 과정 속에서 질문을 놓치기 쉽다. 연구의 다른 요소들은 서로 일정한 재배치를 필요로 하며 에이지 교수는 이것이 연구 연구, 특히 질적 연구의 형성에 매우 중요하다는 것을 상기시킨다. 13 그 과정동안 연구문제를 최우선적으로 기억하라. 

Once you have started your research project, revisit the research question regularly. Some projects evolve and drift during the study, and ultimately do not answer the research question. It is easy to lose sight of the question in the midst of the all- absorbing research process. Different elements of research need constant realignment with each other and Agee reminds us that this is critical to the shaping of research studies, particularly qualitative studies. 13 Keep the research question foremost in your mind throughout the process. 

결론

CONCLUSION 

좋은 연구 질문은 만드는 데 시간이 걸리지만, 이 과정에 투자하는 시간은 언제나 가치가 있다.

A good research question takes time to create, but time invested in this process is always worthwhile.

How to…write a good research question.