보건전문직 교수개발에서 어떻게 문화가 이해되는가: 스코핑 리뷰(Acad Med, 2020)

How Culture Is Understood in Faculty Development in the Health Professions: A Scoping Review
Lerona Dana Lewis, PhD, and Yvonne Steinert, PhD

교수 개발(FD)은 보건직업 교육의 필수적인 부분이며 정부 자원이 종종 할당되는 보건 서비스 개선에 중요한 공헌자이다. FD는 보건 전문가들이 교사 및 교육자, 지도자와 관리자, 연구자와 학자로서 지식, 기술 및 행동을 향상시키기 위해 추구하는 활동을 말한다. FD 활동들은 그들이 펼쳐지는 기관의 규범, 가치, 신념, 관행뿐만 아니라 설정과 자원의 영향을 받습니다. 다른 교육활동과 마찬가지로 FD도 가치중립적이지 않다—문화를 형성하고, 문화에 의해 형성된다.

Faculty development (FD) is an integral part of health professions education and a significant contributor to the improvement of health services for which government resources are often allocated.2–4 FD refers to those activities that health professionals pursue to improve their knowledge, skills, and behaviors as teachers and educators, leaders and managers, and researchers and scholars.5 These activities are influenced by setting and resources as well as by the norms, values, beliefs, and practices of the institutions in which they unfold. Like any other type of educational activity, FD is not value free—it shapes and is shaped by culture.

문화는 의료 전문가들이 공유할 수 있는 "학습된 신념과 행동의 통합된 패턴"으로 정의되었습니다; 그것은 "생각, 의사소통 스타일, 상호작용 방법, 역할과 관계의 관점, 가치, 관행, 그리고 관습"을 포함합니다. 6 FD는 국제적으로 성장하고 있으며, 종종 서로 다른 나라에서 기관 파트너에 의해 수행되고 있습니다. 블랫과 동료7은 "세계화가 증가하는 이 시대에 의료교육의 문화 간 공유 추세는 증가하고 있다"고 말했다. 그러나 FD의 설계, 전달 및 효과가 문화의 영향을 받는 방법에 대해서는 거의 알려져 있지 않다. 우리는 또한 FD가 문화의 개념을 어떻게 직접적으로 다루는지 모른다. 문화를 중요한 요소로 식별하는 FD 모델이 몇 가지 있지만, 8-10과 많은 저자들은 FD에서 문화를 고려해야 한다고 주장하지만, 11-13 저자들이 "문화를 고려해야 한다"고 말할 때 저자들이 무엇을 의미하는지 여전히 불분명하다.

Culture has been defined as “an integrated pattern of learned beliefs and behaviors” that can be shared by health care professionals; it includes “thoughts, communication styles, ways of interacting, views of roles and relationships, values, practices, and customs.”6 FD is growing internationally, and it is often undertaken by institutional partners in different countries. As Blatt and colleagues7 said, “In this age of increasing globalization, cross-cultural sharing of medical education represents a growing trend.” However, little is known about how the design, delivery, and effectiveness of FD are influenced by culture. We also do not know how FD addresses notions of culture directly. While there are several models of FD that identify culture as a critical component,8–10 and a number of authors argue that culture should be considered in FD,11–13 it often remains unclear what authors mean when they say that we should “take culture into account.”

더욱이, 세계화가 증가하고, 국가 문화 전반에 걸친 자원의 공유로, 4,7,14,15 문화가 FD에 미치는 영향에 대한 인식이 매우 중요해졌다.
Moreover, with increasing globalization and the sharing of resources across national cultures,4,7,14,15 an awareness of the influence of culture on FD becomes critically important.

[범위 검토scopring review]는 증거를 요약하거나 매핑하거나, 필드의 폭과 깊이를 전달하거나, 복잡한 개념을 명확히 하는 데 사용될 수 있다.17 범위 검토는 특히 문화와 FD의 개념을 탐구하는 데 유용하다.

Scoping reviews can be used to summarize or map evidence, convey the breadth and depth of a field, or clarify a complex concept.17 In our opinion, a scoping review is particularly useful for exploring the notion of culture and FD.


방법 Method

Arcsey와 O'Malley, 17명은 5단계로 구성된 공통 분석 프레임워크 및 검토 프로세스를 옹호합니다.
Arksey and O’Malley,17 advocate for a common analytic framework and review process consisting of 5 stages.

1단계: 연구 질문 식별
Stage 1: Identifying the research question

우리의 중요한 검토 질문은 다음과 같았다. 보건 분야에서 문화와 FD에 대해 알려진 것은?
Our overarching review question was: What is known about culture and FD in the health professions?

2단계: 관련 연구 식별
Stage 2: Identifying relevant studies

3단계: 스터디 선택
Stage 3: Study selection

4단계: 데이터 차트 작성
Stage 4: Charting the data

5단계: 결과 수집, 요약 및 보고
Stage 5: Collating, summarizing, and reporting results

우리는 서술적 주제 분석과 정성적 주제 분석을 모두 사용하여 차트화한 데이터를 요약했다.17,18 기술 분석은 설명된 위치, FD 주제 및 접근 방식, 건강 직업 및 평가 방법에 대해 보고되었다. 정성적 주제 분석을 위해, 19 우리는 저자들이 FD 프로그램 또는 개입에서 문화를 다루는 방법을 탐구했다.
We summarized the data we charted using both a descriptive and a qualitative thematic analysis.17,18 The descriptive analysis reported on the location, FD topic and approach, health profession, and evaluation methods described. For the qualitative thematic analysis,19 we explored how the authors addressed culture in their FD program or intervention.

결과

Results

기술분석
Descriptive analysis

위치.
Location.

우리는 20개국에서 온 연구들을 포함했습니다. 미국이 가장 많은 연구(n = 37, 53%)를 가지고 있었다. 그 외에도, 중국에서 온 3개의 기사가 있었다; 캐나다, 인도, 사우디아라비아, 스웨덴, 베트남, 그리고 보츠와나, 덴마크, 아이티, 이란, 일본, 몽골, 네덜란드, 카타르, 러시아, 한국, 남아프리카 공화국, 영국, 짐바브웨에서 각각 1개씩. 지역 그룹도 FD 프로그램에 대해 보고했습니다.—남아시아 5개국이 포함된 지역 그룹 4개국이, 사하라 이남 아프리카 11개국이 포함된 두 번째 그룹. 20 우리는 여러 국가의 참가자가 참여하는 FD를 "국제"로 분류했습니다.15,21–24

We included articles from 20 different countries. The United States had the most articles (n = 37, 53%). In addition, there were 3 articles from China; 2 from Canada, India, Saudi Arabia, Sweden, and Vietnam; and 1 each from Botswana, Denmark, Haiti, Iran, Japan, Mongolia, the Netherlands, Qatar, Russia, South Korea, South Africa, the United Kingdom, and Zimbabwe. Regional groups also reported on FD programs—One regional group included 5 South Asian countries4 and a second included 11 sub-Saharan African countries.20 We categorized FD involving participants from multiple countries as “international.”15,21–24


FD 주제 및 접근 방식.
FD topic and approach.

우리는 각 기사의 주요 초점을 결정하고 이러한 주제를 6개의 주요 FD 범주로 나누었다. 이 프로세스는 FD 내용 영역의 공통 분류를 통해 알려졌습니다.5 주요 콘텐츠 분야는 

• 교수 및 학습(n = 30, 43%), 
• 문화 역량(n = 13, 19%), 
• 경력 개발(n = 13, 19%), 
• 리더십(n = 5, 7%), 
• 연구 및 장학(n = 6, 9%), 
• 전문성과 윤리(n = 3, 4%)였다.
  

We determined each article’s primary focus and divided those topics into 6 major FD categories. This process was informed by a common classification of FD content areas.5 The major content areas were

• teaching and learning (n = 30, 43%),
• cultural competence (n = 13, 19%),
• career development (n = 13, 19%),
• leadership (n = 5, 7%),
• research and scholarship (n = 6, 9%), and
• professionalism and ethics (n = 3, 4%).

가장 일반적인 FD 접근 방식은 다양한 기간(2일에서 5일 교육 프로그램 및 1년 과정 등)으로 구성된 워크숍이었다. 많은 다년간의 펠로우쉽도 보고되었으며, 많은 FAIMER(국제 의료 교육 및 연구 선진화 재단) 프로그램의 일부로 보고되었다.20,21 대부분의 이니셔티브는 경험적 학습, 코칭 및 멘토링, 성찰적 실천과 같은 다양한 형식을 포함했다.

The most common FD approaches were workshops of varying duration, 2to 5-day training programs, and year-long courses. A number of multiple-year fellowships were also reported, many as part of the Foundation for Advancement of International Medical Education and Research (FAIMER) program.20,21 Most initiatives included multiple formats, such as experiential learning, coaching and mentoring, and reflective practice.

보건전문직
Health profession.

검토한 기사 중 53%(n = 37)가 다학제 보건 전문가 그룹을 위해 설계되었다. 또한 간호 분야에서는 17%(n = 12), 의학 분야에서는 16%(n = 11), 치과 분야에서는 7%(n = 5)로 나타났다.
Of the articles we reviewed, 53% (n = 37) were designed for multidisciplinary groups of health professionals. In addition, 17% (n = 12) took place in nursing, 16% (n = 11) in medicine, and 7% (n = 5) in dentistry.


평가 방법.
Evaluation methods.

62개(89%)의 기사가 평가 계획을 기술했다. 다른 개념적 모델들이 평가 과정을 안내했으며, 커크패트릭의 모델 8개 기사(11%)에 사용되었다. Chen의 프로그램 평가 모델은 1개 논문에서, Guskey의 평가 모델 다른 논문에서 기술되었다.85
Sixty-two (89%) articles described an evaluation plan. Different conceptual models guided the evaluation process, with Kirkpatrick’s model86 being used in 8 articles (11%). Chen’s program evaluation model87 was described in 1 article77 and Guskey’s evaluation model88 was described in another.85

참여자들의 문화에 대한 이해의 변화는 다문화 평가 설문지 89와 의료 전문가들 사이의 문화적 역량의 과정을 평가하기 위한 재고와 같은 심리학적 특성을 입증하는 도구를 사용하여 여러 연구에서 평가되었다.40

Changes in participants’ understanding of culture were assessed in several studies using instruments that demonstrated psychometric properties, such as the Multicultural Assessment Questionnaire89 and the Inventory for Assessing the Process of Cultural Competence among Health Care Professionals.40

정성적 주제 분석
Qualitative thematic analysis

세 가지 주요 테마가 나타났다: 

• (1) 문화는 자주 언급되었지만 설명되지 않음, 
• (2) 다양성 문제를 중심으로 한 문화, 
• (3) 문화적 고려는 국제 FD에서 일상적으로 설명되지 않았다.
  

Three main themes emerged: 

• (1) culture was frequently mentioned but not explicated; 
• (2) culture centered on issues of diversity, aiming to promote institutional change; and 
• (3) cultural consideration was not routinely described in international FD.

문화는 자주 언급되었지만 설명되지는 않았다.
Culture was frequently mentioned but not explicated.

전체 데이터 세트에 3개 기사만 문화를 정의했습니다. 전체 데이터 세트에 3개 기사만 문화를 정의했습니다. 한 기사는 문화를 "한 세대에서 다음 세대로 배우고 전승한 한 무리의 사람들이 공유하는 의미 체계이며, 문화에는 신념, 전통, 가치관, 관습, 의사소통 방식, 행동, 관행, 그리고 제도가 포함"된다고 정의했다. 이러한 문화의 개념은 게르츠의 연구에 바탕을 두고 있었다. 나머지 2개 기사도 가치관, 신념, 규범, 실천이 문화의 정의에 필수적이라고 강조했다.
Only 3 articles in the entire dataset defined culture. One article defined culture as “a system of meanings shared by a group of people learned and passed on from one generation to the next. Culture includes beliefs, traditions, values, customs, communication styles, behaviors, practices, and institutions.”38 This conception of culture was based on Geertz’s work.91 The other 2 articles9,40 also underscored that values, beliefs, norms, and practices were integral to the definition of culture.

동시에, 문화라는 용어는 종종 다른 단어들과 함께 사용되었다. 예를 들어 '문화간호', '문화간호', '문화간호', '문화적 패권', '문화간호', '문화간호', '문화간호', '문화적 패권', '문화적 인식' 등의 문구가 흔했다. 다른 일반적인 문구들은 "학문의 문화," "학습의 문화," 그리고 "의학의 문화"였다.

At the same time, the term culture was often used in conjunction with other words. For instance, phrases such as “institutional culture,” “organizational culture,” “physician culture,” “college culture,” “teaching culture,” and “research culture” were common, as were “cross-cultural care,” “sociocultural competence,” “cultural diversity,” “cultural hegemony,” and “cultural awareness.” Other common phrases were “culture of scholarship,” “culture of learning,” and “culture of medicine.”

다른 방식으로, 문화라는 용어는 [저자와 독자 사이에 공유된 의미를 가정한 개념]의 "잡동사니grab bag"을 나타내는 것처럼 보였다. 예를 들어, Behar Horenstein과 동료 75의 글에서 "대학 문화"의 의미를 비판적으로 추궁하는 것은 가정된 공유된 의미의 문제성을 드러낸다.

In different ways, the term culture appeared to represent a “grab bag” of concepts for which a shared meaning was assumed between authors and readers. For example, critically interrogating the meaning of “college culture” in an article by BeharHorenstein and colleagues75 revealed the problematic nature of assumed shared meanings.

문화는 제도적 변화를 촉진하는 것을 목표로 다양성 문제에 초점을 맞췄다.
Culture centered on issues of diversity, aiming to promote institutional change.

다양성에 초점을 맞춘 기사에서, FD 프로그램이나 활동의 명시된 목표는 

• (1) 환자의 다양성에 초점을 맞춤으로써 의료 관행을 변화시키는 것이었다. (보통 문화적 역량의 중추 아래), 
• (2) 과소대표된 교직원과 함께 작업함으로서 교수진의 구성을 변화시키는 것이었다. FD).
  

In articles focusing on diversity, the stated objectives of the FD program or activity were to change 

• (1) health care practices by focusing on patient diversity (usually under the rubric of cultural competence) or 
• (2) the composition of the faculty by working with underrepresented faculty members (often under the rubric of under represented minority FD).
  

13개 기사에서 [문화 역량에 초점을 맞춘 FD 이니셔티브]를 기술했는데, 문화적 역량은 "임상치료의 문화적 구성요소에 참여하기 위해 필요한 지식, 기술 및 인식"으로 정의할 수 있다.38 이들 프로그램의 대부분은 교직원들에게 교양간 환경에서 학습자들이 효과적으로 일할 수 있도록 지식과 기술을 제공하는 것을 목표로 했다. 또한 여러 기사들은 FD 프로그램에서 종종 명시적으로 다루지 않았던 과정인 [개인적 가정, 편견 및 사회적 불평등의 성찰과 조사]라고 기술된 [비판적 의식critical consciousness]의 중요성을 강조했다.

Thirteen articles described FD initiatives focusing on cultural competence, which can be defined as the “knowledge, skills, and awareness required for attending to cultural components of clinical care.”38 The majority of these programs aimed to give faculty members the knowledge and skills to help learners work effectively in cross-cultural settings.15,38–47,49 Several articles also highlighted the importance of critical consciousness, described as reflection and examination of personal assumptions, biases, and social inequalities,43 a process that was often not addressed explicitly in FD programs.46,47

문화적 역량을 위한 FD는 보통 그 자체로 독립적stand-alone 프로그램으로 제공되었다. 그러나, 3개의 기사에서 기술된 FD 활동은 특정 과정과 연결되어 있었다. 41, 46, 47개의 여러 연구는 소규모 집단 사례 연구와 반사적 연습을 포함한 문화적 민감성을 촉진하기 위한 특정 [교육 및 학습 전략]을 강조했다. 38,43 흥미롭게도, 이 기사들 중 한 가지를 제외한 모든 것이 북미에서 왔다.
FD for cultural competence was usually offered as a stand-alone program. However, in 3 articles, the FD activities described were linked to specific courses.41,46,47 Several studies45–47 highlighted specific teaching and learning strategies to promote cultural sensitivity, including small group case studies and reflective exercises.38,43 Interestingly, all but one of these articles came from North America.

[진로개발]에 초점을 맞춘 13개 기사 중 7개 기사는 교직원의 다양성을 높이고 저평가된 교직원의 학업성취도를 보장하기 위한 시책을 기술하였다.
Seven of the 13 articles focusing on career development described initiatives to increase the diversity of faculty members and ensure the academic success of underrepresented faculty members.9,28,30,31,33,34,37

전반적으로, 교수진의 다양성을 증가시키기 위한 FD 프로그램은 성공적인 것으로 간주되었지만, 미국 밖에서는 그러한 프로그램이 보고되지 않았다.
Overall, FD programs to increase faculty diversity were considered successful, though no such programs were reported outside the United States.


문화적 고려는 국제 FD에서 일상적으로 설명되지 않았다.
Cultural consideration was not routinely described in international FD.

24개의 기사는 국제 FD 프로그램에 대해 기술했다. 

• 일부는 한 국가(예: 미국)에서 다른 국가(예: 중국, 러시아 또는 스웨덴)로 FD 프로그램 또는 활동을 옮겼으며, 
• 다른 일부는 내용 또는 프로세스를 구체적으로 변경하여, 기존의 FD 프로그램을 채택했으며, 
• 일부는 "파트너십"으로 설명되었다.20, 21,61 
  

Twentyfour articles described international FD programs. 

• Some transferred an FD program or activity from one country (e.g., the United States) to another (e.g., China, Russia, or Sweden)62,69,71; 
• others adapted known FD programs50,68,70 by making specific changes to the content or process; and 
• some were described as “partnerships.”20,21,61 

또한 이러한 기사 중 약 50%에서 [국가적 맥락 또는 문화적 규범과 신념의 중요성]을 인정하였다. 그러나 단지 14(20%)에서만 [문화적 차이를 수용하기 위해 만들어진 특정 변화나 적응]을 기술했으며, 그 중 오직 하나의 프로그램만이 [문화적 관련성을 평가]하였다.50

Moreover, although close to 50% of these articles acknowledged the importance of national contexts or cultural norms and beliefs, only 14 (20%) described specific changes or adaptations made to accommodate cultural differences, of which only 1 program evaluated for cultural relevance.50

몇 가지 프로그램이 미국에서 다른 나라(예: 스탠포드 FD 모델)로 옮겨졌으며, 이 때 프로그램이 특별한 수정이나 적응 없이 진행되었다. 한 예로, Wong과 Fang62는 미국에서 중국으로 FD 프로그램을 이전하는 것이 성공적이었으며, 이는 미국과 중국의 의과대학 제도 사이의 유사성 때문에 문화적 적응이 불필요하게 되었다고 주장했다. 또 다른 시책에서 왕과 아기셰바69는 "의료교사에게 존재하는 교육적 도전은 제도적, 문화적 경계를 모두 초월했다"며 문화적 수용cultural accommodation이 불필요하다고 봤다. 스웨덴에서는 [스웨덴과 미국의 의과대학 시스템 사이의 "근접성closeness"]이 FD 프로그램의 성공적인 이전을 가능하게 하는 것으로 간주되었다.71
Several programs were transferred from the United States to another country (e.g., the Stanford FD model),71 without specific modifications or adaptations. In one instance, Wong and Fang62 argued that the transfer of an FD program from the United States to China was successful because of similarities between the medical school system in the United States and China, which rendered cultural adaptations unnecessary. In another initiative, Wong and Agisheva69 observed that “the educational challenges that exist for medical teachers transcended both institutional and cultural boundaries” and that cultural accommodation was unnecessary. In Sweden, the “closeness” between the Swedish and U.S. medical school systems was viewed as enabling the successful transfer of an FD program.71

FD 프로그램에 대한 적응이 이루어졌을 때, 그들은 지역적 상황에 대응하기 위한 많은 방법과 전략을 포함했다. 

• 아시아의 문화적 감수성을 높이기 위한 교육 설계 원칙 통합4
  
• 대한민국에서 근무일수 단축에 대한 현지 기대치를 수용하기 위한 프로그램 기간 단축70
  
• 사우디 아라비아의 종교적 차이를 수용하기 위해 전문성 강화53;
  
• 사우디아라비아, 53개 보츠와나, 52개 카타르, 68개 중국, 7개 및 남아프리카 공화국의 현지 문화를 반영하기 위한 맞춤형 사례 및 역할극 시나리오 50;
  
• 중국 및 러시아에서 과정 자료 및 전체 프레젠테이션 번역, 7,69 및
  
• 남아프리카에서 이메일 사용과 아이티에서 온라인 설문 조사의 사용에 영향을 미친 열악한 통신 네트워크에 적응하는 것.

When adaptations to FD programs were made, they included a number of methods and strategies to respond to the local context: 

• incorporating educational design principles to enhance cultural sensitivity in Asia4;
• shortening the length of a program to accommodate local expectations of shorter work days in South Korea70;
• reframing professionalism to accommodate religious differences in Saudi Arabia53;
• tailoring case vignettes and role-playing scenarios to reflect local cultures in Saudi Arabia,53 Botswana,52 Qatar,68 China,7 and South Africa50;
• translating course materials and plenary presentations in China and Russia7,69; and
• adapting to poor telecommunications networks, which affected the use of email in South Africa50 and the use of online surveys in Haiti.63

또한 국제 교육자들이 지역적 맥락에 대한 준비되지 않은 느낌을 설명하면서 문화의 영향을 인정하였다. 예를 들어

• 베트남의 FD 프로그램 운영자들은 현지 참가자들이 질병과 치료를 이해하는 방식, 간호사와 의사 간의 계층적 관계, 간호사가 수행하는 업무의 차이, 종교적 신념, 환자의 기대 등에 대해 준비되지 않았다고 보고했다.84
• 다른 이니셔티브에서 중국에서는 가족 권리가 개별 환자 권리보다 더 중요하게 여겨졌으며, 그 결과 서구의 촉진자들은 의사와 환자의 의사소통에 초점을 맞춘 역할극에서 비롯되는 논의를 정확하게 예상하지 못했다.7
  

The impact of culture was also acknowledged when international educators described feeling unprepared for local contexts. For example,

• facilitators of an FD program in Vietnam reported that they were unprepared for the ways in which the local participants understood illness and treatment, the hierarchical relationship between nurses and doctors, the difference in tasks performed by nurses, religious beliefs, and the expectations of patients.84
• In another initiative in China, it was noted that family rights were considered more important than individual patient rights, and, as a result, facilitators from the West did not accurately anticipate the discussions that resulted during a role-play which focused on doctor–patient communication.7
  
  

언어는 분명히 국제 FD에서 또 다른 중요한 고려사항이다. 그러나, 단지 몇몇 기사만이 언어의 차이가 어떻게 해결되었는지를 기술하였다. 7,62,69 FD는 지역 언어가 다른 경우에도 영어로 수행되었다. 그러나 참가자들의 영어 능력은 다양하여 일부 FD 프로그램의 성공에 영향을 미쳤다. 4,70 게다가 FD 문서와 자원 자료의 번역은 표준 관행이 아니었다.
Language is clearly another important consideration in international FD; however, only a few articles described how language differences were addressed.7,62,69 FD was most often conducted in English, even when the local language was different. However, participants’ fluency in English varied, affecting the success of some FD programs.4,70 In addition, the translation of FD documents and resource materials was not a standard practice.

더욱이, 문서가 번역되었을 때에도, 언어는 때때로 한계나 장벽으로 간주되었다. 4,62,70 일부의 경우, 동일한 단어가 로컬 언어에는 존재하지 않았다. 또한, 일부 워크숍에서는 번역의 충실도가 문제였으며, 1개의 경우 참가자와 진행자 간의 "소통 단절"으로 이어졌다.84
Moreover, even when documents were translated, language was sometimes considered a limitation or barrier.4,62,70 In some instances, equivalent words did not exist in the local language. As well, during some workshops, the fidelity of the translation was an issue and, in 1 case, led to a “breakdown in communication” between participants and facilitators.84

하지만, 

• "큰 그림 번역"(즉, 청중에게 주기적인 요약을 제공하는 번역가) 및 
  
• 속삭임 번역(즉, 번역가가 발표자에게 속삭인다). 
  

등은 프로그램에서 참가자 사이의 용기와 상호작용을 번역하는 효과적인 수단임이 입증되었고 다른 프로그램에서 평가를 용이하게 했다. 실로, [문화 통역사의 사용]은 FD 프로그램의 성공에 기여하는 것으로 보고되었다. 왜냐하면 언어와 문화적인 맥락을 모두 해석했기 때문이다.63 However, “big picture translation” (i.e., a translator providing periodic summaries to the audience) and whisper translation (i.e., a translator whispering back to the presenter) proved to be effective means of translating plenaries and interactions among participants in one program7 and facilitated evaluation in another.63 In fact, the use of cultural interpreters was reported to contribute to the success of FD programs because these individuals interpreted both the language and cultural contexts.63

예를 들어, 사하라 이남 아프리카의 프로그램 참가자들은 자국의 "학술적 문화"가 열악함에 대해 말했고, 그들의 FAIMER 경험이 그들이 국내에서 학술활동 개발을 촉진하는 문화를 구축하는 데 도움이 되었다고 언급했다.
For example, program participants in sub-Saharan Africa spoke of a poorly developed “culture of scholarship” in their own countries and noted that their FAIMER experiences helped them to build a culture that would promote the development of scholarship at home.

국제 FD 이니셔티브의 형식은 종종 1~2일에서 2주까지 또는 종단적 성격을 갖는 것으로 기술되었다. 50,67,84 국제 의료 교육자 교환은 다른 나라에 있는 5개 의과대학 중 1개 학교에서 몇 주를 보낸 독특한 형식이었다.24

The format of international FD initiatives was often described as workshop based, ranging from 1 or 2 days to 2 weeks, or as longitudinal in nature.50,67,84 The International Medical Educators Exchange was a unique format in which medical educators spent several weeks in 1 of 5 medical schools in another country.24

고찰

Discussion

1924년, "문화가 교육과 무슨 관계가 있는가?"라는 그의 질문에 대한 대답으로. 러시모어는 이렇게 썼다. 
"문화는 해석과 의미와 가치, 다른 것들과 지식의 다른 분야와의 관계를 암시한다."
In 1924, in response to his own question “What has culture to do with education?” Rushmore wrote that 

“culture implies interpretation and significance and values; relation to other things and to other branches of knowledge.”1 

이 범위 지정 검토는 Rushmore의 질문의 관련성을 강조했으며 문화와 FD에 대한 이해에서 핵심 개념, 결과 및 차이를 식별하는 데 도움이 되었습니다. 특히, 우리는 2006년 이후 이 주제에 명시적으로 초점을 맞춘 문헌은 소수에 불과하다는 것을 발견했다. 우리는 또한 대부분의 기사가 문화를 정의하지 않는다는 것을 발견했다.

This scoping review highlighted the relevance of Rushmore’s question and helped us to identify key concepts, findings, and gaps in our understanding of culture and FD. In particular, we found that only a small body of literature has focused on this topic explicitly since 2006. We also discovered that the majority of articles do not define culture;

문화를 정의하기

Defining culture

"내가 말할 때…"라는 제목의 흥미로운 기사에서."문화"라고 Pratt과 Schrewe92는 [의학에서 문화는 모든 것과 아무것도 아닌 것을 동시에 의미하는 "모호한 참조"가 되었다]고 지적했다. 우리의 범위 검토는 문화라는 용어가 거의 명확하게 정의되지 않는다는 개념을 뒷받침한다. 단지 3개의 기사만이 문화를 정의했고, 다른 기사에서는 문화가 "문화 인식" 또는 "학문의 문화"와 같은 다른 용어와 관련이 있는 경우, 이 용어들은 보통 설명되지 않았다. 이러한 발견은 문화의 개념과 그에 관련된 용어가 국내외 교육자들에게 동일한 의미를 전달하는지 의문을 제기한다. 그들은 또한 공동체로서, 우리는 문화라는 의미와 그 관련 용어(예: 문화 인식, 대학 문화)를 더 잘 정의하고 FD의 설계와 전달에서 문화의 어떤 측면이 중요한지 식별해야 한다고 제안한다.

In an interesting article, titled “When I Say…Culture,” Pratt and Schrewe92 noted that, in medicine, culture has come to be a “vague referent” meaning everything and nothing at the same time. Our scoping review supports the notion that the term culture is rarely defined clearly. Only 3 articles defined culture; in other articles, where culture was associated with another term such as “cultural awareness” or the “culture of scholarship,” these terms were not usually explained. These findings raise the question as to whether the notion of culture and its associated terms convey the same meaning to educators nationally and internationally. They also suggest that, as a community, we need to better define what we mean by culture and its associated terms (e.g., cultural awareness, college culture) and to identify which aspects of culture are important in the design and delivery of FD.

문화적 다양성
Cultural diversity

우리의 주제 분석에서 나타난 한 가지 주제는 나이, 민족, 인종과 같은 사회적 위치의 차이와 연계된 문화에 대한 이해였는데, 이 모든 것들은 문화적 역량을 위한 FD와 과소대표된 교수진을 위한 FD로 다루어졌다.
One theme that emerged from our thematic analysis was an understanding of culture that was linked to differences in social location, such as age, ethnicity, and race, all of which were addressed in FD for cultural competence and for underrepresented faculty members.

미국 밖의 FD는 이 imperative가 반영되지 않았다.
FD outside the United States did not reflect this imperative.

환자 모집단의 다양성을 다루는 것을 목표로 한 개입의 주된 초점은 교직원들이 학습자의 "문화적 역량"을 향상시키는 것이었다. 보건 전문가들 사이의 문화적 역량을 개선하기 위한 교육적 개입이 환자 치료 개선과 관련이 있는지를 비판적으로 평가한 체계적인 검토 결과, 문화적 역량과 개선된 환자 결과 사이에 긍정적인 관계의 증거가 제한적이라는 것을 발견했다.94 우리의 연구 결과는 [문화 역량에 대한 교수진의 이해]와 [이 내용을 그들의 교육에 통합하는 인식된 능력의 변화]를 보고하면서 문화적 역량에 대한 FD가 종종 성공적인 것으로 인식되었음을 시사한다. 그러나 학생 행동 및 환자 관리의 변화와 관련된 문화적 역량에 대한 FD의 효과에 대한 보다 엄격하고 장기적인 평가의 필요성이 여전히 중요하다.95

The primary focus of interventions that aimed to address diversity in patient populations was helping faculty members enhance the “cultural competence” of learners. A systematic review, that critically assessed whether educational interventions to improve cultural competence among health professionals were associated with improved patient care, found that there was limited evidence of a positive relationship between cultural competence and improved patient outcomes.94 Our findings suggest that FD for cultural competence was often perceived as successful, with reported changes in faculty members’ understanding of cultural competence and their perceived ability to integrate this content into their teaching.38,39,41 However, the need for more rigorous, long-term assessment of the effectiveness of FD for cultural competence that is linked to changes in student behavior and patient care remains important.95


[비판적 의식]은 학생, 환자, 그리고 과소되표된 소수 교수들 사이의 차이와 유사성에 대한 환원주의적 또는 단순한 사고방식과 반대되는 것이다. 왜냐하면 문화적 수사cultural trope를 기반으로 한 범주에 개인을 배치하는 것은 해로운 고정관념의 재확인을 초래할 수 있기 때문이다.
critical consciousness is the antithesis to reductionist or simplistic ways of thinking of the differences and similarities among students, patients, and underrepresented minority faculty, as placing individuals into categories based on cultural tropes can result in the reification of harmful stereotypes.

간문화적 역량intercultural competence은 태도, 지식, 기술에 기초하여 문화 간 상황에서 효과적이고 적절하게 상호작용하는 능력으로 정의되었다.96

• 간문화적 태도는 다른 문화를 가치 있게 여기고, 다른 문화를 이해하려는 호기심과 동기를 부여하며, 민족 중심적인 행동을 인식하는 것을 포함한다.
• 간문화적 기술에는 비판적인 자기반성, 가정에 의문을 제기하는 것, 불확실성을 참는 법을 배우는 것이 포함된다.

이러한 역량에 대한 인식과 획득을 촉진하는 것은 국내외에서 교육자의 전문성을 강화시킬 것이다.14,97

Intercultural competence has been defined as a person’s ability to interact effectively and appropriately in cross-cultural situations based on their attitudes, knowledge, and skills.96 

• Intercultural attitudes include valuing other cultures, being curious and motivated to understand other cultures, and being aware of ethnocentric behaviors; 
• intercultural skills include critical self-reflection, questioning assumptions, and learning to tolerate uncertainty.

Promoting an awareness and acquisition of these competencies would enrich educators’ expertise both at home and abroad.14,97

국제 FD 프로그램
International FD programs

문화의 개념과 문화의 사용 방법을 신중하게 정의해야 하는 필요성이 세계화 시대에 더욱 중요해지고 있습니다.
The need to carefully define the concept of culture—and how it is being used—becomes even more important in this era of globalization.

분명히, 국가의 차이는 FD 교육자가 자신의 프로그램을 계획, 구현 및 평가하는 방식에 영향을 미칠 수 있다.7 따라서 이 검토의 많은 이니셔티브가 지역적 맥락의 중요성을 인정했지만, 대부분은 프로그램이 지역적 요구를 충족시키는 방법 또는 문화적 영향을 수용하기 위해 어떤 수정이나 개조가 이루어졌는지에 대한 명확한 설명을 제공하지 않았다는 것이 놀랍다. 그들은 또한 프로그램의 문화적 관련성이나 지역적 맥락에 맞게 만들어진 어떤 accommodation도 평가하지 않는 것 같았다.
Clearly, national differences can influence the way that FD educators plan, implement, and evaluate their programs.7 It is surprising, therefore, that although many initiatives in this review acknowledged the importance of local contexts, most did not provide an explicit description of how their programs met local needs or what modifications or adaptations were made to accommodate cultural influences. They also did not seem to evaluate the cultural relevance of the program or any accommodations made to fit the local context.

또한 [문화를 고려하지 않음의 함의를 고려하는 것]과 [국가 문화를 필수화하거나 지나치게 단순화하지 않는 것]을 염두에 두는 것은 가치 있을 것이다. 왜냐하면 언어, 지리, 역사 또는 관행에 영향을 미치는 지역적 관습에서 발생하는 국가 내 지역적 차이가 있을 수 있기 때문이다. 그러므로 우리는 다음을 제안한다.

• 모든 국제 FD 프로그램에 정기적 니즈 평가를 포함시킨다. 
  
• FD 활동 평가에서 문화적 관련성의 개념을 다룬다.
  
• 교차 문화 FD에서 학습에 대한 언어와 접근 방식의 역할을 고려하라.

It also would be worthwhile to consider the implications of not taking culture into account and to remember to not essentialize, or oversimplify, national cultures as there may be regional differences within a country arising from language, geography, history, or localized customs that influence practices. We would therefore suggest that educators

• include routine needs assessments in all international FD programs,4,50
• address the notion of cultural relevance in the evaluation of their FD activities,50 and
• consider the role of language and approaches to learning in crosscultural FD.7,50,84
  

이 범위 검토에서 나온 우리의 연구 결과는 채택된 프로그램, 적응된 프로그램 또는 진정한 파트너십의 세 가지 렌즈를 통해 국제 FD 프로그램을 볼 수 있음을 시사한다. 문헌과 문화적 겸손을 증진하는 관점에서 볼 때 FD 활동의 설계와 전달에 동등하게 참여하는 [파트너십 모델]이 선호된다. 그러나, 우리의 연구 결과는 몇 가지 예외를 제외하고, 국제 FD 파트너십이 주로 서구 이외의 국가로 서구 교육 프로그램을 [이전transferred했다는 것]을 강조한다. 나아가 FD 프로그램을 책임지는 교육자들은 문화적 차이에 대한 개방성, 문화적 겸손, 그리고 배운 교훈을 자신의 환경으로 되돌리고자 하는 욕망에서 시작하여 양방향 학습을 촉진하기 위해 노력해야 한다. 많은 면에서, 문화 간 역량 96에 포함된 지식, 태도 및 기술은 이러한 목표를 달성하는 데 도움이 될 수 있습니다.
Our findings from this scoping review suggest that international FD programs could be viewed through 3 lenses:

• adopted programs,
• adapted programs, or
• true partnerships.

Based on the literature, and from the viewpoint of promoting cultural humility,98,99 a partnership model, with equal participation in the design and delivery of the FD activity, is preferred. However, our findings highlight that, with a few exceptions, international FD partnerships mainly transferred Western educational programs to non-Western countries. Moving forward, educators responsible for FD programs should work to promote bidirectional learning,7 starting with an openness to cultural differences, a sense of cultural humility, and a desire to bring lessons learned back to their own setting. In many ways, the knowledge, attitudes, and skills subsumed in intercultural competence96 could help to accomplish this objective.

마지막으로, 우리가 검토한 기사에서 문화의 개념은 종종 "국가적인" 문화를 언급했다는 것을 주목하는 것이 중요하다. 전문적인 문화나 학문적인 문화에 대한 언급은 거의 없었다.

Lastly, it is important to note that the notion of culture in the articles we reviewed often referred to “national” cultures. There was little mention of professional or academic cultures, to name a few.

한계

Limitations

미래 연구

Future research


연구원들은 문화와 FD 사이의 복잡한 상호 작용을 평가하는 데 더 명시적으로 초점을 맞추어야 한다. 
핵심 개념의 정의를 식별하고, 다음에 대해 연구를 시작해야한다.  

• 문화와 언어가 가르침과 배움에 미치는 영향, 
  
• 특정한 문화적 적응accommodation의 가치, 그리고 
  
• FD 프로그램과 개입에서 문화적 관련성의 평가.

researchers should focus more explicitly on assessing the complex interactions between culture and FD, starting with identifying the definitions of key concepts and moving forward to include studying 

• the influence of culture and language on teaching and learning, 
• the value of specific cultural accommodations, and 
• the evaluation of cultural relevance in FD programs and interventions.

결론

Conclusions

FD에서 문화적 영향을 수용하는 효과(예: 지역적 요구, 가치 및 신념 이해, 교수와 학습의 문화적 차이를 식별하고 인정, 지역 맥락과 문화에 대한 교재 맞춤화, 유연하고 대응력 있는 것)에 대한 더 많은 연구가 필요하다.
More research on the effectiveness of accommodating cultural influences in FD (e.g., understanding local needs, values, and beliefs; identifying and acknowledging cultural differences in teaching and learning; tailoring teaching materials to local contexts and culture; and being flexible and responsive) is needed.

만약 우리가 Rushmore의 질문으로 돌아가서 스스로에게 "문화가 교육과 무슨 관계가 있는가?"라고 묻는다면, 우리는 문화가 1924년처럼, 오늘날에도 관련이 있다고 말할 수 있을 것이다.

If we return to Rushmore’s question and ask ourselves “What has culture to do with education?” we could say that culture is as relevant today as it was in 1924.

Review

Acad Med

. 2020 Feb;95(2):310-319.

 doi: 10.1097/ACM.0000000000003024.

How Culture Is Understood in Faculty Development in the Health Professions: A Scoping Review

Lerona Dana Lewis 1, Yvonne Steinert

Affiliations collapse

Affiliation

• 1L.D. Lewis was postdoctoral fellow, Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada, at the time this work was completed. Y. Steinert is professor of family medicine and health sciences education, director of the Institute of Health Sciences Education, and the Richard and Sylvia Cruess Chair in Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 31599755

• DOI: 10.1097/ACM.0000000000003024

Abstract

Purpose: To examine the ways in which culture is conceptualized in faculty development (FD) in the health professions.

Method: The authors searched PubMed, Web of Science, ERIC, and CINAHL, as well as the reference lists of identified publications, for articles on culture and FD published between 2006 and 2018. Based on inclusion criteria developed iteratively, they screened all articles. A total of 955 articles were identified, 100 were included in the full-text screen, and 70 met the inclusion criteria. Descriptive and thematic analyses of data extracted from the included articles were conducted.

Results: The articles emanated from 20 countries; primarily focused on teaching and learning, cultural competence, and career development; and frequently included multidisciplinary groups of health professionals. Only 1 article evaluated the cultural relevance of an FD program. The thematic analysis yielded 3 main themes: culture was frequently mentioned but not explicated; culture centered on issues of diversity, aiming to promote institutional change; and cultural consideration was not routinely described in international FD.

Conclusions: Culture was frequently mentioned but rarely defined in the FD literature. In programs focused on cultural competence and career development, addressing culture was understood as a way of accounting for racial and socioeconomic disparities. In international FD programs, accommodations for cultural differences were infrequently described, despite authors acknowledging the importance of national norms, values, beliefs, and practices. In a time of increasing international collaboration, an awareness of, and sensitivity to, cultural contexts is needed.

의사를 위한 CME활동에서의 기획 및 평가의 개념 프레임워크(Med Teach, 2018)

A conceptual framework for planning and assessing learning in continuing education activities designed for clinicians in one profession and/or clinical teams
Donald E. Moore Jra, Kathy Chappellb, Lawrence Shermanc and Mathena Vinayaga-Pavand

배경 Background

생물의학·보건서비스 연구의 지속적인 발전에도 불구하고 환자가 항상 혜택을 받는 것은 아니어서 환자가 받을 수 있는 진료와 받아야 하는 진료 사이에 괴리가 생긴다.

Despite continuous advances in biomedical and health service research, patients do not always benefit from them, resulting in a gap between the care that they receive and the care that they could and should receive.

지속 교육(CE)
continuing education (CE)

의료 전문가들은 환자에게 가능한 최선의 치료를 제공하기를 원하기 때문에 CE에 의존하여 자신의 실무 분야에서 역량을 유지한다.
Because healthcare professionals want to provide the best possible care to their patients, they rely on CE to maintain competence in their areas of practice.

2009년에 일부 연구 결과를 반영한 결과 프레임워크가 제안되었다(More 등) 프레임워크에는 참여, 만족도, 학습, 역량, 성과, 환자 건강 및 커뮤니티의 7가지 결과 레벨이 포함되었습니다(인구 건강; 그림 1 참조).
An outcomes framework that reflected some of the research findings was proposed in 2009 (Moore et al. 2009). The framework included seven outcome levels: participation; satisfaction; learning; competence; performance; patient health and community (population health; See Figure 1)

개념적 프레임워크는 [개념, 가정, 기대, 신념, 증거 및 이론의 체계]이며, [현상에 대한 포괄적 이해를 제공하는 이들 사이의 추정된 관계]이다. 이 기사에서는, '현상'은 [환자 건강 향상으로 이어질 수 있는 수행능력 향상을 돕기 위한 직업 및/또는 임상 팀의 임상의사 학습 활동의 계획 및 평가]이다
A conceptual framework is a system of concepts, assumptions, expectations, beliefs, evidence and theories and the presumed relationships among them that provide a comprehensive understanding of a phenomenon. In this article, the phenomenon is planning and assessing learning activities for clinicians in one profession and/or clinical teams to help them improve their performance that would lead to improved patient health.

업데이트된 개념 프레임워크는 계획에 사용된 단계(그림 2의 영역 1과 2의 영역)와 평가에 사용된 단계(그림 2의 영역 4와 5의 영역) 사이에 교수 설계(그림 2의 영역 3)를 배치한다. 개인 또는 팀의 인구 건강, 환자 건강 상태, 성과 및 학습 요구에 대한 데이터가 영역 1과 영역 2에서 수집된다. 이 데이터는 3단계(지도 설계)에서 단일 직업 또는 임상 팀의 학습자를 위한 학습 활동을 계획하는 데 사용되며 4단계의 학습, 역량 및 성과와 5단계의 환자 및 인구 건강 상태를 평가하는 데 기본 데이터 역할을 한다. 
The updated conceptual framework places instructional design (area 3 on Figure 2) between the steps used forplanning (areas 1 and 2 on Figure 2) and the steps usedfor assessment (areas 4 and 5 on Figure 2). Data are col-lected in areas 1 and 2 about population health, patienthealth status, performance, and learning needs of individu-als or teams. These data are used to plan learning activities for learners in single professions or clinical teams in phase3 (instructional design) and serve as baseline data for assessing learning, competence, and performance in phase4 and patient and population health status in phase 5. 

개념적 프레임워크의 중요한 부분은 지속적인 평가이다. 지속저 평가는 [니즈 평가], [형성 평가], [총괄 평가]의 세 단계로 구성된다.

• 니즈 평가는 한 전문직 및/또는 임상 팀의 임상의사가 학습 활동 전에 알고 할 수 있는 것과 환자에게 최선의 가능한 치료를 제공하기 위해 학습 활동 후에 알고 해야 하는 것 사이의 차이를 식별한다.
• 형성 평가는 개별 임상 의사 및/또는 임상 팀이 학습 활동 중에 무엇을 배우고 있으며, 니즈 평가에 의해 식별된 격차를 줄이거나 제거하는 방향으로 나아가면서 수행할 수 있는지 모니터링하는 것이다. 개별 의료진 및/또는 팀이 연습 및 피드백을 통해 격차를 줄이거나 제거할 수 있도록 지원하는 것은 개념적 프레임워크의 중요한 부분입니다.
• 총괄 평가는 학습자 및/또는 임상 팀이 학습 활동에 참여한 후 무엇을 알고 무엇을 할 수 있는지를 측정하고 이를 개별 임상 의사 및/또는 임상 팀이 알고 환자에게 최선의 치료를 제공할 수 있어야 하는 것과 비교한다.

An important part of the conceptual framework is continuous assessment. Continuous assessment consists ofthree phases of assessment: needs assessment; formativeassessment, and summative assessment.

• Needs assessment identifies the gap between what clinicians in one profes-sion and/or clinical teams know and can do before a learning activity and what they should know and do aftera learning activity in order to provide the best possible care to their patients.
• Formative assessment is monitoringwhat an individual clinician and/or clinical team is learning and can do during a learning activity as they progresstowards reducing or elimination the gap identified by needs assessment. Helping an individual clinician and/orteam reduce or eliminate the gap through practice and feedback is an important part of the conceptual framework.
• Summative assessment measures what an individual learner and/or a clinical team knows and can do afterparticipating in a learning activity and compares it to what an individual clinician and/or clinical team should know and be able to do to provide the best possible care to patients.

개념 모델 – 평가 필요
The conceptual model – needs assessment

니즈 평가란 니즈를 식별하고 분석하기 위한 체계적인 프로세스를 말합니다. "요구need"라는 용어는 "지금은 어떠한가" (현재 조건)과 "앞으로 어떻게 되어야 하는가" (희망 조건) 사이의 격차(gap)을 의미한다. 교육 활동이 다룰 필요성을 운영하기 위해서는 "무엇인가"와 "무엇이 될 수 있거나 되어야 하는가" 사이의 차이를 측정해야 한다. 개념적 프레임워크에서 니즈 평가는 인구 건강, 환자 건강 상태, 임상 성과, 개인 또는 팀 내에서 임상의사의 역량과 지식을 평가하는 것을 포함한다(Moore and Cordes 1992; 그림 3 참조).

The term needs assessment refers to a systematic processfor identifying and analyzing needs. The term “need” refersto a “gap” between “what is” (current conditions) and“what should or could be” (desired conditions; Knox 1980;Fox 1983) To operationalize the need that an educational activity will address, the gap between “what is” and “what could or should be” must be measured. In the con-ceptual framework, needs assessment includes assessing population health, patient health status, clinical performance, and the competence and knowledge of clinicians, individually or within teams (Moore and Cordes 1992; See Figure 3).

건강 상태 격차 파악 및 분석
Identifying and analyzing a gap in health status

환자의 건강 상태는 CE의 주요 관심사이기 때문에 [계획 활동은 모집단이나 환자 건강을 조사하는 것으로 시작]해야 한다. 건강 상태는 개인 또는 집단의 건강 수준을 말하며, 사망률과 질병률, 질병의 유무 및/또는 질병의 징후나 증상 측면에서 언급된다. 건강 상태는 임상 또는 병리학적 측정을 사용하여 설명할 수 있습니다.
Because the health status of patients is a primary concern in CE, planning activities should begin by examining population or patient health. Health status refers to the level of health of an individual or group and is referred to in terms of mortality and morbidity, the presence or absence of disease, and/or the signs or symptoms of disease. Health status can be described using clinical or pathological measures.


책임의 범위에 따라 학습 활동을 계획하는 개인("기획자")은 [건강 시스템, 그룹 관행, 질병, 정치적 또는 지리적 고려에 의해 정의된 모집단]의 환자의 건강 상태에 초점을 맞출 수 있다. 인구 수준에서, 국가 및 국제 기관은 일반적으로 자국민의 건강 상태를 반영하는 결과 데이터를 수집합니다(Frenk 등. 2010; Murray and Lopez 2017; Koh 및 Parek 2018).
Depending on their scope of responsibilities, individuals planning learning activities (“planners”) could focus on the health status of patients in a population defined by political or geographical considerations by a health system, by a group practice, or by a disease. At the population level, national and international agencies typically collect outcome data that reflect the health status of their citizens (Frenk et al. 2010; Murray and Lopez 2017; Koh and Parekh 2018).

교육 계획 이론은 인구 또는 환자 건강에서 시작하여 이를 "후향적backwards 계획"이라고 한다. "Backwards planning"은 "End-in-mind"로 시작하며, 이 최종점을 "원하는 결과"(Wiggins and McTighe 2005)라고도 한다. 의료에서 원하는 결과에는 의료 또는 의료 시스템의 환자 집단 또는 그룹의 개선된 결과가 포함되지만 이에 국한되지는 않는다.
Educational planning theory supports starting with population or patient health and refers to it as “backwards planning”. “Backwards planning” starts with the “end-in-mind,” also referred to as “desired results” (Wiggins and McTighe 2005). Desired results in health care include but are not limited to improved outcomes in a population or groups of patients in a practice or health system.

(그림 4 참조).
(See Figure 4).

건강 상태 격차를 파악하고 설명한 후 다음 단계는 간극이 존재하는 이유를 확인하는 것입니다. 일반적으로 사용되는 품질 개선 기법인 생선뼈 도표를 사용할 수 있다(Crotau 2010; Institute for Healthcare Environment 2017). 그것은 물고기 뼈대로 묘사된 원인과 결과도이다. 각 뼈는 원인의 범주를 나타냅니다. 일반적으로 원인에는 여섯 가지 범주가 있습니다.

• 장비, 
• 공정, 
• 사람, 
• 재료, 
• 환경, 
• 관리

After identifying and describing the gap in health status, the next step is analyzing the gap to determine why it exists. A commonly used quality improvement technique, the fishbone diagram, can be used (Croteau 2010; Institute for Healthcare Improvement 2017). It is a cause and effect diagram portrayed as a fish skeleton. Each of the bones represents a category of causes. Typically, there are six categories of causes: 

• equipment; 
• process; 
• people; 
• materials; 
• environment; and 
• management.

다이어그램을 작성하기 위해 대상 환자 모집단의 관리에 관련된 임상 팀의 대표들은 "5가지 이유" 기술을 사용하여 격차에 대한 토론에 참여해야 한다.2 "5가지 이유"는 특정 문제의 근본 원인과 결과 관계를 탐구하는 데 사용되는 반복 질문 기법이다. 이 기법의 주요 목적은 더 이상의 원인이 제시되지 않을 때까지 "왜?"라는 질문을 반복함으로써, 결함이나 문제의 근본 원인을 밝혀내는 것이다. "5-why's" 기법은 근본 원인을 파악하기 위해 적절한 수의 반응을 생성하는 것으로 나타났습니다.3
To populate the diagram, representatives of clinical teams involved in the care of the target patient population should engage in discussion about the gap using the “5why’s” technique.2 The “5 whys” is an iterative interrogative technique used to explore the cause-and-effect relationships underlying a particular problem. The primary goal of the technique is to unearth the root cause of a defect or problem by repeating the question “Why?” until no more causes are proposed. The “5-why’s” technique has been shown to produce the right number of responses to get to the root cause.3

그림 5
Figure 5


임상 성능의 격차 파악 및 분석
Identifying and analyzing a gap in clinical performance

다음 과제는 생선뼈 연습에서 확인된 관심 영역의 전문적 관행 격차(PPG)를 식별, 설명 및 분석하는 것이다. 환자 건강 기록을 공식적으로 검토하면 PPG를 식별하는 데 유용한 측정 기준을 제공할 수 있다.4
The next task is to identify, describe, and analyze the professional practice gap (PPG) in the area of concern that was identified in a fishbone exercise. Formal review of patient health records would provide useful metrics for identifying PPGs.4

그림 6
Figure 6


역량 및 지식의 격차 파악 및 분석
Identifying and analyzing gaps in competence and knowledge

다음 단계는 역량 및 지식의 격차가 있는지 확인하는 것입니다. 임상 팀이 알고 수행할 수 있는 작업을 결정하기 위해 계획자는 팀 구성원 및 중소기업과 협력하여 지식 및 역량 격차를 식별할 수 있는 PPG의 특정 문제를 강조하기 위한 사례 시나리오를 개발해야 한다.5
The next step is to determine if there are gaps in competence and/or knowledge. To determine what clinical teams know and could do; planners should work with team members and SMEs to develop case scenarios to highlight specific issues in the PPG that could lead to the identification of gaps in knowledge and competence.5

시나리오는 [역량과 지식 및 팀 기능에 관한 강점과 약점 영역을 보여줄 수 있는, 임상 관리 과제를 포함하는 진정한authentic 사례case]이다(Alinier 2011).
A scenario is an authentic case that contains clinical management challenges that can highlight areas of strengths and weaknesses in competence and knowledge and team functioning (Alinier 2011).

역량은 개인이 작업을 효과적으로 수행할 수 있도록 하는 선언적, 절차적, 성향적 지식의 결합이다.

• 선언적 지식은 학습자가 진술로 표현할 수 있는 사실, 개념, 명제의 집합이다.
• 절차적 지식은 사람들이 사고와 행동을 통해 목표를 달성하기 위해 사용하는 다양한 기술이다.
• 성향적 지식은 학습뿐만 아니라 개인의 의식적 사고와 행동을 지시하고 인도하는 태도, 가치, 관심사 및 의도로 구성된다(Billett 2009).

Competence is the combination of declarative, procedural, and dispositional knowledge that enables an individual to perform a task effectively. 

• Declarative knowledge is the collection of facts, concepts, and propositions that a learner can express as a statement.
• Procedural knowledge is the variety of skills that people use to achieve goals through thinking and acting. 
• Dispositional knowledge comprises attitudes, values, interests, and intentions that direct and guide an individual’s conscious thinking and acting, as well as learning (Billett 2009).

동기 부여 및 참여 참여 참여
Motivation and enrolling-participating-engaging

학습 활동이 PPG와 관련된 학습 요구를 해결하기 위해 설계될 수 있지만, CE의 주요 과제는 연습 성능에 차이가 있음을 깨닫거나 인정하지 않을 수 있는 바쁜 임상의들을 끌어들이는 것이다. 대부분의 임상의에게 학습 활동에 등록하고 참여하려는 동기 부여는 기회 비용(실습 및/또는 기타 개인 및 사회적 책임에서 벗어난 시간)과 그들에게 중요한 영역에서 역량 강화 및 환자 진료 개선 가능성을 비교함으로써 영향을 받는다(Cervero 1981; Moore et al. 1994).
Even though a learning activity may be designed to address learning needs associated with a PPG, a major challenge in CE is attracting busy clinicians who may not realize or acknowledge that there is a gap in their practice performance. For most clinicians, motivation to enroll and participate in a learning activity is influenced by comparing opportunity cost (time away from practice and/or other personal and social responsibilities) and the likelihood of enhanced capability and improved patient care in an area important to them (Cervero 1981; Moore et al. 1994).


가르칠 수 있는 순간teachable moments을 만들거나 강화하는 것은 잠재적인 학습자들이 공식적인 학습 활동에 등록하도록 동기를 부여하는 한 가지 방법이다. [가르칠 수 있는 순간] 배후에 있는 이론은 [인지 부조화]이다. [인지 부조화]는 개인이 경험한 정신적 불편함이 자신이 어떤 일을 올바르게 하고 있다고 믿지만 그 믿음과 모순되는 새로운 정보에 직면하는 것으로 정의된다. 인지부조화를 겪는 사람은 심리적으로 불편해지는 경향이 있기 때문에 불편함을 줄이려는 의욕이 생긴다(Festinger 1957). 공식적인 학습 활동에 등록하는 것은 시작입니다. 학습 활동 참여와 학습 참여를 장려하기 위해 학습자는 학습을 시작한 인지 부조화를 만든 PPG와 PPG를 줄이거나 제거하는 과정에서 발생하는 진행 상황에 대해 정기적으로 상기해야 한다.
Creating or reinforcing teachable moments is one way to motivate potential learners to enroll in a formal learning activity. The theory behind a teachable moment is cognitive dissonance. Cognitive dissonance is defined as the who mental discomfort experienced by an individual believes that he or she is correctly doing something but is confronted with new information that contradicts that belief. Because a person who experiences cognitive dissonance tends to become psychologically uncomfortable, he or she is motivated to try to reduce the discomfort (Festinger 1957). Enrolling in a formal learning activity is a start. To encourage participation in a learning activity and engagement in learning, learners should be regularly reminded about the PPG that created the cognitive dissonance that initiated learning and the progress that they are making in reducing or eliminating the PPG.


개별 학습자나 전문가 팀 구성원에게 학습 활동에 등록하도록 영향을 줄 수 있는 학습 가능한 순간을 만들거나 강화하는 두 가지 방법이 있습니다. 

• 첫 번째는 팀 성과에서 PPG의 존재를 강조하는 데이터가 포함된 채용 자료(브로셔, 전단, 이메일 등)를 만들어 임상팀의 등록 동기를 부여할 수 있는 티칭 가능한 순간을 만드는 것이다. 
• 두 번째는 임상 팀이 등록한 후 PPG와 관련된 문제를 해결하는 시나리오를 통해 작업할 수 있는 기회를 제공하는 것이다.

There are two ways to create or reinforce a teachable moment to influence individual learners or the members of an interprofessional team to enroll in a learning activity. 

• The first is to create recruitment materials (brochures, flyers, emails, etc.) that include data highlighting the existence of a PPG in team performance, potentially creating a teachable moment that will motivate clinical teams to enroll. 
• The second is to offer clinical teams an opportunity to work through scenarios that address issues related to the PPG after they have enrolled.

개념적 프레임워크 – 임상의의 학습 지원
The conceptual framework – helping clinicians learn

다음 섹션에서는 [역량]과 [지식]의 격차를 개선하고, 격차에 관한 정보를 사용하여 현재의 suboptimal한 성과와 건강 상태를 해결하기 위한 학습 활동을 설계하는 데 초점을 맞춘다(그림 2의 영역 3 참조). 계획자는 개별 임상의와 임상 팀이 학습에 도움이 되는 세 가지 유형의 학습 활동 제공을 고려해야 한다: 소인, 활성화 및 강화(Green and Kreuter 2005).
The next section will focus on refining the gaps in competence and knowledge and using that information to design learning activities to address suboptimal performance and health status (See area 3 on Figure 2). Planners should consider offering three types of learning activities to help individual clinicians and clinical teams learn: 

• predisposing; 
• enabling; and 
• reinforcing (Green and Kreuter 2005).

[선행predisposing 활동]은 개인이 특정한 방식으로 행동할 가능성이 더 높아지게 한다. 선행 활동은 학습 활동 전에 시작된 학습자의 역량과 지식을 평가하는 것뿐만 아니라, 가르칠 수 있는 순간을 만들고 강화하려는 노력의 연속이라고 볼 수 있다. 예를 들어, 계획자는 임상 팀 구성원에게 PPG와 관련된 임상 과제를 해결하는 소규모 그룹의 시나리오를 연구하도록 요청할 수 있다.6

Predisposing activities cause an individual to be more likely to behave in a particular way. Predisposing activities can be considered to be a continuation of efforts to create and reinforce teachable moments as well as to assess the competence and knowledge of learners that started before the learning activity. For example, planners could ask clinical team members to work on scenarios in small groups that address clinical challenges related to the PPG.6

그림 7
Figure 7


[활성화 세션Enabling session]은 학습자가 이전에는 할 수 없었던 작업을 수행하거나 잘하지 못한 작업을 개선할 수 있습니다. 계획자는 중소기업과 협력하여 팀원들이 PPG를 제거하거나 줄이기 위해 무엇을 배워야 하는지에 초점을 맞춘 수업 가능한 순간과 설계 가능 세션을 활용해야 한다. 활성화 세션은 학습자들에게 다음을 통하여 teachable moment를 해결할 기회를 제공한다.

• 무엇을 해야 하는가(선언적 지식),
  
• 어떻게, 언제 해야 하는가(절차적 지식) 및
  
• 적절한 시점에 배운 것을 사용하려는 성향의 개발(성향적 지식)

Enabling sessions help learners do something that they previously were not able to do and/or improve something that they were not doing well. Working with SMEs, planners should take advantage of teachable moments and design enabling sessions that focus on what team members need to learn to eliminate or reduce PPGs. Enabling activities provide learners with opportunities to address teachable moments by learning

• what to do (declarative knowledge),
• how and when to do it (procedural knowledge), and
• to develop the disposition do what they have learned when it is appropriate (dispositional knowledge).
  
  

[활성화 세션]에는 네 가지 구성 요소가 있습니다(Salas 및 Cannon-Bowers 2001, Merrill 2013).

• 프레젠테이션,
• 작업 예,
• 신중한 연습,
• 전문가 피드백 및 코칭
  

Enabling sessions have four components: 

• presentation; 
• worked example; 
• deliberate practice; and 
• expert feedback and coaching (Salas and Cannon-Bowers 2001; Merrill 2013).
  
  

첫째, 프레젠테이션 방법은 PPG를 명확히 표현해야 한다. PPG는 실행 중인 것과 실행되거나 실행되어야 하는 것의 차이이므로, 학습자는 활성화 세션 전체에 걸쳐 학습 가이드로 원하는 결과(그들이 해야 할 일)가 무엇인지 시각화할 수 있다(Fox et al., 1989). 질문과 설명을 위한 토론의 기회가 있어야 한다.
First, presentation methods should articulate the PPG, the difference between what is being done and what could or should be done, so learners will be able to visualize the desired results (“what-they-should–be-doing”) as a guide for learning throughout the enabling sessions (Fox et al. 1989). There should be opportunities for questions and discussion for clarification.


다음으로, Worked example은 일반적으로 단계별 시연에서 수행해야 할 작업의 모델 역할을 한다. 그런 다음, 구현을 위한 전략과 구현에 대한 장애요인에 대해 토론한다. 시나리오에 사용되는 것과 유사한 형식을 사용해야 한다.
Next, a worked example, a case that serves as a model of what should be done, usually in a step-by-step demonstration, is presented (Renkl et al. 1998; Clark et al. 2006). Discussions then include strategies for implementation and impact of barriers to implementation. A format similar to that used for scenarios should be employed.


임상 팀 구성원들이 [의도적 연습과 전문가의 피드백]을 함께 경험할 수 있는 기회를 제공하는 것은 활성화 세션의 필수적인 구성요소이다. 의도적 연습은 목적적이고 체계적인 특정한 유형의 실천을 말한다. 많은 경우, 연습은 체계적이지 않은 상태에서의 반복만을 포함한다. 의도적 연습은 성능 향상을 목표로 하는 특정 작업에 집중적인 주의를 요한다(Ericsson and Pool 2016). 의도적 연습은 임상 팀 구성원과 개별 학습자에게 진정한 임상 시나리오에서 무엇을 배우고 있는지 시험해 볼 기회를 제공한다.
Providing an opportunity for members of clinical teams to experience a combination of deliberate practice and expert feedback is an essential component of an enabling session. Deliberate practice refers to a specific type of practice that is purposeful and systematic. Typically, practice involves unorganized repetitions. Deliberate practice requires focused attention on a specific task with the goal of improving performance (Ericsson and Pool 2016). Deliberate practice provides members of clinical teams and individual learners opportunities to try out what they are learning in authentic clinical scenarios.


임상 과제는 복잡할 수 있으므로 비계scaffolding를 사용해야 한다(라이저 및 타박 2014). 비계는 학습자를 점차적으로 더 강한 이해와 궁극적으로 학습 과정의 더 큰 독립성으로 이동시킨다. 교수진은 학습해야 할 것을 모델링하거나 시연하며, 대개 난이도와 복잡성이 높아지는 순서로 구성된 하위 작업으로 학습을 세분화한 다음, 뒤로 물러나 필요한 경우에만 지원을 제공한다. 학습자는 각 하위 작업을 완료하여 이전 하위 작업과 통합함으로써 진행됩니다. 그림 8의 공유 막대는 하위 작업을 연습하고 전문 관찰자 또는 다른 학습자로부터 피드백을 받을 수 있는 각 기회를 나타냅니다. 

Because clinical tasks can be complex, scaffolding should be used (Reiser and Tabak 2014). Scaffolding moves learners progressively toward stronger understanding and, ultimately, greater independence in the learning process. Faculty model or demonstrate what is to be learned, usually breaking up learning into subtasks organized according to increasing difficulty and complexity, and then stepping back and offering support only as needed. A learner progresses by accomplishing each subtask, integrating it with previous subtasks. The shared bar on Figure 8 representeach opportunity to practice a subtask and receive feed-back from an expert observer or other learners. 

[활성화 활동]의 핵심 요소는 전문가의 피드백 및 코칭이다. 이것을 통해 보다 어려운 수준에서 지속적으로 임상 기술을 연습할 수 있다. 임상의사 학습자는 적절한 교육을 받은 교수 전문가가 자신의 성과에 대해 관찰하고 의견을 제시할 때 적절한 전문가 피드백을 받는다고 할 수 있다.

• 자신이 잘 한 것,
• 자신이 잘 못 한 것
• 자신이 놓친 것
• 다음 단계로 나아가기 위해 해야하는 것
  

A core component of enabling activities is continuallypracticing clinical skills at more challenging levels with expert feedback and coaching (Ericsson and Pool 2016) Clinician learners receive appropriate expert feedback whenan appropriately trained faculty expert observes and comments on their performance, addressing

• what they did well;
• what they have not done so well;
• what they might have omitted;
• what they can do to advance to the next level

소규모 그룹이 가능하지 않은 경우, 연습 및 피드백 활동은 주요 의사결정 지점에서 청중 투표를 통합하고, 이어서 교수 전문가의 피드백을 받아 점점 더 어려운 시나리오에 대한 소규모 그룹 토론으로 시작할 수 있다.

If small groups are not possible, practice and feedback activities could begin with discussions of worked examples in a large group, incorporating audience polling at key decision points followed by small group discussion of ncreasingly challenging scenarios with feedback from faculty experts.

그림 8. 
Figure 8. 

[강화 활동]은 세 번째 유형의 활성화 활동입니다. 강화 활동은 학습자가 임상 환경에서 사용할 필요가 있을 때 배운 내용을 상기하는 데 도움이 될 수 있습니다. 유인물 형태의 강좌 자료는 전통적으로 연습 보조 도구로서 매우 중요한 기능을 수행하는 것으로 생각되어 왔지만, 그러한 방식으로 상담된 적은 거의 없다. 강화 활동 및 자료의 다른 예로는 전자 건강 기록이나 모바일 장치에 대한 있는 리마인더, 또는 환자 차트에 클리핑된 종이 리마인더 등이 있다(Bennett et al. 2003). 
Reinforcing activities are the third type of enabling activ-ities. Reinforcing activities can help learners recall whatthey have learned when they need to use it in a clinicalsetting. Course materials in the form of handouts have traditionally been thought to accomplish this very important function as practice aids, but they rarely have been consulted in that way. Other examples of reinforcing activities and materials are reminders in electronic healthrecords or on mobile devices, or paper reminders clippedon patient charts (Bennett et al. 2003). 

계획자는 보다 적극적인 활동 강화 접근방식을 사용할 수 있다: 신용 인증을 받은 후속 시나리오가 있는 변경 약속 연습(Mazmanian et al. 2001; Wakefield et al. 2003).
planners can use a more activeapproach to reinforcing activities: a commitment-to-change exercise with follow-up scenarios certified for credit(Mazmanian et al. 2001; Wakefield et al. 2003)

개념 체계 – 학습과 학습의 영향 평가 
The conceptual framework – assessing learningand its impact 

개념 프레임워크의 최종 영역은 학습 활동의 효과를 결정하는 데 중점을 두고 그림 2의 영역 4와 5로 표시된다. 학습 활동의 영향을 평가할 때 다음과 같은 세 가지 관련 과제가 있다.

• 학습 평가(총괄 평가)
  
• 학습자의 수행능력 변화 평가(수행능력 평가)
  
• 학습자가 돌보는 환자의 건강 상태 변화 평가(영향 평가)
  

전이transfer을 지원하는 학습 활동에서 설계 특징을 통합하면, 학습된 내용을 실무에 쉽게 사용할 수 있기 때문에 설계자는 전이가 교수설계에서 중요한 고려사항임을 인식해야 한다.

The final areas of the conceptual framework focus on determining the effectiveness of a learning activity and aredepicted as areas 4 and 5 on Figure 2. There are threerelated tasks in assessing the impact of a learning activity:

• assessing learning (summative assessment);
• assessing change in performance of the learners (performance assessment); and
• assessing change in health status of patients cared for by the learners (impact assessment).

Planners should recognize that transfer is an important consideration in instructional design, because incorporation of design features in a learning activity that support transfer can facilitate the use of what is learned into practice. 


종합평가
Summative assessment

종합 평가는 개별 임상의와 임상 팀이 임상 환경에서 성능 향상에 기여할 수 있는 능력을 개발했는지 여부를 결정하기 위한 학습 경험 종료 시 발생한다. 어떤 학습자와 팀은 3개의 연습과 피드백 세션 후에 학습 활동의 목표에 도달할 수 있는 반면, 다른 학습자와 팀은 4번째 또는 5번째 연습과 피드백 세션이 끝날 때까지 숙련도에 도달하지 못할 수 있다. 
Summative assessment occurs at the conclusion of a learn-ing experience to determine if individual clinicians and clin-ical teams have developed capabilities that can contributeto improved performance in the clinical setting. Somelearners and teams may reach the goals of a learning activ-ity after as few as three practice and feedback sessions,while others may not reach proficiency until after thefourth or fifth practice and feedback sessions. 

그림 9
Figure 9


전이

Transfer

전이(transfer)는 임상의가 공식적인 학습 활동에서 배운 것을 자신의 연습 환경에서 배우고 적응하기 위해 사용하는 능력이다. 원래 이적은 개인이 배운 것을 한 환경에서 취해서 다른 유사한 환경에서 적용했을 때 발생하는 것으로 개념화되었다. 이 오래된 개념화에서, 학습의 전이는 새로운 환경에서 학습 과제와 작업의 유사성에 의존적이다(Thorndike와 Woodworth 1901; Perkins와 Salomon 1992).
Transfer is the capability of clinicians to use what they have learned in formal learning activities to learn and adapt in their practice settings. Originally, transfer was conceptualized as occurring when an individual took what he or she learned in one setting and applied it in another similar setting. In this older conceptualization, transfer of learning depended on the similarity of the learning task and the task in the new setting (Thorndike and Woodworth 1901; Perkins and Salomon 1992).

최근에는 전이transfer는 새로운 상황에서 학습과 성과에 영향을 미치는 과정으로 여겨진다. 이 새로운 전이 이해를 가능하게 하기 위해서는 학습 활동의 맥락을 뛰어넘는 '추상화'의 수준이 필요하다. [다양한 상황적 특징]에 대한 [여러 차례의 노출]은 학습자가 새로운 상황에서 학습과 전이를 용이하게 하는 원리를 인식하도록 도울 것이다.
More recently, transfer is conceived as a process in which past learning influence learning and performance in new situations. A level of abstraction that goes beyond the context of the learning activity is necessary to enable this newer understanding of transfer. Multiple exposures with differing contextual features, an important part of the approach described in the previous section, will help learners begin to recognize principles that facilitate learning and transfer in new situations.


성과평가
Assessing performance

새로 개발된 역량이 수행능력 향상에 기여하는지, 즉 니즈 평가 중에 식별된 PPG가 감소 또는 제거되었는지 여부를 결정하기 위해 임상 환경에서 학습자의 수행능력을 평가할 필요가 있다(그림 6 참조). 간격이 줄어들었는지 또는 제거되었는지 여부를 판단하기 위해 니즈 평가에 사용된 샘플과 유사한 환자 건강 기록의 샘플을 검토해야 할 것이다.
It is necessary to assess the performance of learners in their clinical setting to determine if the newly developed capabilities contribute to improved performance, that is, if the PPG identified during needs assessment has been reduced or eliminated (See Figure 6). To determine if the gap has been reduced or eliminated, it would be necessary to conduct a review of a sample of patient health records similar to the sample used in needs assessment.

그림 10
Figure 10

환자에게 미치는 영향 평가
Assessing the impact on patients

이 기사는 거꾸로 계획하는 과정에 대한 설명과 환자 건강에 대한 집중으로 시작되었다. 그림 4는 HbA1c 값이 7.0% 이상인 환자의 초기 백분율이 47%라는 것을 보여준다. 이 비율은 임상의와 의료 시스템 리더에게 허용되지 않는 것으로 간주되었다. 7.0% 이상의 HbA1c 값을 가진 환자의 40%가 원하는 결과로 설정되었으며, 이는 수년 동안 달성될 것이다.
This article started with a description of a backwards planning process and a focus on patient health. Figure 4 shows that the initial percentage of patients with HbA1c values over 7.0% was 47%. This percentage was considered unacceptable to clinicians and health system leaders. A goal of 40% of patients with HbA1c values over 7.0% was set as the desired result, to be achieved over several years.

그림 11
Figure 11

개념적 프레임워크 – 결론적 의견
The conceptual framework – concluding comments

개념 모델은 몇 가지 중요한 특징을 가지고 있다. 

• 첫째, 거꾸로 계획하는 접근법을 사용함으로써, 그것은 환자 중심이다. 
• 둘째, 데이터 중심이며, 데이터는 평가와 계획의 중심입니다. 
• 셋째, 학습 활동 설계에 대한 증거 기반 접근법을 제안하기 위해 학습 과학의 다양한 연구에 의존한다. 
• 넷째, 모델의 핵심은 학습자를 기존의 전문 지식 수준에서 보다 바람직한 전문 지식 수준으로 안내하는 지속적인 평가이다. 
• 다섯째, 유연하다. CE 기획자는 자원과 관심이 있는 수준에서 시작하기로 결정할 수 있다. 
• 여섯 번째, 1990년대 초반 이후 체계적인 검토를 통해 CE의 효과를 연구한 Cervero와 동료들의 작업을 따르고 어느 정도 영감을 받는다.

The conceptual model has several important characteristics. 

• First, by using a backwards planning approach, it is patient-centered. 
• Second, it is data-driven; data are central in assessment and planning.
• Third, it draws on a variety of studies in the learning sciences to suggest an evidencebased approach to designing learning activities.
• Fourth, a centerpiece of the model is continuous assessment that guides learners from an existing level of expertise to a more desirable level of expertise.
• Fifth, it is flexible. CE planners can decide to start at a level for which there is resources and interest.
• Sixth, it follows and, to a certain degree is inspired by, the work of Cervero and coworkers who studied the effectiveness of CE in the health professions through systematic reviews since the early 1990s (Umble and Cervero 1996; Robertson et al. 2003; Cervero and Gaines 2015).
  
  
  
  
  
  Mazmanian PE, Johnson RE, Zhang A, Boothby J, Yeatts EJ. 2001. Effects of a signature on rates of change: a randomized controlled trial involving continuing education and the commitment-to-change model. Acad Med. 76:642–646. XXX
  
  Moore DE Jr, Green JS, Gallis HA. 2009. Achieving desired results and improved outcomes by integrating planning and assessment throughout a learning activity. J Cont Educ Health Prof. 29:1–18. XXX
  
  

Med Teach

. 2018 Sep;40(9):904-913.

 doi: 10.1080/0142159X.2018.1483578. Epub 2018 Jul 28.

A conceptual framework for planning and assessing learning in continuing education activities designed for clinicians in one profession and/or clinical teams

Donald E Moore Jr 1, Kathy Chappell 2, Lawrence Sherman 3, Mathena Vinayaga-Pavan 4

Affiliations collapse

Affiliations

• 1a Office for Continuing Professional Development Vanderbilt University Medical Center , Nashville , Tennessee , USA.

• 2b American Nurses Credentialing Center American Nurses Association , Silver Spring , Maryland , USA.

• 3c The Academy for Global Interprofessional Learning and Education (AGILE) , Thonex , Switzerland.

• 4d Eastman Dental Institute University College , London , UK.

• PMID: 30058424

• DOI: 10.1080/0142159X.2018.1483578

Abstract

Purpose: The purpose of this article is to provide a more actionable description of the components of the outcomes framework published in 2009.

Methods: Synthesis of recent research in the learning sciences.

Results: The authors propose a conceptual framework to be used planning learning activities and assessing learning in CPD.

Conclusions: CPD practitioners will have a more explicit approach to help clinicians provide the very best care to their patients.

학습 테크놀로지: 의학교육 전환의 매개체? (Med Educ, 2020)

Learning technologies: A medium for the transformation of medical education?

Rebecca Grainger1 | Qian Liu1 | Susan Geertshuis2

1 | 소개

1 | INTRODUCTION

의사들을 현대 의학의 복잡성과 평생학습, 효과적인 커뮤니케이션, 팀워크에 대한 의료인의 기대에 대해 적절하게 준비시키기 위한 의과대학 커리큘럼 변혁이 지속적으로 요구되고 있다.1,2

There are ongoing calls for medical school curricula transformation to adequately prepare doctors for the complexity of contemporary medicine and expectations of medical practitioners for life-long learning, effective communication and teamwork.1,2

기술 솔루션(또는 솔류셔니즘)이 교육학 발전을 촉진하고, 도달 범위를 확장하며, 상호 작용을 촉진하고, 필수 기능의 숙달을 촉진하며, 지식의 공동 창출 기회를 제공하고, 협업 학습을 보장할 것으로 기대된다.3-5 불행히도 현실은 종종 꿈에 미치지 못한다.6

It is anticipated that technological solution(isms) will drive pedagogical advance, extend reach, heighten interactivity, facilitate the mastery of essential capabilities, provide opportunities for the co-creation of knowledge and ensure collaborative learning.3-5 Unfortunately, the reality often falls short of the dream.6

모로조브7은 솔루션주의를 [복잡한 사회 상황이 단순하고 계산 가능한 해결책으로 재정의되는 지나치게 단순한 사고 방식]으로, 이러한 재정의가 적절한 기술이 활용될 경우 문제 없는 프로세스를 통해 달성가능하다고 보는] 것이라고 했다. 학습 기술이 교육 혁신을 주도할 것이라는 생각은 기술이 교육 문제를 '해결'할 수 있고 교사들은 새로운 학습 기술을 받아들여 새로운 교육 과정에 참여하는데 사용할 것이라고 가정한다. 연구에 따르면 교사들이 새로운 기술을 쉽게 받아들이지 않으며, 새로운 교육학을 이용하기보다는 기존 교육 관행을 지원하기 위해 기술을 사용한다는 사실이 지속적으로 밝혀졌기 때문에 이러한 가정은 현실에서 유지되지 않는 것 같다.

Morozov7 identifies solutionism as a form of over-simplistic thinking in which complex social situations are redefined as simple discrete issues, with concrete, computable solutions that can be achieved through unproblematic processes provided appropriate technologies are utilised. The idea that learning technologies will drive educational transformation assumes that technologies can 'solve' educational issues and that teachers will accept new learning technologies and use them to engage with new pedagogies. These assumptions do not seem to hold up in reality as research has consistently shown that teachers do not readily accept new technologies and, even when they do, technologies are used to support existing teaching practice rather than to exploit new pedagogies.8,9 

해결책으로서의 학습 기술의 이러한 환원주의적 개념화는 의학, 따라서 의학교육도 [잘 정의된 개입도 예상치 못한 결과나 시스템 전반의 행동으로 이어질 수 있는 복잡한 적응 시스템으로 작동한다는 것]을 인식하지 못한다. 의학교육의 변화를 보다 효과적으로 구현하기 위해서는 [복잡한 적응적 시스템]의 변화의 영향에 대한 구조적인 평가가 반드시 필요하다.

This reductionist conceptualisation of learning technologies as a solution fails to acknowledge that medicine, and therefore medical education, operates as a complex adaptive system where even a well-defined intervention may lead to unexpected outcomes or system-wide behaviours.10 A structured appreciation of influences of change in complex adaptive systems is undoubtedly necessary to more effectively implement change in medical education.11

2 | 학습 기술 채택에 영향을 미치는 요인

2 | FACTORS INFLUENCING TEACHERS’ ADOPTION OF LEARNING TECHNOLOGIES

2.1 | 기술적 요인

2.1 | Technological factors

비채택 문제non-adption는 교육에만 국한된 문제가 아니며, 수십 년 동안 개발자들은 왜 특정 기술이 채택되는 반면 다른 기술은 채택되지 않는지 이해하려고 노력해 왔다. 연구의 대부분은 개별 채택을 예측하는 기술적 요인을 식별하기 위해 노력해왔다.15 고등 교육에서, 세 가지 기술 관련 요인이 다양한 학습 기술 채택의 영향요인으로 식별되었다: 상대적 이점, 초기 채택의 용이성 및 가용성.12

The issue of non-adoption is not unique to education and for decades developers have been trying to understand why certain technologies are adopted whereas others are not.14 Much of the work has sought to identify technological factors that are predictive of individual adoption.15 In higher education, three technology-related factors have been identified as influencers of staff adoption of a range of learning technologies: relative advantage, ease of initial adoption and availability.12

• 상대적 우위는 기술의 유용성과 우수성을 반영합니다.
• 초기 채택의 용이성은 교사들이 기술 사용을 배우는데 필요한 노력을 포착합니다.
• 가용성은 기술에 대한 접근과 기존 기술 인프라와의 통합의 품질을 의미합니다.

일반적으로, 문헌은 혁신적 학습 기술이 기존 도구보다 우수하다고 인식되고, 사용하기 쉽고 쉽게 접근할 수 있다면, 이러한 요소 중 어떤 것이라도 문제가 있는 경우보다 대학 교사들에 의해 채택될 가능성이 더 높다고 제안한다.16-18

Relative advantage reflects the perceived usefulness and superiority of the technology; ease of initial adoption captures the effort it takes for teachers to learn to use the technology; availability refers to access to the technology and the quality of its integration with the existing technology infrastructure. In general, the literature suggests that if an innovative learning technology is perceived to be superior to existing tools, is easy to use and readily accessible, then it is more likely to be adopted by university teachers than if any of these factors are problematic.16-18

의학교육에 있어서 혁신적인 학습기술의 상대적 이점을 측정하고 입증하는 충분한 연구가 있었다.

There has been ample research in medical education that measured and demonstrated the relative advantage of innovative learning technologies,19

전반적으로, 이런 연구들은 상대적인 이점을 [학생 성과 측면]이나 [채택의 결과]에 관해서 개념화하지, [개개인의 채택adoption을 유도할 수 있는 선행자]로서 개념화하지 않는다.

Overall, the literature seems to conceptualise relative advantage in terms of student outcomes and a consequence of adoption rather conceptualising relative advantage as an antecedent that can drive individual adoption.

구현 연구가 반복적으로 입증하듯이, [실무의 진보]에 대해 듣는 것hearning만으로는 대개 실무의 변화를 동기를 부여하는 데 불충분하다. 20 기술 채택에 관한 문헌은 또한 [상대적 우위가 채택자에 의해 인식되거나 느껴져야 하며], 아마도 경험적 또는 사회적으로매개된 가까운 사람들이 혁신을 도입했을 때, 이것이 어떻게 자신의 업무에 들어맞고 향상시킬 수 있는지를 보게 되는 것에 달려있음을 보여준다.

as implementation research repeatedly demonstrates, hearing about advances in practice is usually insufficient to motivate change in practice.20 The technology adoption literature also confirms that relative advantage must be perceived or felt by the adopter and depends on a close, probably experiential and possibly socially mediated acquaintance with a proposed innovation, which enables potential adopters to translate the technology and see how it would fit within and improve their practice.21

[초기 도입의 용이성]을 다루는 것은 특히 의학교육과 관련이 있다. 의학교육에서 사용되는 일부 학습 기술은 낯설고 매우 복잡한 통신 기술인 반면, 다른 기술은 학생과 직원 모두에게 친숙한 어디서나 볼 수 있다. 예를 들어, 학생 수 증가와 임상 환경에 대한 제한된 접근성의 설정에서 진정한 커리큘럼과 학습 경험을 제공하는 과제에 대한 해결책으로 시뮬레이션과 가상 현실 기술이 제공된다. 그러나 많은 시뮬레이션 기술은 전문화된 기술적 전문지식이 필요하고, 교사들이 이를 사용하는 법을 배우는 데 시간을 필요로 한다.

Addressing ease of initial adoption is particularly relevant to medical education. Some learning technologies used within medical education are unfamiliar and highly complex communication technologies, whereas others are ubiquitous, familiar to both students and staff. For example, simulation and virtual reality techniques are offered as a solution to the challenge of providing an authentic curriculum and learning experience1 in the setting of increases in student numbers and limited access to clinical environments.22 Many simulation technologies, however, require specialised technical expertise and dedicated time for teachers to learn to use them.

의학 학습에 대한 [증강 현실]의 활용을 평가한 문헌에 따르면, 일반적으로 품질이 낮고, 해부학 및 실제 수술 기법의 학습을 지원하는 데 이 기술의 내용과 얼굴 타당성에 대한 확인을 제공하지만, 효과의 증거는 거의 존재하지 않는다.23

the extant literature evaluating augmented reality applications to medical learning is generally of low quality and although it provides confirmation of the content and face validity of this technology in supporting learning of anatomy and practical surgical techniques, evidence of effectiveness remains largely absent.23

이와는 대조적으로, 스마트폰 사용과 같은 유비쿼터스 기술은 쉽고 쉽게 채택되어 학생과 교사의 학습을 제도적 제공의 보충물로 지원하고 있다. 이를 통해 즉각적인 정보 액세스, 학생과 팀 간의 즉각적인 커뮤니케이션, 이동 중에도 시간 관리를 수행할 수 있습니다.

By contrast, ubiquitous technologies, such as the use of smart phones, have been readily and easily adopted to support learning by students and teachers as supplements to institutional provision. These afford instant access to information, instant communication between students and teams and provide on-the-go time management.

마지막 문제인 가용성은 교육자와 학생 모두가 캠퍼스를 벗어나 있을 때, 종종 다양한 병원과 지역사회 의료 환경에서 신중하게 고려할 필요가 있다. 많은 의학 교육자들은 풀-타임 교육 인력이 아니며, 임상업무를 하면서 과정과 강의를 개발하고 있을 수 있다. 접근성은 대학 시설과 자원 접근에 관한 프로세스에 익숙하지 않을 수 있기 때문에 그들에게 문제가 될 수 있다. 또한 캠퍼스 내 방화벽 및 외부 방화벽과 관련된 액세스 및 기능 문제 및 상호 운용성 문제를 경험할 수 있습니다. 마찬가지로, 상대적인 이익과 관련하여, 캠퍼스 밖에서 배우는 의대생들은 새로운 기술에 의해 제공되는 이점에 대한 교사의 인식에 영향을 미치는 어려움을 겪을 수 있다.

The last issue, that of availability, needs careful consideration when both educators and students may be off campus, often in a variety of hospitals and community health care settings. Many medical educators are not full-time academic staff and may be developing courses and teaching from clinical settings. Accessibility may be an issue for them as they may be unfamiliar with university facilities and the processes regarding access to resources. Additionally, they may experience access and functionality issues relating to onand off-campus firewalls and interoperability issues. Equally, and relating to relative advantage, medical students learning off campus may experience difficulties that will affect teachers' perceptions of any advantage offered by new technologies.

2.2 | 교사 요인

2.2 | Teacher factors

2.1절에서 다루는 연구의 많은 부분을 알려준 기술혁신 채택 및 수용 이론은 [기술적 특성]이 개별 채택에 영향을 미친다는 것을 시사한다. 그러나, 교수 효과의 경험적 증거를 가진 [가장 적절한 학습 기술의 제공]이 의료 교사의 채택을 보장할 것이라고 가정하는 것은 순진하다. 채택을 이해하기 위한 이러한 기술 중심적 접근법은 의료 교사를 그들 자신의 교육적 관행을 규제하는 주체로 간주하지 않는다. 실제로, 대학 교사들은 유사한 기술을 다른 방식으로 인식하고 관여engage한다.24 그러한 차등 대응에 대한 초기 혁신 연구는 개인을 '혁신가innovator'와 '느림보laggards'로 분류하고 라벨을 붙인다.

Theories of adoption of innovations and acceptance of technology, which informed much of the research covered in Section 2.1, suggest that technological features influence individual adoption. However, to assume that the provision of the most appropriate learning technology with empirical evidence of teaching effectiveness will ensure adoption by medical teachers is naïve. This technocentric approach to understanding adoption disregards medical teachers as agential in regulating their own pedagogical practice. In reality, university teachers perceive and engage with similar technologies in different ways.24 Early innovation research on such differential responses categorises and labels individuals as ‘innovators’ and ‘laggards.’14

Zayim25는 서로 다른 어답터 그룹에 속하는 의료 교사들이 채택의 장벽을 다르게 인식했다고 보고했다. 일부 교육 연구는 개별 학습 기술 채택이 범주가 아니라 하나의 과정임을 시사하면서 덜 판단적인 접근법을 취해왔다.26

Zayim25 reported that medical teachers belonging to different adopter groups perceived the barriers to adoption differently. Some educational research has taken a less judgemental approach, suggesting that individual adoption of learning technologies is not categorical but a process.26

학습 기술이 채택되는 방식에 영향을 미치는 네 가지 교사 요인이 발견되었습니다.

four teacher factors have been found to influence the way learning technologies are adopted:

a) 변화에 대한 태도,

b) 능력,

c) 교육학적 신념 및 실천,

d) 제어

c) pedagogical beliefs and practice, and

d) control.

의료교육 문헌에 따르면 변화를 긍정적으로 보는 의료교사는 학습기술을 채택할 가능성이 더 높고, 변화를 부정적으로 보는 교사는 채택을 회피할 가능성이 더 높은 것으로 확인되었다.27, 28 기술 활용 능력, 교수 설계 능력 등 역량의 부족도 학습기술을 채택하는 의료교사의 장벽으로 파악됐다. 이러한 요인들은 교육을 혁신하기 위해 새로운 기술을 사용하는 데 있어 두드러진 문제를 강조합니다: 기술적 구현은 결코 교육적 변화를 이끌지 못합니다.

The medical education literature has confirmed that medical teachers who view change as positive are more likely to adopt learning technologies and those who view change as negative are more likely to avoid adoption.27, 28 The lack of capability, including the capability to use technologies29 and the capability to design teaching,30 has also been identified as a barrier to medical teachers adopting learning technologies. These factors highlight a prominent issue in using new technologies to transform education: technical implementation will never lead to educational transformation.

교육학적 신념과 실천, 그리고 학습 기술의 통제와 채택 사이의 관계는 의학 교육의 환경에서 광범위하게 탐구되지 않았다. 교육학적 신념과 실천은 교사들이 가르치는 방식과 현실에서 가르치는 방식을 말한다. 고등교육 연구는 교육을 [학생의 지식 구축을 촉진하는 과정]으로 개념화하는 구성주의적 신념을 가진 교사들이 [교육을 내용의 전달 노력]으로 생각하는 교사들보다 학습 기술을 더 많이 채택하는 경향이 있음을 보여준다.31,32

The relationships between pedagogical beliefs and practice, and control and adoption of learning technology have not been extensively explored in the setting of medical education. Pedagogical beliefs and practice refer to the way teachers view teaching and the way they teach in reality. Higher education research shows that teachers with constructivist beliefs, which conceptualise teaching as the process of facilitating student knowledge construction, tend to adopt learning technologies to a greater extent than do teachers who regard teaching as a transmissive endeavour.31,32

새로운 기술들이 현재의 관행과 모순되는 수업의 방법들을 제안할 때, 선생님들은 그 기술들에 의문을 제기하고 거부할 수 있다.18

when new technologies suggest ways of teaching that contradict the current practice, teachers may question and reject the technologies.18

TPACK 프레임워크는 기술을 통한 효과적인 가르침이 교사들에게 기술, 콘텐츠 및 교육학적 지식을 요구하고 학습을 지원하기 위한 기술을 효과적으로 배치하기 위해 이러한 지식 영역 간의 상호 작용을 이해하도록 요구한다는 것을 명확히 설명한다. 대부분의 의료 교사가 이미 콘텐츠 전문가이기 때문에 학습 기술 채택을 지원하기 위한 효과적인 직원 개발은 [교육학 및 기술 지식]을 구체적으로 다룰 필요가 있을 것 같다.

The TPACK framework clearly articulates that effective teaching with technology requires teachers to have technology, content and pedagogical knowledge and to understand the interactions between these knowledge domains to effectively deploy technology to support learning.35 Effective staff development to support adoption of learning technology is likely to need to specifically address pedagogical and technology knowledge, as most medical teachers are already content experts.

통제와 관련하여, 연구는 새로운 기술의 구현이 종종 학생과 대학에게 교수 문제에 대한 더 큰 통제력을 제공하고 교수들은 통제력의 상실을 느낄 수 있으며, 이로 인해 저항이 발생할 수 있다는 것을 보여준다. 비록 의학교육 전체가 [전통적인 강의실 수업]에서 좀 더 [진정한 임상 학습 경험]으로 나아가고 [수동적 학습과 지식 보유]에서 [능동적 학습으로 강조]의 전환으로 나아가려고 노력할 수 있지만, 많은 개별 의료 교육자들에게 이러한 움직임은 확고하게 확립된 교육학적 신념과 관행에 역행한다.

With regard to control, research shows that the implementation of new technologies often affords students and universities greater control over teaching matters and teachers may sense a loss of control, which could incur resistance.36,37 Although medical education as a whole might strive to move from traditional classroom teaching towards more authentic clinical learning experiences and a shift in emphasis from passive learning and knowledge retention to active learning,38 for many individual medical educators this move runs counter to firmly established pedagogical beliefs and practices.

여기서의 메시지는 분명합니다: 혁신적 기술은 의학 교육을 변화시키지 않았습니다. 왜냐하면 새로운 기술과 그들의 내재된 교육학이 수십 년 동안 특별하고 아마도 성공적인 방식으로 가르쳐온 교사들에게 비효율적이고, 무관하며, 위협적인 것으로 여겨질 수 있기 때문입니다.

The message here is clear: innovative technologies have not transformed medical education because new technologies and their embedded pedagogies may be viewed as ineffective, irrelevant or threatening to teachers who have been teaching in particular and presumably successful ways for decades.

학습기술의 성공적인 채택은 기술이 [교사의 기존 신념과 관행에 부합]하거나 [교사의 교육학적 접근 방식을 근본적으로 바꾸는 전문적 개발에 의해 뒷받침]될 때 발생할 가능성이 더 높다. 교육 및 학습에 대한 새로운 접근법 개발(예: 프로그램의 효과적인 학습 지원 또는 역량 결과 달성)을 통해 유연성의 이유를 명확히 함

Successful adoption of learning technology is more likely to occur when the technology aligns with teachers' existing beliefs and practices or is underpinned by professional development that fundamentally changes the teacher's pedagogical approaches. Making clear the reasons for flexibility with developing new approaches to teaching and learning, for example, as they relate to the supporting effective learning or achieving competency outcomes of a programme,34

2.3 | 맥락적 요인

2.3 | Contextual factors

네 가지 상황적 요인은 학습 기술 채택에 영향을 미친다.

Four contextual factors influence the adoption of learning technologies:

• a) 관료주의;
• b) 정치 및 목적
• c) 연구의 우선순위 결정 및
• d) 문화와 규율

a) bureaucracy;

b) politics and purpose;

c) prioritisation of research, and

d) culture and discipline.

관료주의는 [기관을 지배하는 행정 과정과 구조]로서 고등 교육에서 상대적으로 엄격한 관리 프레임워크를 형성한다. 학습 기술의 [하향식 구현]은 교사를 완전히 참여시키지 않을 수 있으며, 교사가 가진 [학문적 자유에 대한 신념], [학문단위의 교육 접근법]에 대한 생각과 대립할 수도 있다.39, 40 더군다나, 관료적 요구는 [기술의 완전한 사용이나 변형된 사용]을 허용하지 않을 수도 있고, 이것이 기술의 도입을 저해하기도 한다.41.교육자들이 교육 및 의료 기관의 관료주의를 모두 탐색해야 하는 의료 교육에서 더욱 복잡합니다.

Bureaucracy, the administrative processes and structures that govern an institution, forms relatively rigid management frameworks in higher education. Top-down implementation of learning technologies may not fully engage teachers and may be at odds with views on disciplinary teaching approaches and beliefs about academic freedom.39, 40 Furthermore, bureaucratic requirements may be inconsistent with the full use of a technology or prohibit its modification and so stymie adoption.41 This may be further complicated in medical education where educators must navigate both the bureaucracies of education and health care institutions.

예를 들어, 환자-치료 영역에서 [학습을 지원하기 위한 모바일 장치의 사용]은 [감염 관리, 환자 기밀성에 대한 인식 또는 실제 위험, 학생이 주의를 기울이지 않는다는 인식 및 모바일 기술 사용이 전문적이지 않다는 견해]에 의해 억제될 수 있다.42

For example, the use of mobile devices to support learning in patient-care areas may be impeded by infection control practices, perceived or actual risk to patient confidentiality, perceptions that students are not paying attention, and views that using mobile technologies is unprofessional.42

정치와 목적, 이해 관계 및 의제가 다르면 기관의 의도와 직원 우선 순위 간의 분열이 발생할 수 있습니다.

Differing politics and purpose, interests and agendas may have additional potential for a split between institutional intention and staff priorities,

예를 들어, 일부 고등교육기관은 교육에 대한 연구 생산성을 암시적으로 또는 명시적으로 인식하고 보상할 수 있다. 이를 통해 기술을 통한 학습 강화보다는 직원들로 하여금 연구에 시간과 노력을 투자해야 한다는 생각을 갖게 할 것이다.44

For example, some higher education institutions may implicitly or explicitly recognise and reward research productivity over teaching. This could foster the view amongst staff that time and effort should be spent on research rather than on enhancing learning via technologies.44

[자율성]과 [집단성]이 높이 평가되는 고등교육 환경 내에서 [특정 학문분야 내에서의 관계와 문화]는 강력한 영향력을 행사한다.46 학문 분야는 의사소통, 가치, 학문의 정체성 및 지배적인 교육 관행을 통해 학습 기술의 채택 패턴에 영향을 미친다.47

Disciplinary connections and cultures are powerful influences within higher education settings where autonomy and collegiality are highly valued.46 Academic disciplines influence patterns of adoption of learning technology through their communications, values, academic identities and dominant teaching practices.47

요컨대, 의학 교육자들은 [관료제 및 문화와 하위 문화의 구성원]으로서 이 두 가지 영향과 그들이 일하는 맥락에 의해 영향을 받는다. 이는 개인의 작업 환경을 고려하지 않고서는 기술의 도입의 차이differential adoption을 이해할 수 없다는 것을 의미한다. 교육 변혁을 촉진하기 위한 제도적 노력은 세심한 계획과 다음과 같은 거버넌스 구조를 필요로 한다.

• 교육적 열망과 직원 요구 간의 조정을 보장하고,
• 교육의 중요성을 인식하고,
• 문화와 학문의 요건에 반응하는 

In short, medical educators are members of bureaucracies, cultures and subcultures and as such both influence and are influenced by the context they work in. This means it is not possible to understand differential adoption of technologies without having regard for individuals' working environments. Institutional efforts to facilitate educational transformation require careful planning and a governance structure that

• ensures the alignment between institutional aspirations and staff needs,
• recognises the importance of teaching and
• is responsive to culture and disciplinary requirements.

3 | 학습기술을 통한 교육변혁 전략

3 | STRATEGIES FOR EDUCATIONAL TRANSFORMATION VIA LEARNING TECHNOLOGIES

혁신 기술의 채택을 촉진할 수 있는 관행에는 명확한 전략적 의도, 참여 및 협업 촉진, 촉진적 리더십 및 학술 개발이 포함됩니다.

practices that can facilitate adoption of transformative technology include having a clear strategic intent, fostering participation and collaboration, facilitative leadership and academic development.

[명확한 전략적 의도]를 수립하면 고등 교육 및 의료 교육에서 혁신 기술의 활용이 촉진된다. 유용한 전략적 비전은 [유연성을 제공]하고, [문화적 및 학문적displinary 복잡성을 인식]하며, [직원들이 기술을 이해하고 재정의할 수 있도록 지원]하는 것이다. 인증 기준과 같은 외부 요구사항과 명확하게 일치하는 전략은 전략에 더 큰 정당성을 제공할 것이다. 여기서의 메시지는 교육 변혁을 목표로 혁신적인 기술이 도입된다면, 의과대학은 학과와 학문의 교사와 폭넓게 관련되는 혁신에 대한 명확하고 설득력 있는 비전을 수립할 필요가 있다는 것이다.

Establishing a clear strategic intent facilitates the uptake of innovative technologies in higher education49 and in medical education.48 A helpful strategic vision allows for flexibility, recognises cultural and disciplinary complexities and enables staff to make sense of and redefine the technology.50 A strategy that clearly aligns with external requirements, such as accreditation criteria, will also provide the strategy with greater legitimacy.51, 52 The message here is that, if innovative technologies are introduced with the aim to transform education, then medical schools need to establish a clear, convincing vision of the transformation that is widely relevant to teachers within departments and disciplines.

[참여적이고 협력적인 접근방식]은 혁신적인 기술을 통해 교육을 혁신하는 과정에 직원과 학생을 참여시키는 방법을 모색할 것이다. 대학에서 혁신 기술을 의미 있게 채택하기 위해서는 교직원은 [공식적인 보고 체인 및 비공식 네트워크]에 걸쳐 참여함으로써 오너십을 함양할 수 있다. 의사결정이 개별 학과로 양도되고, 강력한 증거에 의해 알려지면 가장 성공적일 수 있다. 학생의 피드백과 학업성취도에 대한 증거를 수집하고 배포하면 교수진들이 교수실습을 개선하는 데 도움이 될 것이다. 도입adoption은 하나의 과정process으로 인식되어야 하며, 교사가 자신의 교육 환경에서 새로운 기술의 적용 가능성, 상대적 이점 및 도입의 어려움에 대해 스스로를 안심시킬 수 있는 시간과 자원을 제공해야 한다.

A participatory and collaborative approach will seek to involve staff and students in the process of transforming education via innovative technologies. For the meaningful adoption of innovative technologies in universities, staff need to be involved across formal report chains and informal networks to nurture the sense of ownership.53 Decision making is likely to be most successful if devolved to the disciplines and informed by robust evidence. Collection and dissemination of student feedback and evidence of his or her academic performance will assist staff in improving teaching practice.48,51,54 Adoption needs to be recognised as a process and teachers given time and resources to reassure themselves about the applicability, relative advantage and adoption challenges in their educational context.

기관적 도입을 위한 [협력적 접근]에 대한 요구는 의료 교육에서 명백하다. 학습 기술을 구현하고 불가피한 긴장을 관리하기 위한 협업적 노력을 할 때에 [이해당사자들의 광범위한 참여]를 권고한다.57 근로자들은 기술 통합에 대해서 단편적인 개별적 접근법보다, [체계적인 접근법]의 중요성을 주목한다.58

The call for collaborative approaches to institutional implementation is evident in medical education. There are recommendations for the widespread involvement of stakeholders in collaborative efforts to implement learning technologies and manage inevitable consequential tensions.57 Workers note the importance of systematic approaches to technology integration rather than piecemeal individualistic approaches.58

[촉진적 리더십]은 프로그램 감독, 부서장 및 비공식 리더가 직원의 혁신 기술 채택을 촉진하는 것으로 본다. 학문적 리더는 다음과 같은 활동에 참여해야 한다.

• 비전 및 구현 프레임워크를 확립한다.
• 롤모델에 의한 채택을 촉진한다.
• 자원을 할당하다.
• 우선 순위를 정하고 기술을 승인합니다.

Facilitative leadership sees directors of programmes, heads of departments and informal leaders promoting staff adoption of innovative technologies. Academic leaders should engage in activities that

• establish visions and implementation frameworks,
• promote adoption by role models,
• allocate resources,
• set priorities and endorse the technology.59

부서장과 부서 챔피언은 기술을 학문단위 교육으로 translate하고 더 넓은 채택을 촉진하는 활동에 참여해야 한다. 의학 교육을 포함한 학술적인 대화는 [제도적, 부서적 지원의 중요성]을 지적했다

Heads of departments and departmental champions should engage in activities that translate the technology into disciplinary teaching and promote wider adoption.60 Scholarly conversation, including that in medical education, has noted the importance of institutional and departmental support.27

[교직원을 새로운 교육 모드에 노출시키는 학술적 개발academic development]을 개발하여 실제적이고 진실한 문제 기반 학습 경험을 제공한 사례도 있다. 이를 통하여 [학습 기술의 성공적 채택에 필수적인] 교육자로서의 전문적 정체성 형성이나 실천공동체 참여를 함양하였다. 의학 교육 문헌은 이 연구와 일치하며, 학습 기술 사용에 대한 의무 교육은 출석 보장에 비효율적일 뿐만 아니라, 출석하는 사람들의 경우, 관행 변화에 거의 영향을 미치지 않는다고 덧붙인다.

Academic development that exposes staff to new modes of teaching61 is designed to provide a hands-on, authentic, problem-based learning experience62 that nurtures a professional identity of teaching40 and involvement in communities of practice,63 which are all essential in the successful adoption of learning technologies. The medical education literature aligns with this research and adds that mandatory training in the use of learning technologies is not only ineffective in ensuring attendance but, for those who do attend, it has little impact on changing practice.9

4 | 결론

4 | CONCLUSIONS

우리의 문헌 합성은 고등 교육 기관의 개별 교사들에 의한 기술 채택에 대한 기초 연구이며, 의료 교육 연구 내에서 이 연구를 맥락화한다. 기술도입을 예측할 수 있는 기술적, 교사 및 상황적 요인을 식별하는 데 있어 개념적 명확성을 제공했으며 기술도입을 촉진하거나 최소한 장벽의 영향을 완화하는 방법을 제시하였다. 교육에서 학습 기술의 도입을 결정하는 많은 요소들은 예상할 수 있는 요소들이다. 실제로 우리의 프레임워크는 의료 교육 전달, 평가 또는 평가의 많은 측면에서 변화를 구현하는 데 있어 어려움을 이해하는 기초를 제공할 수 있다. 의료 교육 프로그램에서 제안된 많은 변경은 변화의 대상(과정 개정 또는 교수 방법론), 교사 및 상황 요인을 고려하고 능동적으로 다루어야 한다.

Our synthesis of the literature has as its base research into the adoption of technologies by individual teachers in higher education institutions and contextualises this work within medical education research. We have offered some conceptual clarity in identifying technical, teacher and contextual factors that are predictive of adoption and suggested implementation strategies that facilitate adoption or at least go some way to mitigating the impact of barriers. Many of the factors that determine adoption of learning technology in education are those that might be anticipated. In fact, our framework may provide a basis for understanding the challenges in implementing change in many aspects of medical education delivery, assessment or evaluation. Many proposed changes in a medical education programme should consider, and proactively address, the object of change (curriculum revision or teaching methodology), the teachers and the contextual factors.

실제로 학습 기술은 의과대학이 직면한 문제들 중 적어도 일부를 해결할 수 있는 잠재력을 가지고 있는 것으로 보인다. 교육학적 효과의 입증은 풍부하지만, 그만큼이나 학습 기술을 채택하지 못했거나 부적절한 채택에 실패한 경험도 많다. [대조적인 결과]와 [솔루션주의적 사고]의 회피에 대한 설명하기 위해서는 다음의 두 가지를 더 잘 이해해야 한다.

• 첫째, 복잡하고 감정적이며 중요한 개인으로서의 채택자,
• 둘째, 장기적이고 불확실하며 사회적으로 중재된 프로세스로서의 기술 도입

It appears that learning technologies do indeed have the potential to solve at least some of the problems medical schools face. Demonstrations of pedagogical efficacy abound but so do experiences of failures to adopt learning technologies or inappropriate adoption. Explanations for the contrasting outcomes and the avoidance of solutionistic thinking seem to lie in better understanding,

• first, adopters as complex, emotional and agential individuals, and,
• second, adoption as a protracted, uncertain and socially mediated process.

현존하는 많은 연구와 실행 관행은 교사와 교육을 복잡하지 않은 개념처럼 가정하기도 하며, 기술도입을 한번에 마무리되는, all or nothing의 행동으로 본다. 이 글에서 알 수 있듯이, 이 모든 것은 진실과 거리가 멀다.

Much of the extant research and implementation practice assumes an uncomplicated conception of teaching and the teacher, and views adoption as a one-off, all or nothing, action. As this article has illustrated, nothing could be further from the truth.

이 논문은 [단순히 학습 기술을 이용할 수 있게 하고 그 효과를 전파하는 것] 만으로는 교육 혁신에 최적으로 영향을 미치지 않으며, 그런 것을 기대해도 안 된다는 것을 분명히 한다. 이러한 노력은 마치 환자에게 환자가 수용할 수 없는 개입을 지지하는 상세한 의료 증거에 대해 조언하는 것과 비슷하다. 의료에는 환자들이 직면하는 어려움을 인식하고, 어떤 형태로든 증거 기반 개입이 어떻게 적응되고 동화되어 더 나은 건강을 이룰 수 있는지 협상하는 것이 포함된다. 학습 기술로 더 나은 의학교육 결과를 달성하기 위해서는, 의료와 마찬가지로 해결책주의를 벗어나, 학습 기술에 대한 풍부하고 포괄적이며 유연하며 적응력이 뛰어난 제도적 접근으로 옮겨가야 한다.

The paper makes it clear that simply making learning technologies available and disseminating their efficacy will not impact optimally on educational transformation and nor should we expect that it would. Such efforts are akin to advising a patient about the detailed medical evidence in favour of an intervention they have been unable to accommodate. The art of medicine includes recognising the challenges our patients face and negotiating how an evidence-based intervention, in whatever form, can be adapted and assimilated for and by them to achieve better health. Achieving better medical education outcomes with learning technologies will likewise require moves from solutionism to a nuanced, comprehensive, flexible and adaptable institutional approach to learning technologies.

35. Koehler M, Mishra P. What is technological pedagogical content knowledge (TPACK)? Contemp Issues Technol Teach Educ. 2009; 9(1) : 60-70.

57. Goh PS, Sandars J. Increasing tensions in the ubiquitous use of technology for medical education. Med Teach. 2019;41(6):716-718. XXX

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

배움을 위한 배움: 학습 계획에 마스터 적응적 학습자들이 사용하는 전략(Med Teach, 2019)

Learning to learn: A qualitative study to uncover strategies used by Master Adaptive Learners in the planning of learning

Linda Regana, Laura R. Hopsonb, Michael A. Gisondic and Jeremy Branzettid

도입 Introduction

우리는 독립적인 학습을 향한 의료 교육의 패러다임 변화의 중심에 있다(Brydges et al. 2010). 이제 학습자는 [학습자 수준에 따라] 사려깊게 직접 교수진의 감독을 배정받아 비동기식asynchronously으로 학습할 수 있는 기회가 증가하게 되었다. 여러 저자는 오늘날의 학습자가 필요로 하는 개념적 기술, 학습 능력에 대한 환경적 영향을 설명했으며 능동적 및 비지도 학습을 위한 학습 전략을 개발하기 위한 접근 방식을 제안했다. 그러나 비요크와 비요크가 "최종 생존 도구"라고 묘사한, "배우는 법how to learn"을 학습자에게 가르치는 방법에 대한 풍부하고 실행 가능한 설명은 여전히 부족하다(화이트 외 2014; 밀로풀로스 외 2016).

We are in the midst of a paradigm shift in medical education towards independent learning (Brydges et al. 2010). Learners are now afforded increased opportunities to learn asynchronously, with direct faculty oversight apportioned judiciously, across learner levels. Authors have described the conceptual skills needed by today’s learners, the environmental influences on the ability to learn, and have suggested approaches to develop learning strategies for active and unsupervised learning. However, a rich and actionable description of how to teach learners “how to learn,” a skill described by Bjotk and Bjork (2011) as the “ultimate survival tool,” (p. 63) is still lacking (White et al. 2014; Mylopoulos et al. 2016).

마스터 적응형 학습자(MAL) 프레임워크는 보건 분야의 현대 학습자 교육에 대한 상당한 가능성을 제공한다(Cutrer et al., 2017). 이 프레임워크의 중심은 "유연하고 혁신적이며 창의적인 능력"을 사용하여 친숙하고 낯선 문제를 해결하는 능력으로 기술되는 적응형 전문지식의 개념이다(하타노와 오우라 2003, 페이지 28). Mylopoulos와 Regehr(2009)는 학습자가 "과거의 지식과 경험을 효율적으로 활용할 뿐만 아니라, 새로운 문제에 대응하여 새로운 지식과 아이디어를 혁신적으로 창조해야 한다"고 논의한다. (페이지 128)

The Master Adaptive Learner (MAL) framework offers significant promise for the training of modern learners in the health professions (Cutrer et al. 2017). Central to the framework is the concept of adaptive expertise, described as the ability to solve problems, both familiar and unfamiliar, by using, “flexible, innovative, and creative competencies” (Hatano and Oura 2003, p. 28). Mylopoulos and Regehr (2009) discuss that learners must, “both make efficient use of their past knowledge and experiences and innovatively create new knowledge and ideas in response to novel problems” (p. 128).

MAL 프레임워크는 계획, 학습, 평가 및 조정의 네 가지 상호 연결된 단계로 구성된다. 이러한 단계는 비판적 사고와 성찰이 전문지식 획득을 촉진하는 반복적 주기를 형성한다(Cutrer et al., 2017). 학습자는 "계획" 단계에 참여하여 추가 연구가 필요한 지식, 기술 또는 태도적 갭을 식별합니다. 교육생들은 중요한 질문을 사용하여 학습의 우선 순위를 정한 목표를 파악한 다음, 품질 개선 주기와 유사한 프로세스에서 이를 달성한다.

The MAL framework identifies four interconnected phases – planning, learning, assessing, and adjusting. These phases form an iterative cycle in which critical thinking and reflection facilitate the acquisition of expertise (Cutrer et al. 2017). Learners engage in the “planning” phase to identify knowledge, skill, or attitudinal gaps requiring further study. Trainees use critical questioning to identify prioritized goals for their learning, which they then accomplish in a process analogous to a quality improvement cycle.

방법 Methods

건설주의적 패러다임을 사용하여 주요 개념과 의미 있는 내러티브를 식별하기 위해 구조화된 포커스 그룹을 실시했다. IRB 승인 획득은 4개 사이트 모두에서 이루어졌습니다.

Using a constructivist paradigm, we conducted structured focus groups to identify key concepts and meaningful narratives. IRB approval was obtained at all four sites

연구 참여자 Study participants

잠재적 참여자들은 사이트 PI로부터 "조사관들이 가장 효과적으로 학습하는 방법을 학습하는 기술을 개발하는 데 효과가 있는 핵심 개념과 개발 전략을 검토하고 있다"는 일반적인 진술과 함께 이메일을 받았으나 MAL 모델에 대한 자세한 내용은 없었다. 참가자의 최종 선정은 계획된 세션 날짜/시간의 가용성에 기초해 과목의 변동성을 극대화했다.

Potential participants were emailed by site PIs with the general statement that the investigators were looking at “key concepts and developmental strategies that work to develop skill in learning how you learn most effectively,” but without details of the MAL model. Final selection of participants was based on availability at the date/time of the planned session, thus maximizing the variability of subjects.

연구 장소 Study sites

모든 사이트는 외과, 의료 및 병원 기반 전문 분야의 수많은 교육 프로그램을 지원하는 대학 기반 의료 센터입니다. 미국 북동부, 대서양 중서부, 서해안 지역에 위치한다.

All sites are university-based medical centers that sponsor numerous training programs in surgical, medical, and hospital-based specialties. They are located in the Northeast, Mid-Atlantic, Mid-West, and West Coast regions of the United States.

포커스그룹 가이드 Focus group guides

MAL 모델(Cutrer et al., 2017)을 기반으로 포커스 그룹 진행자가 사용하기 위한 주제 가이드를 개발했으며, 특히 "계획" 단계의 핵심 단계(갭 식별, 격차 우선 순위, 리소스 식별)에 초점을 맞췄다.

Building on the MAL model (Cutrer et al. 2017), we developed a topic guide for use by focus group moderators, specifically focused on the key stages of the “planning” phase (identification of a gap, prioritization of the gap, identification of resources).

자료 수집 Data collection

다섯 명의 진행자가 네 개의 사이트에 걸쳐 7개의 오디오 녹음 포커스 그룹을 이끌었다. 포커스 그룹의 범위는 65~94분이었다. 공개 토론을 촉진하기 위해, 우리는 참가자의 감독에 관여하지 않는 중재자의 사용을 권장했다.

Five different moderators led seven audio-recorded focus groups across four sites. Focus groups ranged from 65–94min. To promote open discussion, we encouraged the use of moderators not involved in the supervision of participants.

데이터 수집의 일관성을 극대화하기 위해 각 진행자는 동일한 서면 지침과 프롬프트를 받았다. 우리는 스크립트를 사용하여 모든 그룹에 걸쳐 데이터 수집을 표준화하고, 식별된 테마가 최종 분석이 수행된 후 토론에 대한 그들의 기억과 일치하는지 확인하기 위해 구성원 검사를 사용했다(Shenton 2004).

To maximize consistency in data collection, each moderator received the same written instructions and prompts. We used a script to standardize data collection across all groups, and member checks to ensure that the themes identified matched their recollections of the discussions once final analysis was done (Shenton 2004).

자료 분석 Data analysis

우리는 지속적 비교 분석을 사용하여 여러 스크립트의 데이터를 분석하였다(Glaser 2008).

We used constant comparison analysis to analyze the data from multiple transcripts (Glaser 2008).

데이터 수집 과정에서 모든 조사원이 전화를 통해 만나 분석을 논의 및 다듬고, 새로 수집한 데이터와 이전에 수집한 데이터를 비교하고, 기존 코드를 검토했다. 포화 상태에 도달할 때까지 반복 분석이 발생했으며, 새로운 주요 코드, 주요 테마 또는 개념이 확인되지 않았다.

Over the course of data collection, all investigators met through the phone to discuss and refine the analysis, compare new and previously gathered data, and review existing codes. Iterative analysis occurred until saturation was reached, and no new major codes, key themes, or concepts were identified.

결과 Results

우리의 주제 분석은 우리의 대표적인 인식된 MAL 그룹이 학습을 계획하는 접근 방식에서 상당한 공통점을 공유한다는 것을 발견했다. 이는 [기존의 피드백 및 평가 시스템]에서 비롯되지 않고. 학습자가 소유하고 주로 환자에 대한 책임에 의해 추진되는 내재적으로 동기 부여된 프로세스입니다.

Our thematic analysis found that our representative group of recognized MALs share a significant commonality in their approach to planning learning. This is an intrinsically motivated process that is owned by the learner and driven primarily by their responsibility to patients, rather than originating from traditional feedback and assessment systems.

좋은 학습자가 되기 위해서는 모든 것이 내면에서 나와야 한다고 생각합니다. 내 생각에 다른 사람들이 당신을 위해 목표를 세우고 동기 부여를 할 수 없을 것 같아요. 스스로 더 잘하고 싶고, 더 하고 싶고, 더 열심히 공부해야 합니다.

I think that to be a good learner, it all has to come from within. I think people can’t really goal set for you and try to motivate you. You have to want to be better, want to do more, want to study harder.

갭 식별 Gap identification

(1) 퍼포먼스 중심 갭 식별은 학습자가 자신의 성과를 표준과 비교할 때 발생하는 프로세스로 정의한다.

(1) Performance-driven gap identification is defined as the process that occurs when learners compare their performance against a standard.

(2) 커뮤니티 중심 갭 식별은 교사, 동료 및 학생을 포함한 학습 환경에서 다른 사람과의 상호작용에 의해 촉진되는 과정으로 정의된다.

(2) Community-driven gap identification is defined as a process facilitated by interactions with others in the learning environment, including teachers, peers, and students.

퍼포먼스 중심 갭 식별

Performance-driven gap identification

참가자들은 주로 실시간 환자 치료를 통해 갭을 확인했다. 이런 방식의 괴리감별은 본의 아니게 시작되는 경우가 많지만, 과정이 전개되면서 [의식적인 관찰]이 되는 경우가 많다는 점이 흥미로웠다. 참가자는 자신의 갭을 식별하기 위해서 과제 실행 능력에 대한 자체 평가를 활용한다고 설명하였다(표 2). 그들은 갭 식별을 위한 핵심 방법으로 적극적인 입증demonstration, 특히 나름의 답을 commit할 필요성이 갭 식별의 핵심 방법이라고 언급했다. 여기에는 서면(평가 및 계획), 구두(예: 사례 제시), 행동(예: 절차적 실행) 등이 가능하다.

Participants identified gaps predominantly through real-time patient care. It was interesting to note that the identification of gaps in this way often starts unintentionally, but becomes a conscious observation as the process unfolds. Participants described utilizing self-assessment of their ability to execute tasks to identify their gaps (Table 2). They cited the importance of active demonstration, specifically the need to commit to an answer – by writing (e.g. assessment and plan), verbalizing (e.g. case presentation), or doing (e.g. procedural execution) – as key methods for gap identification.

… ED에서 사건을 해결하고 나면 모든 일이 중단됩니다. 모든 오더가 완료되고 나면 "[어, 이 사람이 어디로 가야 할지 모르겠어요. 그들이 들어와야 할지 집에 가야 할지 모르겠어요." 그리고 누군가와 협력하고 나서 벽에 부딪히는 과정은 여러분에게 "나는 이 프레젠테이션에 대해 충분히 알지 못한다"고 말해줍니다. 그러면 이것은 매우 실시간 피드백이 됩니다. 여러분은 주치의에게 가서 "나는 더 이상 무엇을 해야 할지 모르겠다"라고 말합니다.

… You will be working on a case in the ED and then everything stops happening … because all of your orders are done and then you’re like, “[H]uh, I have no idea where this person needs to go. I don’t know if they should come in or go home.” And the process of working someone up and then hitting a brick wall tells you, “I do not know enough about this presentation” and then it’s a very real-time feedback … you go to your attending and [say,] “I don’t know what to do anymore.”

커뮤니티 중심 갭 식별

Community-driven gap identification

레지던트와 다른 의료 팀 구성원의 상호 작용은 갭 식별에 도움이 된다. 감독관(출석, 선임 레지던트)과 이들이 감독하는 감독관(학생, 후배 레지던트) 모두 격차를 파악하는 파트너로 파악됐다. 참석자들은 주치의에 의해 자신의 mental framework를 다듬는 것이 이롭다고 언급했지만, 어떤 이들은 주니어 레지던트로서 주치의에게 접근하는 것이 제한적이었고, 그들의 결정을 지도하고 변경한 더 많은 선배 레지던트의 준비 후에야 이뤄진다고 언급했다. 따라서, 종종 주치의는 갭 식별에 덜 유용한 경우도 있다.

Residents’ interactions with other healthcare team members assist in gap identification. Both supervisors (attendings, senior residents), as well as those they supervise (students, junior residents), were identified as partners in identifying gaps. While participants did comment on the benefit of having their mental frameworks refined by attendings, some noted that access to attendings was limited as junior residents, and often occurred after preparation by more senior residents who guided and altered their decisions. Thus, attendings were often less useful for gap identification.

질문. 참가자들은 "왜"라는 질문이 갭을 식별하는 데 가장 효과적이라고 언급했다. 놀랄 것도 없이, 특정 사례의 특정한 "왜"를 아직 파악하지 못한 의대생들은 종종 이러한 유형의 질문의 개시자였다(표 2).

Questioning. Participants noted that “why” questions were most effective in helping to identify gaps. Not surprisingly, medical students who do not yet grasp the particular “why” of a given case were often initiators of these types of questions (Table 2).

가르침. 참가자들은 가르침이 갭 식별의 중요한 방법이라는 점에 주목했다. 가르치는 데 적절히 대비하고 싶은 욕구가 학습자들을 밀어내고 많은 학생들이 지식을 깊게 하는 것은 의도적으로 이러한 기회를 추구하여 지식을 준비하고 "성대화"하도록 할 것이다(표 2).

Teaching. Participants noted that teaching was an important method of gap identification. The desire to be to adequately prepared to teach often pushed learners and many deepen their knowledge intentionally sought out these opportunities so they would be forced to prepare and “vocalize” their knowledge (Table 2).

책임 강화. 책임감 있고 독립적인 관리팀 구성원으로서 권한을 부여받음으로써 학습자가 갭 식별을 할 수 있도록 지원했습니다. 이러한 "스킨 인 더 게임" 사고방식은 그들의 행동이 실제적이고 가시적인 결과를 가져올 때만 발생하는 그들 자신의 성과에 대한 투자 수준을 그들에게 영향을 주었다(표 2).

Empowering responsibility. Being empowered as a responsible, independent member of the care team assisted learners in gap identification. This “skin in the game” mindset imbued them with a level of investment in their own performance that occurred only when their actions have real and visible consequences (Table 2).

피드백 요청. 참가자들은 학생, 간호사, 기술자, 참석자 등 의료 팀의 여러 구성원으로부터 의도적으로 피드백을 구하여 갭을 파악했다고 설명했습니다(표 2). 이것은 그들이 시간이 지나면서 더 편안해진 기술이었다.

Inviting feedback. Participants described intentionally seeking feedback from multiple members of the care team – including students, nurses, techs, as well as attendings – to identify gaps (Table 2). This was a skill that they became more comfortable with over time.

대리 학습. 중요한 학습은 결정과 실수를 포함한 동료들의 경험에 대해 토론하는 데서 온다. 이러한 대리체험은 학습자가 주어진 사례에 개인적으로 관여하지 않았음에도 불구하고 자신의 갭을 식별하는 방법입니다(표 2). 한 참석자는 확인된 오류 중 패턴인식을 목표로 학습자가 '놓친' 서로의 사례를 분석하는 레지던트 전용 '놓친missed' 증례 컨퍼런스의 가치에 대해 토론했다.

Vicarious learning. Valuable learning comes from discussing the experiences of their peers, including decisions and mistakes. This vicarious experience was a way for a learner to identify their gaps, despite having no personal involvement in a given case (Table 2). One participant discussed the value of a resident-only “missed” case conference, where learners analyze each other’s cases where something was “missed,” with the goal of pattern recognition among identified errors.

갭의 우선순위 정하기

Prioritization of gaps

우리의 분석에 따르면 MAL은 우리가 트리아지triage와 적절성adequacy이라고 부르는 두 가지 간단한 스키마를 사용하여 학습의 우선순위를 정할 때 성공적이다. 

• 트리아지는 학습자가 제한된 시간을 분배하면서 학습 과제의 중요성과 순서에 대해 결정하는 과정으로 정의된다. 

• 적합성은 다른 작업으로 넘어갈 수 있음을 알리는 학습의 종결점을 정의하는 과정으로 정의된다. 적절성은 역량도 숙달도 아니다. 오히려, 그들이 스스로 식별한 갭을 해소하기 위해 필요하다고 생각하는 학습의 정도가 된다.

Our analysis found that MALs are successful when they prioritized their learning using two simple schemas we term triage and adequacy. 

• Triage is defined as the process in which learners make decisions regarding the importance and order of their learning tasks as they ration their limited time. 

• Adequacy is defined as the process of defining an end-point for learning that signals that it is acceptable to move on to another task. Adequacy is neither competency nor mastery; rather, the degree of learning that they deem necessary to address their self-identified gap.

우리의 많은 피험자는 종단적 학습 목표는 실용적이지 않더라도 부담스럽고 즉각적인 임상 치료 요구에 부합하지 않는다고 설명했다.

Many of our subjects described longitudinal study goals as burdensome, if not impractical, and not aligned with their immediate clinical care needs.

나 또한 목표를 정하지 않는다. 그것이 왜 중요한지 모르겠다. 내 관심사가 내가 가고 싶은 곳으로 데려가준다.

I also do not set goals. I don’t see a point to it. My interests will take me where I want to [go].

트라이아지

Triage

연습생들이 배우기를 기대하는 압도적인 양의 자료를 감안할 때, 참가자들은 자신에게 이치에 맞는 순서로 학습의 우선순위를 정했다고 설명했다. 학습자는 여러 요인을 바탕으로 식별된 갭을 조사합니다. 지금까지 가장 일반적으로 확인된 요인은 다음 환자 또는 증례에 대한 학습 필요성이었다.

Given the overwhelming amount of material that trainees are expected to learn, participants described prioritizing their learning in an order that made sense to them. Learners triage their investigation of identified gaps based on multiple factors. By far the most commonly identified factor was the learning needs for the next patient or case.

콘텐츠의 중요성에 대한 인식, 콘텐츠 발생 빈도, 학습 기회의 편리성 또는 처리의 용이성, 주제를 학습해야 하는 시간 프레임, 주제에 대한 자신의 관심 등 수많은 요소가 사용된다(표 3).

Numerous triage factors are used, including the perception of the importance of content, frequency of content occurrence, convenience or ease of addressing the learning opportunity, the time frame in which they must learn the material, as well as their own interest in the subject matter (Table 3).

연구참여자들 사이에 거의 일치된 의견들이 있었는데, 시험(테스트를 위한 학습)과 임상 로테이션("환자 치료를 위한 학습")의 요구라는 두 가지가 모두 트리아지에 영향을 미쳤지만, 분명히 이 둘은 서로 달랐다. 모든 참가자들은 레지던트 과정에 도달한 후 임상 전문 지식과 환자 관리에 관한 갭이 그들의 트리아지 과정을 지배한다는 데 동의했다.

There was near-consensus among subjects that both course examinations (“learning for tests”) and the demands of a clinical rotation (“learning for patient care”) influenced their triage process but were distinctly different endeavors. All participants agreed that once they reached residency training, gaps pertaining to clinical expertise and patient care dominated their triage process.

적절성 Adequacy

작업의 우선 순위 지정에는 다음 작업을 시작할 수 있도록 작업이 완료되는 시기를 파악하는 것이 기본입니다. 적절성은 학습 과정 자체의 결과를 반영하며, 학습 과제의 종료 시점에 대한 신호를 보낸다. 참가자들은 처음 학습 과제의 우선순위를 정할 때 이 설정값이 불확실하더라도 "충분히" 학습한 시점을 인식한다고 보고했다. 학습 깊이는 임상 작업에 대한 자료와 적용에 따라 다를 수 있다(예: 피상적 대 숙달). 참가자들은 학습을 효율적으로 달성하기 위한 연구 노력의 적절성에 대해 의도적인 결정을 내렸다고 보고하였다(표 3).

Inherent to the prioritization of tasks is knowing when a task is complete so that the next task can begin. Adequacy reflects the outcome of the learning process itself, signaling when the learning task comes to an end. Participants reported recognizing when they had learned “enough,” even if this set-point was uncertain to them when they first prioritized the learning task. The depth of learning could be different (e.g. superficial vs. mastery) based on the material and application to their clinical work. Participants reported they made intentional decisions about the adequacy of their study efforts to achieve learning efficiently (Table 3).

리소스 식별 Identification of resources

온라인 교육의 빠르고 지속적으로 확장되는 세계는 우리의 참가자들에게 도전 과제를 안겨주었다.

The rapid and continuously expanding world of online education posed challenges to our participants.

첫 번째, [의도적인 적응]은 특정 학습 환경에서 확인된 격차를 가장 잘 해결하기 위한 의도적이고 때로는 기회주의적 자원 선택으로 정의된다.

The first, intentional adaptation is defined as the deliberate, and sometimes opportunistic, choice of resources to best address identified gaps in a specific learning environment.

두 번째 [가중 큐레이션]은 학습자가 학습 자원의 특성(예: 신뢰성, 적용성 또는 재료와의 교제 능력)을 동적으로 평가하는 반복 프로세스로 정의된다.

The second, weighted curation, is defined as the iterative process by which learners dynamically evaluate the characteristics of the learning resource, such as credibility, applicability, or ability to engage with the material.

의도적 적응 Intentional adaptation

우리의 참가자들은 우리가 의도적인 적응이라고 부르는 것의 발달에 대해 설명했습니다. 학습자가 학습 자원의 선택을 의도적으로 수정하는 이 trial-and-error 접근 방식은 학습 단계와 물리적 환경이라는 두 가지 컨텍스트에 기초한다.

Our participants described the development of what we term intentional adaptation. This trial-and-error approach by which learners deliberatively modify their choice of learning resource is based on two contexts: the learning stage and the physical environment.

저는 의과대학이 그저 주제적으로 읽거나 아주 큰 붓으로 읽는 것과 같은 일반적인 주제였다고 생각합니다. 레지던트는 [구체적인 임상 질문]이나 [환자 개개인의 맥락에서 나온 문제]들에 초점을 맞추는 것에 훨씬 더 중점을 두었습니다.

I think medical school for me was a lot of reading just topically or like in large brushes … general topics. And residency has been much more about focusing on specific clinical questions and issues that come up in the context of individual patients.

학습 단계의 이러한 변화는 [단순히 광범위한 주제를 다루기보다] [임상 질문에 답할 수 있는 콘텐츠를 검색하는 방식으로] 학습 리소스 선택에 영향을 미쳤다(표 4). 이는 [교과서/기초적 독서]에서 [최신 문헌과 증거 기반 의학의 사용]으로의 변화로 나타났다. 이처럼 교과서를 점점 덜 보는 경향성에도 불구하고, 우리는 한 레지던트가 언급했듯이 (수술 전문분야에서) 여전히 교과서 또는 '바이블'을 읽었다. 한 참석자는 비록 최신지견은 아니지만, 교과서는 모든 필수 내용을 포함하고 있고, 한 분야의 지도자들에 의해 쓰여졌으며, 현대 치료 토론의 금본위제 역할을 했다고 보고했다.

This change in the learning stage impacted their selection of learning resources as they searched for content that can answer clinical questions, and not simply cover broad topics (Table 4). This manifested as a change from textbook/foundational reading to the use of current literature and evidence-based medicine. Despite this trend towards the abandonment of the textbook, we found that certain residents (from surgical specialties) still read textbooks, or the “Bible,” as one resident referred to it. One participant reported that despite perhaps not being up to date, their textbook contained all required content, was written by leaders in their field, and served as the gold-standard resource for contemporary care debates.

두 번째 맥락은 학습자가 공부를 하는 실제 물리적 위치(예: 집, 직장, 통근)와 관련있었다. 많은 참가자들이 실시간으로 가장 손쉬운 자원은 감독관이라고 밝혔다. 전공의의 리소스 선택은 지식의 깊이가 아니라 편의성의 필요성에 의해 영향을 받고, 시간이 얼마나 남았는지에 의해 영향을 받는다.

The second context referred to the learners’ actual physical location when they learn (e.g. home, work, commuting). Many participants identified the easiest resource in real time was their supervisor. Resident choice of the resource is impacted by how much time they have and sometimes influenced by the need for expediency, as opposed to depth of knowledge.

가중 큐레이션

Weighted curation

자원 식별에 활용되는 두 번째 핵심 프로세스는 상대적 가치를 평가하는 것입니다. 논의된 가장 일반적인 기준은 [자원의 신뢰도credibility 또는 trustworthiness]였으며, 자원의 가중치를 결정하는 데 종종 사용되었다(표 4).

The second key process utilized in the identification of resources is weighing their relative value. The most common criterion discussed was the credibility or trustworthiness of the resource, which was often used to help determine the weight it should be given (Table 4).

참가자들이 자원을 저울질한다고 보고한 두 번째 기준은 [개별 요구에 대한 적용 가능성]이다. 엔터테인먼트와 교육의 이점을 모두 제공하는 자원은 참가자들에 의해 더 높은 가중치를 받았다(표 4).

The second criterion by which participants reported weighing resources is the applicability to their individual needs. Resources that provided the benefit of both being entertaining and educational were more highly weighted by the participants (Table 4).

학습의 "계획" 단계에 대한 장벽

Barriers to the “planning” phase of learning

참가자들이 직접 "배우는 법을 가르쳐 주는 공식적 훈련이 있느냐"는 질문을 받았을 때, 참가자들로부터 거의 보편적인 대답은 "아니오"였다. 참가자들은 [학습에 대한 best practice에 대한 경험 부족]이 [레지던시 훈련의 높은 인지 부하와 결합되었을 때] 압도적이라고 설명했다. 이 중 후자에는 [학습할 자료의 실제 양]과 [어떤 출처가 평판이 좋거나 최신인가에 대한 지식] 등이 포함되었다. 참가자들은 경험, 시간, 그리고 더 많은 맥락에서 해결해야 할 갭과 이를 어떻게 해결할 것인가의 중요성이 더욱 분명해졌다고 언급했다.

When participants were asked directly if they had “formal training that taught you how to learn,” the nearuniversal answer from participants was “no.” Participants described inexperience with best practices for learning as overwhelming, especially when coupled with the high cognitive load in residency training, including both actual volume of material to learn and knowledge of what source is reputable or that current. Participants noted with experience, time, and more context, the importance of gaps to be addressed, and how to address them, became clearer.

모든 참가자는 [시간 제약]을 갭 식별과 학습의 우선 순위 지정에 있어 중요한 장벽으로 식별했다. 참가자들은 특히 지식 격차를 확인한 순간, 가용 시간이 부족함을 지적했다. 그들은 직장에서의 학습에만 의존하는 것은 피상적인 학습으로 이어지는 반면, 딥 러닝은 종종 개인적인 시간의 희생으로 인식되는 추가적인 노력과 공부를 필요로 한다고 경고했다. 시간 부족을 관리하기 위해, 대부분은 나중에 공부할 목록을 만들었다는 것을 확인했다.

All participants identified time constraints as a significant barrier, in particular for gap identification and the prioritization of learning. Participants noted specifically the lack of available time at the moment they identified a knowledge gap. They cautioned that relying only on learning while in the workplace led to superficial learning, while deep learning required additional effort and study – often at the perceived sacrifice of personal time. To manage this, most identified that they made lists for later learning.

참가자들은 또한 [시스템 장벽]에 대해서도 논의하였다. 많은 참가자들은 동료들은 자신을 과신하고 있으며 갭을 스스로 인식하지 못하는 것 같다고 말했다.

Participants also discussed systemic barriers. Many participants spoke of colleagues deemed overconfident and unable to recognize their own gaps.

마찬가지로 중요한 것은 환자 진료의 여러 측면에 대한 연습생 참여를 제한하는 의학의 [위계적 시스템]이 장애물로 지적됐다는 점이다.

Just as important, the hierarchical system of medicine, which limits trainee involvement in many aspects of a patient’s care, was noted as a barrier.

고찰 Discussion

"계획" 단계의 각 3단계에 걸쳐, 참가자들은 학습 탐색에 사용하는 두 가지 별개의 기술에 대해 설명했습니다. 

• (1) 갭 식별 전략 - 성과 중심 갭 식별 및 커뮤니티 중심 갭 식별, 

• (2) 우선순위 전략 - 트리아지와 적절성 

• (3) 자원 정의 식별전략 – 가중 큐레이션 및 의도적 적응. 

Across each of the three stages of the “planning” phase, our participants described two discrete techniques they use to navigate their learning: 

• (1) Gap identification strategies – Performance-Driven Gap Identification and Community– Driven Gap Identification; 

• (2) Prioritization strategies Triage and Adequacy; and 

• (3) Identification of Resources strategies – Weighted Curation and Intentional Adaptation. 

모든 전략에서 공통적인 것은 자신의 호기심, 관심사, 그리고 무엇보다도 현재 또는 미래의 환자에 대한 책임에 의해 학습하도록 추진된 참여적이고 내면적으로 동기부여된 학습자의 적극적인 참여였다.

Common across all strategies was the active involvement of an engaged, intrinsically motivated learner, driven to learn by their own curiosity, interests, and most of all, their responsibility to their current or future patients.

기존 연구와의 관계 Relationship to existing work

우리의 연구는 학습자의 MAL 프레임워크의 인지 단계 사용을 촉진하거나 방해하는 요인을 설명하는 최근의 관점을 뒷받침한다(Cutrer et al., 2018). 여기에는 호기심, 동기부여, 사고방식, 회복탄력성의 핵심적 [내적 특성]과 코칭과 학습 환경의 [외부 요인]이 포함된다.

Our study supports that of a recent perspective describing factors that either foster or impede a learners’ use of the MAL framework’s cognitive phases (Cutrer et al. 2018). These include the key internal characteristics of curiosity, motivation, mindset, and resilience, and the external factors of coaching and the learning environment.

어떤 경우, 학습자들은 선택된 "전문가"가 신뢰할 수 있는 자원으로서의 역할을 한다고 언급했지만, 놀랍게도 [공식적인 피드백이나 학습을 계획하기 위한 도구]로서 [코칭]을 언급하는 사람은 거의 없었다.

In some instances, noted a chosen “expert” served as the trusted resource for them, but surprisingly few mentioned formal feedback or coaching as a tool to plan their learning.

Cutrer 등(2018)은 회복탄력성이 MAL이 번창할 수 있도록 하는 핵심 특성이라는 점에 주목한다. 많은 학습자는 자신의 스타일이나 필요에 가장 적합한 접근 방식, 사람 또는 자원을 찾을 때까지 시행착오를 겪어야 한다고 지적했습니다. 이는 "생산적 투쟁의 가치와 의미 있는 변화에 대한 노출"에 대한 최근의 옹호와 일치한다(Mylopoulos et al. 2018, 페이지 850). "시행착오"를 "생산적인 투쟁"으로 접근하는 것에 대해 학습자들과의 투명한 토론은 그들이 이러한 경험을 실패가 아니라 보는 데 도움이 될 수 있고, 회복탄력성과 적응적 전문지식의 개발에 있어 학습자들을 더 잘 지원할 수 있다.

Cutrer et al. (2018) note that resilience is a key characteristic that allows a MAL to thrive. Many of our learners noted using trial and error until finding the approach, person, or resource best suited to their style or need. This aligns with recent advocacy for “the value of productive struggle and exposure to meaningful variation” (Mylopoulos et al. 2018, p. 850). Transparent discussions with learners about approaching “trial and error” as “productive struggle” may help them see these experiences, not as failures, and may better support learners in the development of resilience and adaptive expertise.

Jason과 Westberg(2018)는 또한 교육자가 적응형 전문가의 개발을 촉진하는 주요 방법을 논의한다. 한 가지 제안은 교육자들이 학습자가 학습 결과에 대한 소유 의식sense of ownership을 개발하도록 장려하는 것이다.

Jason and Westberg (2018) also discuss key ways educators foster the development of the adaptive expert. One proposition is for educators to encourage learners to develop a sense of ownership over their learning outcomes.

학습자가 차이를 스스로 식별할 수 있는 기회를 극대화하기 위해 교사는 임상 역할이 [학습자가 강의와 학습에 참여할 수 있는 충분한 기회]를 제공하도록 보장해야 한다. 또한, 우리는 학습자에게 [환자를 제시하기 전에 "자신의 생각을 정리"할 기회]를 줌으로써, 특히 정신적인 약속mental commitment의 가치를 활용하는 중요한 학습 전략에 주목한다. 이는 학습자가 배려와 표현에 의해 유발되는 [벽돌담 순간]을 경험할 수 있는 가능성을 극대화합니다. 이것은 학습자가 직접 학습 발견을 할 기회를 갖는 1분 프리셉터 모델의 "커밋 단계"와 SNAPS 모델의 "프로브 프리셉터" 단계(Neher et al. 1992; Wolpaw et al. 2003)와 관련이 있지만 완전히 유사하지는 않다. 이 "학습 가능한 순간"을 통해 학습자는 자신의 학습에 대한 차이를 스스로 파악하고 소유권을 높일 수 있습니다.

To maximize opportunities in which learners can selfidentify gaps, teachers should ensure that clinical roles provide ample opportunity for learners to engage in teaching and learning. In addition, we note an important learning strategy in utilizing the value of mental commitment, specifically, by giving the learner the chance to “organize their thoughts” prior to presenting their patient. This maximizes the chance the learner can experience a brick wall moment, prompted by consideration, and then by the expression, of their thoughts. This is related, but not entirely similar to, the “commitment stage” of the One-Minute Preceptor model and the “probe the preceptor” stage of the SNAPPS model (Neher et al. 1992; Wolpaw et al. 2003), where the learner has an opportunity to make a learning discovery themselves. This “learnable moment” permits learners to self-identify gaps and enhances ownership over their learning.

학습자 및 교육자를 위한 주요 결과 및 권장 사항

Key findings and recommendations for learners and educators

갭 식별 Gap identification

참가자들은 차이를 식별하기 위해 두 가지 주요 프로세스를 활용했습니다. 두 가지 모두 학습자가 스스로 평가해야 하지만, [커뮤니티 중심의 갭 식별]은 팀 기반 의료 환경에서 일하는 것의 이점을 활용한다. 참가자들은 [자신의 업무 수행 평가(성과 중심 갭 식별)]의 중요성에 대해서 많이 언급하였고, 이 때 [과제 수행 능력의 비교 기준(bar)]으로 활용했다. 크루거와 더닝(1999)이 논한 것과 같이 문헌에 기술된 자기 평가의 어려움에 대해 논한 사람은 아무도 없었다.

Participants utilized two main processes to identify gaps. While both require that the learner self-assess, community-driven gap identification capitalizes on the benefits of working in a team-based healthcare environment. Participants spent significant time discussing the significance of self-assessment of performance (performance-driven gap identification), utilizing their ability to complete a task as the comparative bar to find gaps. None discussed the difficulties of self-assessment described in the literature, such as those discussed by Kruger and Dunning (1999).

우선순위 정하기 Prioritization

마스터 학습자는 순서, 내용, 즉시성, 선택한 자료의 깊이 또는 범위를 고려한 우선순위 지정에 탁월합니다. 트라이어티에 영향을 미치는 큰 그림 고려사항에는 다음이 포함된다.

• 요구의 즉각성(예: 다음 사례), 

• 장기적 목표(예: 하위 전문 직업 관심사) 

• 이전 학습 경험(예: 이전에 한 업무work 내용)

Master learners excel at prioritization, including consideration of the order, content, immediacy, and depth or breadth of the chosen material. Big-picture considerations affecting triage included 

• immediate needs (e.g. the next case), 

• long term goals (e.g. subspecialty career interests), and 

• previous learning experiences (e.g. what worked previously). 

학습자 목표 설정을 장려하는 일반적인 관행과 달리, 우리는 참가자들이 목표를 설정하지 않았다는 사실에 놀랐다. 실제로 많은 이들이 의도적으로 목표 설정을 피했고, 목표를 제시하도록 유도했을 때 좌절감을 지적했다. 이것은 많은 참가자들이 설명한 [학습 니즈의 즉각적인 영향]을 강조하며, 아마도 [많은 요인에 기초하여 우선순위 니즈를 수정하는 적응력]을 보여줄 것이다.

In contrast to the accepted practice of encouraging learner goal setting, we were surprised to find our participants did not set goals. In fact, many intentionally avoided goal-setting and noted frustration when prompted to suggest goals. This highlights the significant influence of immediacy of learning needs that many participants described and perhaps shows their skill at adaptability to modify their prioritization needs based on a number of factors.

갭 식별과 대조적으로, [트리아지와 적절성의 프로세스]는 (학습자 간에 쉽게 일반화될 수 있는 명확한 공식이 없으며) [고도로 개인화된 것]으로 설명하였다. 이러한 스키마의 개발을 향한 개별적인 여정은 느리고, 실망스럽고, 반복적이었지만, Mylopoulos 외 연구진(2018)이 기술한 "생산적인 투쟁"과 매우 일치한다. 학습자는 자신이 선호하는 방법을 찾기 위해 [시간과 시행착오]가 모두 필요하며, 일부 학습은 높은 수익률을 보일 수 있지만 "당장은 느리지만 (숙련도가 높아질수록) 학습 속도에 가속이 붙는다"는 것을 의식적으로 이해해야 한다. 프로그램 리더 또는 코치의 anticipatory guidance는 학습자가 이러한 "생산적인 투쟁"의 존재와 적응적 전문지식의 개발에 제공하는 역설적 이점을 인식하는 데 도움이 될 수 있다.

In contrast to gap identification, our participants described the processes of triage and adequacy as highly individualized and without a clear formula that can be easily generalized across learners. The individual journey towards the development of these schemas appeared slow, disjointed, and iterative, but highly consistent with the “productive struggle” al. described by Mylopoulos et (2018). Learners must have the conscious understanding that a combination of time and trial and error will be required to find their preferred methods and that some learning may be high yield but with “slow but accelerating rates of uptake” (Son and Sethi 2010, p. 138) as they become more adept. Anticipatory guidance from program leaders or coaches may help learners recognize the existence of this “productive struggle” and the paradoxical benefit it provides to their development of adaptive expertise.

리소스 식별

Identification of resources

참가자들은 여러 가지 요인(예: 학습해야 할 사항, 자원 신뢰도 평가, 다른 사람의 권고 사항, 물리적 환경)을 바탕으로 자신만의 리소스 세트를 큐레이션했다. 트리아지와 적절성처럼, 가중 큐레이션의 이 과정은 학습자의 필요에 의해 매우 개별화되었다. 레지던트의 가중 큐레이션 프로세스의 개발을 공개적으로 인정하는 것은 경험적 코칭의 기회를 포함하여 많은 귀중한 결과를 제공할 수 있다. 최소한 이 주제에 대한 일관된 관심은 전공의에게 그 중요성을 강화시킬 것이다.

Participants curated their own set of resources based on a number of factors (e.g. what they need to learn, assessment of resource credibility, recommendations from others, physical environment). Like triage and adequacy, this process of weighted curation was highly individualized by the learner’s needs. Overtly acknowledging the development of a resident’s weighted curation process may offer a number of valuable outcomes including the opportunity for experiential coaching. At the very least, consistent attention to this topic will reinforce its importance to the resident.

학습자가 의대에서 레지던시로 전환하는 과정에서 [의도적인 적응]을 하도록 유도해야 하며, 우선순위 정하기와 유사하게 [시간과 반복적 발전을 요구하는 고군분투가 될 것]임을 인식해야 한다. 임상 질문은 학습을 주도drive하며, 학습자는 이러한 요구를 충족하기 위해 자원을 선택하는 책임을 져야 합니다. 교육 프로그램은 경험이 부족한 학습자에게 도움이 되게끔 사전 큐레이팅된 리소스(예: 프로그램별 매뉴얼) 또는 검증된 리소스(예: 온라인 교육 사이트)를 제공함으로써 학습자가 이러한 전환 과정을 연결하는 데 도움이 될 수 있다. 이러한 솔루션은 [효과적인 트리아지]와 [의도적인 적응 전략]을 개발하는 데 필요한 경험과 시간이 부족한 학습자에게 유용하고 일시적인 프로그래밍 솔루션을 제공할 것이다.

Learners should be encouraged to employ intentional adaptation during the transition from medical school to residency, and that similar to prioritization, be made aware that it will be a struggle requiring time and iterative development. Clinical questions will drive learning, and learners will need to assume responsibility for choosing resources to meet this need. Training programs can help bridge learners through this transition by providing pre-curated (e.g. a program-specific manual) or vetted resources (e.g. online education sites) from which inexperienced learners can benefit. These solutions highlight useful, temporary programmatic solutions that can be provided to learners to address their inexperience and time needed to develop effective triage and intentional adaptation strategies.

장벽 Barriers

프로그램 리더와 교육자들이 스스로에게 "시간 부족의 학습에 대한 부정적인 영향을 어떻게 관리할 것인가?"라는 질문을 던지는 것이 필수적이다. 학습자와 교사 모두에 대한 인식이 첫 번째 단계이지만, 우리의 학습자는 식별된 갭을 해결하기 위해 [나중에 학습할 목록], ["개인적인" 시간의 활용]과 같은 전략을 활용했다. 교육자는 학습자가 바쁜 임상 영역 밖에서 언제 학습할 것인지에 대한 개인화된 계획을 식별하도록 권장해야 한다.

It is essential for program leaders and educators to ask themselves the question, “how do we manage the negative effects on learning of the lack of time?” While awareness for both learners and teachers is the first step, our learners utilized strategies, such as lists for later learning, and incorporating dedicated time during what can be considered “personal” time, to address their identified gaps. Educators should encourage learners to identify a personalized plan for when they will learn outside of a busy clinical area.

최근 연구는 [환자의 안전을 최대화하기 위한 의학의 사회적 의무]와 [차세대 의사가 독립적인 진료에 적절하게 준비되도록 해야 하는 필요성] 사이의 긴장을 강조했다(Whitehead and Kuper 2015; Carraccio et al. 2016; Eva et al. 2016).

Recent works have highlighted the tension between the societal duty of medicine to maximize patient safety and the need to ensure the next generation of physicians is adequately prepared for independent practice (Whitehead and Kuper 2015; Carraccio et al. 2016; Eva et al. 2016).

적응적 전문지식을 위해서 학습자는 효율성과 혁신을 모두 활용해야 합니다. 따라서, 우리는 의료 시스템이 개인 개발과 사려 깊고 혁신적인 탐험을 희생하여 MAL을 효율로 향하게 할 수 있다는 참가자들의 표현된 우려에 동의한다(Pusic et al., 2018).

Adaptive expertise requires learners to make use of both efficiency and innovation. Thus, we agree with our participants’ expressed concerns that the healthcare system may push MALs toward efficiency at the expense of personal development and thoughtful, innovative exploration (Pusic et al. 2018).

한계 Limitations

결론 Conclusions

용어 Glossary

• 적응형 전문 지식: 1986년 하타노 기야오(Hatano Giyaoo)에 의해 일상적인 전문 지식과 분리된 개념을 구별하기 위해 처음 기술되었다. 일상적 전문가는 익숙한 문제를 효율적이고 정확하게 해결할 수 있는 반면, 적응형 전문가는 "일상적인 역량을 넘어 유연하고 혁신적이며 창의적인 능력으로 특징지어질 수 있다"며 건강 전문가가 익숙하지 않거나 이전에 접한 적 없는 임상 상황에 유연하게 대응할 수 있도록 합니다. 따라서, 일상적 전문지식은 익숙한 것에서 계속해서 숙달할 수 있는 전문가를 배출하는 반면, 적응형 전문가는 일상적인 전문지식을 기반으로 익숙하지 않은 문제에 새로운 해결책을 만들기 위해 유연성과 혁신을 더한다.

Adaptive expertise: Was first described in 1986 by Giyaoo Hatano to distinguish a concept separate from routine expertise. Routine experts are able to solve familiar problems both efficiently and accurately, while adaptive experts are able to “go beyond the routine competencies, and can be characterized by their flexible, innovative, and creative competencies,” Adaptive expertise allows a health professional to respond flexibly to clinical situations that were not familiar or never encountered before. Thus, routine expertise produces experts who can achieve mastery in the familiar over and over, while adaptive experts build on routine expertise by adding flexibility and innovation to create novel solutions to unfamiliar problems.

• 마스터 적응 학습자: 2017년 미국 의학 협회의 Accelerating Change in Education 프로젝트가 발표한 원고에 정의된 개념 모델을 설명합니다. 마스터 적응형 학습자 프레임워크는 학생이 적응형 전문 기술을 개발하기 위해 사용하는 통합 학습 프로세스의 네 가지 주요 단계를 설명한다. 

• 첫 번째 단계인 계획(Planning)은 학습자가 미래 학습을 계획하기 위해 사용하는 세 가지 단계를 통합합니다. 

• 여기에는 갭을 식별하고, 학습 기회를 선택하고, 학습을 위한 자원을 검색하는 작업이 포함됩니다. 

• 두 번째 단계인 학습(Learning)은 학습자가 학습에 참여하고 새로운 지식, 기술 또는 태도를 내면화하는 단계입니다. 

• 세 번째 단계인 평가(Assessment)는 학습자가 새롭게 습득한 역량이나 지식을 시험해 보고 피드백과 자기 평가에 의한 정교함을 통해 편안한 상태로 나아가는 단계입니다. 

• 마지막 단계인 조정(Adjusting)은 학습이 일상적 실무에 통합되고 새로운 방식으로 사용될 수 있는 단계를 설명한다.

Master Adaptive Learner: Describes a conceptual model defined in a manuscript published by the Accelerating Change in Education project of the American Medical Association in 2017. The Master Adaptive Learner framework describes four key phases of an integrated process of learning used by students to develop the skill of adaptive expertise. 

• The first phase, Planning, incorporates three stages that a learner uses to plan future learning. They include: identifying a gap, selecting an opportunity for learning, and searching for resources for learning. 

• The second phase, Learning, is the phase during which the learner engages in learning and internalizes new knowledge, skills or attitudes. 

• The third phase, Assessing, is when learners try out their newly attained capabilities or knowledge and progress to a state of comfort through refinement by feedback and self-assessment. 

• The last phase, Adjusting, describes a stage in which learning is routinely incorporated into daily practice and is able to be used in novel ways.

• "Brick Wall" 개념: "벽돌에 부딪히는 것"이라는 흔한 관용구는 사람의 발전을 막는 장애물을 마주치는 것을 묘사하기 위해 사용되어 왔다. 의료 교육에서 "벽돌 담" 개념은 연습생이 "벽돌 담"에 부딪혔다는 것을 의식적으로 깨닫기 전까지 독립적으로 감별진단을 만들고 계획을 실행하거나 절차를 시도하기 위해 작업하는 과정을 설명한다. 즉, 올바른 다음 단계가 무엇인지 알지 못한다. 이러한 의식적 깨달음은 자기 반성을 촉진하고, 해결해야 할 격차를 식별하도록 촉진하며, 앞으로 나아가기 위해 감독자와의 논의와 같은 다음 단계를 촉진한다. '벽돌 벽'은 학습자가 가르칠 수 있는 순간teachable moment을 나타내며, 학습자가 생산적인 학습 투쟁의 일환으로 조형적 피드백을 받을 수 있는 핵심 방법으로 간주해야 한다.

“Brick Wall” Concept: The common idiom, “to hit a brick wall,” has been used to describe an encountering an obstacle that stops ones’ progress. In medical education, the “brick wall” concept describes the process whereby a trainee works independently to create differential diagnoses, implement plans, or attempt procedures until they come to the conscious realization that they have hit a “brick wall”–they do not know what the correct next step should be. This conscious realization prompts self-reflection, facilitates the identification of a gap that needs to be addressed, and prompts a next step, such as, discussion with a supervisor, in order to move forward. The “brick wall” represents a teachable moment for learners, and should be considered a key way for learners to receive formative feedback, as a part of the productive struggle of learning.

브릭 월은 스스로 식별한 학습의 갭이며 진행 중인 임상 작업을 완료하기 위해 감독자의 연습 기반 학습 또는 교육이 필요하다. https://grammarist. com/idiom/hit-a-brick-wall vs-hit-the-the-wall/

The Brick Wall is the self-identified learning gap and requires practice-based learning or teaching from a supervisor in order to complete the clinical task in progress https://grammarist. com/idiom/hit-a-brick-wall-vs-hit-the-wall/

Cutrer WB, Atkinson HG, Friedman E, Deiorio N, Gruppen LD, Dekhtyar M, Pusic M. 2018. Exploring the characteristics and context that allow master adaptive learners to thrive. Med Teach. 40:791–796.

Cutrer WB, Miller B, Pusic MV, Mejicano G, Mangrulkar RS, Gruppen LD, Hawkins RE, Skochelak SE, Moore DE, Jr. 2017. Fostering the development of master adaptive learners: a conceptual model to guide skill acquisition in medical education. Acad Med: J Assoc Am Med Coll. 92:70–75.

PBL을 CBL과 비교하기: 두 의과대학의 교육과정 (Acad Med, 2007)

Comparing Problem-Based Learning with Case-Based Learning: Effects of a Major Curricular Shift at Two Institutions

Malathi Srinivasan, MD, Michael Wilkes, MD, PhD, Frazier Stevenson, MD, Thuan Nguyen, MS, MD, and Stuart Slavin, MD

소규모 그룹 교육 방식은 팀워크와 문제 해결을 강조하지만, 교수진과 자원이 매우 많이 든다.4 학습자와 교사가 가장 효과적이고 시간 효율적이며 입맛에 맞는 소그룹 학습 방법에 대한 논란은 여전하다.

Small- group teaching methods emphasize teamwork and problem-solving, yet they are extremely faculty- and resource intensive.4 Controversy remains about which method of small-group learning is most effective, time efficient, and palatable to the learner and teacher

배경 

Background

두 가지 교수법

The two teaching methods

PBL 소그룹에서 이 그룹은 문제 해결, 독립적인 학습 및 팀워크를 촉진하기 위해 학습자에 의한 발견 프로세스에 초점을 맞춘다.7 일반적으로 학습자가 접점tangents을 탐색하는 경우에도, 촉진자는 최소한의 역할을 수행하고 토론을 안내하지 않습니다. 이 형식에서는 학습자에게 문제가 제시되며, 종종 임상 사례를 토론의 출발점으로 사용한다. 그런 다음 학습자는 문제를 정의하고, 관련 문제(세션 중 및/또는 이후)를 탐색하고, 문제 해결을 위해 고군분투하는 시간을 갖습니다.

In PBL small groups, the group focuses on the process of discovery by learners— to stimulate problemsolving, independent learning, and teamwork.7 Usually, facilitators play a minimal role and do not guide the discussion, even when learners explore tangents. In this format, learners are presented a problem, often using a clinical case as a starting point for discussion. Learners then have time to struggle and define the problem, explore related issues (during and/or after sessions), and grapple with problem resolution.

기존의 강의 기반 교육 접근 방식에 비해, PBL 교육 방법은 학습자/교수 만족도는 향상되었지만, 객관식 문제에 대한 응답에서 시험 점수의 변화는 없었다.8 많은 사람들은 새로운 문제에 직면했을 때, PBL 지침에 참여하는 학습자가 순수하게 강의 기반 학습자보다 더 나은 문제 해결사로 등장할 수 있다고 가정한다. 어떤 사람들은 PBL을 [개방적 탐구 접근법open inquiry approach]이라고 불렀다.

Compared with traditional lecture-based educational approaches, PBL instructional methods have demonstrated improved learner/faculty satisfaction but without changes in test scores from responses to multiple-choice questions.8 Many hypothesize that when confronted with a new problem, learners participating in PBL instruction may emerge as better problem solvers than would learners from purely lecture-based instruction. Some have called PBL an open inquiry approach.

CBL 소그룹에서는 창의적 문제 해결에 중점을 두고 사전 준비를 한다.9 Discovery는 학생과 진행자 모두가 주요 학습 요점에 대해 종결에 대한 책임을 공유하는 형식으로 권장됩니다. PBL 형식과 마찬가지로 학습자에게 임상 문제가 제시되고 문제를 고군분투, 정의 및 해결할 수 있는 시간이 주어진다. 그러나 학습자가 접점을 탐색하기 시작하면 진행자는 유도 질문을 사용하여 학습 목표를 다시 설정합니다.

In CBL small groups, the group focuses on creative problem solving, with some advance preparation.9 Discovery is encouraged in a format in which both students and facilitators share responsibility for coming to closure on cardinal learning points. As in the PBL format, learners are presented with a clinical problem and have time to struggle, define, and resolve the problem.However, when learners begin to explore tangents, the facilitators will use guiding questions to bring them back to the main learning objective.

또한, 학생들은 세션을 위해 미리 준비하며, 세션 중에 지역 전문가local expert들에게 질문을 할 수 있다. 일반적으로 포스트 세션 작업은 거의 없지만, 추가 이슈를 추구하는 그룹의 관심사에 따라 다릅니다. 일부 사람들은 CBL을 [유도적 탐구 접근법guided inquiry approach]이라고 불렀다.

Additionally, students prepare in advance for the session, and  they may ask questions of the local experts during the session. They typically have little postsession work, although this varies depending on the group’s interest in pursuing additional issues. Some have called CBL a guided inquiry approach.

• PBL 지지자들은 PBL 방법이 평생 학습을 장려하고, 임상 실습을 시뮬레이션하며, 호기심을 자극하고, 의학의 복잡성에 대한 광범위한 이해를 창출한다고 주장한다. 

• PBL을 지지하지 않는 사람들은 PBL 과정이 시간 비효율적이며, 시간에 쫓기는 의료 학습자들에게 좌절감을 주며, 종종 잘못된 결론을 초래한다고 주장한다.9 또한 교수진의 존재와 전문성이 그것이 수동적인 방식 이상으로 이용되지 않는다면 낭비된다고 말한다.

• PBL proponents argue that PBL methods encourage lifelong learning, simulate clinical practice, encourage curiosity, and create a broader understanding of the complexity of medicine.5,10 

• PBL detractors argue that the PBL process is time inefficient, frustrating for time- pressured medical learners, and often leads to erroneous conclusions.9 PBL detractors also state that the presence and expertise of the faculty is wasted if it not harnessed in more than a passive manner.

• CBL 지지자들은 CBL이 여전히 문제에 대한 열린 탐색을 제공하고 토론, 토론 및 모호성의 탐구를 장려하는 동시에 학습자에게 효율적이고 목표 지향적인 방식으로 더 많은 구조를 제공한다고 주장한다. 또한 CBL 지지자들은 CBL이 학습자를 임상 사례의 핵심 사항에 집중하도록 돕고, 임상 문제 해결에 대한 구조화된 접근을 장려하며, 각 학습자가 세션의 일부에 대한 "콘텐츠 전문가"가 될 수 있도록 한다고 주장한다. 중요한 것은 촉진자가 학습자에 대한 잘못된 가정을 교정할 수 있다는 것이다(이것은 일반적으로 PBL에서는 일어나지 않는다).

CBL proponents argue that CBL still provides for open-ended exploration of issues and encourages debate, discussion, and exploration of ambiguity while providing more structure for the learner in an efficient, goal-directed manner. Further, CBL proponents argue that CBL helps focus the learners on the key points of a clinical case, encourages a structured approach to clinical problem-solving, and allows each learner to be a “content expert” for part of the session. Importantly, they argue that facilitators can correct incorrect assumptions of the learner—which usually does not happen in PBL.

• CBL을 부정적으로 보는 사람들은 주요 임상 또는 윤리적 질문에 대한 답변(또는 답변 방향)을 제공하는 것이 호기심을 효과적으로 억누른다고 주장한다. 또한 집중적인 교수진 개발이 없다면, CBL 형식은 자칫 교수들이 촉진을 하는 대신 강의를 하게 만들 수 있다고 주장한다. 그들은 CBL이 학습자들에게 떠먹여주기식 사고방식을 장려한다고 느끼는데, 그들은 항상 동료나 선생님이 정답을 맞추기를 기대한다.

CBL detractors argue that providing answers (or direction towards answers) to key clinical or ethical questions effectively stifles curiosity. Detractors also argue that without intensive faculty development, the CBL format may encourage faculty to lecture instead of facilitate. They feel that CBL encourages a spoon-feeding mentality of learners, in which they always expect their peers or teachers to have the correct answers.

2개 학구 보건소의 교육과정 이동

Curricular shift at two academic health centers

캘리포니아 데이비스 의과대학(UCD)과 캘리포니아 로스앤젤레스 의과대학(UCLA) 데이비드 게펜 의과대학(UCLA)은 각각 기존의 소규모 그룹 닥터링 과정을 종적 PBL 강좌에서 종적 CBL 강좌로 교수법을 전환했다. 이러한 변화는 UCLA에서 1998년과 2001년 사이에, UCLA에서 2002년과 2004년 사이에 일어났다.

The University of California, Davis, School of Medicine (UCD) and the University of California, Los Angeles, David Geffen School of Medicine at UCLA (UCLA), each undertook a shift in teaching methods froma longitudinal PBL course to a longitudinal CBL course, via an existing small-group course called “Doctoring.” This shift occurred between 1998 and 2001 at UCLA and between 2002 and 2004 at UCD.

두 학교 모두에서 PBL 형식의 학생들은 순차적 관리 문제를 이용한 임상 사례를 제시 받았다(표 1). 여러 세션의 과정 동안, 학생들은 사례를 위한 그들 자신의 학습 문제를 파악하고, 그 문제들을 탐색하고, 나머지 그룹에게 알리기 위해 작은 그룹에게 새로운 자료를 가져왔다. 많은 사례들이 표준화된 환자 인터뷰에 의해 촉발되었다. 비디오 트리거 테이프 또는 표준화된 환자 인터뷰는 핵심 사항을 설명하기 위해 사용되었으며, 학생들은 주제에 대해 그룹과 공유할 수 있는 외부 정보 소스를 찾도록 권장되었다.

At both schools in the PBL format, students were presented with a clinical case using a sequential management problem(Table 1). Over the course of multiple sessions, students identified their own learning issues for the case, explored those issues, and brought back new material to the small group to inform the rest of the group. Many of the cases were triggered by standardized patient interviews. Video-trigger tapes or standardized patient interviews were used to illustrate key points, and students were encouraged to seek outside sources of information to share with the group on topics.

두 학교 모두 CBL 형식에서 학생들은 세션 내내 고정된 순서로 진행형 공개를 사용하여 임상 사례를 제시받았다. 

• 학생들은 개별 학생들에게 할당된 특정 판독치에 의해 보완되는 일반 읽기자료를 미리 받았다. 일반적으로, 미리 읽고 준비하는 데 1시간도 채 걸리지 않았다. 

• 세션은 일반적으로 학생들이 최근의 전문적인 경험을 공유하는 체크인 단계에서 시작되었다. 

• 사례 논의는 주요 임상 문제에 대한 논의 또는 환자 사례 발표에서 트라이애지 노트를 통해 시작되었다. 

• 각 세션 동안 한 명 또는 두 명의 학생이 표준화된 환자를 인터뷰합니다. 교수진과 인터뷰 학생들은 주요 시간에 타임아웃을 불러 학생들의 문제 해결을 돕기 위해 진행 중인 인터뷰 내용을 논의할 수 있다. 타임아웃 동안, 그룹 내의 학생들은 인터뷰하는 학생들에게 피드백과 도움을 제공했습니다. 

• 세션이 끝날 때, 다음 사례는 다른 주제로 다루어지기 때문에 학생들이 완성된 사례에 대해 읽을 필요가 없었다. 

• 몇 번의 세션에서 동일한 표준화된 환자가 f/u 방문에 복귀하여 학생들은 시간이 지남에 따라 질병의 발달을 따라갈 수 있게 되지만, 환자는 초기 프레젠테이션에 나타난 것과는 다른 문제를 제시하게 된다. 윤리적, 경제적, 문화적 주제들이 토론에 섞여 있었다. 

매주, 진행자에게는 학습 목표, 샘플 질문, 질문에 대한 샘플 답변 및 수업 형식에 대한 시간 관리 가이드를 포함한 진행자 가이드가 제공됩니다. 교수진들은 그룹이 궤도를 벗어나거나 내용에 대해 확신이 없을 때 지도를 하도록 장려되었다. 그러나, 그들은 또한 학생들에게 질문을 던져주고 토론을 용이하게 하도록 요청 받았다.

At both schools in the CBL format, students were presented with a clinical case using progressive disclosure in a fixed order throughout the session. 

• Students had preassigned general readings, which were often complemented by specific readings assigned to individual students. Typically, reading and preparing for the sessions ahead of time took less than one hour. 

• Sessions typically began with a check-in phase, in which students shared recent professional experiences. 

• Case discussion began with either a discussion of the main clinical problemor a presentation of a patient’s case, via a triage note. 

• During each session, one or two students would interview a standardized patient. Faculty and interviewing students could call time-outs at key times to discuss the ongoing interview content to help the student problemsolve. During time-outs, students in the group would provide feedback and assistance to the interviewing students. 

• At the conclusion of the session, there was no requirement for students to read about the completed case, because the next case would be on a different topic. 

• In several sessions, the same standardized patient would return for follow-up visits, allowing students to follow the development of illness over time, but the patient would present with different issues than those shown in the initial presentation. Ethical, economic, and cultural themes were interwoven into the discussion. 

Each week, facilitators were provided with a facilitator guide that contained learning objectives, sample questions, sample answers to the questions, and a time-management guide for the format of the class. Faculty were encouraged to provide guidance when the group seemed off track or unsure about the content. However, they were also asked to throw back questions to the students and facilitate discussion.

두 학교의 교수진은 가장 높은 교원평가와 의대 교육에 대한 진정한 관심을 가진 사람들 중에서 뽑혔다. 교수진은 소그룹에 배정되었고 1년 내내 같은 그룹과 함께 일했다. 교수진들은 교수법에 관한 구체적인 교육에 참여하였다. 교육에는 교수법에 대한 반나절 내지 하루의 세미나가 포함되어 있었다. 우리는 세미나를 개발하고 교육 기법, 교수 만남에서 표준화된 환자의 사용, 학생 평가 방법, 교수 경험에 대한 토론에 초점을 맞췄다. 모든 교수진들은 또한 각 학급과 관련된 매주 한 시간씩 필요한 교수진 개발 세션에 참여했습니다. PBL과 CBL 과정의 교수진은 우리와의 커뮤니케이션을 바탕으로 소그룹 형식 중 하나에 그들의 스타일을 적응시키는 데 거의 어려움이 없었다.

Faculty at both schools were recruited from among those with the highest teaching evaluations and with a genuine interest in medical education. Faculty were assigned to small groups and worked with the same group all year. Faculty participated in specific training regarding the teaching methods. Training included a half-day to one-day seminar about teaching methods. We developed the seminars and focused on teaching techniques, use of standardized patients in teaching encounters, student evaluation methods, and discussion of teaching experiences. All faculty also participated in a required weekly hour- long faculty development sessions associated with each class. Faculty in both the PBL and CBL courses had little difficulty in adapting their style to either type of small-group format, based on their communications with us.

방법 

Method

우리는 각 커리큘럼 모델의 장단점과 선호하는 학습 선택에 대한 24개 항목 조사 도구를 개발했다. 그 악기는 4학년 학생 10명으로 시범 운영되었다. 이 조사는 각 그룹이 새로운 커리큘럼에 참여할 수 있는 기회를 가진 후 약 10개월 후에 시행되었다: 2001년 UCLA의 215명의 학생과 2004년 UCD의 89명의 학생.

We developed a 24-itemsurvey instrument about the strengths and weaknesses of each curricular model and preferred choice of learning. The instrument was piloted with ten fourth- year students. The survey was administered approximately 10 months after each group had the opportunity to participate in the new curriculum: in 2001 to 215 students at UCLA and in 2004 to 89 students at UCD.

결과 

Results

응답률 

Response rate.

교육과정 특징

Curricular preferences.

표 2에서 보듯이, 학생과 교수진은 압도적으로 CBL 방식을 선호했다. UCLA에서는 학생 189명(90%)과 교수 18명(78%)이, UCD에서는 학생 66명(85%)과 교수 8명(100%)이 선호했다.

As seen in Table 2, students and faculty overwhelmingly preferred the CBL method; at UCLA, 189 (90%) of students and 18 (78%) of faculty; at UCD, 66 (85%) of students and 8 (100%) of faculty.

전체 학생의 4분의 1만이 PBL이 단일 사례를 심층적으로 탐색할 수 있는 능력을 홍보하고, 독립적 학습을 강조하거나, 더 강력한 리소스 활용 기술을 장려한다는 데 동의했으며, 23%의 학생은 PBL 형식에 장점이 전혀 없다고 생각했다.

Only a quarter of all students agreed that PBL promoted the ability to explore a single case in any depth, emphasized independent learning, or encouraged stronger resource-utilization skills, and 23%of students felt that the PBL format had no advantages at all.

특정 PBL 이점에 대해 직접 질문했을 때, 학생과 교수진은 PBL이 약간만 가치가 있거나 가치가 없으며 토론을 촉진하지도 억제하지도 않는다고 생각했다(표 3 참조).

When asked directly about particular PBL advantages, students and faculty thought that PBL was somewhat valuable or not valuable and that it neither promoted nor inhibited discussion (see Table 3).

교육 기관 간의 학습자 및 교수 인식 비교.

Comparison of learners and faculty perceptions, between institutions.

닥터2와 닥터3는 서로 다른 내용을 강조하고, 임상 전과 임상시기를 전환한 학생을 두고 있기 때문에, 같은 교육 단계(닥터링3학생) 학습자를 위해 학교 간 차이만 비교했했다. 표 3에서 언급한 바와 같이 두 그룹(교수-학생) 간에는 유의미한 차이가 거의 없었다.

Because Doctoring 2 and Doctoring 3 emphasize different content and have students who have transitioned between the preclinical and clinical years, we only compared differences between schools for learners at the same stage of training (Doctoring 3 students), using two-tailed t tests. There were few significant differences between groups, as noted in Table 3.

학습자 수준의 효과.

Effect of learner level.

교수진의 등급과 비교.

Comparison with faculty ratings.

선호하는 교육 방법과의 연관성.

Associations with preferred instructional methods.

고찰 

Discussion

압도적으로, 두 기관의 학생과 교수진은 CBL 교육 방식을 선호했다. 이 소그룹 방식에서는 학생과 교수진 모두 토론에 기여하고 학습 문제를 미리 파악하며 준비 판독을 배정하는 한편, 학생 토론과 임상 문제에 대한 안내 조회가 여전히 추진된다. 초기 학습자와 경험 많은 교수진들은 개방적open 질문보다 유도된guided 질문을 선호했다.

Overwhelmingly, students and faculty at both institutions preferred the CBL instructional method. In this small-group method, both students and faculty contribute to discussion, learning issues are preidentified, and preparatory readings are assigned, while student discussion and guided inquiry around clinical problems are still promoted. Guided inquiry, over open inquiry, was preferred by these early learners and experienced faculty.

비록 두 기관의 개인들이 동일한 문화를 가지고 있고 그들의 서해안 환경의 유사성 때문에 비슷하게 반응했다고 생각할 수 있지만, 사실 이 기관들은 상당히 다릅니다. 각 기관은 도시/시외 환경, 주/외 학생 혼합, 학생에 의한 거주 선택, 교수진의 기대치 및 기관 규모에서 차이가 있다.

Although it is conceivable that individuals at both institutions had identical cultures and responded similarly because of similarities in their West Coast environment, these institutions are, in fact, quite different. The institutions differ in their urban/ suburban settings, their in-state/out-of- state student mix, residency choices by students, faculty expectations, and institutional size.

왜 이 학생들은 PBL보다 CBL을 더 좋아했을까? 그들이 PBL의 완전 공개 조회 방법을 회피했나요? 우리의 연구 결과는 CBL 형식에 대한 학생 선호의 결정 요인이 open inquiry에 대한 반대 의견이 아니라, 시간의 효율적인 사용에 대한 인식과 관련이 있음을 보여준다. 의료 학습자는 시간에 쫓기는 환경에서 작동하며, 학습자는 다중 작업 임상, 학술 및 개인 책임을 맡습니다(주로 60~80시간 이상). 사례 사이에 필요한 추가 작업과 깜깜이식 탐사exploration of blind alleys가 수반되기에, PBL 방식에서 종결closure이 결여된 것은 [학습자들에게 자유로운 탐색과 탐구보다는, 그저 바쁜 작업]처럼 보였다.

Why did these students prefer the CBL over PBL? Did they eschew the fully open inquiry method of PBL? Our findings indicate that the determinants of student preference for the CBL format were related to perceptions of efficient use of time, not an opposition to open inquiry. Medical learners are operating in a time- pressured setting, in which learners are multitasking clinical, academic, and personal responsibilities—often in excess of 60 to 80 hours a week. The lack of closure of the PBL method, with additional work between cases, and exploration of blind alleys, seemed like busy work to the learners—as opposed to free exploration and inquiry.

학생 프레젠테이션은 종종 비효율적이었으며, 일부는 주제에 대해 부정확하거나 불완전한 정보를 제시하였다. 개방형 탐구 방법은 또한 [학습자가 교수진과 더 많은 상급 학습자의 안내를 받아 건전한 임상 접근 방식을 개발하는] 임상의 모습clinical arena도 반영하지 않는다. 그것은 (이미 맥락을 파악하고 있는) 상급advanced 학습자들 또는 일부 초기 학습자들이 시간 제한적인 맥락에 있을 때에, 열린 질의의 과정으로부터 더 많은 이익을 얻을 수 있을 것이다.

Student presentations were often inefficient, and some presented inaccurate or incomplete information on their topics. The open inquiry method is also not mirrored in the clinical arena, where the learners develop a sound clinical approach with guidance from faculty and more senior learners. It may be that more advanced learners (who have the context for their work already developed) or a subset of early learners might benefit more from a process of open inquiry in a time-limited context.

15시간에서 20시간의 교수진 개발 후에도, 이 두 기관의 교수진은 CBL 방식을 선호했다. 우리의 연구에서, PBL에 대한 교수진의 인상은 학생들보다 긍정적이긴 하지만, CBL에 대한 인상에 비교했을 때 매우 긍정적이지는 않았다. 우리 교수진은 자기주도학습을 자극하는 것에서 PBL 과정의 가치를 보았다. 그러나 CBL 방법은 교수진이 토론을 지배하지 않고 학습자를 지도하는 토론에 기여할 수 있도록 한다. CBL은 교수진을 컨설턴트로 사용하고 두 교수진(임상 및 정신 건강)이 전문 분야의 학생들과 교류할 수 있도록 한다. 그것은 또한 교수진들이 개인들 사이의 토론의 균형을 맞출 수 있게 해주는데, 이는 학생이 스스로 moderate하는 것 또는 공격적인 학생들을 지나치게 우대하는 것과는 상반된다.

Even after 15 to 20 hours of faculty development, the faculty at these two institutions preferred the CBL method. In our study, faculty impressions of PBL, although more positive than those of the students, were not very positive when compared with their impressions of CBL. Our faculty did see the value of the PBL course in stimulating self-directed learning. But the CBL method allows faculty to contribute to discussions to guide the learners without dominating their discussions. CBL uses faculty as a consultants and allows the two faculty (clinical and mental health) to interact with students in their areas of expertise. It also allows faculty to balance discussion among individuals, as opposed to having the group moderate itself and unduly favor the more aggressive students.

또한, PBL 형식에서는 교수진이 학습자에게 성과에 대한 피드백을 제공하지 않습니다. 이론적 관점에서 보면, 많은 초기 학습자들은 숙련되지 않고, 자신의 기술 부족을 알지 못하며, 기술을 향상시키기 위한 방법을 식별하는데 어려움을 겪는다. 피드백은 학습자 간의 추론 능력 개발에 필수적인 것으로 생각된다. 완전히 개방적인 탐구는 자신의 기술과 결손을 알고 있는 학습자들 사이에서 과학적 호기심을 조장할 수 있지만, 더 큰larger 그룹에게는 도움이 되지 않을 수 있다. 그러나, 두 기관의 훈련된 교수진은 [PBL 교육 기법을 사용한 다른 기관]에서 보여준 학습자 만족도와 수용 수준을 달성할 수 없었다.

Additionally, in the PBL format, faculty do not provide learners with feedback about their performance. From a theoretical perspective, many early learners are unskilled, unaware of their lack of skill, and have difficulty identifying methods to improve their skills. Feedback is thought to be essential to development of reasoning skills among learners. Although fully open inquiry may promote scientific curiosity among learners who are aware of their own skills and deficits, it may not benefit the larger group. However, trained faculty at the two institutions were unable to achieve the levels of learner satisfaction and acceptance that have been seen at other institutions using the PBL instructional technique.

어떤 커리큘럼도 모든 학습자나 교수 그룹을 만족시키지는 못하지만, 학습자 선호도를 커리큘럼 프레임워크 내에 통합하는 것은 지속 가능하고 받아들여지는 커리큘럼을 만드는 데 있어 더 큰 가능성을 가지고 있습니다. PBL과 CBL 커리큘럼 모두, 우리는 학습자의 10%와 15%가 소그룹 학습 세션에 참여해야 하는 다른 의무로부터 끌려나가는 것에 대해 지속적으로 불만족스럽다는 점에 주목했다. 그러나 (일반적으로 늘 저항이 수반되는) 주요Major 커리큘럼 변화를 빠르게 받아들이는 것은, 학습자와 교수진 모두가 수정된 CBL 교육 방법의 가치를 두었음을 보여준다.

No curriculum will satisfy every learner or faculty group, but incorporating learner preferences within a curricular framework holds greater promise in creating a sustainable, accepted curriculum. With both the PBL and CBL curricula, we have noted that between 10 and 15%of learners are persistently unhappy with being pulled from other duties to participate in small-group learning sessions. However, the quick acceptance of a major curricular shift (where there is normally resistance) points to a value that both learners and faculty placed on the revised CBL instructional method.

커리큘럼을 작성할 때 학습자 선호도를 고려해야 하는가? 어떤 사람들은 학습자들이 그들의 미래 직업에 가장 유익한 것이 무엇인지 알기에는 너무 순진하고, 학습자들이 가장 잘 알지 못한다고 주장할 수 있다. 우리는 우리의 성인 학습자들에 대한 이 평가에 동의하지 않는다. 의료 교수진과 학습자는 종종 장기적인 기술 향상을 위해 단기 과제를 서로 trade한다. 그러나, 학습자와 경험이 풍부한 교수진 모두가 교육 방법(경쟁 방법에서 선택과 경험이 주어졌을 때)에 대한 이점을 거의 찾지 못한다면 교육 계획자는 자신의 관점을 진지하게 고려해야 한다. 다른 맥락에서의 360도 평가와 유사하게, 교육에 대한 피드백 역시 즐겁지 않을 수 있지만, (이 피드백이) 미래 커리큘럼의 계획에 통합될 필요가 있다. 의대생들은 20대 중후반(가끔은 30대)의 성인으로서 효용감이 풍부해 가치가 낮다고 생각하는 활동에 소극적으로 반대하기 일쑤다. 비록 그들이 모르는 것을 알지는 못하지만, 그들은 대개 기술, 기술 또는 사고 과정에서 실질적인 이득을 보는, 자신에게 유익한 활동이 무언지는 알아본다.

Should learner preferences be considered when creating curricula? Some might argue that learners are too naive to know what is most beneficial for their future careers, and that learners do not know best. We disagree with this assessment of our adult learners. Medical faculty and learners often trade short-term challenges for long-term skills improvement. Yet, if both learners and experienced faculty find little benefit to an instructional method—when given a choice and experience in competing methods—then educational planners must give serious consideration to their viewpoints. Similar to 360-degree evaluations in other contexts, feedback about instruction may not be pleasant, but it needs to be incorporated into planning for future curricula. As adults in their mid-to-late 20s (and sometimes 30s), medical students have a rich sense of utility, and they are quick to passively oppose activities that they find less valuable. Although they may not know what they don’t know, they usually recognize activities that are beneficial to them, in which they see real gains in skills, techniques or thought processes.

실패하는 것이 인간이다: 의학교육의 재교육을 재교육(Perspect Med Educ, 2017)

To fail is human: remediating remediation in medical education
Adina Kalet1 · Calvin L. Chou2 · Rachel H. Ellaway3

도입

Introduction

실패한 학습자에게 교정조치는 의료 교육의 필수적인 부분이지만 교정조치자, 교정조치자, 일반적으로 보건 및 교육 시스템에 부담을 줄 수 있다[1]. 의료 교육 문헌[2]에서 교정조치에 대한 관심이 증가하고 있지만, 교정조치의 메커니즘이나 적절한 절차와 방어의 문제에 초점을 맞추는 경향이 있었다.

Remediating failing learners is an essential part of medical education but one that can be taxing to the remediated, their remediators, and to health and educational systems in general [1]. Although there has been a growing focus on remediation in the medical education literature [2], it has tended to be on the mechanics of remediation or on matters of due process and defensibility.


첫 번째 논문에서 우리는 교정조치가 의료 교육에서 연습의 영역으로서 각각 자신의 규칙과 기대를 가지고 다른 연습 영역과 나란히 놓인 특별한 규칙과 기대를 가지고 모델링했다[3].

in our first paper we modelled remediation as a zone of practice in medical education with particular rules and expectations that sit alongside other zones of practice, each with its own rules and expectations [3].

의학교육의 교정조치는 '의사가 되기 위한 여정을 시작하였으나 진로를 벗어난 수련생에 대한 교정을 촉진하는 행위'[4]이다. 교정조치는 어려운 학습자를 위한 것뿐만 아니라 의사 인력의 질을 보장하기 위한 방법으로서 의료 교육의 필수적인 구성요소이다.

Remediation in medical education is ‘the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course’ [4]. Remediation is a necessary component of medical education, not only for the sake of struggling learners, but also as a way of assuring the quality of the physician workforce.

 우리는 적자deficit가 복합화되고 고부담일 때보다는, 교육 프로그램에서 deficit를 조기에 감지하고 수정해야 한다는 것을 알고 있습니다 [9]. 우리는 또한 교정조치가 대개 효과가 있다는 것을 안다. 교육의 종료 시점이 되면, remediated 학습자는 non-remediated 동료와 구별되지 않는(차이가 없는) 경우가 많다[10, 11].

We know that we need to detect and correct deficits earlier in training programs, rather than later when deficits have compounded and the stakes are higher [9]. We also know that remediation usually works: learners who have been remediated are often indistinguishable from their non-remediated peers by the end of their training [10, 11].

 많은 프로그램들은 종종 법적 보복의 두려움이나 교수진이 그들이 멘토링하고 있는 학습자들을 판단하는 것을 꺼리는 것에 대한 두려움 때문에 학습자들을 보호관찰하거나 그들을 해고하는 데 어려움을 겪는다. 교수진이 어려움을 겪고 있는 학습자를 보고하려고 할 때에도, 기관의 장벽과 공통된 정의와 행동의 부족은 실패한 학습자를 식별하고 해고하는 것을 어렵게 만들 수 있습니다 [15].

many programs have difficulty placing learners on probation or dismissing them, often because of the fear of legal reprisal or faculty reluctance to judge the learners that they have been mentoring. Even when faculty are willing to report struggling learners, institutional barriers and a lack of common definitions and actions can make it difficult to identify and dismiss failing learners [15].

교정조치는 일반적으로 교정조치자, 교정조치자 또는 교정조치자, 또는 양쪽 모두의 관점에서 검토되어 왔다. 그러나 교정조치는 본질적으로 위치하며 항상 맥락에 있으며, 그러한 맥락은 좋고 나쁨을 위해 교정조치의 관행을 형성하고 지시할 수 있다.

Remediation has typically been considered fromthe perspective of the individuals involved, either the remediator or the remediated, or both. However, remediation is intrinsically situated, it is always in context, and that context can shape and direct remediation practices both for good and ill.

다양한 훈련 컨텍스트는 성공하거나 실패하거나 교정할 수 있는 다양한 수준의 기회를 제공하며, 이러한 상황적 요인은 교정조치의 설계와 수행에도 정보를 제공해야 한다[17]. 

Different training contexts afford different levels and forms of opportunity to succeed or fail as well as to remediate, and these contextual factors should also inform the design and conduct of remediation [17].

비그넷 1: 샐리의 이야기

Vignette 1: Sally’s story

교정조치는 상황에 따라 형성될 뿐만 아니라, 상황도 교정조치에 의해 형성된다. 교정조치와 관련된 추가적인 노력과 잠재적 문제, 그리고 특정 학습자 결손을 식별하고 이를 효과적으로 해결하기 위한 어려움은 일반적으로 교정조치가 실제적이고 감정적인 부담으로 간주된다. 교정조치는 특히 다중 및/또는 심각한 문제, 심각한 학습자 부채 또는 기타 어려움을 겪는 학습자의 경우 비용이 많이 들고 시간이 많이 소요되는 경향이 있다. 이는 다시 자원의 가용성과 교육자의 헌신을 왜곡시킬 수 있다. 그것은 또한 상충되는 역할과 책임의 숨겨진 커리큘럼을 세울 수 있다.

Not only is remediation shaped by context, context is also shaped by remediation. The additional effort and potential distress associated with remediation, and the challenges in identifying specific learner deficits and effectively addressing them, typically position remediation as a burden, both practical and emotional. Remediation tends to be expensive and time-consuming, particularly for learners with multiple and/or severe challenges, significant learner debt, or other hardships. This can in turn skew the availability of resources and the commitment of educators. It can also establish a hidden curriculum of conflicted roles and responsibilities.

교정조치에 대한 시스템 이론에 대해
Towards a systems theory of remediation

우리는 사회, 전문가, 기관의 영향력과 책임 측면에서 정의된 교정조치에 대한 시스템 수준 분석을 제안한다(그림 1).
 

We propose a system-level analysis of remediation, definedin terms of societal, professional, and institutional influ-ences and accountabilities (Fig. 1)

사회
Society

의료 교육과의 사회적 계약은 높은 품질과 안전 관리를 제공할 수 있고 이 의무를 무엇보다도 우선시하는 신뢰할 수 있는 의사의 일관되고 효과적인 양성을 요구한다. 그 대가로, 의료 교육자들은 자신의 역량 표준과 능력을 평가하는 표준을 정의하고 유지할 수 있는 상당한 자율성을 가진다 [18].

  The social contract with medical education requires a consistent and effective production of trustworthy physicians who can deliver high quality and safe care, and who place this obligation above all others. In return, medical educators have significant autonomy to define and maintain their own standards of competence and the standards by which competence is assessed [18].

일부 가치(예: 기본 전문 표준)는 국제 통화를 가지고 있지만, 다른 가치(보상, 실행 범위, 위험과 모호성의 수용성, 의료 서비스에 대한 환자의 접근성, 개별 책임과 자율성 등)는 주, 주, 주, 주, 주, 주(州) 및 주 간에(심지어는 그 안에서도) 크게 다를 수 있다.[19]. 이러한 차이는 무엇이 허용 가능하고 허용할 수 없는 실무 표준을 구성하는지, 그리고 이러한 프로세스가 어떻게 수행되고 규제되는지 측면에서 교정조치 프로그램의 설계에 정보를 제공할 수 있다. 따라서 우리는 교정조치가 점점 더 세계화되는 세계에서도 표준화되고 규범화되어야 한다고 가정해서는 안 된다. 실제로, 사회적 맥락은 교정조치의 가치와 관행에 강하게 영향을 미칠 것이다.

  Although some values (such as basic professional standards) have international currency, other values (such as rewards, scope of practice, acceptability of risk and ambiguity, access of patients to healthcare services, and individual accountability and autonomy) can vary significantly between states, provinces, and countries (and sometimes even within them) [19]. These differences can inform the design of remediation programs in terms of what constitutes acceptable and unacceptable standards of practice, and how these processes are conducted and regulated. We should not therefore assume that remediation is (or should be) a standardized and normative undertaking, even in an increasingly globalized world. Indeed, social contexts will strongly influence the values and practices of remediation.

점점 더 많은 의과대학들이 사회적 의무를 이행하고 의료계 종사자를 소송으로부터 보호하는 방법으로서 점점 더 높은 수준의 책무를 수용하고 있다. [의료 전문가]가 의료 오류에 대한 사회적 압력에 대응하여 [품질과 안전에 대한 주의]를 높인 것과 같은 방식으로[20, 21], 우리는 [의학 교육]에서 remediation을 유사하게 개념화함으로써 직업에 대한 신뢰 증가를 정당화할 것이라고 주장한다.

A growing number of medical schools have embraced increasing levels of accountability, both as a way to meet their social obligations and to protect the medical profession from litigation. In the same way that the medical profession has increased its attention to quality and safety in response to societal pressures about medical errors [20, 21], we argue that a similar conceptualization of remediation in medical education will justify an increase in trust in the profession.

또한, 교육 프로그램은 낙제 학습자에 의한 소송이 있어도 신중한 문서화만 되어있으면 성공하는 경우는 거의 없다는 것을 기억해야 하며, 이는 실패에 대해서 각 기관이 방어적인 입장을 갖을 필요가 없음obviate을 보여준다.

In addition, training programs must remember that litigation by failing learners rarely succeeds in the context of careful documentation [1], which should substantially obviate a defensive institutional stance towards failure.

직업
Profession

의료 직업의 규제는 전문직 학회, 비정부 조직, 입법자들 사이의 복잡한 상호 작용을 포함한다. 그러나 의료업계가 자율적으로 규제할 수 있는 범위도 관할권에 따라 크게 다르다 [22, 23]. 실제로, 서로 다른 조직과 기관이 서로 다른 의제를 보유하고 있지만, 학습자 성격의 중요한 결함을 확인할 때를 제외하고는 교정조치는 대부분 규제되지 않는다unregulated.

  The regulation of the medical profession involves a complex interplay among professional societies, non-government organizations, and legislators. However, the extent to which the medical profession can self-regulate also varies greatly by jurisdiction [22, 23]. Indeed, although different organizations and agencies harbour different agendas, remediation is largely unregulated, except when it identifies critical flaws in learners’ characters.

예를 들어, 미국에서 교정조치는 학부 및 대학원 의학 교육의 인증 표준에서 약간 언급된다[24]. 이와는 대조적으로, 캐나다의 온타리오 대학(CPSO)은 공공 의료 등록부에 포함시키기 위해 학부 및 대학원 교정조치에 대한 선언을 요구한다[25]. 더욱이 교정조치의 일반적인 관행이 제안된 바 있고, 일부 [26, 27]에 의해 채택되었지만, 의학 교육 전반에 교정조치에 대한 규범적인 표준과 실천요강이 있다고 가정하기 보다는, 지역적으로 적절하고 대응적인 실천locally relevant and responsive practice과 균형을 이루어야 한다.

For instance, in the United States, remediation is mentioned sparingly in the accreditation standards for undergraduate and postgraduate medical education [24]. By contrast, in Canada, the College of Physicians and Surgeons of Ontario (CPSO) requires declaration of undergraduate and postgraduate remediation episodes for inclusion in their public physician register [25]. Moreover, although common practices in remediation have been proposed [5] and embraced by some [26, 27], assumptions that there are normative standards and practices for remediation across medical education, as a whole must balance with locally relevant and responsive practices.

제도
Institution

교정조치에 관한 사회적 및 전문적 지침이 제한적임을 고려할 때, 교정조치가 통제, 자원 및 구현되는 방법을 정의하는 것은 개별 의료 교육 프로그램에 해당된다. 또한 교정 조치와 관련된 많은 문제를 관리해야 합니다. 예를 들어 커리큘럼, 평가 및 교정 작업이 여러 가지 방법으로 잘못 조정되거나 잘못 조정될 수 있습니다. 예를 들어, 커리큘럼 유연성이 부족하면 (모듈 간 휴식 시간, 임상실습 사이 시간 및 평가 주) 상당한 중단disruption 없이는 remediation을 하기 어렵다. 다소 지독스러운unforgiving 이 구조는 학습 통합을 위한 공간이 거의 없이 전진하는 것으로, 어려움을 겪고 있는 학습자들에게 특히 어렵고 지속적인 실패 가능성을 증가시킬 수 있다.
Given the limited societal and professional guidance around remediation, it falls to individual medical education programs to define the ways in which remediation is governed, resourced, and implemented. They also have to manage the many challenges associated with remediation. For instance, curriculum, assessment, and remediation can be or become misaligned in many ways. Lack of curricular flexibility, for example, may dictate that remediation cannot occur without significant disruption (in the absence of breaks between modules, intersessions between clerkships, and assessment weeks). This somewhat unforgiving structure, inexorably marching forward with little space for consolidation of learning, is particularly difficult for struggling learners and can increase the likelihood of ongoing failure.


구조적으로 다양한 평가 프로그램(예: 객관식 시험, 서면 에세이, 시뮬레이션, 객관적인 구조화된 임상 평가), 형성적 방향, 타이밍 또는 맥락에 따라 그리고 훈련 받은 개인이 전체적으로 판단하는 프로그램은 약한 학습자에게 보다 효과적인 비계를 제공할 수 있다[5, 9, 29]. 게다가 평가가 학습을 주도한다고 종종 말하지만, 그 반대도 사실인 것처럼 보인다. 예를 들어, 최소 또는 암묵적으로 평가된 커리큘럼 요소(전문직업성 또는 시스템 기반 관행 등)는, 여기에 대해 어려움을 겪고 있는 학습자에게 적절한 조기 감지early detection를 제공하지 않으며, 학습자가 해당 역량이 요구되는 컨텍스트로 이동한 뒤에야 교정조치 '위기crisis'로 이어질 수 있다.

A program of assessment that varies in structure (e. g., multiple choice tests, written essays, simulations, objective structured clinical evaluations), formative orientation, timing, or context, and judged holistically by trained individuals, can provide more effective scaffolding for weaker learners [5, 9, 29]. Furthermore, although it is often said that assessment drives learning, the reverse also appears true. For instance, minimally or tacitly assessed curricular elements (such as professionalism or systems-based practice) do not provide adequate early detection for struggling learners and could lead to a remediation ‘crisis’ once the learner moves into a context where that competence is required.

교정조치 관행은 또한 기관 문화를 반영한다[31, 32].
Remediation practice also reflects institutional culture [31, 32].

• 실패의 문화적 차원은 개인이 실패하는지, 언제, 그리고 왜 실패하는지에 관한 가정과 믿음에서 생긴다. 
  • 여기에는 실패와 정상적인 성능 분산 사이의 임계값, 차선의 성능 차원이 어느 정도 중요한지, 실패가 교정될 수 있는지 여부, 실패의 사고를 영구적으로 기록해야 하는지 여부, 그리고 어려움을 겪고 있는 학습자에 대한 정보를 '앞으로 공급feed forward' 또는 엄격히 비밀로 유지해야 하는지 여부가 포함된다.
  • 학교에서 어떤 교정조치도 허용할 수 있도록 하는 것은, 실패가 회복될 수 있다는 집단적 믿음과 합격과 해고 사이에 영역이 있다는 것을 재확인하는 것이다[33]. 막반 데르 보센 외. 의과대학 교수진이 시스템 수준 개입으로 전문성 교정조치에 대한 낙관론을 강화함으로써 고군분투하는 학생들을 낙제시키려는 의지를 증가시켰다[34].
    
    

• A cultural dimension of failure arises from assumptions and beliefs regarding whether, when, and why individuals fail.
  • This includes the thresholds between failure and normal variance in performance, what dimensions of suboptimal performance are more or less important, whether failure can and should be remediated, whether incidents of failure should be permanently recorded, and whether information about a struggling learner should be ‘fed forward’ or kept strictly confidential [33].
  • For a school to allow for any remediation at all reifies a collective belief that failure can be recovered from, and that there is a zone between passing and dismissal [33]. Mak-van der Vossen et al. have increased the willingness of medical school faculty to fail struggling students by enhancing their optimism about professionalism remediation with a systemslevel intervention [34].

• 책임의 문화적 차원은 학교의 임무, 기능, 목표, 책임 및 교정조치가 이러한 영역과 일치하는 방법에 관한 가정과 믿음에 의해 형성된다. 예를 들어, 
  • 사회, 직업, 교수진, 환자 및 기타 이해 관계자에 대한 프로그램의 책임과 학습자에 대한 책임(교정 실무에 반영됨)이 얼마나 균형을 이루는가? 
  • 이러한 우선 순위는 교정조치의 설계 및 실행에 어떤 영향을 미칩니까? 
  • '나쁜 사과'를 배제하는 것이 더 중요한가, 아니면 프로그램을 복구하고 완성하기 위해 발을 헛디딘 사람들을 돕는 것이 더 중요한가? 
  • 교정조치 시 학습자의 책임은 무엇입니까? 
  • 학교는 소수의 상환이나 다수의 성공에 어느 정도까지 그들의 자원을 목표로 해야 하는가?

• A cultural dimension of responsibility is shaped by assumptions and beliefs regarding the mission of the school, its function, its goals, its accountabilities, and the way remediation aligns with these domains. For example,
  • how much do a program’s responsibilities to society, its profession, its faculty, their patients, and other stakeholders balance with its responsibilities to their learners (as reflected in remediation practice)?
  • How does this prioritization affect the design and practice of remediation?
  • Is it more important to exclude ‘bad apples’ or to help those who misstep to recover and complete the program?
  • What are learners’ responsibilities in remediation?
  • To what extent should schools target their resources on the redemption of a few or on the successes of the many?

고찰 Discussion

우리의 첫 번째 단계는 보다 광범위한 의료 교육 시스템 내에서 교정조치의 위치를 정하고 교정조치가 다른 관행과 다른 방법 및 그러한 차이의 영향을 명확하게 정의하는 것이었다[3]. 본 논문에서, 우리는 사회적, 전문적 및 제도적 맥락에서 교정조치에 대해 고려하도록 시야를 넓혔다.

Our first step was to situate remediation within the broader systems of medical education and to clearly define the ways in which remediation differs from other practices and the implications of those differences [3]. In this paper, we have expanded our gaze to consider remediation in societal, professional and institutional contexts.

더욱이 교정조치는 종종 학습자가 의사가 될 수 있다고 판단되는 [변곡점inflection]을 표시하기 때문에, 성공과 실패 사이의 한계 공간liminal space을 구성하고, 그것은 [자신의 역할과 의무, 거기서 거래되는 것의 의미와 관련된] 모든 사람에게 복잡한 메시지를 보낸다.
Moreover, because remediation often marks the inflection point at which a learner is either judged to be capable of becoming a physician or not, it constitutes a liminal space between success and failure that sends complex messages to all concerned about their roles and obligations and the meaning of what is transacted there.
 
역설은 종종 교정조치의 맥락에서 발생한다. 훈련의 후반 단계에서 문제가 있다고 간주되는 특성은 부분적으로 훈련 프로세스에서 역동적으로 창발하거나, 심지어 훈련의 초기 단계에서는 강점으로 간주될 수 있기 때문에 초기에 감지되지 않을 수 있다[36].
Paradoxes often arise in the context of remediation. Characteristics considered problematic in later stages of training may be undetectable early on, in part because they can emerge dynamically from the training process or could even be considered a strength in earlier phases of their training [36].


예를 들어, 자신의 개별 성과에 대한 일편단심, 고도로 훈련된 학습자는 의대 입학 위원회에서 높은 평가를 받을 수 있지만 복잡한 전문가 간 팀워크가 필요한 레지던트 교육에서 복잡한 임상 상황을 만났을 때 극복할 수 없는 어려움을 보여준다. [입학을 개선하는 것만으로 후속 교정조치의 필요성을 줄일 수 있다]고 가정하기보다는, 오히려 교정조치로 이어지는 결함이 의료 교육 과정과 시스템에서 실제로 나타날 수 있다는 점을 인식해야 한다.

For instance, a learner with a single-minded, highly disciplined dedication to their own individual performance may rate highly with medical school admissions committees but show insurmountable difficulties when encountering complex clinical situations in residency training that require intricate interprofessional teamwork. Rather than assuming that improving admissions alone will reduce the need for subsequent remediation, we should instead acknowledge that flaws leading to remediation could actually emerge from medical education processes and systems.

Vignette 2: Vin의 이야기
Vignette 2: Vin’s story

투명하고 명확한 교정조치 정책의 결여와 프로세스의 필요한 호출에 대한 책임감이 불충분하면 성과가 저조한 동료와 그들과 상호작용하는 교수진에게 소름 끼치는 영향을 미칠 수 있다. 유능하거나 전문적이지 못한 학습자를 '아직' 참는 것은 불충분한 제도적 지원을 우려하여 동료나 교수진이 개입하려는 동기를 감소시킨다. 이 과정은 또한 사회가 그 직업을 부여하는 자율규제를 약화시킨다. 최악의 경우, (암묵적으로 또는 명시적으로) 일부 학습자가 적절한 지원 없이 고군분투하도록 놔둬버리면, 도움이 필요한 다른 학습자가 스스로 확인self-identify할 가능성이 줄어든다. 비벌칙적이고 신뢰할 수 있으며 투명한 교정 프로세스는 모든 학습자가 자신과 서로를 최고 수준의 표준으로 유지할 수 있는 문화를 지원합니다.
The lack of a transparent and articulated remediation policy, combined with insufficient accountability for necessary invocation of the process, can produce a chilling effect on the peers of those who are underperforming and the faculty who interact with them. Tolerating ‘not yet’ competent or unprofessional learners diminishes the motivation of peers or faculty to intervene for fear of insufficient institutional support. This process also undermines the self-regulation that society grants the profession. In the worst case, implicitly or explicitly allowing some learners to struggle without adequate support diminishes the chances that others who need help will self-identify. A non-punitive, reliable and transparent remediation process supports a culture where all learners can hold themselves and each other to the very highest standards.

만약 우리가 교정조치가 의학 교육의 자연스러운, 어쩌면 바람직한 요소라는 것을 받아들인다면, 우리는 [모든 개별 학습자들의 성공]을 [교육과 교수진의 효과에 대한 암묵적인 판단]과 분리해야 한다. 이를 위해, 우리는 의료 교육에서 교정조치 원칙의 조정과 시스템 수준의 명확성을 위해 노력해야 한다. 이러한 원칙은 의사가 될 개인의 현재 및 미래 역량에 대한 방어 가능하고 미묘한 판단을 촉진해야 한다.
If we accept that remediation is a natural, perhaps even desirable, component of medical education, then we must disconnect the tacit judgment about the effectiveness of the curriculum and faculty from the success of every individual learner. To that end, we need to work towards systems-level clarity and alignment of remediation principles in medical education. These principles should foster defensible and nuanced judgments about the current and future competence of individuals who will become physicians.
 
그럼에도 불구하고 시스템 수준 접근법이 필요하며 이를 위해 다음과 같은 여러 가지 권장사항을 제시한다.
Nevertheless, a systems-level approach is required and, to that end, we make a number of recommendations:
 

교정조치 원칙과 실천은 의료교육 시스템이 위치한 곳situated에 맞춰져야 한다. 현재 교정조치는 강압에 시달리며 종종 모든 참가자가 꺼리는 '외부' 활동인 경향이 있다. 이는 프로세스를 저해하는 '불량' 행동을 조장할 수 있으며, 개별 프로세스를 사회적 또는 직업적 요구로부터 더욱 분리할 수 있습니다. 예를 들어, 교정조치의 시작을 위한 명시적 요건을 명명하면 학습자를 포함한 모든 이해 관계자가 수용할 수 있는 품질 개선 프로세스를 촉진할 수 있다. '건설적 정렬'의 이 원칙[41]은 교정조치의 장벽을 높이고 개선에 초점을 맞추도록 보장한다.
Remediation principles and practices should align with the medical education systems where they are situated. Currently, remediation tends to be an ‘outside’ activity, undertaken under duress and often unwillingly by all participants. This can encourage ‘rogue’ behaviour that undermines the process and can further separate the individual process fromsocietal or professional needs. For instance, naming explicit requirements for initiation of remediation can facilitate a quality improvement process that all stakeholders, including learners, can embrace. This principle of ‘constructive alignment’ [41]lowers rather than raises barriers to remediation and ensures that the focus is on improvement.
 

우리는 오늘날 의학교육의 [일상적 개선]에서부터 [제적으로 끝날 수 있는 고도로 구조화된 에피소드]에 이르기까지 일련의 교정 조치를 가능하게 하고 지원해야 한다. 앞에서 주장했듯이, 교정조치 연속체는 구조, 형평성, 문서화 및 폐쇄를 포함하여 [교정조치의 여러가지 정도와 형태]에 대한 비례적 관리proportional management를 포함해야 한다[3].
We must enable and support a continuum of remediation, ranging from individual improvements in day-to-day medical education, to highly structured episodes that may end with dismissal. As we have previously argued, the remediation continuum should encompass proportional management of different degrees and forms of remediation, including structure, equity, documentation, and closure [3].


교정조치는 처벌과 오명의 문제에서 벗어나, (대부분은 아니더라도), 많은 사람들이 어느 시점에서 필요로 하고 이익을 얻을 수 있는 훈련의 형태로 재구성되어야 한다. 실패한 교정조치 프로세스가 훈련에서 해고dismissal를 필요로 하는 경우, 동정적 시스템은 이미 실행 가능한 대체 경력 경로 또는 부채 용서를 제공하는 것을 고려했을 것이다.
Remediation should be reframed from a matter of punishment and stigma to a form of training that many, if not most, will need and benefit from at some point. If failed remediation processes necessitate dismissal from training, compassionate systems would have already considered providing viable alternative career pathways or debt forgiveness.


이상적으로, 기관은 필요한 전문지식을 포함하는 [교정조치 실천공동체]를 개발해야 한다. 여기에는 

• 표준 역량 곡선 이하로 떨어진 학습자를 인식하고 참조할 수 있는 모든 강사, 임상 교사 및 감독자
  
• 어려운 학습자를 지원하고 교정 과정을 관리하기 위해 감사 코칭 기법과 학습 계획 개발을 사용하는 교정조치 팀
  
• 프로그램 또는 코스 감독, 학장 등으로 대표되는 최종 결정권자는 교정조치 과정의 결과에 대한 최종 판단을 알리기 위해 다른 두 그룹과 협의한다.

Optimally, institutions should develop a community of remediation practice, which contains the needed expertise. This should include

• all tutors, clinical preceptors, and supervisors who are able to recognize and refer learners who fall below a standard competence curve;
• a team of remediators, who use appreciative coaching techniques and the development of learning plans to support struggling learners and manage the remediation process; and
• an ultimate arbiter, represented by a programor course director, dean, etc., who consults with the other two groups to inform their final judgment about the outcomes of the remediation process.

결론
Conclusion

교정조치는 그림 1에서와 같이 의료 교육 시스템에 의해 형성되고 형성되는 복잡한 교육 및 평가 시스템의 일부이다. 교정조치는 알고리즘이나 정책에 얽매인 대응이 아니라 교육 생태계 내에서 사회적으로 구성되며, 학습, 지원, 평가, 규제, 프로세스, 정체성 등의 특성에 대한 메시지를 의료교육의 특정 시스템에 전달한다. 따라서 교정조치는 학교, 프로그램 및 교수진을 다소 대립적이고 적대적인 시각으로 캐스팅할 수 있다.
Remediation is part of a complex system of teaching and assessment that both shapes and is shaped by systems of medical education, as depicted in Fig. 1. Rather than an algorithmic or policy-bound response, remediation is socially constructed within educational ecosystems, and it sends messages about the nature of learning, support, assessment, regulation, process, identity, and so on, in and of a particular system of medical education. Remediation can thereby cast schools, programs, and faculty in a more or less confrontational and adversarial light.
 

그러므로, 학교의 교정문화는 그것의 전반적인 문화에 대해 많은 것을 말할 수 있다; 실제로, 그것은 제도문화를 정의(또는 재정의)하는 대표적인 행동들 중 하나일 수 있다. 교정조치는 사후생각afterthought나 불편한것inconvenience이 아니라, 우리가 최선을 다하거나 최악의 상황을 보는 문제가 되어야 한다. 의료 오류와 마찬가지로 교정조치는 개인의 고장이 아니라, 의료 훈련의 복잡한 시스템의 불가피한 측면으로 추구될pursue 수 있다.
Therefore, a school’s culture of remediation can say much about its overall culture; indeed, it might be one of the signature acts that defines (or redefines) the institutional culture. Far from being an afterthought or an inconvenience, remediation should be a matter of seeing us at our best, or our worst. Like medical error, remediation could be pursued as an inevitable aspect of the complex system of medical training, not a failure of an individual.
 

품질개선 운동을 통해 알 수 있듯, 문제를 미리 예상하고 대비해서 얻는 것이 숨기는 것보다 훨씬 많다. 따라서 의료 교육에서 [교정조치의 실천을 교정하는 것]이 더 중요하거나 실용적이었던 적은 없다. 그러나, 모든 교정조치가 그렇듯이, 우리는 우리의 노력에 성공하거나 실패할 수 있다. 우리가 성공했는지를 알 수 있는 기준은 의료 교육 전반에서 교정조치에 완전히 align하는 능력에서 비롯된다. 

As is evident from the Quality Improvement movement, there is much more to be gained from anticipating the problemand preparing for it than hiding it. Remediating remediation practice in medical education has therefore never been more important or practical. However, as with all remediation, we may succeed or may fail in our efforts. The standard by which we will know whether we have succeeded flows from our ability to fully align remediation within medical education as a whole.

3. Ellaway RH, Chou CL, Kalet AL. Situating remediation: accommodating success and failure in medical education systems. Acad Med. 2017; https://doi.org/10.1097/ACM.0000000000001855.

Perspect Med Educ

. 2017 Dec;6(6):418-424.

 doi: 10.1007/s40037-017-0385-6.

To fail is human: remediating remediation in medical education

Adina Kalet 1, Calvin L Chou 2, Rachel H Ellaway 3

Affiliations collapse

Affiliations

• 1Program on Medical Education Innovation and Scholarship, New York University School of Medicine, New York, USA. Adina.Kalet@nyumc.org.

• 2Department of Clinical Medicine, Academy of Medical Educators University of California, San Francisco, USA.

• 3Office of Health and Medical Education Scholarship at the Cumming School of Medicine, University of Calgary, Calgary, Canada.

• PMID: 29071550

• PMCID: PMC5732108

• DOI: 10.1007/s40037-017-0385-6

Free PMC article

Abstract

Introduction: Remediating failing medical learners has traditionally been a craft activity responding to individual learner and remediator circumstances. Although there have been moves towards more systematic approaches to remediation (at least at the institutional level), these changes have tended to focus on due process and defensibility rather than on educational principles. As remediation practice evolves, there is a growing need for common theoretical and systems-based perspectives to guide this work.

Methods: This paper steps back from the practicalities of remediation practice to take a critical systems perspective on remediation in contemporary medical education. In doing so, the authors acknowledge the complex interactions between institutional, professional, and societal forces that are both facilitators of and barriers to effective remediation practices.

Results: The authors propose a model that situates remediation within the contexts of society as a whole, the medical profession, and medical education institutions. They also outline a number of recommendations to constructively align remediation principles and practices, support a continuum of remediation practices, destigmatize remediation, and develop institutional communities of practice in remediation.

Discussion: Medical educators must embrace a responsible and accountable systems-level approach to remediation if they are to meet their obligations to provide a safe and effective physician workforce.

Keywords: Competency based medical education; Medical education; Remediation.

의학교육에서 수직통합: 포괄적 관점(BMC Med Educ, 2020)

Vertical integration in medical education: the broader perspective

Marjo Wijnen-Meijer1* , Sjoukje van den Broek2, Franciska Koens3 and Olle ten Cate4

의학교육의 통합

Integration in medical education

통합은 수십 년 동안 의학 교육에서 대중적인 개념이었다. 통합 커리큘럼은 [자신의 문화, 교수, 규칙 및 시험이 있는 개별 과정과 서기의 스택으로 구성된 커리큘럼이 아닌] 의학교육의 일반적인 목표에 초점을 맞춘 것으로, 1984년 Harden's SPICES 모델에 현대 의학 교육의 핵심 요소(I)로 등장하였다[1]. 그러나 교육적 통합은 중요한 출판물보다 훨씬 이전에 주장되어 왔다. 1950년대에 미국 의학 대학 협회(AAMC)는 학부 의학 교육의 목표가 더 이상 다양한 기초 과학에 대한 세부적인 체계적 지식을 따로따로separately 포함해서는 안 된다고 구체적으로 언급했다. 대신, AAMC는 의과대학 교육과정의 일반적인 목표 목록을 기술했는데, 모두 환자 진료와 직접 관련된 필요한 지식과 기본 기술을 배우는 데 초점을 맞추고 있고, 그 자체로는 끝이 아니다[2]. 그 후 수십 년 동안, 많은 의과대학들은 통합의 형태를 제공하는 커리큘럼을 개정했다.

Integration has been a popular concept in medical education for decades. An integrated curriculum, focusing on general objectives of medical education, rather than a curriculum merely composed of a stack of separate courses and clerkships with their own culture, professors, rules, and exams, featured in Harden’s SPICES model in 1984 as a key component (the I) of modern medical education [1]. But curricular integration has been advocated long before that important publication. In the 1950s, the Association of American Medical Colleges (AAMC) specifically stated that the objectives of undergraduate medical education should not include detailed systematic knowledge of the various basic sciences separately anymore. Instead, the AAMC spelled out a list of general goals for the medical school curriculum, all focused on learning necessary knowledge and basic skills related directly to patient care and not as ends in themselves [2]. In the decades to follow, many medical schools made curricular revisions offering forms of integration.

오늘날 의료 교육에서 통합 사용에 대한 훌륭한 설명은 Brauer & Fergusson [3]에 의해 제공된다. 저자들은 수평적 통합을 "한정된 기간 내에 이루어지는 여러 학문 전반의 통합" [3]이라고 설명하는데, 이는 대개 기초 과학을 가리킨다. VI(수직 통합)는 시간 경과에 따른 통합을 의미합니다. 수직적으로 통합된 커리큘럼에서 강의실 교육에 소요되는 시간은 해를 거듭할수록 점차 줄어드는 반면 임상 실습의 양은 증가[3]하여 이론과 실습 사이의 엄격한 단절로부터 벗어나는 것을 의미한다. 임상 문제 및 임상 환경에 대한 초기 경험은 지속적인 기초 교육과 동반되지만, 이 기초 교육은 시간이 지남에 따라 점점 줄어든다. 

An excellent description of today’s use of integration in medical education is provided by Brauer & Fergusson [3]. The authors describe horizontal integration as the “integration across disciplines but within a finite period of time” [3], usually referring to the basic sciences. Vertical integration (VI) means integration across time. In a vertically integrated curriculum the time spent on classroom education gradually decreases across the years, while the amount of clinical practice increases [3], implying a move away from a strict caesura between theory and practice. Early experience with clinical problems and in clinical settings is interspersed with continued science teaching, be it less and less over time. 

이와는 대조적으로, 전통적인 커리큘럼 강의실 강의는 의대 첫 해에 프로그래밍되고, 임상 훈련은 마지막 해에 프로그래밍된다. 이 단어를 사용하지 않고 수직적 통합은 1980년에 "기초 의학에 중점을 둔 [교육과정]에서 임상 의학에 중점을 둔 [4]로 점차 변화한다"고 주장되었다. 이러한 혁신은 교육 구조에 깊은 영향을 미쳤습니다. 전통적으로 존재했지만 여전히 전 세계의 많은 프로그램에 연결되어 있지 않은disconnected 세계를 통합했기 때문입니다. 예를 들어, 문제 기반 학습은 커리큘럼 통합을 만드는 것을 목적으로 자주 사용되는 교육학적 접근법[5]이다.

In contrast, in a traditional curriculum classroom teaching is programmed in the first years of medical school, and clinical training in the final years. Vertical integration, without using the word, was advocated in 1980 as “gradually changing from [a curriculum] with a major emphasis on the basic medical sciences to one with a major emphasis on clinical medicine” [4]. These innovations had profound consequences for the curricular structure, as they integrated worlds that were traditionally, and still are in many programs worldwide, disconnected. Problem-based learning, as an example, is a pedagogical approach that is often used with the aim of creating curricular integration [5].

수직적 통합의 목적은 의미 있는 학습을 지원하는 것이다. VI 커리큘럼은 지식을 사용하는 방식과 학습을 일치시킴으로써 [임상 실습을 위한 기초 과학의 관련성]을 제공한다[3]. 이는 성인 학습자가 학습 시 주제 관련성에 초점을 맞추는 것을 설명하는 성인 학습 이론의 중요한 측면을 지원한다[6]. 또한, 무엇인가를 학습하는 컨텍스트와 지식이 적용되는 컨텍스트 간의 유사성이 기억 검색을 향상시킨다는 제안[7]과 기초 과학과 임상 사례 간의 연결이 관련 지식 프레임워크의 구축을 자극한다[8, 9]. 실제로, 현대의 교육 설계 이론에 따르면, 학습자가 [스스로 통합해야 하는 별도의 외견상 독립적인 구성요소]보다 [통합된 전체 업무integrated hole task]에서 훈련받을 것을 지지한다[10, 11]. 

The aim of vertical integration is to support meaningful learning. VI curricula provide relevance to basic sciences for clinical practice, by matching learning with the way the knowledge is to be used [3]. This supports an important aspect of adult learning theory explaining adult learners’ focus on the relevance of the topic when learning [6]. In addition, it has been suggested that similarity between the context in which something is learned and in which that knowledge is to be applied enhances memory retrieval [7], and that the connection between basis science and clinical cases stimulates the building of relevant knowledge frameworks [8, 9]. Indeed, contemporary instructional design theory advocates training students in integrated, whole tasks rather than in separate, seemingly independent components that learners are expected to integrate by themselves [10, 11]. 

VI 커리큘럼을 작성할 때 주요 커리큘럼 개혁에 내재된 현실적인 어려움 외에도 VI에 대한 비판이 있다[12]. 다른 분야와의 통합을 위해 커리큘럼 동안 많은 단편적인 순간에 산란하게 가르치는 교육은 학생들을 위한 큰 그림과 내부 논리를 훼손할 수 있습니다 [13]. 그 예로는 전통적으로 더 도전적인 수업 중 하나인 약리학 교육이 있다. 다양한 임상교육 과정에 산재한 약리학을 추가하면 임베딩이 더 잘 되지만, 각 시험에서 약리학의 비중이 작은 상황이라면, 시험에서 fail하지 않고도 약리학을 소홀히 할 수 있어서 위험도 크다. 이러한 문제들은 실용적인 해결책으로 다루어야 하는 커리큘럼적인 건설 문제이다.

There is some criticism on VI, in addition to practical difficulties inherent to a major curriculum reform when creating a VI curriculum [12]. A discipline, taught scattered at many fragmented moments during the curriculum to serve the integration with other disciplines, may undermine its big picture and internal logic for students [13]. An example is pharmacology education, traditionally one of the more challenging classes. Adding scattered bits of pharmacology to various clinical education courses creates better embedding, but also risks, if students can neglect pharmacology without failing integrated tests, when the proportion of pharmacology in each test is small. Such issues are curricular construction problems that need to be addressed with practical solutions.

수직적 통합에 대한 더 넓은 관점

A broader perspective on vertical integration

의료 교육의 수직적 통합은 학생들이 더 잘 배우고 기억하도록 하는 인지적 목적을 가진 [재구성된 커리큘럼 구조]로 볼 수 있다[15]. 우리는 수직적으로 통합된 커리큘럼의 인지적 효과가 중요하다는 것을 인정하지만, 특정한 상황적 요소, 동기적 요소 및 정체성 요소를 가진 더 넓은 관점에서 수직적 통합을 볼 것을 제안한다. 수직 통합은 여전히 커리큘럼 설계 문제로 간주될 수 있지만, 우리는 교육, 전문적 개발 및 실습의 연속성에 대한 중요성을 제공하여 정규 커리큘럼 이상으로 원칙을 확장할 것을 제안한다.

Vertical integration in medical education may be viewed as a reorganized curriculum structure (as a move from an H to a Z shape - see Fig. 1) with a cognitive purpose, i.e. to have students learn and remember better [15]. We acknowledge that the cognitive effects of vertically integrated curricula are important, but propose to view vertical integration from a broader perspective, that has a specific contextual component, a motivational component, and an identity component. Vertical integration may be still considered a curricular design matter, but we propose to extend its principles beyond the formal curriculum, offering significance for the continuum of education, professional development and practice.

1 수직 통합: 기존의 H자형 의료 교육과정은 Z자형 교육과정 모델로 대체되고 있다([14]부터 허용된다).

Fig. 1 Vertical integration: The traditional H-shaped medical curriculum is being replaced by a Z-shaped curriculum model (from [14] with permission)

수직적 통합과 맥락 이론

Vertical integration and context theory

Koens는 학습에 대한 컨텍스트의 중요성을 연구했으며 상황별 학습은 다음 3차원으로 구분할 수 있다고 제안했다. 

• 의미론적 또는 인지적 차원(문제 기반 학습과 같은 전문적 문제에 내재된 과학 학습) 

• 물리적 차원(인지 심리학자가 제안하는 미래 검색 환경과 유사한 물리적 환경에서 학습) 및 

• 헌신 또는 정서적 차원(의무와 책임 때문에 맥락과 상호작용하여 학습) [16]. 

Koens has studied the significance of context for learning and suggested that contextualized learning can be distinguished in three dimensions: 

• a semantic or cognitive dimension (learning of science embedded in professional problems, such as in problem-based learning), 

• a physical dimension (learning in a physical environment resembling the environment of future retrieval, as suggested by cognitive psychologists), and 

• a commitment or affective dimension (learning by interacting with the context because of duties and responsibilities) [16]. 

신중한 연구가 여전히 이 이론을 확인해야 하지만, 맥락의 commitment 차원이 의미론 또는 물리적 차원보다 학습에 더 강력하다는 것이 제안되었다 [17, 18]. 상황별 학습은 유용하게 보이지만, 강의실에서만 상황별 학습 환경을 제공하는 것은 강력하지 못하며, 임상 환경에서 참관이나 섀도잉만 하는 것도 마찬가지이다. 환자 치료의 의무에 관여하는 것이 더 강력하다. 수직적 통합이 주로 재구성된 커리큘럼 구조로 간주되는 경우, 실제로 그것의 구현은 인지적 및 물리적 차원을 다루는 커리큘럼 변경으로 제한될 수 있다. 임상 실무와의 [인지적 연계만을 제공하는 커리큘럼 또는 임상 실습을 참관 기회]에는 [환자 치료에 대한 학생의 참여], 즉 커리큘럼의 학생에 대한 임상 책임 증가의 힘이 부족하다[19].

While careful studies should still confirm this theory, it was suggested that the commitment dimension of context is more powerful for learning than the semantic or physical dimension [17, 18]. Contextualizing learning appears useful, but providing only a contextualized learning environment in the classroom, and even observation or shadowing in a clinical setting alone seems less powerful than engagement with duties in patient care. When vertical integration is predominantly regarded a reorganized curriculum structure, its implementation in practice might stay limited to curriculum alterations that address the cognitive and physical dimension. A curriculum that only provides cognitive links with clinical practice, or opportunities to observe clinical practice lacks the power of student engagement in patient care, i.e. of the increase of clinical responsibilities for students in the course of a curriculum [19].

수직적 통합과 동기 이론

Vertical integration and motivation theory

학습을 위한 컨텍스트에 대한 헌신(또는 정서적) 차원은 그 동기 부여적 성격을 보여준다. 의료 커리큘럼은 동기 부여 목적으로 명시적으로 설계되지 않은 경우가 많다[20]. 그러나 학생들의 동기부여는 학교의 성공을 결정하는 가장 중요한 요소일 수 있고, 따라서 문제는: 교과과정의 구조가 학생들의 동기부여에 영향을 미칠 수 있는가? Chen 등은 숙달master 목표 지향[21]을 가진 학생들이 임상 학습 환경을 적극적으로 참여하고 학습할 기회를 제공하고 초대하는 것으로 인식한다는 것을 발견했다[22]. 

The commitment (or affective) dimension for context for learning speaks to its motivational nature. Medical curricula have not often explicitly been designed for a motivational purpose [20]. Yet motivation in students may be the most important factor that determines a school’s success, and the question is therefore: can curriculum structure affect student motivation? Chen et al. found that students with a mastery goal orientation [21] perceived the clinical learning environment to be inviting and offering opportunities for active engagement and learning [22]. 

숙달목표지향Mastery goal orientation을 가진 학생들은 이미 동기부여를 보이고 있지만, 환경에서의 어포던스가 반드시 존재해야 하며, 이것은 교육 과정에 의해 제공되어야 하고, 성장을 위해 이러한 동기를 부여해야 한다. 이 때 '비용'은 [환자 치료에 기여하기 위한 헌신을 요구하는 기회]일 수 있습니다. Lave와 Wenger의 합법적인 주변기기 참여 모델은 적은 기여라도 임상 실무 커뮤니티에서 학생 참여의 동기부여 효과를 지원한다[23]. 그러한 참여를 허용하는 커리큘럼 설계는 특히 역량, 자율성 및 관련성에 의해 자극되는 내재적 동기를 강화시킬 수 있다[24]. 

While these students already show motivation, the affordances in the environment must be present, arguably offered by the curriculum and therefore affording this motivation to grow. Those affordances may well be the opportunities that require a commitment to contribute to patient care. Lave and Wenger’s legitimate peripheral participation model supports the motivational effect of student engagement in a community of clinical practice, if even with small contributions [23]. A curriculum design that allows for such engagement may particularly enhance intrinsic motivation, which is stimulated by feelings of competence, autonomy and relatedness [24]. 

초기에, 작지만 중요한 업무는 교육과정 후반부에 더 큰 책임을 지고 업무를 수행하는 것이 동기 부여 기능에 도움이 될 수 있다. 수직 통합 커리큘럼은 환자에게 조기에 노출되고 임상 환경이 구성되었을 뿐 아니라 초기 학습자라도 의료에 대한 작은 기여를 위임받은 경우 특히 성공할 수 있다. 이를 위해서는 [이러한 기회를 제공하는 사회적 환경]과 [기회를 파악하고 학습자의 행위자성agency을 자극해 기회를 잡도록 해주는 임상 교사]가 필요하다. 만약 교육자가 VI를 교육철학으로 보지 않고, 교육생들에게 책임감을 높이는 등 전문사회professional community 참여에 대한 지도 필요성을 느끼지 못하는 경우 VI의 혜택은 제한적일 수 있다. 작은 일에 대한 위임 결정은 조기 학습자의 동기를 높일 수 있다.

Early, small but significant tasks in health care, building up to tasks with greater responsibility later in the curriculum may serve that motivational function. Vertically integrated curricula may be particularly successful if not only early exposure to patients and the clinical environment is organized, but when even early learners are entrusted with small contributions to health care. That requires a social environment that affords these opportunities, and clinical teachers who discern these and stimulate learner agency to grasp the opportunities. If they do not view VI as a philosophy of education and do not feel the necessity to guide trainees in their participation in the professional community, including giving them increasing responsibility, the benefits of VI may stay limited. Entrustment decisions for small tasks are likely to boost an early learner’s motivation.

수직적 통합과 개인 및 사회적 정체성 개발

Vertical integration and individual and social identity development

수직적 통합은 학생들의 전문적인 정체성 형성에 영향을 미칠 가능성이 높다. 정체성 형성은 개인 수준과 집단 수준에서 동시에 일어나는 것으로 간주된다. 개인 차원의 정체성 발달은 발달 단계를 보여준다. 한 단계에서 다음 단계로 넘어가는 것은 직면하는 경험과 도전에 의해 유발되는 '위기'를 통해 일어나는 것으로 생각된다[25]. 임상 책임이 점차적으로 증가하는 커리큘럼에서 교육생들은 환자 진료에서 책임의 단계를 밟는 것이 종국적으로 어렵다. 이것들은 종종 위기들의 순간들이고, 정체성 형성에 중요하다. 동시에, 사회적 수준에서 연습생들은 점차적으로 실천 공동체에 대한 [주변적인 참여]에서 [완전한 참여]로 이동한다. 그들은 가치와 규범을 내면화함으로써 의사 공동체 안에서 행동하는 법을 배운다. 반덴 브로이크 등은 학생들이 감독하에 후배 의사(일명 '세미-의사')의 책임을 경험하도록 의도적으로 설계된 마지막 해까지 쌓이는 수직 통합 커리큘럼에서 전문적 정체성 형성을 연구했다. 저자는 이러한 커리큘럼 구조가 학생들의 의사 커뮤니티와의 [사회적 정체성을 촉진]하고 [진정한 팀원으로서의 감각]을 불러일으킨다는 개념에 대한 지지를 발견했다[26, 27].

Vertical integration is likely to affect students’ professional identity formation. Identity formation is considered to happen simultaneously at individual and collective levels. Identity development at the individual level shows developmental stages. Moving from one stage to the next is thought to happen through ‘crises’, provoked by experiences and challenges faced [25]. In curricula with a gradual increase in clinical responsibilities trainees are longitudinally challenged to take steps in responsibilities in patient care. These are often the moments of crises, important for identity formation. Simultaneously, at the social level the trainees gradually move from peripheral to full participation in the community of practice. They learn to act within the community of doctors by internalizing values and norms. Van den Broek et al. studied professional identity formation in a vertically integrated curriculum that builds up to a final year deliberately designed to have students experience the responsibilities of a junior doctor (called ‘semi-physician’) under supervision. The authors found support for the notion that this curricular structure fosters students’ social identification with the community of doctors, and generates a genuine team-member sensation [26, 27].

수직적 통합 및 실천으로의 전환

Vertical integration and the transition to practice

Vijnen-Meijer 등은 VI를 다음과 같이 묘사하였다.

• (i) 조기 임상 경험의 제공 

• (ii) 생물 의학 및 임상 사례의 통합 

• (iii) 훈련의 마지막 연도 동안 긴 임상실습 기간 

• (iv) 학부 교육 내에서 증가하는 임상 책임 수준의 육성, 

A vertically integrated curriculum, operationalized by Wijnen-Meijer et al. [28] as 

• (i) provision of early clinical experience; 

• (ii) integration of biomedical sciences and clinical cases; 

• (iii) long clerkships during the final years of training; and 

• (iv) fostering of increasing levels of clinical responsibility within undergraduate training, 

VI는 non-VI에 비해 다음을 서포트한다.

• 독자적으로 일하는 능력

• 의학적 문제를 해결하는 능력

• 낯선 상황을 관리하는 능력

• 작업의 우선 순위를 정하는 능력

• 다른 사람들과 협력하는 능력

• 도움이 필요할 때를 예측하는 능력

• 그들의 활동을 반성하는 능력

was found to support students’ capability 

• to work independently, 

• to solve medical problems, 

• to manage unfamiliar situations, 

• to prioritize tasks, 

• to collaborate with others, 

• to estimate when they need help, and 

• to reflect on their activities, 

in comparison with medical students from a not vertically integrated curriculum. 

VI와 Non-VI 교육과정 사이에 측정 가능한 지식과 기술의 차이는 없었습니다 [29]. 이것은 수직적 통합의 인지적 효과는 제한적이며 학습자에게 가장 중요한 이득은 다른 영역에 있다는 것을 암시할 수 있다. 본 연구의 복제는 좋겠지만, 다른 스터디에서는 수직 통합 커리큘럼에서 일찍이 명확한 직업 선택을 하는 것으로 나타났고, 레지던스 포지션을 얻는 데 시간과 지원application이 덜 필요하였고, 직무와 대학원 교육에 더 많은 준비가 되었다고 느낌을 보여주었다[28].

There was no measurable difference in knowledge and skills [29]. This may suggest the cognitive effects of vertical integration are limited, and the most important benefits for learners are in other domains. While replication of this study would be good, in a different study graduates from a vertically integrated curriculum appeared to make definitive career choices earlier, need less time and fewer applications to obtain residency positions and feel more prepared for work and postgraduate training [28].

수직적 통합과 교육과 실습의 연속

Vertical integration and the continuum of education and practice

수직적 통합은 임상 경험에 대한 초기 지식을 제공할 뿐만 아니라, 환자 치료에서 행동하면서 과학적 배경을 계속 학습해야 한다는 점을 강조한다. 이것은 학부 교육에서 기초 과학을 교실에서만 배우는 것을 넘어선다. 학부생, 대학원생, 펠로우쉽이 의학의 그런 프로그램들이다. Ten Cate & Carraccio는 최근 이러한 단계와 비지도 관행 사이의 엄격한 전환을 강조하고, 의학 훈련은 의과대학에서 시작하지만 은퇴할 때까지 결코 끝나지 않는다고 주장했습니다 [30]. 면허 취득과 전문의 자격 획득은 공식적인 책임과 특권에서는 중대한 전환의 순간이지만, 지식과 기술의 습득과 역량의 개발, 정체성의 형성은 점진적gradual인 것이며, 절대로 완전히 끝나지 않는다. 

Vertical integration not only offers early acquaintance with clinical experience, it also stresses the continued need to keep learning scientific backgrounds while acting in patient care. This extends beyond classroom learning in basic sciences in undergraduate education. Undergraduate, postgraduate and fellowships are those programs in medicine. Ten Cate & Carraccio have recently advocated to de-emphasize the strict transitions between these phases and unsupervised practice, and to view medical training as starting in medical school but really never ending until retirement [30]. Licensing and specialty certification are significant moments of transition in formal responsibility and privileging, but the acquisition of knowledge and skill and development of competence, and the formation of identity are more gradual and never fully finished. 

멀리서 바라본 훈련과 연습의 연속은 하얀 외투를 입은 임상 작업장의 입구에서 연습이 끝날 때까지 항상 학습과 연습이 뒤섞여 있다. 이러한 관점에서, 수직적 통합은 전문직의 커리어에 언제나 존재한다. 이 연속체는 실무를 거의 하지 않는 교실 학습 시기부터 시작하여, 임상실습, 레지던트, 펠로우쉽에서는 학습 구성요소가 직장 학습으로 전환된다. 면허나 또는 인증을 받아도 배움은 끝나지 않는다. 심지어 'unsupervised' 진료의 초기에는 감독 필요성이 남아 있을 수 있습니다. 이것은 최근 수의사들 사이의 연구에서 인정되었지만 의학과는 원칙적인 차이가 없다.

The continuum of training and practice, viewed from a distance, is always a mix of learning and practice, since the entrance in the clinical workplace with a white coat, until practice ceases. From this perspective, vertical integration is always present in a professional’s career. The continuum starts with classroom learning and little engagement in practice, while in clerkships, residency and fellowship, the learning component shifts to workplace learning. Learning is not finished after licensing or certification; there may even remain a need for supervision in the early years of ‘unsupervised’ practice. This was acknowledged in a recent study among veterinarians [31] but there is no principle difference with medicine.

결론 

Conclusion

수직적 통합에 대한 정기적으로 인용되는 정의는 "교육 과정의 임상적 부분과 기초적 과학 부분 사이의 통합"이다 [12]. 이 정의는 학습의 의도된 결과(즉, 환자 치료 개선) 없이 여전히 단편화되고 커리큘럼 스케줄로 축소될 수 있는 교육 주제 재배열로 개념을 제한할 위험이 있다[13]. 

A regularly cited definition of vertical integration is “the integration between the clinical and basic science parts of the curriculum” [12]. This definition risks to limit the concept to a rearrangement of teaching topics that still may remain fragmented and reduced to curricular scheduling without the intended outcome of learning, i.e. improved patient care [13]. 

수직적 통합을 "환자진료에서 (졸업된) 책임과 더불어 단계적으로 지식-기반 실무 참여를 높여가면서 [전문직 커뮤니티에서 학습자 참여를 점진적으로 늘리는] 의도적 교육 접근법"으로 정의할 것을 제안한다. 의료 훈련의 수직적 통합은 [전문직에 engagement]이자 [참여의 철학]이다. 또는 Bloom과 Cruess & Cruess가 단순히 커리큘럼이 아닌 의사로서 사고, 느끼고 행동하게 되는 정체성 형성을 위해 공식화되었다[32, 33]. 현재 시각 기사의 저자들은 의학 교육자로서의 작업에서 이 철학을 사용했다[34]. 효과에 대한 연구는 유망한 결과[27]를 보여주며, 현재 새롭고 보다 포괄적인 정의를 제안한다. 수직 통합은 배우모가 실천을 병합하며, 이는 라이센스나 인증에 그치지 않습니다.

We propose to define vertical integration as “a deliberate educational approach that fosters a gradual increase of learner participation in the professional community through a stepwise increase of knowledge-based engagement in practice with graduated responsibilities in patient care”. Vertical integration in medical training is a philosophy of maturation and engagement with the profession, or, as Bloom and Cruess & Cruess have formulated for identity formation, coming to think, feel and act as a physician [32, 33], rather than merely a curricular arrangement. The authors of the current perspective article have used this philosophy in their work as medical educators [34]. Research on the effects show promising results [27], on the basis of which they now propose the new, more comprehensive definition. Vertical integration merges learning and practice, which does not stop at licensing or certification.

CBME의 도입: 우려와 도전을 해결하고 있는가? (Med Educ, 2015)

Implementation of competency-based medical education: are we addressing the concerns and challenges?

Richard E Hawkins,1 Catherine M Welcher,2 Eric S Holmboe,3 Lynne M Kirk,4 John J Norcini,5

Kenneth B Simons6 & Susan E Skochelak7

도입 INTRODUCTION

CBME 모델은 대중에게 더 나은 책임감, 과학적 지식의 빠른 확장 및 의료 관행의 변화에 대한 인식된 요구에 의해 추진된다.1-5 역량을 측정 가능한 하위역량 또는 이정표로 구분하는 역량 기반 프레임워크는 개별 역량의 달성에 초점을 맞추고, 주로 [지식 기반 검사와 글로벌 등급]으로 구성된 기존의 평가 접근 방식을 넘어 [환자 진료의 평가 및 수행능력 기반 교육 성과]를 수용하는 프레임워크로 전환한다.4 CBME는 의사 성과와 환자 관리의 궁극적인 결과에 초점을 맞춤으로써, 자신이 서비스하는 인구와 지역사회의 요구에 부응하는 기술을 가진 전문가를 배출하고 그들이 실천하는 의료 시스템과 지역사회의 요구를 충족시키려 한다.7

Models of CBME are driven by the perceived need for better accountability to the public, rapid expansions in scientific knowledge and changes in medical practice.1–5 Competency-based frameworks, which break down competencies into measurable subcompetencies or milestones, focus on the achievement of individual competencies and move beyond the conventional approach to assessment, consisting primarily of knowledge-based examinations and global ratings, to one that embraces the assessment of patient care and performance-based education outcomes.4 By focusing on the ultimate outcomes of physician performance and patient care, CBME seeks to produce professionals whose skills are responsive to the needs of the populations and communities they serve6 and meet the needs of the health care systems and communities in which they practise.7

• 역량 기반 프레임워크는 구조, 컨텐츠, 프로세스 기반 이점을 제공합니다. CBME의 인식된 이점에는 다음과 같은 것들이 있다: 

• 결과 및 학습자 성취도에 초점을 맞춘다. 

• 형성 평가를 수용하는 다면적인 관찰 기반 평가 접근방식을 요구

• 유연한 학습과 교육의 연속성을 따라 시간적으로 독립적인 학습 궤도 지원

• 교육, 평가 및 규제를 위한 공통언어와 기대치를 공유하여 모든 이해당사자에 대한 투명성과 책임성을 제고합니다.

Competency-based frameworks offer structural, content- and process-based benefits. Perceived advantages of CBME include: 

• a focus on outcomes and learner achievement; 

• requirements for a multifaceted, observation-based assessment approach that embraces formative assessment; 

• support of flexible learning and a time-independent trajectory along the continuum of education, and 

• increased transparency and accountability to all stakeholders with a shared set of expectations and a common language for education, assessment and regulation.1,6,8,9

CBME에 대한 광범위한 열정과 그러한 프레임워크의 주목할 만한 장점에도 불구하고, 아래에 기술된 수많은 조항은 CBME 구현에 대한 우려를 제기하거나 문제를 밝혀냈으며, 결과적으로 주의를 권했다. 현재의 검토는 이러한 우려와 과제를 개략적으로 설명한 다음 CBME의 구현에 대한 그들의 함의를 논의하는 동시에 이러한 우려와 과제에 대한 교육계의 반응을 요약하기 위한 것이다.

Despite widespread enthusiasm for CBME and the noted advantages of such a framework, numerous articles, delineated below, have raised concerns or identified challenges in the implementation of CBME, and consequently have advised caution. The present review is intended to outline these concerns and challenges and to then discuss their implications for the implementation of CBME, while also summarising the responses of the education community to these concerns and challenges.

(i) 역량 기반 프레임워크 구현의 실질적인, 행정적, 물류 요건 및 관련 결과와 관련된 사항 

(i) those that relate to the practical, administrative and logistical requirements and the related consequences of implementing competency-based frameworks, and 

(ii) 주로 개념적 또는 이론적 의미에 대한 사항.

(ii) those that have more conceptual or theoretical implications.

그러나 두 범주 사이의 선이 때때로 흐리게 나타납니다. 예를 들어, 심리측정학적 문제는 교수진의 개발 요구를 증가시키거나 시간 독립적 프로그래밍의 구현을 방해하는 장애물이 될 때 행정적 및 물류적 문제를 야기할 수 있다.

However, the line between the two categories is occasionally blurred. For example, psychometric issues may create administrative and logistical challenges when they increase faculty development needs or become obstacles that prevent the implementation of time-independent programming.

실용적이고 물류적인 과제

PRACTICAL AND LOGISTICAL CHALLENGES

개별적이고 유연한 학습 계획을 수용하는 CBME의 구조 모델 부족

Lack of structural models for CBME that accommodate individual, flexible learning plans

CBME 모델은 유연한 학습 계획을 통해 개별 학습 요구를 지원하는 데 사용될 수 있다. 비록 이것이 장점으로 인식되지만, 이 결과는 프로그램 구조와 자원에 관한 중요한 의미를 가질 수 있으며, 효과적으로 관리되지는 않는다면, 혼란스러운 학습 환경을 초래할 수 있다.2, 18,19 개별 학습 요구와 교육자 간의 학습 속도의 가변성을 수용하기 위한 모범 사례와 모델은 아직 개발되지 않았다. 학부 의료 교육(UME) 및 대학원 의학 교육(GME) 수준에서 구현된 CBME 프로그램은 개인의 역량 성취에 기초하여 조기 졸업을 지원할 수 있지만, 이러한 장점은 특히 GME에서 교수 및 역할 모델링에 대한 부정적인 영향을 상쇄할 수 있다.

Models of CBME can be used to support individual learning needs through flexible learning plans. Although this is perceived as an advantage, this outcome may have significant implications regarding programme structure and resources, and, if not effectively managed, could result in a chaotic learning environment.2,18,19 Best practices and models for accommodating individual learning needs and variability in the pace of learning among trainees have not yet been developed. Programmes of CBME implemented at the undergraduate medical education (UME) and graduate medical education (GME) levels may support early graduation based on the individual achievement of competencies, but this perceived advantage may be offset by the potential for adverse impacts on teaching and role modelling, particularly in GME. 

가장 재능 있는 수련생들의 조기 퇴진은 프로그램의 교육 문화 모두에 영향을 미칠 수 있으며, 교사로서 레지던트의 손실을 보상하기 위한 추가적인 교수진의 필요성을 암시할 수 있다. 또한 교육 경험 전반에 걸친 불확실한 전환 시기(로테이션 대 로테이션 , 연도별)는 전공의 일정을 혼란스럽게 하여 의료 제공에 인력진의 영향과 영향을 미칠 수 있다.18

The early departure of the most talented trainees may impact both the educational culture of the programme and imply a need for additional faculty development to cover the loss of residents as teachers. In addition, the uncertain timing of transitions (rotation-to-rotation, year-to-year) across the education experience may have workforce implications and impact on health care delivery by disrupting resident schedules.18

[비동기식asynchronous 졸업 가능성]이 있는 개인화되고 유연한 학습 계획은 교육 프로그램의 관리와 자금후원에 영향을 미친다.18 교육자원의 사용과 교육 기간에 비례하여 자금을 지원하는 정책과 절차는 개발되지 않았다. 졸업 시기의 변동성은 교육과 실습의 연속체, 특히 UME에서 GME로의 전환에 대한 관리 문제를 야기할 수 있다. 마지막으로, 의사의 면허와 인증 그리고 프로그램의 인가에 대한 함의는 충분히 탐구되지 않았다.

Individualised and flexible learning plans with the potential for asynchronous graduation have implications regarding the administration and funding of education programmes.18 Policies and procedures that support financing in proportion to the use of educational resources and duration of training have not been developed. Variability in the timing of graduation may create challenges in managing transitions across the continuum of education and practice, particularly the UME to GME transition. Lastly, implications for the licensure and certification of physicians and accreditation of programmes have not been fully explored.

CBME 프로그램에 대한 관리 요구사항 증가 및 교수진 개발 필요성 증가

Increased administrative requirements for CBME programmes and need for increased faculty development

교육자가 제기하는 우려 중 하나는 CBME의 구현으로 인해 발생할 수 있는 행정적 요구사항의 증가를 가리킨다.9 더 상세한 평가 및 채점 시스템과 문서는 많은 프로그램 리더들이 관리하기 너무 번거로울 수 있다.20 내과 훈련 프로그램에서 교육 리더에 대한 최근의 연구는 마일스톤 구현의 복잡성과 [모든 이정표]에 대해 [모든 전공의]를 평가할 수 있는지에 대한 우려를 나타냈다. 이 우려에는 평가의 품질과 정확성을 보장하기 위해 광범위한 교수개발 및 교육생의 직접적인 관찰 참여의 필요성을 포함한다. 교육자들이 학습 경험의 질을 보장하는 것보다 역량 기반 프로그램을 관리하는 데 더 많은 시간을 소비할 수 있다는 우려가 있다.

One of the concerns raised by educators refers to the increase in administrative requirements that may result from the implementation of CBME.9 The more detailed assessment and scoring systems and documentation required may become too cumbersome for many programme leaders to manage.20 A recent study of education leaders in internal medicine training programmes revealed concerns about the complexity of implementing the milestones and the feasibility of evaluating every resident on every milestone, including the need for extensive faculty development and engagement in direct observation of trainees to ensure quality and accuracy in assessment.13 There is a fear that educators may spend more time on administering a competency-based programme than on ensuring the quality of the learning experiences.3,21

역량 정의, 개발, 구현 및 평가 방법의 불일치

Inconsistencies in how competencies are defined, developed, implemented and assessed

역량의 정의, 개발, 구현 및 평가 방법에 대한 합의와 일관성이 결여되어 있다는 우려가 있다. 국가 전체에 걸쳐, 교육의 연속성을 따라 그리고 전문성들 사이에 상당한 이질성이 있다.1,9,17,19,22 더 나아가, 행동에서 파생된 역량과 교육 목적, 목표, 결과 사이의 관계는 종종 불분명하다.22 이러한 혼동은 [다양한 국제 규제 및 교육 기관에 의한 역량, 역량, 역량 프레임워크, 역할 및 성과에 대한] 서로 다른 개념화로 인해 야기되는 기존의 불확실성 수준을 더욱 악화시킨다.

There are concerns about the lack of consensus and consistency in how competencies are defined, developed, implemented and assessed. There is considerable heterogeneity across countries, along the continuum of education and among specialties.1,9,17,19,22 Furthermore, the relationship between behaviour-derived competencies and education goals, objectives and outcomes is often unclear.22 This confusion further aggravates an existing level of uncertainty created by different conceptualisations of competence, competencies, competency frameworks, roles and performance by a variety of international regulatory and education bodies.23–25

전공에 따라서는, 역량 간 마일스톤 구조의 차이가 교수사용자에게 어려움을 야기한다.13 교수진은 역량, 마일스톤 및 신뢰할 수 있는 전문 활동(EPA)의 다른 프레임워크에 기초한 교육 및 평가 접근 방식에 직면할 가능성이 있다. 역량 프레임워크 전반의 불일치뿐만 아니라 역량 자체에 관한 표준화된 접근법과 언어의 부족은 교육과 규정의 연속성에 걸친 CBME의 일반화된 채택에 중요한 도전을 제기한다.6,26

Within specialties, differences between the milestone structure across competencies creates difficulty for faculty users.13 Faculty staff will be likely to confront education and assessment approaches based on different frameworks of competencies, milestones and entrustable professional activities (EPAs). The inconsistency across competency frameworks, as well as the lack of a standardised approach and language regarding competencies themselves, present significant challenges to the generalised adoption of CBME across the continuum of education and regulation.6,26

실용적이고 물류적인 문제와 교육계의 대응

Practical and logistical issues and the response of the education community

CBME 모델의 도입에 반대하는 잠재적 주장 중 하나는 현재의 의료 교육 시스템이 잘 작동하고 환자와 의료 시스템 모두의 요구를 충족시킨다는 것이다. 그러나, 우리는 우리의 졸업생들이 현재의 환자 진료 및 의료 시스템 요구를 잘 해결할 준비가 되어 있지 않으며, 그것들을 더 잘 준비하기 위해서는 추가적인 노력이 필요하다는 것을 알고 있다.27–30 CBME의 구현에 반대하는 일부 주장의 근본적인 결함은 현재 또는 이전 모델이 우리에게 도움이 되었다는 가정에 기초한다.4 광범위한 전문 협회, 재단 및 정부 기관에서 발행한 15건의 보고서는 미국 의료 교육 시스템이 어떻게 공공 및 의료 시스템의 요구를 충족시키기 위한 사회적 계약을 이행하지 않았는지를 확인한다.29

One of the potential arguments against the introduction of CBME models is that our current medical education systems work well and meet the needs of both patients and health care systems. However, we know that our graduates are not well prepared to address current patient care and health care system needs and additional effort is necessary to better prepare them.27–30 A fundamental flaw in some of the arguments against the implementation of CBME is based on this assumption that the current or previous model has served us well.4 Fifteen published reports from a broad spectrumof professional associations, foundations and government agencies identify how the US medical education systemhas not fulfilled its societal contract to meet the needs of the public and our health care system.29

CBME의 이행을 지지하는 사람들의 마음속에서, 의학 교육에 대한 이전의 접근 방식을 시대착오적인 것으로 보는 관점은 [더 책임 있는 패러다임으로의 전환]을 위한 주장에 더 많은 지지를 제공한다.19

In the minds of those advocating for the implementation of CBME, views of our previous approaches to medical education as anachronistic lend further support to arguments for a transition to a more accountable paradigm.19

개별적이고 유연한 학습 계획을 수용하는 CBME의 구조 모델 부족

Lack of structural models for CBME that accommodate individual, flexible learning plans

우리가 CBME로 전환하든 안하든, 우리는 직접 관찰, 평가, 피드백의 양과 질을 개선할 필요가 있다. CBME 프레임워크의 구현은 위에서 확인한 결손을 해결할 학습 결과를 명시적으로 함으로써 실제로 그러한 필요성을 뒷받침한다. 잘 구성된 CBME 모델은 실제로 해결책의 일부가 될 수 있다. 

• 우리의 교육 시스템과 졸업생들의 강점과 약점의 정의를 서포트하는 프레임워크, 

• 우리의 교육 프로그램의 목표에 대한 의사소통과 공유된 이해를 용이하게 하는 프레임워크

• 학습자 및 프로그램의 저성능에 대한 해결 및 개선 진행 상황을 추적하는 프레임워크.

Whether or not we move to CBME, we need to improve the quantity and quality of direct observation, assessment and feedback. The implementation of a CBME framework actually supports that need by making explicit the learning outcomes that will address the deficits identified above. Well-constructed CBME models may indeed be part of the solution in that they may provide a framework 

• to support the definition of the strengths and weakness of our education systems and graduates, 

• to facilitate communication and a shared understanding about the objectives of our education programmes, and 

• to track progress in addressing and remediating the underperformance of our learners and programmes.31

최근의 연구는 이러한 가정을 뒷받침한다. 기존 학부 커리큘럼에 대한 ACGME(Accreditation Council for College for College) 일반 역량 프레임워크를 매핑하면 커리큘럼에서 [실무 기반 학습과 개선, 시스템 기반 학습 영역은 최소]로만 다루고, [의료 지식]을 현재 과도하게 강조함overemphasis을 보여준다.32

Recent research supports this assumption. Mapping of the Accreditation Council for Graduate Medical Education (ACGME) general competency framework to an existing undergraduate curriculum shows the current overemphasis on medical knowledge in the curriculum, with minimal to modest coverage of practice-based learning and improvement and systems-based learning domains.32

시간 기반 교육 프로그램에서 역량 기반 교육 프로그램으로 전환하는 과정에서 물류 장애물을 해결하는 것은 구현에 상당한 난제가 될 수 있다. 

• 지식 습득에 초점을 두고, 기존의 MCQ(다중 선택 질문) 테스트 형식을 사용하여 평가와 연계되는 교육 활동은, 특히 시험이 컴퓨터 기반 형식을 통해 제공된다면, 개별 학습자의 요구와 성취율에 따라 유연한 관리를 수행할 수 있다. 

• 임상 훈련에서 유연한 프로그래밍을 위한 모델은, 특히 학습자 개발을 지원하기 위해 신뢰할 수 있는 평가에 대한 의존성과 교육 연속체의 전환에 관한 결정을 필요로 하기 때문에, 어려운 문제이다.

Addressing the logistical hurdles in transitioning from time-based to competency-based education programmes presents significant challenges to implementation.18 

• Educational activities that focus more on knowledge acquisition and are linked to assessment using traditional multiple-choice question (MCQ) testing formats, particularly if delivered via computer-based formats, are amenable to flexible administration based on individual learner needs and achievement rates. 

• Models for flexible programming in clinical training present challenges, particularly as they require dependence on trustworthy assessments to support learner development and decisions regarding transition across the education continuum.

교육 프로그램 리더가 전체적으로 학습자의 역량을 평가해야 할 필요성은 [유연하고 독립적인 학습 계획]을 시행함에 있어 [속도-제한 단계]여서, 행정 및 규제 시스템에 미치는 영향을 완화하고 있다. 비용 효율적인 관리와 신뢰할 수 있는 심리 측정 결과의 달성을 보장하기 위해, 주어진 시간에 학습자에게 [최소 숫자 이상의 역량 평가]를 제공해야 하는 필요성이 있기 때문에, 이는 1년 이내에 가능한 로테이션 횟수를 제한할 것이다. 모델은 임상 환경에서 학습자 성취도의 변화를 수용할 수 있도록 개발되어야 한다.

The need for education programme leaders to assess the competence of learners in aggregate is rate-limiting in implementing flexible, independent learning plans, moderating the impact on administrative and regulatory systems. The need to deliver competence assessments to a minimum number of learners at a given time to ensure both cost-effective administration and the attainment of trustworthy psychometric outcomes will limit the number of potential transitions to no more than a few per year. Models will need to be developed to accommodate variation in learner achievement in the clinical setting.

CBME 프로그램에 대한 관리 요구사항 증가 및 교수진 개발 필요성 증가

Increased administrative requirements for CBME programmes and need for increased faculty development

CBME 프레임워크의 채택이 학습자 [성과 평가와 문서화에 대한 기대]가 높아지고, [기록 보관 및 보고에 대한 행정적 요구]에 대한 기대치를 높일 것이라는 데는 의심의 여지가 없다. [직장 내 교육생에 대한 의미 있는 감독 및 직접적인 관찰, 학습자 개발을 알리기 위한 고품질 피드백 제공, 교육자가 교육의 연속성을 따라 다음 단계로 나아갈 준비가 되어 있도록 신뢰할 수 있는 다면적인 평가 도구의 적용]을 위해서 더 많은 노력과 추가 자원의 배치가 필요할 것이다. 마찬가지로, 특히 역사적으로 잘 다루어지지 않았던 영역(예: 품질과 안전, 팀 기반 관리 및 관리)에서 학습자를 가르치고 평가할 수 있도록 교직원들의 노력이 필요하다.42

There is little doubt that the adoption of CBME frameworks will result in increased expectations for the assessment and documentation of learner achievement and administrative requirements for record keeping and reporting. Meaningful supervision and direct observation of trainees in the workplace, the provision of high-quality feedback to inform learner development, and the application of trustworthy, multifaceted assessment tools to ensure that trainees are ready to move to the next step along the continuum of education will require increased effort and deployment of additional resources.18,19,26,27,41,42 Similarly, increased efforts are necessary to prepare faculty staff to teach and assess learners, particularly in domains that historically have not been well addressed (e.g. quality and safety, team-based care and stewardship).42

의료 교육에 대한 전통적인 접근 방식이 사회적 요구를 충족하지 못하며, [역량 기반 모델이 해결책을 제공할 수 있음]을 입증하기 위해서는, 증가하는 관리 업무, 학습자 성과를 직접 관찰해야 한다는 요구 및 강력한 교수진 개발에 대한 요구 사항을 해결할 수 있는 방법을 고려해야 한다.18 CBME를 구현하는 담당자의 수락과 인수는 이러한 과제를 극복하기 위한 효율적인 방법의 개발에 달려있다. 43 교육자와 연구자들은 이러한 요구를 해결하기 위한 모범 사례와 모델을 식별하기 위해 계속 노력해야 한다. 일부 발표된 연구는 EPA 프레임워크 내에서 역량 기반 모델 구현에 대한 실현 가능한 접근법을 포함하여, 역량 기반 프레임워크의 구현을 가이드 하는 데 도움이 된다.

Having demonstrated that traditional approaches to medical education have not met societal needs, and that a competency-based model may provide a solution, we need to consider ways to address the increased administrative workload, demands for increased direct observation of learner performance, and requirements for robust faculty development.18Acceptance and buy-in from those responsible for implementing CBME will depend on the development of efficient methods to overcome these challenges.43 Educators and researchers should continue work to identify best practices and models for addressing these needs. Some published work exists to help guide the implementation of competency-based frameworks, including feasible approaches to implementing competency-based models within an EPA framework.44–47

직접 관찰을 임상 워크플로우에 효율적으로 도입하기 위한 많은 조직적 전략과 창조적 기법이 있다.49 로테이션 기반 커리큘럼에서 종방향 통합 경험으로 이동하는 것과 같은 [구조적 혁신]은 학습자-환자 및 학습자-교사 관계의 향상된 연속성으로 이어지며, 감독, 멘토링 및 평가의 질과 양을 개선하여 효율성을 높입니다.36–38

there are a number of organisational strategies and creative techniques for efficiently introducing direct observation into clinical workflow.49 Structural innovations, such as moving from a rotation-based curriculum to a longitudinal integrated experience, lead to enhanced continuity of the learner–patient and learner–teacher relationships and may increase efficiency by improving the quality and quantity of supervision, mentoring and assessment.36–38

테크놀로지가 어느 정도 가능성을 보여주고 있다. [전자 포트폴리오 및 학습 플랫폼 배치 및 웹 기반 평가 시스템]은 교육 및 평가 프로세스와 규제 당국에 보고할 수 있는 문서 간의 효율적인 연결의 예이다. [디지털화된 플랫폼]을 사용한 지시와 평가의 시작과 '플립된' 교실 사용과 같은 혁신은 프로그램과 기관 간의 자원 공유를 허용함으로써 규모의 경제를 창출하고 교수진 자원의 효율적인 재분배를 지원할 수 있다. 만약 법적으로 GME 자금조달과 거버넌스에 관한 의학연구소 보고서의 권고를 따를 경우, GME를 스폰서하는 교육기관에 대한 직접 지급 및 혁신에 대한 자금후원은 이러한 활동을 지원하기 위한 추가 자원을 제공할 수 있다.52

Technology holds some promise. Deployments of electronic portfolios and learning platforms, and web-based assessment systems are examples of efficient linkages between the education and assessment processes and documentation that enables reporting to regulatory authorities.50 Innovations, such as the initiation of instruction and assessment using digitalised platforms and the use of ‘flipped’ classrooms, may create economies of scale by allowing resource sharing across programmes and institutions, and support the efficient reallocation of faculty resources.51 Should legislation follow the recommendations of the Institute of Medicine report on GME financing and governance, direct payment to education institutions sponsoring GME and funding of innovations may provide additional resources to support these activities.52

교수개발 활동을 임상 학습 요구 사항 또는 행정 및 규제 요구 사항과 연결하는 것은 교수진 참여에 대한 인센티브를 제공하는 동시에 효율성을 높이는 방법입니다. 교육 활동의 혁신과 교육학술화동을 인정하는 학술 시상 프로그램을 통해 교수개발 기회에 대한 접근을 보장하고, 참여에 대한 인센티브를 제공하는 것은 참여 촉진에 도움이 될 수 있다.27

Linking faculty development activities to clinical learning needs or administrative and regulatory requirements is a way both to provide incentives for faculty participation and to enhance efficiency. Ensuring access to faculty development opportunities and providing incentives for participation through academic award programmes that recognise innovation and scholarship in educational activities may help promote engagement.27

역량 정의, 개발, 구현 및 평가 방법의 불일치

Inconsistencies in how competencies are defined, developed, implemented and assessed

[어떻게 역량을 개발하고 정의내리는지]의 차이는 교육의 연속성을 따라 다른 공동체, 상황 및 전문 분야에서 성공적인 실시에 대한 기대의 차이를 적절하게 반영할 수 있다. 그러나 (커리큘럼 구성요소를 정의하고, 학습 목표를 구성하며, 조직 평가 접근법 및 교수개발에 활용하는) [역량 프레임워크의 불필요한 변화]는 학습자가 교육의 연속성을 통과할 때 학습자를 혼란스럽게 하고 성취도를 떨어뜨릴 수 있다. 그들은 또한 그들의 책임이 여러 연속체에 걸쳐 있고, 전공을 넘나들 수 있는 교육자들의 일을 복잡하게 만든다.

Differences in how competencies are developed and defined may appropriately reflect differences in expectations for successful practice within different communities, contexts and specialties along the continuum of education.22 However, unnecessary variation in competency frameworks that define curriculum components, comprise learning objectives, organise assessment approaches and inform faculty development may confuse learners and compromise their achievement as they traverse the continuum of education. They also complicate the work of educators, whose responsibilities may span the continuum and cross specialties.

언어 및 역량 프레임워크의 불일치는 연구 의제를 개발하고 CBME의 맥락에서 교수 및 평가에서 모범 사례를 공유하는 데 중요한 장애물이 된다.19,26 또한 마일스톤 기반 접근법 또는 EPA 기반 접근법 측면에서 다른 모델의 채택, 또는 다양한 교육 또는 규제 기관의 접근 방식 간의 질적 또는 정량적 특성 등은 학습자를 혼란시키거나 좌절시키고 대중에게 관심의 결과에 영향을 미칠 수 있는 잠재성을 가질 수 있습니다. 현재 CBME 모델 간의 의견 일치 개발에 대한 국제적인 관심이 존재한다. 교육 및 평가에 대한 보다 일관된 정의와 모델을 개발하기 위해 다양한 이해관계자가 노력하는 것이 확실히 유익할 것이다.

Inconsistency in language and competency frameworks presents a significant obstacle to developing a research agenda and sharing best practices in teaching and assessment in the context of CBME.19,26 Furthermore, the adoption of models that differ in terms of being either milestone-based or EPA-based approaches, or in qualitative or quantitative characteristics within either approach by various education or regulatory organisations will confuse and frustrate learners and have the potential to impact on outcomes of interest to the public.56,57 There currently exists international interest in developing consensus among CBME models; it would certainly be beneficial for various stakeholders to work towards developing more consistent definitions and models for education and assessment.22,43

이론적 및 개념적 과제

THEORETICAL AND CONCEPTUAL CHALLENGES

임상적 역량은 그 하위 역량의 합으로 표현되지 않는다.

Clinical competence is not represented by the sum of its subcompetencies

여러 전문가는 CBME가 임상 역량만큼 복잡하고 어려운 것을 학습 또는 평가 목적으로 포착할 수 있는지에 대한 우려를 제기해 왔다. 그들은 역량이 부분의 합보다 많고 환원주의, 행동주의 접근방식을 사용한 [개별 역량의 증명]은 의사가 [다양한 수준의 복잡성과 다른 맥락에서 다양한 환자를 돌볼 수 있는 임상적 능력이 있다는 것]을 의미하지 않는다고 주장한다.

Several experts have raised concerns about whether CBME can capture, for learning or assessment purposes, something as complex and challenging to measure as clinical competence. They assert that competence is more than the sum of its parts and that demonstration of individual competencies using a reductionist, behaviourist approach does not mean that a physician is clinically competent to care for a variety of patients of varying degrees of complexity and in different contexts.3,4,19,58,59

이러한 우려와 함께 진전된 주장은 수동 거래를 위해 처음 개발된 역량 기반 커리큘럼의 기원과 관련이 있다. [CBME 모델]은 고차원의 기술과 복잡한 판단이 요구되는 상황이 아니라 더 일상적인 작업과 덜 복잡한 기술과 능력을 포함하는 ['저수준' 기술 및 직업 직업에 더 잘 적용된다는 우려]가 제기되었다.

An argument advanced along with these concerns relates to the origins of competency-based curricula, which were first developed for manual trades.21 Concerns have been expressed that CBME models are better applied to ‘lower-level’ technical and vocational occupations that involve more routine tasks and less complex skills and abilities, not to situations in which higher-order skills and complex judgements are required.3,4,60,61

의학교육에서 역량은 (의사소통, 전문성, 시스템 기반 관행 등) [총체적global, 복잡한 구조]이며, 초기에는 특정한 '객관적' 평가를 배제하는 일반성generality의 수준에서 기술되었다. 일반적인 역량을 평가하고 측정 가능한 학습 결과를 정의하려는 노력은 역량을 이론적으로 더 '객관적' 및 표준화된 평가에 적합하도록 관찰 가능한 행동의 [더 단순하고 지정된 단위로 분할하도록] 이끌었다. 평가 접근 방식에는 종종 체크리스트 기반의 성과 채점이 포함된다.

Competencies, as characterised in medical education, are global, complex constructs (communication skills, professionalism, systems-based practice) that were initially delineated at a level of generality that precluded specific, ‘objective’ assessment.62 Efforts to assess the general competencies and define measurable learning outcomes led to the division of the competencies into simpler, specified units of observable behaviours that were theoretically amenable to more ‘objective’ and standardised assessment.4,6,19 Assessment approaches often involved checklist-based scoring of performance

이 환원주의적 접근방식은 [개별 직무를 수행할 수 있는 학습자의 능력]에 대한 평가를 지원했지만, [환자 치료 상황에서 그러한 과제를 통합하는 능력]에 대한 판단에는 도움이 덜 되었다. 임상적 역량의 일부 측면은 측정하기가 어렵고 정량화할 수 있는 ['객관적' 평가 데이터에 대한 욕구]와 [유능한 의사의 진정한 표현]을 포착해야 하는 가장 중요한 필요성 사이에 긴장감이 존재한다.

This reductionist approach supported assessments about learners’ ability to perform discrete tasks, but was less helpful in informing judgements about the integration of those tasks in patient care situations.6 Some aspects of clinical competence are difficult to measure, and a tension existed between the desire for quantifiable, ‘objective’ assessment data and the overarching need to capture authentic representation of the competent physician.63

또한 이 접근방식에 대한 비판자들은 모의 환자와의 관찰된 만남과 같은 통제된 세션은 실제 임상 작업의 맥락을 정확하게 재현하지 못하며, 학습자 행동의 채점에 대한 체크리스트 기반 접근법은 thoroughness를 얻는 대신, 전문성을 희생시킨다고 주장한다.

Critics of this approach have also posited that controlled sessions, such as an observed encounter with a simulated patient, do not accurately recreate the context of real clinical work, and checklist-based approaches to scoring learner behaviours favours thoroughness at the expense of expertise.64,65

예를 들어, 가장 잘 조직된 의료 관행과 가장 복잡한 환자의 혼란을 재현하는 것은 통제된 세션에서 불가능할 수 있으며, 적절한 질문을 하는 것이 가장 짧은 시간 내에 가장 많은 질문을 하는 것보다 더 중요할 수 있다. 그것의 구성 요소를 나타내려는 학습 목표를 평가함으로써 더 높은 수준의 역량을 반드시 확인할 수는 없으며, 개별 과제에서 역량을 보여준 학습자도, 실제 임상적 맥락에서 복잡하고 다면적인 환자 프레젠테이션에 직면할 때에는 어려움을 겪을 수 있다.3, 3,4,66

For example, replicating the chaos of even the most well-organised medical practice and the most complicated patients may not be possible in a controlled session, and asking the right question may be more important than asking the most questions in the least amount of time. Higher-level competence cannot necessarily be ascertained by assessing learning objectives that intend to represent its building blocks, and learners who demonstrate competence in the discrete tasks may struggle when confronted with complex, multifaceted patient presentations in real clinical contexts.3,4,66

여기서, 다양한 임상적 맥락과 복잡성은 역량있는 의사에게 이러한 구성 요소를 효과적으로 활용할 수 있는 '창조적이고 유연한 역량'과 경험을 통해 얻은 직관적인 의사 결정 및 상황 이해를 요구한다.20 [업무 역할work roles을 개별 업무로 나누는 행동주의 접근방식]은 [개별 업무]와 [복잡한 실제 상황의 기초가 되는 전체적인 의미] 사이의 연결을 포착하지 못할 수 있다. 9,61,67

Here, varying clinical contexts and complexity require the competent practitioner to have a ‘creative and flexible capacity’ to utilise those building blocks effectively4 and an intuitive decisionmaking and situational understanding that is gained through experience.20 A behaviourist approach that divides work roles into discrete tasks may not capture the connections between the individual tasks and the overall meaning underlying complex, real-world situations.9,61,67

이러한 맥락에서, 그러한 평가 방법에 내재된 '원자화'가 평가 결과의 무의미화trivialization로 이어질 수 있으며, 따라서 그러한 결과의 타당성에 심각한 위협이 될 수 있다는 우려가 표명되었다.64

In this context, concerns that the ‘atomisation’ intrinsic to such assessment methods may lead to the trivialisation of assessment results, and thereby pose serious threats to the validity of those results, have been expressed.64

이러한 이론적 우려는 교수진들이 훈련생의 [임상적 역량에 대한 전체적인 인상]을 형성할 때 [개별 영역을 선형적으로 합산하지 않는다]는 연구 결과에 의해 뒷받침된다. 63 특정 영역의 결여는 탁월하다고 판단되는 전공의의 등급을 떨어뜨리지 않았다. 반대로, 특정 영역의 우수성도 문제 거주자의 등급을 실질적으로 높이지 않는다.

These theoretical concerns are supported by research showing faculty staff do not sum individual domains in a linear manner when formulating overall impressions of a trainee’s clinical competence.63 Deficiencies in specific domains did not detract from the ratings of residents judged to be outstanding; conversely, excellence in selected domains did not materially enhance ratings of problematic residents.

또한, [시험 준비식 행동과 낮은 표준]을 강화하는 측면에서, 체크리스트를 가지고 하는 [환원주의적 접근법과 채점 형식에 대한 우려]가 제기되었으며, 또한 우수성과 전문적 실무에 대한 심층적이고 성찰적 참여를 강조하지 않았습니다.9,20,58,61 그러한 접근방식은 커리큘럼의 내용을 제한할 수 있으며, '시험에 대한 교육'을 초래하여 학생들은 평가해야 할 지정된 역량으로 학습을 제한할 수 있다.

There have also been concerns raised about the reductionist approach and scoring format that deploys checklists to make pass/fail decisions in terms of reinforcing test-taking behaviours and a lower standard, as well as de-emphasising a drive for excellence and deep and reflective engagement in professional practice.9,20,58,61 Such approaches may limit the content of the curriculum and result in ‘teaching to the test’,3,60 whereby students limit learning to the specified competencies that are to be assessed.

역량은 임상 내용 또는 맥락과 분리된 일반 속성으로 존재하지 않는다.

Competencies do not exist as general attributes separate from their clinical content or context

또 다른 질문은 역량이 실제로 행사되는 내용 또는 치료의 맥락 밖에 구별되는 유일한 실체로 존재하는지에 관한 것이다.9 이러한 역량의 초기 표현은 전문가들이 [모든 의사 안에 존재하고, 모든 임상적 맥락에 걸쳐 일반화될 수 있는 실체]로 보는 것을 반대하도록 이끌었다.

Another question concerns whether competencies actually exist as distinct or sole entities outside the content or the context of care in which they are exercised.9 This initial representation of the competencies led experts to object to their characterisation as entities that exist within physicians and are generalisable across all clinical contexts.

[내용 또는 맥락 특이성]의 개념 또는 실제 임상 관행의 [사례 의존적 특성]은 [역량이 환자 치료 컨텍스트 외부에 독립적인 능력으로 존재하지 않음]을 시사한다.62 교육생은 임상 내용(예: 가슴 통증 대 우울증)이나 상황(예: 1차 진료 클리닉 대 중환자실)이 달라졌을 때 균질한 수행능력을 보이지 않을 것이다.

The concept of content or context specificity, or the case-dependent nature of real-world clinical practice, suggests that competencies do not exist as independent abilities outside of the patient care context.62 Trainees will not perform uniformly relative to their medical knowledge or patient care skills on cases reflecting different clinical content (such as chest pain versus depression) or context (such as in the primary care clinic versus the intensive care unit).

현재의 역량 프레임워크에 대한 비판은 그것이 경험적이고 증명된 전문적 실무 특성 모델이 아닌 [합의 기반 프로세스에 의해 도출되었다는 사실]을 언급한다. 결과적으로, 파생된 역량은 특별히 측정할 수 있는 개별 실체로 존재하지 않을 수도 있다.62 모호하거나 예상치 못한 평가 결과는 타당하지 않은 도구의 사용이나 열악한 교수진의 준비를 반영하지 않을 수 있지만, 역량이 실제로 환자진료 시행에서 별개의 실체로 존재하지 않기 때문에 발생할 수 있다.62 실제로, 평가 방법들은 [독립적인 구조로서의 역량]을 확실하게 분리하지 못할 수 있다.62,63

Criticism of the current competency framework refers to the fact that it was derived by a consensusbased process rather than an empiric, evidencedriven model of professional practice characteristics; consequently, the derived competencies may not even exist as discrete entities that are specifically measurable.62 Ambiguous or unexpected assessment results may not reflect the use of invalid tools or poor faculty preparation, but may occur because the competencies may not actually exist as distinct entities in the exercise of patient care.62 In fact, assessment methods may not reliably separate the competencies as independent constructs.62,63

일반적으로 사용되는 평가 방법을 포함하는 연구는 항목이 '전통적인' 의학적 지식과 대인관계 기술 차원으로 묶이는 경향이 있거나 또는 일반 역량 프레임워크와 특별히 관련이 없는 다른 방법으로 모이는 경향이 있다는 것을 보여준다. 68,69 전문가들은 [직업적 역할의 기능적 분석]은 매우 어려울 수 있다고 지적한다. 그리고 직무 활동을 정확하게 설명해주는 역량을 광범위하게 식별하는 것도 문제이다. 이와 같이, 파생된 역량 목록은 불완전하고 논쟁의 여지가 있을 수 있다.

Research involving commonly used assessment methods shows that items tend to cluster into ‘traditional’ medical knowledge and interpersonal skills dimensions or in other ways not specifically related to the general competency framework.68,69 Experts point out that functional analyses of occupational roles can be very difficult, and the identification of a range of competencies that accurately address work activities can be problematic.9 As such, the derived list of competencies may be incomplete and debatable.66

역량 기반 프레임워크가 현대 의사의 필요한 지식, 기술 및 능력을 적절하게 포착하지 못함

Competency-based frameworks do not adequately capture the knowledge, skills and abilities requisite of contemporary physicians

격차Gap는 프레임워크에 중요한 역량이나 하위 역량을 포함시키지 못하거나 교육 프로그램의 역량 또는 하위 역량의 강조가 부족하기 때문에 발생할 수 있다. 우려되는 점은 CBME가 커리큘럼 콘텐츠를 [구체적이고 더 쉽게 정의 및 측정할 수 있는 것]으로 제한한다는 것이다.3 의사의 교육 및 전문적 개발에 중요한 교육적으로 중요한 프로세스, 내용 및 구조적 요소를 제거하는 측정 가능한 결과에 대한 유일한 집중은 학습 기회와 잠재력을 상실할 수 있다.70

Gaps may result from the failure to include an important competency or subcompetency in the framework or the underemphasis of competencies or subcompetencies in education programmes. Concerns are that CBME limits curricular content to that which is concrete and can be more easily defined and measured.3 A singular focus on measurable outcomes that eliminates more educationally salient processes, content and structural elements critical to the education and professional development of physicians may result in the loss of learning opportunities and potential.70

행동 중심의 역량 모델에서 관심을 받지 못하게 되는 영역의 예로는 [태도, 겸손, 개인적 가치, 책임, 성찰, 그리고 사건이 전개될 때 대응하는 능력]이 포함된다.20,66 최근의 연구는 교직원들은, 전공의의 전반적 역량에 대한 인상을 형성할 때, 일반적으로 역량이라고 생각되지 않는 속성(성향, 직원들에게 미치는 영향)을 중요하기 보고 있다는 것을 보여준다. 

Examples of domains that may receive limited attention in competency models that are behaviours-focused include: attitudes; humility; personal values; responsibility; reflection, and the ability to respond to events as they unfold.20,66 Recent research shows that faculty members may weigh attributes (disposition, impact on staff) that are generally not considered competency domains when formulating an impression about a resident’s overall competence.63

연습생들 스스로도 [역량 기반 프로그램의 단축으로 인해 발생할 수 있는 임상적 역량의 잠재적 격차Gap]에 대해 우려하고 있다는 증거가 있다. Kjaer 등은 33% 더 짧은 역량 기반 프로그램의 도입으로 인해 전통적인 모델보다 [의료행위를 할 자격이 덜하다고 느낀 연습생]이 발생했다는 것을 발견했다. 이 연구가 학습자의 관점에서 입증하듯이, [효과적인 연습생, 궁극적으로는 의사]가 되기 위해서는 경험과 같은 다른 요소들이 필요합니다. [일정 기간 동안 교육 환경과 보건 시스템 문화에 우리의 훈련생들을 몰두시키는 것]이 그들이 임상적 판단이나 능력을 더 잘 개발할 수 있도록 하는 데 중요하다면, 핵심 역량의 증명에 기초한 졸업은 궁극적으로 환자와 의사에게 어떤 위험을 초래할 수 있다.

There is evidence that trainees themselves have concerns about potential gaps in clinical competency that may result from shorter competency-based programmes.70 Kjaer et al.70 found that the introduction of a 33% shorter competency-based programme resulted in trainees who felt less qualified to enter practice than did the traditional model. As this study demonstrates from the perspective of the learner, being an effective trainee and ultimately practitioner requires other components, such as experience (i.e. time).20,74 If steeping our trainees in the learning environment and health system culture for some defined period of time is important to enabling them to better develop their clinical judgement or acumen, then graduation based upon demonstration of core competencies may pose some eventual risks to patients and physicians.

일부는, 역량 프레임워크는 중요하다고 인식되는 영역과 관련되거나 포함되지 않을 수 있다. 또한, 일단 (역량 프레임워크가) 채택되면, 프레임워크는 혁신이나 새로운 아이디어의 통합에 적응할 수 없을 것이라는 우려가 있다.현재 프레임워크에서 [표현되거나 적절히 다루어지지 않는 영역]은 다음과 같다. 

• 과학역량,

• 환자 안전 능력,

• 문화적 역량,

• 스튜어드십,

• 직업간의 협동과 팀워크

• 인도주의적 대응

in the opinions of some, this framework may not be relevant to or inclusive of domains that are perceived to be important. In addition, there are concerns that, once adopted, current frameworks are not amenable to innovation or the incorporation of new ideas.75 Among those domains that are not felt to be represented or adequately covered in the current framework are those of science competency,76 patient safety competencies,77 cultural competency,78 stewardship,79 interprofessional collaboration and teamwork80,81 and humanitarian response.82

현재 평가 접근법이 모든 역량을 적절히 다루지 않는다.

Current assessment approaches do not adequately address all competencies

마지막으로, 역량에 대한 현재의 평가 접근방식은 [개별 역량에 대한 타당한 평가 방법의 가용성이 다르다는 이유로] 역량에 중요한 영역을 강조하거나 축소한다. 평가에 사용된 방법과 도구의 신뢰성과 타당성은 고품질 형태 평가의 필요성을 충족시키지 못하거나 역량 기반 환경에서 필요한 방어가능한 총괄적(통과/실패) 판단을 허용하지 않는다. [신뢰할 수 있는 평가 툴과 중요한 평가 전략의 부족]은 역량 기반 모델의 채택이 늦춰지는 데 기여하는 주요 요인 중 하나이며, 여전히 구현에 가장 중요한 과제 중 하나이다.

Lastly, the current assessment approach to competencies emphasises or de-emphasises domains important to competence in relation to the differential availability of valid assessment methods for the individual competencies. The reliability and validity of methods and tools used in assessment do not meet the need for high-quality formative assessment or allow for the defensible summative (pass/fail) judgements necessary in a competency-based environment. The perceived lack of trustworthy assessment tools and an overarching assessment strategy is one of the primary factors contributing to the slow adoption of competency-based models and remains one of the most significant challenges to implementation.1,6,20

[평가의 가용성]은 역량 프레임워크가 수용 또는 구현되는 방법에 있어 중요한 원동력이 될 수 있다. 평가 도구가 존재하거나 품질이 높은 영역은 좋은 평가 방법이 존재하지 않는 영역보다 더 많은 관심을 받게 될 것이다.86 다시, 관심의 이슈는 인간주의, 전문성, 이타주의, 학식과 같은 역량 프레임워크의 영역이 측정하기가 어렵고, 결과적으로 평가와 교육 활동에서 강조되지 않을 수 있다는 사실을 의미한다.17 어떤 속성은 더 암묵적이고 특별히 특징적이거나 측정 가능하지 않을 수 있다. 이는 명확하게 명시되어 평가된 역량만 가르치기 때문에 교수진의 '시험용 교육teaching to the test'에 대한 우려를 악화시킬 수 있다.3,60

The availability of assessments may be an important driving factor in how competency frameworks are accepted or implemented; domains for which assessment tools exist or are of high quality will receive more attention than those in which good assessment methods do not exist.86 Again, issues of concern refer to the fact that domains in competency frameworks such as humanism, professionalism, altruism and scholarship are difficult to measure, and consequently may be underemphasised in assessment and then in educational activities.17 Some attributes may be more tacit and not specifically characterised or measurable.20,87 This may aggravate concerns about faculty staff ‘teaching to the test’ because only competencies that are clearly specified, and thus assessed, will be taught.3,60

이론적 및 개념적 과제에 대한 논의

Discussion of the theoretical and conceptual challenges

임상적 역량은 그 하위 역량의 합으로 표현되지 않는다.

Clinical competence is not represented by the sum of its subcompetencies

CBME와 평가에 대한 많은 비판은 처음에는 특정 교수 또는 평가 접근법에 쉽게 부합되지 않는 [일반적인 자질로서의 역량 표현]에 초점을 맞춘 다음 [그 역량을 별개의 측정 가능한 행동]으로 나누는 후속 작업에 집중했다. 그런 다음, 평가 방법으로 체크리스트 및 통제된 설정에서의 관찰을 하게 되는데, 이는 학습 및 평가 목적으로 [일반 역량을 관찰 가능한 요소로 세분화하는 데 필요한 것]으로 인식되었다. 초기 초점은 환자 치료 상황에서 이러한 과제의 통합보다는 보다 기본적인 과제의 학습자 성과에 초점을 맞추었다.

Much of the criticism of CBME and assessment focused initially on the representation of the competencies as general qualities that were not easily amenable to specific teaching or assessment approaches and then on subsequent work to divide the competencies into discrete, measurable behaviours.19 Assessment methods then included, to a large extent, the use of checklists and observation in controlled settings.4,20,48 This was perceived as necessary to disaggregate the general competencies into observable elements for the purposes of learning and assessment. The initial focus was on learner performance of more basic tasks, rather than on the integration of those tasks in patient care situations.6,88

비록 이러한 방식이 [복잡한 환자 프레젠테이션에 응답하는 노련한 의사의 성과]를 포착하는 데에는 이상적이지 않을 수 있지만, 상대적으로 초보적인 학습자를 대상으로 하는 개발적 관점에서 합리적일 수 있다. 왜냐하면 논리적으로 보면, 초보에게 [개별 기술의 숙달]은 진정한 임상적 맥락에서 [그 기술들의 통합]에 선행할 수 있다.

Although not the ideal way to capture the performance of seasoned practitioners in responding to complex patient presentations, such an approach may be reasonable from a developmental perspective in targeting more novice learners, for whom the mastery of individual skills may logically precede the integration of those skills in more authentic clinical contexts.4

사실, 복잡한 기술을 마스터하는 '구성 요소적 접근법'의 가치는 이론과 학습 과학의 증거에 의해 잘 뒷받침된다.89 복잡한 인지-인지 또는 인지-운동 기술은 많은 복잡한 고차적 기술처럼 더 단순한 요소들의 시퀀스에서 형성된다. [단순한 구성 요소나 기술]은 [안정적인 순서로 반복된 연습]을 통해 [통일된 고차원의 기술]로 형성될 수 있으며, 개별 구성 요소 간의 결합을 강화합니다. 역량에 대한 관점이 더 커짐에 따라, 단순하거나 더 복잡한 개별 기술은 다양한 임상적 맥락에서 필요에 따라 선택되거나 통합될 수 있다.90

In fact, the value of ‘componential approaches’ to mastering complex skills is well supported by theory and evidence from the learning sciences.89 Complex cognitive–perceptual or cognitive–motor skills are formed from a sequence of more simple components, as are many complex, higher-order skills. Simple components or skills can be formed into unitary complex, higherorder skills by repeated exercise in a stable sequence, strengthening bonds between the individual components. Depending on one’s larger view of competence, individual simple or more complex skills may be selected or integrated as needed in a variety of clinical contexts.90

학습자 개발 요구를 충족하는 것 외에도, 학습 및 평가에 대한 과제 기반 또는 '환원주의적' 접근방식이 활용될 수 있는 다른 상황이 있다. [성과가 나쁘거나 임상 결과가 좋지 않은 학습자에 대한 평가]는 근본적인 결손의 교정조치를 진단하고 서포트하기 위하여, [특정 지식, 기술 또는 행동 하위 역량에 초점을 맞춘 통제된 맥락에서 관찰]로부터 이익을 얻을 수도 있다. 하위 역량과 마일스톤 자체가 환자 치료 및 건강 결과와 증거 기반 관계를 가지므로, 개별적으로 숙달되어야 하며, 평가 및 학습의 '환원주의 모델'에 대한 주장이 제기될 수 있다.

In addition to meeting learner development needs, there are other situations in which a task-based or ‘reductionist’ approach to learning and assessment may be utilised. Assessment of learners with poor performance or poor clinical outcomes might also benefit from observation in controlled contexts with a focus on selected knowledge, skills or behavioural subcompetencies in order to diagnose and support the remediation of underlying deficits. An argument can also be made for a ‘reductionist model’ of assessment and learning to the extent that the subcompetencies and milestones themselves have evidence-based relationships to patient care and health outcomes, and thus should be individually mastered.

개별 과제와 하위 역량을 가르치고 평가하는 것은 개발적 및 진단적 관점에서 가치가 있지만, 일반적으로 고급 학습자의 교육 및 평가는 점점 더 실제에 가까운authentic 임상 상황에서 보다 통합적이고 건설적인 접근방식을 필요로 한다. 역량을 구성 요소 지식과 기술로 세분하는 것은 [가변적이고 복잡한 임상 상황의 맥락에서 의미 있는 전체로서 구성 요소를 통합하는 능력]에 대한 [신뢰할 수 있는 평가]로 이어지지 않는다. 실제로 CBME 프레임워크의 중요한 목표와 알려진 장점 중 하나는 [MCQ 검사와 주기적인 글로벌 등급을 사용하여 평가]를 넘어서서, 평가에 [의사가 클리닉에서 수행하는 일을 포착하기 위해 환자 치료와 결과에 중요한 수행능력 영역]을 포함하는 것이다.

Although teaching and assessing individual tasks and subcompetencies have value from a developmental and diagnostic perspective, in general, the teaching and assessment of more advanced learners require a more integrative and constructivist approach in increasingly authentic clinical situations.42,91,92 Breaking down competencies into their component knowledge and skills cannot lead to trustworthy assessment of the ability to integrate such components as a meaningful whole within the context of variable and complex clinical situations.72 Indeed, one of the important goals and purported advantages of CBME frameworks refers to the intent to move beyond assessment using MCQ examinations and periodic global ratings to include performance domains critical to patient care and outcomes in a variety of clinical contexts in order to capture what the physician does in the clinic.41

각 단계를 다른 단계를 기반으로 구축해야 하는 경우 마일스톤은 '발달적progressive'으로 분류되었다. 마일스톤는 여러 행동이 성공적인 데모를 통해 정점에 도달한 경우 '첨가적additive'으로, 사전 결정된 일련의 단계가 필요한 경우 '설명적descriptive'으로 구분되었다.

Milestones were characterised as ‘progressive’ if their execution required that each step be built on another. Milestones were characterised as ‘additive’ if multiple behaviours culminated in successful demonstration, and as ‘descriptive’ if they required a proscribed set of predetermined steps.

이 접근법에는 발달적 연속체에 분포하는 [더 작은 단계나 작업 각각에 대한 전제조건의 입증]이 내포되어 있으며, 그 뒤에 환자 치료 맥락에서의 통합이 뒤따른다. 그런 다음 평가 요구는 통제되고 체크리스트 기반의 도구 사용에 대한 접근 방식에서 탈피하여, 교수들이 직장에서의 일상적인 활동 맥락 안에서 학습자 역량을 개념화하는 방법을 보다 확실하게 포착하고, 전체론적인 접근 방식으로 발전한다.

Implicit in this approach is the prerequisite demonstration of each of the smaller steps or tasks along the developmental continuum, followed by their integration in the patient care context.81 Assessment needs then evolve away from a controlled, checklist-based approach to the use of tools that more authentically capture how faculty staff conceptualise learner competence within the context of their daily activities in the workplace,93 with a more holistic approach that focuses on the whole as greater than the sum of its parts.64

역량은 임상 내용 또는 맥락과 분리된 일반 속성으로 존재하지 않는다.

Competencies do not exist as general attributes separate from their clinical content or context

[임상적 맥락과 무관한 별개의 실체로서의 역량] 문제와 관련하여, ACGME 역량 자체는 (하나의 역량 프레임워크로서) 모든 의사 학습자에게 적용할 수 있는 맥락-독립적인 영역으로 개발되었다. 그러나 EPA와 마일스톤의 도입은 잘 인식되고 중요한 전문 활동과 책임의 맥락에서 역량 기반 성과를 달성하는 데 도움이 되었다.

With regard to the question of competencies as distinct entities independent of clinical context, the ACGME competencies themselves, as one competency framework, were developed as context-independent domains meant to apply to all physician learners.88 However, the introduction of EPAs and milestones has served to place competency-based achievement in the context of well-recognised and important professional activities and responsibilities.19,45,63,84,88,94

EPA와 마일스톤이 공유된 교육 프레임워크와 공통 언어를 제공하지만, 과연 이것이 [개별 영역을 식별하는 평가 프로세스와 결과]를 제공하는지는 확실하지 않다.63 이론적인 전과 일치하는 방식으로 학습자를 차별할 수 있는 역량 기반 평가의 능력을 뒷받침하는 근거에도 불구하고.지식 및 기술 개발에 대한 기대, 98 환자 치료 환경에서 [역량의 상호의존적이고 상호 관련성]은 평가에서 각 역량의 개별적 식별separate identification을 방해할 수 있다.63,68

Although EPAs and milestones provide a shared education framework and a common language, it is not clear that either provides for an assessment process and outcome that identify discrete domains.63 Despite an evidence base supporting the ability of competency-based assessment to discriminate among learners in a manner consistent with theoretical expectations for knowledge and skill development,98 the interdependent and interrelated nature of competencies in the patient care context may preclude their separate identification during assessment.63,68

EPA는 역량 영역 간의 통합과 상호 관계를 볼 수 있는 렌즈를 제공하며, 역량 자체와 관련 마일스톤은 학습, 평가 및 피드백을 지원하기 위한 프레임워크와 공유된 정신 모델 및 공통 언어를 제공한다.6, 13, 63, 94–97.

EPAs then provide a lens through which to view the integration and interrelationships between competency domains, and the competencies themselves and related milestones provide a framework and a shared mental model and common language to support learning, assessment and feedback.6,13,63,94–97

마일스톤은 보다 구체적인 언어와 특정 수준을 제공하여 시간이 지남에 따라 연습생 진행에 대한 기대를 표현하는데 도움이 됩니다.13

The milestones offer more concrete language and a level of specificity that is felt to help represent expectations for trainee progression over time.13

따라서 EPA는 [학습자의 추상적인 역량을 임상 작업 맥락에 조작화하는 역할]을 하는 반면, 역량은 [학습자 자체의 특징]을 나타낸다.47

Thus, EPAs serve to operationalise the more abstract competencies into the context of the learner’s clinical work,84 and are representative of that work, whereas the competencies denote features of the learners themselves.47

마일스톤과 EPA는 학습자 성과 개념화와 역량 개발에 대한 서로 다른 접근방식을 나타내지만(표 1), 이 두 가지를 통합하면 [EPA 프레이밍의 임상 상황에 대한 상황적 현저함salience을 보강]하면서, [마일스톤 구조를 통해 방어 가능한 평가] 결과를 지원할 수 있다.

Although milestones and EPAs represent different approaches to the conceptualising of learner performance and development of competence (Table 1), they can be integrated in a manner that has the potential to support defensible assessment results through the milestones structure while reinforcing the contextual salience of EPA framing to clinical care.45,46 

각각의 EPA는 연속적인 층을 드러내도록 매핑될 수 있다. 

• 역량 영역, 

• 보다 일반적인 영역 내의 역량, 

• 각각의 이정표

Each EPA can be mapped to reveal successive layers of 

• competence domains, 

• competencies within those more general domains, and 

• respective milestones.46,95

요인 분석 등으로 보면, [각 역량의 순위] 사이에 높은 상관 관계를 보인다는 것은 놀랄 일이 아니다.

it should be no surprise that a tool such as factor analysis, shows high intercorrelations between numerical rankings of individual competencies.68,103,104

그러나 '보장되지 않는 확실성을 포기하고, 임상 성과 패턴 평가에 대한 증거 기반 접근법으로 나아가라'는 권고안은 여러 가지 이유로 시기상조이며 과도해 보인다.

• 첫째, 치료 품질과 환자 결과 간의 관계를 뒷받침하는 근거 기반이 자체인 역량들을 대상으로 한 다양한 평가 방법의 결과의 타당성을 보여주는 문헌이 있다.

• 둘째로, 내과와 소아과에서의 역량 프레임워크는 적어도 부분적으로 이미 증거 주도형이며, 기존의 임상 연구는 의사 소통 기술과 같이 선택된 역량에 대해 증거 기반 이정표가 채택될 수 있다고 제안한다.

• 셋째, 다양한 이해관계자들이 역량 프레임워크가 학습 환경에서 역량에 대한 유효한 공유 정신 모델이라고 생각하는 것을 제안하는 연구가 있다.

However, the recommendation to ‘abandon the unwarranted certainty and move toward a more evidence-based approach to assessing patterns of clinical performance’ seems premature and excessive for several reasons.62 

• Firstly, there is literature showing the validity of results from different assessment methods targeting competencies that themselves have an evidence base supporting their relationship between quality of care and patient outcomes.98,105 

• Secondly, competency frameworks in internal medicine and paediatrics, at least in part, are already evidence driven,106,107 and existing clinical research suggests that evidence-based milestones could be adopted for selected competencies, such as communication skills.49 

• Thirdly, there is research suggesting that various stakeholders find the competency framework to be a valid, shared mental model for competence in the learning environment.97

역량 기반 프레임워크가 현대 의사의 필요한 지식, 기술 및 능력을 적절하게 포착하지 못함

Competency-based frameworks do not adequately capture the knowledge, skills and abilities requisite of contemporary physicians

현재 CBME 프레임워크는 의도적으로 팀워크, 인구 관리, 품질 개선 및 책임감과 같은 이전 교육 모델에서 잘 다루어지지 않았다고 많은 사람들이 느끼는 현대 의사에게 중요한 영역을 다루고 있다..28–30

Current CBME frameworks are deliberate in addressing domains that are important for contemporary physicians, which many feel have not been well covered in previous educational models, such as teamwork, population management, quality improvement and stewardship.28–30

[EPA를 통해 다양한 내용과 맥락을 가진 다양한 사례의 샘플을 입수하고 신뢰할 수 있는 판단을 내릴 수 있는 능력]은 [광범위한 환자 프레젠테이션의 넓은 범위 내에서 새로운 임상적 과제에 대응하는데 필요한 역량을 학습자가 수행할 수 있는 능력]에 관한 어느 정도의 확신을 제공한다.63,84

The ability to obtain and make reliable judgements on a diverse sample of cases with varying contents and contexts through EPAs does provide some assurance regarding the abilities of the learner to execute a range of competencies in responding to new clinical challenges within the broad universe of possible patient presentations.63,84

이러한 복잡한 '시스템 관련system-related' 역량을 최적으로 포착하려면 학습과 평가를 환자 문제의 맥락에 의미 있게 포함시키고, 성능 또는 품질 기반 도구의 배열을 배치하여 환자 치료 맥락에 대한 다중 역량의 통합을 평가할 수 있는 접근법이 필요하다. [다양한 역량은 환자 상황과 환경 자원에 기초하여 상호 보상적으로 운영exercised]될 수 있으며, 이는 환자 치료 결과를 결정하는 데 있어 [의사의 행동과 임상적 맥락 사이의 상호작용이 존재함]을 보여준다.95

Optimally capturing these complex ‘system-related’ competencies requires approaches that meaningfully embed learning and assessment into the context of patient problems, deploying an array of performanceor quality-based tools, and thus enabling assessment of the integration of multiple competencies into the patient care context. Various competencies may be exercised in a compensatory manner based on the patient situation and environmental resources, demonstrating the interaction between physician behaviour and clinical context in determining patient care outcomes.95

현재 평가 접근법이 모든 역량을 적절히 다루지 않는다.

Current assessment approaches do not adequately address all competencies

역량에 대한 현재의 평가 접근방식은 개별 역량에 대한 유효한 평가 방법의 차이 가용성과 관련하여 역량에 중요한 영역을 강조하거나 축소할 우려가 있다.

There is concern that the current assessment approach to competencies emphasises or de-emphasises domains important to competence in relation to the differential availability of valid assessment methods for the individual competencies.

평가 결과에 대한 신뢰도는 역량 영역에 따라 다를 수 있습니다. 예를 들어, MCQ 검사를 통한 지식 평가 또는 객관적인 구조 임상 검사(OSCE)를 통한 임상 기술 평가의 결과는 일반적으로 타당도 추론을 뒷받침하기에 적절한 데이터를 제공하는 반면, 팀워크, 전문성 또는 의료 서비스를 평가하는 방법에 대해서 동일한 수준의 지지적 연구supporting research는 존재하지 않을 수 있다. 질 좋은 그러나, 직장에서 학습자를 평가하려는 움직임과 관련하여, [MCQ 시험에 사용된 보다 전통적인 심리 측정 접근법과 잘 맞지 않을 수 있는 역량]에 대한 보다 진실authentic하고, 통합적이며, '질적' 평가에 대한 사고의 진화가 있었다.91,108 일반 역량 강화의 도입작업은 역량을 통합된 현상으로 보는 평가를 이끄는 데 도움을 주고 있으며, 정량적 수치 데이터와 더불어 질적, 서술적 및 서술적 정보의 적용을 요구한다.64

Confidence in assessment results may vary across competency domains. For example, results from assessing knowledge with MCQ examinations or from assessing clinical skills with objective structured clinical examinations (OSCEs) generally provide data adequate to support valid inferences, whereas the same level of supporting research may not exist to support methods to assess teamwork, professionalism or health care quality. However, in relation to the move to assess learners in the workplace, there has been an evolution in thinking about more authentic, integrative, ‘qualitative’ assessments of the competencies that may not fit well with more traditional psychometric approaches that have been used in MCQ examinations.91,108 The introduction of a general competency framework is helping to lead assessment toward viewing competence as integrated phenomena, requiring the application of qualitative, descriptive and narrative information, in addition to quantitative numerical data.64

수치 등급에 수반되는 [서술적 코멘트]는 종종 평가와 피드백 과정을 풍부하게 하며, 평가에 사용된 역량 프레임워크와 반드시 일치하지는 않지만 개선을 위한 영역을 식별하는 데 더 민감할 수 있다. 서술적 설명 자체와 마찬가지로, 서면 또는 구두oral 질적 논평은 고유한 정보를 제공하고, 특히 수치적 데이터로 평가하기 어려운 분야(예: 전문성 및 대인관계 기술)에서 정량적 평가를 보완하고 맥락적으로 제공한다. 일부 코멘트는 학습자를 성과와 성취의 궤적을 따라 위치시키고, 개선의 적절성을 다루며, 추가적인 개선 필요성을 식별하는 전체적인 합성적 인상을 추가할 수 있다.

Narrative comments accompanying numerical ratings often enrich the assessment and feedback process and may be more sensitive in identifying areas for improvement, although they may not necessarily align with the competency framework used in the assessment.109–114 As with narrative descriptions themselves, written or oral qualitative comments contribute unique information and complement and contextualise quantitative ratings, particularly in areas that are difficult to assess with numerical data (such as professionalism and interpersonal skills).111,113,115 Some comments may add a holistic, synthetic impression that locates learners along a trajectory of performance and achievement, addressing the adequacy of improvement, as well as identifying additional improvement needs.114

[글로벌 등급 척도 및 학습자 성과에 대한 서술적 설명이 포함된 접근방식]을 사용하여 [실제 임상 환경에서 학습자 성과를 다루는 평가 도구]는 일반적으로 평가 결과 측면에서 주관적이거나 신뢰성이 낮은 것으로 간주된다. 그러나 작업장 내 평가는 어느 정도의 '주관적' 전문적 판단의 혜택을 받을 수 있으며, 연구자에 따라서는 이를 극복해야 할 문제가 아니라 실제로 평가의 필수 부분으로 본다.

Assessment tools that address learner performance in real clinical settings, often using global rating scales and approaches involving narrative descriptions of learner performance, are generally considered more subjective or less reliable in terms of their assessment results. However, assessment in the workplace may benefit from some degree of ‘subjective’ professional judgement, which some may actually consider as a necessary part of assessment, not as a problem to overcome.42,91,116

[임상 작업의 직접관찰, unannounced SP, 다중 소스 피드백]과 관련된 평가 양식은 복잡하고 통합된 역량에 대한 학습자의 숙달에 대한 보다 확실하고 완전한 평가와 다양한 맥락에서 자신의 역량에 대한 전체적인 인상을 제공할 수 있다.84

Assessment modalities involving direct observation of clinical work, unannounced standardised patients and multi-source feedback may provide more authentic and complete appraisals of the learner’s mastery of complex and integrated competencies and a more holistic impression regarding his or her competence in a range of contexts.84

단, 학습자 평가를 위한 EPA 기반 모델 또는 마일스톤을 채택할 때, 교육자는 더 쉽게 이해되는 평가 '규칙'과 표본 추출 전략에 의존할 수 있다. 예를 들어 [EPA를 수행할 수 있는 훈련생의 능력에 대한 신뢰할 수 있는 추정치]에 대해서, 최소한 이론적으로는, EPA 내에서 중요한 이정표를 달성하려면 해당 임상 영역에서 [X개의 서로 다른 사례의 샘플]이 필요할 수 있다. 밝혀진 바와 같이, 가장 일반적으로 사용되는 평가 방법은 총 시험 시간의 4-8시간이면 충분한 신뢰성을 달성할 수 있다.64

However, in adopting an EPA-based model or milestones for learner assessment, educators can fall back on more easily understood assessment ‘rules’ and sampling strategies to potentially increase reliability.64,117 For example, a reliable estimate of a trainee’s ability to perform an EPA and perhaps, at least theoretically, achieve critical milestones within an EPA may require a sample of X different cases in that clinical area. As it turns out, most commonly used assessment methods can achieve sufficient reliability with 4–8 hours of total testing time.64

일반적으로 평가 도구는 강점과 약점, 그리고 각 평가도구의 사용에 적합한 목적과 맥락을 가지고 있는 것으로 볼 수 있다.33 평가를 커리큘럼 목표와 연계된 전반적인 [평가 프로그램의 일부]로 보는 것은 각 평가가 개별적 자질과 관련하여 기여하는 방법에 대한 광범위한 사고를 가능하게 한다.64,117

In general, assessment instruments may be viewed as having strengths and weaknesses and appropriate purposes and contexts for their use.33 Viewing assessments as part of an overall assessment programme linked to curricular goals allows for broader thinking about how each assessment contributes in relation to its individual qualities and depending on the purpose and context of the assessment.64,117

신뢰성이 낮은 도구는 지속적으로 학습 및 개선을 위한 영역을 알리기 위해 사용할 수 있지만, 다양한 간격으로 결과를 집계(따라서 더 신뢰할 수 있는 결과를 산출)한다면, (비록 형성적 목적과 종합적 목적을 혼합하는 데 어려움이 있을 수 있지만), 학습자 진행에 관한 종합적인 판단을 지원할 수 있다.91

Tools of lower reliability can be used to inform areas for learning and improvement on an ongoing basis, but results can be aggregated (and thus yield more reliable findings) at various intervals to support summative judgements regarding learner progress,118,119 although there may be challenges in mixing formative and summative purposes.91

Schwirth와 Ash는 역량 기반 프레임워크에서 형성 평가와 총괄 평가가 모두 필요하다는 점을 지적합니다. 그렇게 해야, 평가의 형성적 특성과 총괄적 특징을 결합하여 시너지 효과가 발생하기 때문이다. 왜냐하면 순수한 총괄적 평가에 의해서 유도되는 시험 응시 행동test-taking behavior을 억제하게 되며, 또한 학습자들이 형성적 평가를 더 심각하게 받아들이도록 장려하기 때문이다. 

Schuwirth and Ash118 point to the need for both formative and summative assessment in a competency-based framework and the synergistic value of combining the formative and summative features of assessment in inhibiting the test-taking behaviours induced by purely summative assessment, as well as encouraging learners to take formative assessment more seriously. 

이러한 평가 배치의 성공에 있어 중요한 것은, 학습과 개선을 유도하기 위해 제공되는 [형성적 지향에 대한 자신감]을 가질 수 있는 (심리측정적 역치threshold의 달성을 지원하기 위한) 교수진의 적절한 준비이다. 교육 프로그램 리더는 레지던트 평가를 위한 마일스톤을 성공적으로 도입하기 위해 광범위한 교수개발이 필요함을 인정해야 한다. 

Critical to the success of deploying such assessments is the adequate preparation of faculty staff to support the attainment of a psychometric threshold that instils confidence in the formative directions provided to guide learning and improvement.98 Education programme leaders recognise the need for extensive faculty development to successfully introduce milestones for assessing residents.13

결론들

CONCLUSIONS

실습 기반 학습 및 개선, 시스템 기반 실습 및 전문성 등을 다루는 고차원의 역량 포함을 통해, CBME는 졸업생이 진화하는 의료 시스템에서 성공할 수 있도록 충분히 준비하지 못한 의료 교육 시스템의 결함을 시정하기 위해 노력하고 있습니다.

Through the inclusion of higher-order competencies that address practice-based learning and improvement, systems-based practice and professionalism, Competency-based medical education seeks to correct deficiencies in our medical education systems that have failed to sufficiently prepare graduates to succeed – to learn and to practise – in our evolving health care systems.

그러나 [CBME의 실용적 성격에 대한 인식]은 의학교육에 내재된 일부 고등 교육 가치가 위협받고 있으며, 역량의 통합적이고 복잡하며 맥락적 성격을 간과하고 있다. 마찬가지로, 어떤 사람들은 이것이 의학 기술에 내재된 능력의 측면(인본주의, 탁월함에 대한 열망 등)에 대한 관심을 감소시킬 것을 우려한다.

However, perceptions of the utilitarian nature of CBME fuel fears that some higher education values intrinsic to medical education are threatened and the integrated, complex and contextual nature of competence is overlooked.3,4,19,25,58–61 Similarly, some fear this will result in decreased attention to aspects of competence intrinsic to the art of medicine (humanism, aspiration to excellence and so on).

그러나, CBME와 관련된 사고의 진화 및 평가 관행에 대한 검토는 이러한 두려움과 우려를 해결하기 위한 노력이 진행 중임을 시사한다. 평가는, 교육의 동인으로서, 역량이라는 맥락적이고 통합된 특성 및 측정하기가 더 어려운 영역의 우수성을 수용하기 위해 진화하고 있으며 '역량에서 수월성으로의 발전'을 지지한다.43

However, a review of the evolution in thinking and the assessment practices associated with CBME suggests there are efforts underway to address these fears and concerns. Assessments, as drivers of education, are evolving to embrace the contextual, integrated nature of competence and the salience of those domains that are more difficult to measure, and are supportive of the ‘progression from competence to excellence’.43

무엇보다, [역량 기반 결과와 관련되지 않은 모든 콘텐츠와 경험을 교과 과정에서 제거하는 엄격한 실용주의 또는 직업적 접근 방식]은 학습자의 전문적 발전과 성숙을 지원하는 [교육 과정의 풍부함을 떨어뜨릴 것]이다.19

A strictly utilitarian or vocational approach that removes from the curriculum all content and experiences that do not specifically relate to competency-based outcomes will detract from the richness of the education process supporting our learners’ professional development and maturation.19

CBME의 advocate와 implementer에 의한 언어의 광범위한 사용, 그리고 'competence'과 'competency'과 관련된 의미의 뉘앙스와 관련하여 중요한 과제가 남아 있다. 'competence'과 'competency'이라는 용어는 규제자, 교육자 및 의료 교육계의 다른 사람들이 일치하거나 합의된 방식으로 정의되지 않았다. 역량, 지역사회 요구와의 연계, 역량 개발 진보를 중심으로 조직된 정의된 교육 결과의 개념이 대부분의 정의에 스며들기는 하지만, 그 결과 CBME는 다양한 방식으로 정의되고 말았다. 수많은 정의는 역량과 역량에 대한 공유된 이해를 복잡하게 하고 CBME의 구현을 혼동하고 혼란스럽게 한다. 언어와 프레임워크의 일관성을 개발하려는 현재의 노력이 신속하게 진전되고 가능한 한 연구와 증거에 의해 정보를 제공받는 것이 매우 중요하다.

Significant challenges remain in relation to the widely varying use of language by advocates and implementers of CBME, and the nuances of meaning associated with ‘competence’ and ‘competency’.25,90 The terms ‘competence’ and ‘competency’ have not been defined in a way that is consistent or agreed upon by regulators, educators and others in the medical education community. It follows that a wide variety of CBME definitions exist, although the concepts of defined education outcomes organised around competencies, alignment with community needs and developmental progression of competence permeate most definitions.19,120 Numerous definitions complicate a shared understanding of competence and competencies and confound and confuse the implementation of CBME. It is critically important that current efforts to develop consistency in language and frameworks progress expeditiously, and that they are, as far as possible, informed by research and evidence.

© 2015 John Wiley & Sons Ltd.

시험을 위한 블루프린트 제작 가이드(AMEE Guide No. 125) (Med Teach, 2019)

A practical guide to test blueprinting (AMEE Guide No. 125) (Med Teach, 2019)

Mark R. Raymonda and Joseph P. Grandeb

도입 Introduction

과정과 평가가 목표와 일치하도록 하기 위해 진정 중요한 학습 결과를 균형 있게 다루려면 잘 숙고한 계획에 따라 평가를 개발하는 것이 중요하다. 여기에서는 시험의 계획에 대한 체계적인 접근 방식, 즉 학생들이 각 평가에서 무엇을 알고 시연할 수 있는지를 문서화하는 접근 방식을 설명합니다. 이러한 계획 문서는 테스트 계획, 사양 표 및 테스트 사양이라고도 하지만 일반적으로 테스트 Blueprint라고 합니다.

To ensure that course and assessments are consistent with objectives address truly important learning outcomes in a balanced manner, it is important that assessments be developed according to a well thought-out plan. This article describes a systematic approach to planning tests—an approach that documents what students should know and be able to demonstrate on each assessment. These planning documents are typically called test blueprints, although they also are known as test plans, tables of specifications, and test specifications.

테스트 Blueprint는 테스트의 주요 속성을 설명합니다. 시험 청사진은 다룰 내용을 명시해야 하지만, 많은 청사진은 또한 각 내용 영역에 할당된 강조의 양, 평가 작업의 인지적 요구, 평가 형식 및 기타 중요한 특징과 같은 속성을 설명한다(Millman and Greene 1989; Raymond 2016).

A test blueprint describes the key properties of a test. While any test blueprint should specify 

• the content to be covered, many blueprints also describe properties such as 

• the amount of emphasis allocated to each content area, 

• the cognitive demand of the assessment tasks, 

• the assessment format, and 

• other important features (Millman and Greene 1989; Raymond 2016).

테스트 Blueprint의 기반

Foundations of a test blueprint

학습 성과와 학생 역량에 대한 주장

Learning outcomes and claims about student competence

테스트 청사진은 대부분의 강사가 [이미 시행하고 있는 학습 성과와 과정 목표를 자연스럽게 확장한 것]입니다.

A test blueprint is a natural extension of the learning outcomes and course objectives that most instructors already have in place.

우리는 학습 성과를 [학생들이 과정을 이수할 때 갖춰야 하는 지식과 기술을 설명하는 광범위한 서술]로 정의한다(Harden 2002). 행동 목표(또는 교육 목표)는 학생들이 알고 할 수 있는 것을 자세히 설명하는 진술이다.

We define learning outcomes as broad statements that describe the knowledge and skills that students should possess upon completing a course (Harden 2002). Behavioral objectives (or instructional objectives) are statements that describe in detail what students are expected to know and be able to do.

• 학습 성과는 학생들이 기대하는 지식과 기술을 나타내며, 

• 행동 목표는 그 목표를 달성하기 위한 로드맵 역할을 한다. 

• 평가 목표라는 용어를 사용하여 특별히 평가를 목표로 하는 학습 결과 또는 행동 목표를 설명합니다.

• Learning outcomes indicate the knowledge and skills that are expected of students, while 

• behavioral objectives serve as a road map for getting there. 

• We use the term assessment objectives to describe those learning outcomes or behavioral objectives that are specifically targeted for assessment.

평가의 일차적인 목표는 강사가 학생들이 알고 할 수 있는 것에 대해 주장이나 추론을 할 수 있도록 하는 것이다. 테스트는 그러한 주장을 뒷받침할 증거를 얻을 수 있는 기회를 창출한다(Mislevy and Riconscente 2006). 학생이 "심혈관 시스템의 주요 상태를 진단하기 위한 지식과 기술을 마스터했다"는 주장을 뒷받침하기 위해, 강사는 관심 있는 행동을 유도하기 위한 평가 과제를 식별하고, 학생들이 그러한 행동을 증명할 기회를 제공해야 한다. 증거 중심 설계는 교수들이 학생 능력에 대한 주장을 뒷받침할 증거를 제공하는 평가 과제를 선택하도록 요구한다.

A primary goal of assessment is to allow an instructor to make a claim or inference about what students know and are able to do. A test creates the opportunity to obtain evidence to support such claims (Mislevy and Riconscente 2006). To back up the claim that a student has “mastered the knowledge and skills to diagnose major conditions of the cardiovascular system”, an instructor needs to identify assessment tasks to elicit the behaviors of interest, and then provide the opportunity for the student to demonstrate those behaviors. Evidence-centered design requires that faculty choose assessment tasks that provide the evidence to support the claims to be made about student competence.

학생들이 [각 장기 시스템에 영향을 미치는 가장 일반적인 질병을 진단할 수 있도록 보장한다]라는 전체적인 목표가 있는 과정을 고려해보자. 그림 1은 학습 결과와 심혈관 시스템에 특정한 몇 가지 목표를 나타냅니다. 학습 결과, "심혈관 질환에 대한 진단 테스트 결과에 대한 적응증 인식 및 해석"은 상당히 광범위하다. 결과를 성공적으로 입증할 수 있는 것은 지식과 기술의 상당한 네트워크를 필요로 한다. 그림 1의 8가지 행동 목표는 학습 결과에 대한 숙달성을 입증하는 데 필요한 행동의 표본일 뿐입니다. 이러한 행동 목표는 수업을 guide하기 위한 것이지만, 평가에 정보를 제공하는 방법도 쉽게 알 수 있습니다. 각 목표를 "학생이 할 수 있을 것"과 같은 조항과 함께 선행함으로써 이러한 진술은 학생에 대한 주장을 뒷받침하는 평가 목표로 바뀔 수 있습니다. 행동 목표는 개발하기가 지루하지만, 그 특수성specificity은 평가 과제의 개발을 단순화할 수 있다.

Consider a course that has an overall goal of ensuring that students can diagnose the most common diseases affecting each organ system. Figure 1 identifies a learning outcome and several objectives specific to the cardiovascular system. The learning outcome, “Recognize indications for and interpret results of diagnostic tests for cardiovascular disease” is fairly broad; being able to successfully demonstrate that outcome requires a substantial network of knowledge and skills. The eight behavioral objectives in Figure 1 are just a sample of the behaviors required to demonstrate mastery of that learning outcome. Although these behavioral objectives are intended to guide instruction, it is easy to see how they also can inform assessment. By preceding each objective with a clause like “The student will be able to…” these statements can be transformed into assessment objectives that support claims to be made about students. Although behavioral objectives are tedious to develop, their specificity can simplify the development of assessment tasks.

지식의 종류와 수준

Types and levels of knowledge

이러한 서로 다른 유형의 학습은 다른 교육 및 평가 방법을 필요로 한다는 것은 오래 전부터 인식되어 왔다. 밀러의 피라미드는 학습의 유형을 조직하는 데 인기 있는 틀 중 하나이다. 그림 2에 표시된 바와 같이,

It has long been recognized that these different types of learning require different methods of instruction and assessment. Miller’s(1990) pyramid is one popular framework for organizing types of learning. As depicted in Figure 2,

그림 2의 중심 부분은 원래의 피라미드를 묘사하는 반면, 왼쪽의 텍스트는 두 가지 샘플 행동 목표와 그것들이 계층에서 어디에 속하는지 나열한다.

The central portion of Figure 2 depicts the original pyramid, while the text on the left lists two sample behavioral objectives and where they fall in the hierarchy.

Bloom's (1956) 분류법은 평가에 유용한 또 다른 모형입니다. 그것은 행동을 인지, 정서, 그리고 정신 운동 영역이라고 불리는 세 가지 범주로 분류한다. 그림 1의 지시 목표를 이 세 가지 도메인 중 하나 이상으로 분류할 수 있는 방법을 알 수 있다. 예를 들어, 목표 7 "대동맥 협착을 청취하기 위해 청진기를 최적의 위치에 배치"를 하려면 청진기를 배치할 위치(인지적)를 결정하고 환자에게 배치 및 권한(정서적)을 요청한 다음 청진기를 배치해야 합니다(정신운동적).

Bloom’s(1956) taxonomy is another model that is useful for assessment. It classifies behaviors into three categories referred to as the cognitive, affective, and psychomotor domains (Anderson and Krathwohl 2001). One can see how the instructional objectives in Figure 1 can be classified into one or more of these three domains. For example, objective 7, “Place stethoscope in optimal location to listen for aortic stenosis”, requires deciding where to place the stethoscope (cognitive), explaining its placement to the patient and asking permission (affective), and then positioning the stethoscope (psychomotor).

인지 영역은 교수와 평가에서 가장 많은 관심을 받았다. 그것은 지식, 이해, 응용, 분석, 합성, 평가의 여섯 단계로 구성되며, 각각의 수준은 앞의 것보다 더 많은 인지적 투자를 필요로 한다. 행동 목적의 수준은 평가에 영향을 미친다. 

The cognitive domain has received the most attention in teaching and assessment. It consists of six levels: knowledge, comprehension, application, analysis, synthesis, and evaluation, with each level requiring a greater cognitive investment than the one preceding it. The level of a behavioral objective has implications for assessment.

예를 들어, 객관식 질문(MCQ)은 지식과 이해를 평가하는 데 효과적이지만, 종합 및 평가에는 효용이 제한적이고, 정신 운동 및 정서 영역의 많은 기술을 평가하는 데는 효과적이지 않다.

For example, while multiple-choice questions (MCQs) are effective for assessing knowledge and comprehension, they have limited utility for assessing synthesis and evaluation, and are ineffective for assessing many skills in the psychomotor and affective domains.

효과적인 테스트 청사진에 대한 4단계

Four stages to an effective test blueprint

그림 3과 아래 텍스트는 테스트 청사진을 개발하기 위한 네 가지 단계를 설명합니다.

Figure 3 and the text below describe four stages for developing a test blueprint.

주요 지식 및 기술 영역 식별

Identify the major knowledge and skill domains

이 첫 번째 단계는 [평가할 광범위한 역량 영역]을 식별하는 것을 포함한다. 그들은 학생들의 행동에 대해 제기되는 높은 수준의 주장에 대응해야 한다. 이 과제에 접근하는 한 가지 방법은 "만약 내가 내 과정을 몇 개 내지 몇 개 단위로 분할한다면, 라벨은 무엇이 될 것인가?"라고 묻는 것이다. 만약 그 의도가 학생들의 면역학 지식에 대한 주장을 하는 것이라면, 프레임워크는 면역학의 영역을 정의하는 주요 내용 범주를 포함해야 한다. 만약 그 의도가 학생의 환자와 상호작용하는 능력에 대한 주장을 하는 것이라면, 그 프레임워크는 주요한 유형의 의사소통 기술을 포함할 것이다. 이러한 문서는 과정 개요, 학습 결과, 강의 노트, 교과서 및 기타 교육 자료에서 찾을 수 있습니다. 또한, 커리큘럼 조사와 직무 분석 보고서는 의료 교육에서 커리큘럼 설계와 평가에 중요한 기술을 식별했다.

This first stage involves identifying the broad competency domains to be assessed. They should correspond to the high-level claims to be made about student behaviors. One way to approach this task is to ask, “If I were to partition my course into a few to several units, what would the labels be?” If the intent is to make claims about students’ knowledge of immunology, then the framework should include major content categories that define the domain of immunology. If the intent is to make claims about a student’s ability to interact with patients, then the framework will include major types of communication skills. Such documentation can be found in course outlines, learning outcomes, lecture notes, textbooks, and other instructional materials. In addition, curriculum surveys and job analysis reports have identified the skills that are important for curriculum design and assessment in medical education

테스트 Blueprint는 일반적으로 구성된 목록, 개요 또는 테이블 형식으로 만들어진다. 시험 청사진의 조직 체계는 중요한데, 그 범주는 claim과 종종 학생들에게 제공되는 피드백을 병행하기 때문이다. 다음에 설명된 바와 같이 테스트 청사진은 테스트할 내용 또는 평가 작업에 필요한 행동 프로세스에 따라 구성할 수 있습니다(Millman 및 Greene 1989; Raymond 2016).

Test blueprints typically are cast in the form of an organized list, outline, or table. A test blueprint’s organizational framework is important because the categories often parallel the claims to be made and the feedback provided to students. As described next, test blueprints can be organized according to the content to be tested or around the behavioral processes required of the assessment tasks (Millman and Greene 1989; Raymond 2016).

[내용 지향적인 청사진]은 테스트를 다루는 주제 또는 주제 측면에서 설명합니다. 그들은 보통 전통적인 학문분야에 따라 시험 자료를 구분했다. 예를 들어 의과대학 임상의 학년을 포함하는 종합적인 시험에는 생리학, 약리학, 생물통계학 등과 같은 범주가 포함될 수 있다.

Content-oriented blueprints describe tests in terms of the topics or subject matter covered. They usually slice up the test material according to traditional academic disciplines. For example, a comprehensive test covering a preclinical year of medical school might include categories such as physiology, pharmacology, biostatistics, and so on.

[프로세스 지향 테스트 청사진]은 학생들이 보여줄 수 있는 절차적 기술을 기술하고 있다. 많은 프로세스 지향 테스트 청사진에는 블룸의 분류학 인지 영역의 기술이 포함되어 있습니다. 예를 들어, Miller의 피라미드는 통계 시험의 70%가 알고 있는 수준의 과제를 포함하며, 30%는 학생들이 방법을 보여주도록 요구할 것이라고 결정하는 데 사용될 수 있다. 프로세스 지향 프레임워크는 특히 절차적 기술과 정서적 영역에 중점을 두는 임상 교육에 유용하다.

Process-oriented test blueprints delineate the procedural skills students are expected to demonstrate. Many process-oriented test blueprints include skills from the cognitive domain of Bloom’s taxonomy. Miller’s pyramid can be used to decide, for example, that 70% of a statistics test will include tasks at the knows and knows how levels, while 30% will require students to show how. Process-oriented frameworks are particularly useful for clinical training where the emphasis is on procedural skills and the affective domain.

앞의 텍스트는 테스트 Blueprint가 내용 중심 또는 프로세스 중심 윤곽선임을 나타냅니다. 실제로 많은 Blueprint에서 이 두 차원을 [프로세스-컨텐츠 매트릭스]라는 단일 프레임워크에 통합합니다.

The preceding text suggests that test blueprints are either content-oriented or process-oriented outlines. In fact, many blueprints integrate these two dimensions into a single framework called the content-by-process matrix.

그림 4와 같은 프로세스별 콘텐츠 매트릭스는 테스트 설계를 위한 상당한 유연성을 제공하며 커리큘럼 전반에 걸쳐 사용할 수 있습니다. 이 설계의 일반적인 변화는 행 또는 열을 블룸의 분류법(예: 지식, 응용 프로그램, 분석)의 인지 수준으로 바꾸는 것입니다.

A content-by-process matrix like that in Figure 4 offers considerable flexibility for test design and can be used across the curriculum. A common variation of this design is to replace either the rows or columns with the cognitive levels from Bloom’s taxonomy (e.g. knowledge, application, analysis).

평가 목표 설명

Delineate the assessment objectives

이전 단계의 결과는 주요 내용과 프로세스의 범주 목록입니다. 이 두 번째 단계에서는 자세한 내용을 설명서에 소개합니다. 테스트 청사진은 구체적, 저추론적low-inference 행동을 나열하여 학생들이 기대하는 바를 설명해야 한다(Mookerjee et al. 2013). [저추론 행동]은 학생이 평가가 의도한 행동을 보여주었는지 객관적으로 판단하기에 충분히 관찰가능해야 한다. 경우에 따라 필수 세부 정보가 과정 목표의 일부로 이미 존재합니다. 무커지 외 연구진(2013)이 개발한 임상 기술 평가 청사진은 의대 기존 임상 기술 커리큘럼의 이정표에 의존했다.

The outcome of the previous stage is a list of the major content and/or process categories; this second stage introduces detail to the documentation. Test blueprints should describe what is expected of students by listing specific, low-inference behaviors (Mookherjee et al. 2013). Low-inference behaviors are sufficiently observable to objectively determine whether the student demonstrated the behaviors of interest. Sometimes the required detail will already exist as part of the course objectives. A blueprint for clinical skills assessment developed by Mookherjee et al. (2013) relied on milestones from the medical school’s existing clinical skills curriculum.

이정표와 학습 성과와 같은 상세한 문서를 쉽게 이용할 수 없는 경우, 평가 목표를 작성할 필요가 있을 수 있다. 잘 작성된 평가 목표는 그림 1의 행동 목표와 유사합니다. 그들은 숙달될 내용과 학생이 보여줄 지식이나 기술의 유형을 명시한다. 또 다른 접근 방식은 매트릭스 Blueprint에 의존하여 평가 목표를 지정하는 것입니다. 그림 5는 심혈관 의학에 대한 점원 시험을 위한 프로세스별 내용 청사진의 골격을 보여줍니다.

If detailed documents such as milestones and learning outcomes are not readily available, then it may be necessary to write the assessment objectives. Well-written assessment objectives are similar to the behavioral objectives in Figure 1. They specify the content to be mastered and the type of knowledge or skill that the student is expected to demonstrate. Another approach is to rely on a matrix blueprint to specify the assessment objectives. Figure 5 presents the skeleton of a content-by-process blueprint for a clerkship exam on cardiovascular medicine.

그림 5에는 논평할 가치가 있는 다른 특징들이 포함되어 있다. 

• 첫째, 심근경색증에 따른 세부사항을 수준별로 기록합니다. 이상적으로는 각 등급의 심장 질환이 적절한 특정 조건을 포함하는 것이 좋다. 

• 둘째, 오른쪽 열과 아래쪽 행의 값은 각 범주에 할당된 질문 수를 나타냅니다. 다양한 질문이 있으면 Blueprint를 구현할 때 유연성을 제공합니다. 

• 셋째, 이 예제는 매우 일반적인 행렬의 각 셀에 대한 평가 항목 수를 지정합니다. 그러나 그림에서 알 수 있듯이 셀은 다른 방법으로도 사용될 수 있습니다(예: 과정 목표와 연결됨). 

• 마지막으로, 세분화 수준을 고려하는 것이 중요합니다. 평가 작업을 더 쉽게 만들고 균형 잡힌 테스트를 조립할 수 있다는 이점 때문에 너무 세부적이고 몇 시간을 들여 테스트 청사진을 개발할 수 있습니다. 세부 사항이 너무 적어서 시험에 집중하지 못할 수도 있고, 학생들은 무엇을 예상해야 할지 모를 것이다. 대부분의 저자들은 테스트 청사진(예: Coderre 등)의 특수성을 높이려고 합니다. 2009; Fives and DiDonato-Barnes 2013, Mookherjee et al. 2013)

Figure 5 includes other features worthy of comment. 

• First, note the level of detail under cardiomyopathies. Ideally, each class of cardiac disorders would include specific conditions as appropriate. 

• Second, the values in the right column and the bottom row indicate the number of questions allocated to each category. Having a range of questions provides some flexibility when implementing the blueprint. 

• Third, this particular example specifies the number of test items for each cell of the matrix, which is quite common. However, as the Figure indicates, the cells can be used in other ways as well (e.g. linked to course objectives). 

• Finally, the level of granularity is important to consider. Too much detail and one can spend hours developing the test blueprint, with the benefit that it will be easier to produce assessment tasks and to assemble a balanced test. Too little detail and the test may be unfocused, and students will not know what to expect. Most authors lean toward greater specificity in test blueprints (e.g. Coderre et al. 2009; Fives and DiDonato-Barnes 2013; Mookherjee et al. 2013).

평가 형식 결정

Decide on the assessment format

평가 형식을 선택하는 것은 평가 방법과 학생들이 알고 할 수 있는 것에 대한 주장을 일치시키는 문제이다. 평가 방법은 세 가지 일반적인 등급으로 분류된다: 서면 평가, 시뮬레이션, 작업장 기반 평가.

Choosing an assessment format is a matter of matching the method of assessment with the claims to be made about what students know and can do. Assessment methods fall into three general classes: written assessments, simulations, and workplace-based assessment.

테스트 청사진 개발과 가장 관련이 있는 두 가지 유형의 타당성 증거는 콘텐츠 타당성 및 응답 프로세스입니다(Tavakol 및 Dennick 2017). 테스트 청사진이 컨텐츠 관련 증거의 주요 출처 역할을 한다는 것은 널리 알려져 있습니다(Kane 2016; Raymond 2016). 그 이유는 신중하게 개발된 테스트 청사진을 통해 평가 내용이 지침 중 다루는 내용과 일치하도록 보장할 수 있기 때문입니다(Notar 등). 2004; McLaughlin et al., 2005; Fives and DiDonato Barnes 2013).

The two types of validity evidence most relevant to the development of test blueprints are content validity and response process (Tavakol and Dennick 2017). It is widely recognized that a test blueprint serves as a primary source of content-related evidence (Kane 2016; Raymond 2016). This is because a thoughtfully developed test blueprint can help ensure that the assessment aligns with content covered during instruction (Notar et al. 2004; McLaughlin et al. 2005; Fives and DiDonatoBarnes 2013).

응답 프로세스 타당성은 [평가 과제에 의해 도출된 인지적, 정신 운동적, 그리고 정서적 프로세스가 학생들의 행동에 대해 제기되는 주장에 의해 암시되는 과정과 유사한 정도]를 의미한다. 예를 들어, MCQ는 "학생이 신체 검사와 흉부 X선을 해석하여 흉부 중심화의 필요성을 결정할 수 있다"는 주장을 뒷받침할 수 있다. 그러나 학생이 실제로 흉부 중심화를 수행할 수 있다는 주장을 뒷받침하려면 매우 영리한 MCQ가 필요할 것이다. 이 후자의 목표는 실제 또는 모의 실험 환자와 상호작용하는 학생의 직접 관찰을 포함하는 형식을 필요로 한다.

Response process validity refers to the extent to which the cognitive, psychomotor, and affective processes elicited by the assessment tasks are similar to the processes implied by the claims to be made about student behaviors. For example, an MCQ could support the claim that “the student is able to interpret physical examination and chest X-ray to determine the need for thoracentesis”. However, it would take a very clever MCQ to support the claim that a student can actually perform thoracentesis. This latter objective would require a format involving direct observation of the student interacting with a real or simulated patient.

또한 신뢰도는 평가 형식의 선택에 영향을 미치며, MCQ는 일반적으로 시뮬레이션이나 작업장 기반 평가보다 더 신뢰할 수 있는 점수를 산출한다. 비용, 물류 및 기타 실제적인 제약조건이 평가 형식의 선택에 가장 큰 영향을 미칠 것이다. 멀티 스테이션 시뮬레이션은 타당도를 향상시킬 수 있지만 직원 지원이나 물리적 공간 측면에서 의대 용량을 초과할 수 있다.

Reliability also will influence the choice of an assessment format, with MCQs generally producing more reliable scores than simulations or workplacebased assessments. Cost, logistics, and other practical constraints will most certainly influence the choice of an assessment format. Multi-station simulations may enhance validity but may exceed a medical school’s capacity in terms of staff support or physical space.

의심할 여지 없이, 의학 교육의 평가 환경은 지난 수십 년 동안 진화해 왔다. 임상 시뮬레이션과 작업장 기반 평가가 점점 더 보편화되고 있는 반면, 서면 평가는 그것이 가장 효과적인 영역만으로 제한되고 있다. 테스트 청사진을 필기 테스트와 연결하는 것이 일반적이지만, 시뮬레이션 및 작업 공간 기반 평가에도 역할이 있습니다. 실제로, 시험 청사진은 교육과정이 임상적 환경의 특이점에 의존하는 임상실습과 전공의에게 훨씬 더 중요할 수 있다.

Without question, the assessment landscape in medical education has evolved over the past few decades. Clinical simulations and workplace-based assessments are becoming more common, while written assessments are being limited to those domains for which they are most effective. Although it is common to associate test blueprints with written tests, they also have a role in simulations and workplace-based assessments. Indeed, test blueprints can be even more important for clerkships and residencies where the curriculum is dependent on the idiosyncrasies of the clinical setting.

OSCE와 같은 구조화된 임상 시뮬레이션은 시험 내용을 통제할 수 있는 직장 기반 평가보다 더 큰 기회를 제공한다. OSCE가 관련성이 있고 서로 다른 학생 코호트 간에 균형을 유지할 수 있도록 테스트 청사진은 학생 성과에 가장 영향을 미칠 수 있는 사례 특성을 명시해야 한다. 이론적으로, OSCE 청사진은 환자 나이, 성별, 의료 조건 및 환자 관리 유형과 같은 여러 요소로 구성될 수 있다. 이는 다차원 매트릭스로 수백 개의 셀을 생성한다. 실제로, 간단한 테이블로도 충분할 수 있다. 그림 6은 OSCE의 청사진을 보여줍니다. 이 Blueprint는 단일 테스트 양식에 대한 환자 및 의사 작업을 설명합니다. 추가 테스트 양식으로 일반화하려면 각 열에 대한 추가 내용 제약 조건을 문서화하는 것이 바람직합니다.

Structured clinical simulations, such as OSCEs, afford greater opportunity than workplace-based assessments to control test content. To ensure that OSCEs are relevant and remain balanced across different student cohorts, test blueprints should specify those case characteristics most likely to affect student performance. In theory, an OSCE blueprint could consist of multiple factors, such as patient age, gender, medical condition, and type of patient management; this would produce hundreds of cells in a multidimensional matrix. In practice, a simple table may suffice. Figure 6 illustrates a blueprint for an OSCE. This blueprint describes the cases and physician tasks for a single test form. To generalize to additional test forms, it would be desirable to document additional content constraints for each column.

범주 가중치 지정

Specify the category weights

테스트 시간은 제한되어 있습니다. 실질적인 문제로서, 내용 가중치 또는 범주 가중치를 사용하여 다른 평가 목표에 시간과 공간을 할당할 필요가 있다. 

• 서면 평가의 경우, 가중치는 각 범주의 [시험 항목 수] 또는 백분율에 해당한다. 

• 시뮬레이션과 작업장 평가의 경우 가중치는 [시험 시간]으로 환산할 가능성이 더 높다. 

Testing time is limited. As a practical matter, it is necessary to allocate time and space to the different assessment objectives through the use of content weights or category weights. 

• For written assessments, the weights correspond to the number or percent of test items for each category. 

• For simulations and workplace assessments, the weights more likely translate to the amount of testing time. 

범주 가중치를 할당할 때 한 가지 어려움은 일반적으로 [평가 목표 수가 사용 가능한 시험 시간을 초과한다는 것]이다. 도메인 샘플링 모델은 이 과제를 설명한다. 모든 테스트가 관심 있는 더 큰 지식 및 기술 영역의 행동 샘플을 나타낸다는 원칙에 기초한다(Tavakol 및 Dennick 2017).

One challenge when assigning category weights is that the the number of assessment objectives usually outweighs available testing time. The domain sampling model speaks to this challenge; it is based on the principle that any test represents a sample of behaviors from the larger knowledge and skill domains of interest (Tavakol and Dennick 2017).

범주 가중치는 도메인 내에서 주제의 중요성을 반영한다(Millman과 Greene 1989). 중요성은 주제에 전념하는 교육 시간, 그것이 실제로 얼마나 자주 적용되는지, 또는 후속 학습을 위한 주제의 중요성에 해당될 수 있다. 범주 가중치는 다양한 의료 조건과 절차의 발병률을 보고하는 국가 데이터에서 도출할 수 있다(Boulet et al. 2003, Baker et al. 2017). 또는 교수진, 거주자 또는 학생과 같은 동료들을 조사하여 주제 중요성을 결정할 수 있다.

Category weights reflect the importance of the topics within a domain (Millman and Greene 1989). Importance might correspond to the instructional time devoted to a topic; how often it is applied in practice; or the criticality of a topic for subsequent learning. Category weights can be derived from national data reporting the incidence of various medical conditions and procedures (Boulet et al. 2003; Baker et al. 2017). Alternatively, one can survey colleagues such as faculty, residents, or students to determine topic importance.

가중치 도출에 대한 이러한 엄격한 경험적 접근방식은 훌륭하지만 덜 까다로운 방법은 또한 강의실 시험에 적합하다. 효과적인 두 가지 전략은 하향식 및 상향식 방법(Raymond 2016)이며, 두 가지 방법 모두 단일 강사에 의해 적용되거나 동료 및 상급advanced 의대생을 포함하여 적용할 수 있다. 

• 하향식 방법에는 Blueprint의 각 주요 범주에 백분율을 할당하여 백분율 합계가 100%가 되도록 합니다. 바람직한 경우, 하위 범주에 대해서도 유사한 방식으로 가중치를 얻을 수 있다. 

• 상향식 방법에는 백분율이 아닌 항목 수를 지정해야 하며, 그 수는 먼저 하위 범주 또는 특정 목적의 [낮은 수준(예: 하위 범주)에서 할당]되어야 합니다. 상향식 접근법의 한 가지 과제는 총 항목 수가 실현 가능한 최대 시험 길이를 초과할 수 있다는 것이다. 따라서 초기 가중치에 대한 일부 조정이 종종 필요하다.

Although these rigorous empirical approaches to deriving weights are admirable, less demanding methods also are suitable for classroom tests. Two effective strategies are the top-down and the bottom-up methods (Raymond 2016), both of which can be applied by a single instructor, or by including colleagues and advanced medical students. 

• The top-down method involves the assignment of percentages to each major category in the blueprint such that the percentages sum to 100%. Weights can be obtained in a similar fashion for subcategories, if desirable. 

• The bottom-up method requires specifying numbers of items, rather than percentages; and that numbers first be assigned at a lower level of the test blueprint (e.g. at the subcategory or specific objective). One challenge with the bottom-up approach is that the total number of items may exceed the maximum feasible test length; consequently, some adjustment to the initial weights is often necessary.

요약 및 결론 설명

Summary and concluding comments

테스트 청사진은 테스트 내용이 커리큘럼과 일치하는지 확인합니다(Notar 등). 2004); 이것은 타당도의 중요한 측면이다(Tavakol 및 Dennick 2017). 테스트 청사진은 특정 테스트의 점수가 더 큰 관심 영역(Kane 2016)으로 일반화되도록 지원함으로써 다른 방식으로 내용 타당화를 지원합니다. 또한 테스트 Blueprint는 응답 프로세스의 타당도를 평가하기 위한 프레임워크를 제공합니다.

Test blueprints assure that the content of a test aligns with the curriculum(Notar et al. 2004); this is a critical aspect of validity (Tavakol and Dennick 2017). Test blueprints support content validation in other ways, by helping to ensure that scores on a specific test generalize to the larger domain of interest (Kane 2016). Test blueprints also provide a framework for evaluating the validity of response processes.

이 문서는 강사가 학생들에게 어떤 가치를 부여하고 기대하는지를 나타내며 학습 가이드로 사용할 수 있습니다. 학생들과 청사진을 공유하는 것에는 장단점이 있지만, 연구는 이러한 관행을 뒷받침한다(McLaughlin et al. 2005; Patil et al. 2015).

They indicate what instructors value and expect of their students, and can be used as a study guide. Although there are pros and cons to sharing blueprint with students, studies support this practice (McLaughlin et al. 2005; Patil et al. 2015).

• Blueprint에 포함된 내용 범주와 역량 영역은 학생들에게 피드백의 기초를 제공한다.

The content categories and competency domains included on test blueprints provide the basis for feedback to students.

• Blueprint는 평가 관련 자료의 개발을 촉진한다. 예를 들어, 시험 청사진을 시뮬레이션 및 작업장 기반 평가를 위한 채점 루빅과 피드백 보고서로 변환하는 것이 간단하다(Mookerjee et al. 2013).

They facilitate the development of assessment-related materials. For example, it is straightforward to transform a test blueprint into scoring rubrics and feedback reports for simulations and workplace-based assessments (Mookherjee et al. 2013).

• Blueprint는 부서별 문항작성 작성 및 검토 작업을 구성하는 데 필수적입니다. 문항 쓰기 과제를 간결하게 전달하기 때문이다 

Test blueprints are essential for organizing departmental item-writing and review efforts because they succinctly communicate item-writing assignments.

• Blueprint는 시험 자료를 관리하기 위한 메타데이터를 제공한다. 일단 시험 청사진에 따라 시험 항목이 코드화되면, 더 큰 항목 풀에서 그것들을 회수하고 다른 목적을 위해 시험 형태로 조립하는 것이 간단하다.

They provide metadata for managing test materials. Once test items have been coded according to a test blueprint, it is straightforward to retrieve them from a larger pool of items and to assemble them into test forms for different purposes.

• Blueprint는 교육의 질 향상에 기여한다. 학생 피드백에 사용된 범주는 또한 교수진에게 교육적 효과의 척도를 제공한다. 시험 청사진은 계획, 지침 및 평가 사이의 연관성을 명확히 하며, 이는 교수진의 자기반성을 고무시킬 수 있다(McLaughlin et al. 2005).

Test blueprints contribute to educational quality improvement. The categories used for student feedback also provide faculty with measures of instructional effectiveness. Test blueprints clarify the connections between planning, instruction, and assessment, which can inspire faculty self-reflection (McLaughlin et al. 2005).

문학과 의학: 평가의 문제(Acad Med, 2006)

Literature and Medicine: A Problem of Assessment

Ayelet Kuper

의사들은 문학과 의학 분야에 관한 기사에 꾸준히 노출되고 있다.

Physicians are being exposed to a steady stream of articles about the field of literature and medicine.

사실상 영어권에서는 문학과 의학 강좌가 성행하고 있다. 1994년까지 미국 의과대학의 약 3분의 1이 그들의 의학 커리큘럼 내에서 문학을 가르치고 있는 것으로 알려져 있다.7 1998년, 그들 중 74%가 그것을 선택과목으로 지정했고, 39%는 그것을 적어도 하나의 과정의 일부로 요구했다.33 2003-2004년, 의학 인문학 전체는 125개의 미국 의과대학 중 88개의 필수과목과 55개의 선택과목으로 대표되었다.34 영국의 경우, 일반적으로 인문학의 강좌 수는, 특히 문학 및 의학 강좌, 35–38은 1993년 보고서인 투모로우 닥터스 39에서 인문학 강좌를 의대생을 위한 적절한 선택 과정으로 승인하고 2003년에 이 개념을 반복한 것에 대한 일반의사회의 승인에 따라 성장했다.

Practically speaking, literature and medicine courses have been flourishing across the English-speaking world. By 1994, about a third of American medical schools were known to be teaching literature within their medical curricula.7 In 1998, 74%of themoffered it as an elective, whereas 39%required it as part of at least one course.33 In 2003–2004, the medical humanities as a whole were represented by at least one required course at 88 of 125 American medical schools and in an elective course at 55 schools.34 In the United Kingdom, the number of humanities courses in general, and literature and medicine courses in particular,35–38 grew in response to the General Medical Council’s endorsement of the humanities as appropriate selective courses for medical students in their 1993 report, Tomorrow’s Doctors,39 and their reiteration of this concept in 2003.40

그러나, 이러한 번창해 보이는 분야에도 불구하고, 의학 교육 문헌에서는 그것의 가치와 정당성에 대한 의문이 계속되고 있다.

Yet, despite this seemingly thriving field, questions regarding its value and legitimacy continue in the medical education literature.

의학(그리고 문학에서는 잘 알려진 하위 학문인 50)과 의과대학에서는 문학과 의학이 받아들여지고 있는 것 같지만 의학 교육의 학문 분야에서는 그렇지 않다. 왜 안 되지? 의학 교육 연구 내에서 문학과 의학 분야가 직면하고 있는 투쟁의 한 가지 잠재적인 이유는 [두 학문의 매우 다른 담론]과 관련이 있다.

It seems that literature and medicine is being accepted in medicine (and in literature,50 where it is a well-recognized subdiscipline64), and in medical schools, but not within the academic field of medical education. Why not? One potential reason for the struggle that the field of literature and medicine is facing within medical education research relates to the two disciplines’ very different discourses.

배경 Background

의료 교육 연구가 성과와 평가에 의해 점점 더 추진되고 있는 것은 이제 사실이다.71 

• 미국에서는 ACGME(Accredit Council for Colonge Medical Education)의 결과 프로젝트가 레지던트 연수에서 목표와 평가 사이의 명확한 연계를 통해 교육적 성과를 강하게 강조하고 있으며, 의대 목표 프로젝트(MSOP)는 학부 의료교육에서도 유사한 문제에 초점을 맞추고 있다. 

• 캐나다 왕립 의사 및 외과의사 대학과 영국 일반의사협회와 같은 다른 영향력 있는 기관들도 의료 훈련에 대한 결과 기반 접근법을 채택했다. 측정 가능한 목표와 평가 사이의 이러한 연결고리는 의료 교육생들이 자신이 겪을 평가의 요건을 충족시키기 위해 학습을 지도한다는 사실에 직면하여 대중의 기대, 책임 의제, 실용주의에 의해 추진되었다.  

• 또한 증거 기반 의료 교육 촉진 및 이 과정에 대해 보증된 도구에서 현재의 의료 연구와 실천에 중심이 되는 증거 기반 의료(EBM) 운동으로부터 상당한 spillover가 있었다.81–84

It is by now a truism that medical education research is increasingly driven by outcomes and by evaluation.71 

• In the United States, the Outcome Project of the Accreditation Council for Graduate Medical Education (ACGME) has put a strong emphasis on educational outcomes in residency training, with a clear link between objectives and assessment,72 and the Medical School Objectives Project (MSOP) has focused on similar issues in undergraduate medical education.73 

• Other influential bodies, such as the Royal College of Physicians and Surgeons of Canada74,75 and Britain’s General Medical Council,40 have also adopted an outcomes-based approach to medical training. This link between measurable objectives and assessment has been driven by public expectations,72,73,76 the accountability agenda,77 and pragmatism in face of the fact that medical trainees guide their learning to meet the requirements of the evaluations that they will undergo.78–80 

• There has also been considerable spillover from the evidence-based medicine (EBM) movement, so central to current medical research and practice, in the promotion of evidence-based medical education and in the tools being endorsed for this process.81–84

따라서 전제가 되는 학생 평가와 관련된 이슈들은 [일반적으로 정신분석학의 담론을 이용하여] 의학교육 연구의 맥락에서 다루어져 왔다. 신뢰성 및 타당성과 같은 교육적 시험에 사용되는 통계적 개념은 많은 논의의 틀이 되었다. 타당하고 신뢰할 수 있는 전체론적 등급 척도로 시험을 만들 수 있으며, [복잡한 작업을 객관화된 구성요소 부분으로 분해하면, 전체적인 구성을 경시하여 평가의 타당성을 감소시킬 수 있다는 것]이 두 가지 모두 입증되었다. 우리는 이제 신뢰성과 주관성이 상호 배타적이지 않으며 신뢰성과 객관성이 불가분의 관계에 있는 것이 아니라는 것도 안다.

The issues around student assessment that are thereby foregrounded have generally been addressed, in the context of medical education research, using the discourse of psychometrics.85–87 Statistical concepts used in educational testing, such as reliability and validity,88 have framed much of the discussion.71,86,89 It has been shown both that it is possible to create tests with holistic rating scales that are valid and reliable90 and that the breakdown of complex tasks into objectified component parts can trivialize the overall construct, thereby decreasing the validity of the assessment.91 We now know that reliability and subjectivity are not mutually exclusive nor are reliability and objectivity inextricably linked.80,92

그럼에도 불구하고, 신뢰도를 향상시키기 위해 더 객관적으로 점수를 매기고 따라서 더 "구체적인" 검사를 사용하려는 움직임이 오랫동안 있어왔다. 또한 "평가의 가치는 숫자로만 연구되고 기술될 수 있다"는 암시가 있다. 그리하여, 의학교육 연구의 전반적인 풍토는 능력, 구성, 내용 등 자신이 공부하고 있는 요소 부분으로 [세분화하여 이를 조작하고 분류할 수 있는 수치적 가치로 축소하려는 경향]을 갖고 있다. 마찬가지로, 신뢰도, 일반성, 오류에 대한 어떤 논의에서도 명백하게 만들어진 "진짜true" 점수에 대한 추구search는 기초적인 실증적 의료 교육 연구를 강조하는데, 이것은 현대의학 교육의 상당 부분을 지배하는 패러다임을 반영한다.

Nonetheless, there has long been a movement towards using more objectively scored93 and hence more “granular” examinations in an attempt to improve reliability.94 There is also an implication “that the value of the assessment can be researched and described in numbers only.”87 The overall ethos of medical education research, then, incorporates a tendency to break down into component parts that which it is studying, whether competencies, constructs, or content, and to reduce it to numerical values that can be manipulated and classified. Similarly, the search for the “true” score, made explicit in any discussion of reliability, generalizability, and error,88 highlights the underlying positivismin medical education research, which reflects a paradigmthat pervades much of modern medical education.58

문학의 학습은 의학적인 맥락 안에 놓였을 때에도 단순화된 분석에 저항하며, 직접적인 실증주의와 양립할 수 없다. 문학에서 의미와 씨름하는 것은, 구성된 현실의 맥락에서, 필연적으로 이 분야에서 평가에 있어서 중대한 문제에 직면하게 된다. 텍스트를 논할 때 옳은 답은 있을 수 없으며, 사실, 바로 이 모호성은 문헌에서 배울 수 있는 교훈 중 하나이며, 환자 치료의 맥락에도 해당된다. 그것은 문학 교과 과정에서 학생들의 능력과 업적에 차등을 둬서는 안 된다는 것이 아니라, 고등교육에서 이러한 차등의 수단이 중요한 논쟁을 불러일으키지 않았다는 것이다.

The study of literature, even when placed within the medical context, is resistant to simplified analysis and is not compatible with straightforward positivism. Grappling with meaning in literature, in the context of a constructed reality, inevitably encounters a major problem with assessment in this area: there can be no one right answer when discussing a text and, indeed, this very ambiguity is one of the lessons that may be learned fromliterature and carried forward into the context of patient care.60 That is not to say that one should not discriminate between students’ abilities and achievements in a literature curriculum, but rather that the means of this discrimination in higher education has not engendered significant debate.

의학교육의 이 영역에서 평가의 문제점을 무시하기보다는, 문학과 의학의 학습을 통해 달성하고자 하는 중요한 역량을 존중하고 강화하는 학생평가의 엄격한 방법을 의학교육계가 개발, 적응 또는 인정해야 할 때다.

Rather than ignoring the problems of assessment in this area of medical education, it is time for the medical education community to develop, adapt, or recognize rigorous methods of student evaluation that respect and reinforce the important competencies intended to be attained through the study of literature and medicine.

방법 Method

개별 기사는 양적 방법, 정성적 방법, 헤르메뉴틱* 텍스트 분석 등 자신의 분야에 적합한 방법론을 사용하여 평가되었다.

Individual articles were evaluated using methodologies appropriate to their fields, including tools fromquantitative methods, qualitative methods, and hermeneutic* textual analysis.

*문자 해석의 한 방법으로, 헤르메뉴틱스는 모든 부분이 하나의 일관된 의미에 기여할 때까지 전체 텍스트에 대한 텍스트 부분의 반복적인 분석을 의미한다. 독자는 본문이 처음 만들어진 문맥뿐만 아니라 자신의 사회사적 입장과 지적 전통을 이 해석에서 고려해야 한다.97

*As a method of textual interpretation, hermeneutics involves iterative analysis of the parts of a text against the whole until all of those parts contribute to a single consistent meaning. The reader must take his or her own sociohistorical position and intellectual tradition, as well as the context in which the text was originally created, into account in this interpretation.97

결과 Results

문학 및 의학 커리큘럼 목표

Curricular objectives for literature and medicine

Charon 외 연구진의 개념 체계7은 문학 및 의학 커리큘럼에 대해 주장되고 있는 명시적 목표를 기술하기 위한 유용한 출발점을 제공한다. 의대생들에게 문학을 introducing하는 다섯 가지 이유를 개략적으로 설명하고 있다. 

• 이 중 하나인 [서사적 윤리]는 전통적인 이론에 기반한 윤리와 대조적으로 제시되지만 우리의 목적을 위해 의료 윤리 과목에 대한 대안적 교육학적 접근법으로서, 이미 널리 가르쳐져 있고 자체 평가 프레임워크를 가지고 있다. 따라서 이번 논문은 이러한 특별한 근거를 다루지 않을 것이다.

Charon et al.’s conceptual framework7 provides a useful starting point for delineating explicit objectives being claimed for literature and medicine curricula. It outlines five rationales for introducing literature to medical students. 

• One of these, narrative ethics, is presented in contrast to traditional precept-based ethics but is for our purposes an alternative pedagogic approach to the subject of medical ethics, which is already widely taught98 and has its own evaluatory frameworks. The current paper, therefore, will not address this particular rationale.

• 또 다른 근거인 [문학 이론의 학습]은 의사, 환자, 그리고 그들의 실습에 대한 흥미로운 "새로운 관점"7을 제공하지만, 이 분야의 학생 학습은 문학의 방법과 본문에서 선험적인 근거를 필요로 할 것이다. 따라서 이러한 근거는 본 논문에서도 다루지 않을 것이다.

• Another rationale, the study of literary theory, offers interesting “new perspectives”7 on physicians, their patients, and their practice, but student learning in this area would require an a priori grounding in the methods and texts of literature. This rationale will thus also not be addressed in this paper.

여기서는 그 대신 나머지 세 가지 이유rationales에서 도출된 목표의 평가에 초점을 맞출 것이다.

• 환자 경험에 대한 대응 능력

• 의사 경험에 대한 성찰 능력

• 실제로 내러티브 기술을 개발하고 활용할 수 있는 능력  

Instead, this paper will focus on the evaluation of objectives drawn from the remaining three rationales: 

• the ability to respond to the patient experience, 

• the ability to reflect on the physician experience, and 

• the ability to develop and make use of narrative skills in practice.

환자(및 의사)는 인생을 내러티브로 살아간다. 환자의 질병에 대한 환자의 감정적, 실존적 반응에 대한 전체적인 이해를 통해 의학을 구현하기 위해 환자의 내러티브를 사전에 파악해야 한다는 점을 특히 강조하는 [내러티브 기반 의학' 운동]이 두드러지게 나타났다. 의학 교육의 영역 내에서, 현실주의와 관련성을 위해 선택된 문학 문헌들이 "[질병에 관한 사실들을 아는 것]과 [환자의 질병 경험을 이해하는 것] 사이의 간격을 메우는 데 도움이 될 수 있다"고 주장되어 왔으며, 여기에는 중요한 사회경제적, 문화적 맥락이 조명된다. 따라서 질병에 대한 이야기는 환자의 아픈 경험을 상상하고 이해할 수 있는 의사들의 능력을 향상시켜 공감하는 환자 중심의 진료를 제공할 수 있는 능력에 잠재적으로 기여할 수 있다.

Patients (and doctors) live their lives as narratives.4,10,99 A significant Narrative- Based Medicine movement has emerged, specifically highlighting the need to foreground patients’ narratives in order to imbue medicine with a holistic understanding of patients’ emotional and existential responses to their illnesses.4 Within the realm of medical education, it has been posited that literary texts selected for realism and relevance “can help bridge the gap between knowing the facts about the disease and understanding the patient’s illness experience [emphasis in the original],”100 including illuminating its important socioeconomic and cultural contexts.26,55 Stories about illness could therefore enhance physicians’ abilities to imagine and understand the experiences of their sick patients,7 potentially contributing to their capacity to provide empathic50 patient- centered care.

[내러티브 역량]은 "인간이 이야기를 (문자에서 도출된 것이든, 환자에서 나온 것이든, 비전문적 만남에서 나온 것이든) 흡수, 해석, 반응하기 위해 사용하는 능력"으로 정의되며, 문학적인 텍스트의 긴밀한 읽기와 관여를 통해 가르친다.5 이 역량은 의사-환자 관계에서 전문성과 공감의 양면에 기여하는 것으로 생각된다. 따라서 서술적 역량의 구조는 다음과 같이 더욱 복잡한 구조의 대리 끝점surrogate endpoint으로 개념화될 수 있다. 

• 예를 들어, [이야기 속의 등장인물의 감정과 경험을 식별하고 반영하는 능력]은 [환자와 사랑하는 사람들의 경험에 대한 나중에 이해하고 반응하는 능력]에 대한 잠재적인 대리지표이다.

Narrative competence, defined as “the competence that human beings use to absorb, interpret, and respond to stories”5 (whether derived from texts, from patients, or from nonprofessional encounters), is taught through the close reading of and engagement with literary texts.5 It is thought to contribute to the development of both professionalism101,102 and empathy5,8 in the physician–patient relationship. Thus, the construct of narrative competence might be conceptualized as a surrogate endpoint for these more complex constructs, with, 

• for example, students’ abilities to identify and reflect on the emotions and experiences of characters in stories as potential surrogate markers for their later understanding of and responses to the experiences of patients and their loved ones.

마찬가지로, 문학은 훈련생들에게 "의사의 종종 꽤 외로운 직업임을 이해하는 생생한 수단"을 제공한다. 특히 학생 및 레지던트 수련 기간 동안 의사들은 평범한 사람들의 영역 밖에서 생활한다. 그들의 일상적인 죽음, 고통, 치유 경험은 일상 언어의 테두리를 벗어나 있다. 정서적으로 어려운 상황과의 정기적인 만남은 학업 스트레스 요인과 결합되어 의대생들의 스트레스와 우울증 비율이 동료들에 비해 증가함에 반영된다. 이야기와 시는 의학교육에서 달리 놓친 과제를 수행할 수 있는데, 여기서 이야기와 시는 "의사가 해야 할 모든 일에 대한 중요한 개인적 성찰과 검사를 자극할 수 있다"고 한다.  즉, 문학은 연습생들에게 환자 치료 능력이 아닌 자신과 자신의 감정에 대해 성찰하는 언어와 도구를 제공할 수 있으며, 그로 인해 [초기의 치유자를 치유]하는 데 도움이 될 수도 있다.

Similarly, literature provides trainees with “a vivid means of understanding the physician’s often quite lonely job.”68 Physicians, especially during the intense years of student and residency training, live outside the realm of the commonplace. Their everyday experience of death, suffering, and healing is situated outside the boundaries of everyday language. Regular encounters with emotionally challenging situations, combined with academic stressors, are reflected103 in the increased rates of stress and depression among medical students as compared to their peers.103,104 Stories and poems may perform tasks otherwise missing in medical education, wherein they “can stimulate important personal introspection about and examination of all that the physician is called on to do.”7 In other words, literature may provide trainees with the language and the tools to reflect, not about their patient care abilities, but about themselves50 and their own emotions,100 and thereby may help to heal the nascent healer.18

의료 커리큘럼에 있는 어떤 것도 연습생들에게 "그 다음 순간"을 적절하게 준비시키지 못한다.—

• 그들이 환자의 병실을 나오며 방금 누군가에게 당신이 곧 죽을 거라고 말한 것을 깨닫는 순간, 

• 그들이 다음 만남으로 나아가고 자신의 삶을 이어나갈 수 있도록 생각과 감정을 인식하고 반응할 수 있는 틀을 갖춰야 하는 순간. 

내러티브 능력을 창조함으로써, 연습생들에게 (그들 자신의 삶에서 사용할 서사적 도구 세트를 제공하기 위한) 감정적인 자기 성찰의 과정을 연습할 수 있었다. 그러므로 서술적 역량과 감정적 자기반사 능력은 실존적 고통과 냉소와 냉소가 생겨날 때 훈련생을 보호할 수 있는, [감정적으로 도전적인 상황에 대한 회복탄력성]을 위한 잠재적 교실 기반의 대리 결과물이다.

Nothing in the medical curriculum adequately prepares trainees for “the moment after”—the moment they walk out of a patient’s room and realize that they have just told someone that they are going to die, the moment when they must have a framework for recognizing and responding to their thoughts and emotions in order to be able to move on to the next encounter and to carry on with their own lives. By creating narrative competence, this process of emotional self-reflection could be practiced in order to provide trainees with a set of narrative tools to use in their own lives. Narrative competence and emotional self-reflective ability are therefore potential classroom- based proxy outcomes for the resilience to emotionally challenging situations that may protect trainees from existential distress and from the development of callousness and cynicism.

문학 학습은 또한 연습생들에게 "내러티브 기술"이라는 일반적인 루브릭에 따라 분류될 수 있는 유용한 임상 능력을 제공할 수 있다. 가장 단순하게 말해서, 이야기를 읽고 그것에 대해 쓰는 것은 더 일반적인 의사소통 능력을 향상시킬 수 있다. 다른 내러티브 기술은 내러티브 역량의 더 큰 구성의 구성요소로서, 이것은 공감뿐만 아니라 [환자의 병력, 신체적 발견 및 기타 보조 데이터에서 수집할 복잡한 이야기를 구성하고 의미 있게 통합하는 의사의 능력]에 기여한다고 여겨진다. 이러한 기술들은 임상 지식의 기초가 되는 서사적 구조를 명시적으로 이용한다. 그렇다면 [문학에서 가져간 이야기에 대해 글을 쓸 수 있는 능력]은 환자 진단과 치료를 위한 일관성 있고 수사적으로 건전한 계획을 수립하고 전달하는 능력에 유용한 대리 성과가 될 수 있다.

The study of literature could also provide trainees with useful clinical abilities that may be grouped under the general rubric of “narrative skills.” Most prosaically, reading stories and writing about them can enhance more general communication skills.41 Other narrative skills are components of the larger construct of narrative competence, which is believed to contribute not only to empathy but also to the physician’s ability to organize and meaningfully integrate the complex stories to be gleaned from patients’ histories, physical findings, and other ancillary data.7 These skills make explicit use of the narrative structure that underlies clinical knowledge.16,68,105 The ability to write about stories taken from literature, then, might become a useful surrogate outcome for the ability to construct and communicate a coherent and rhetorically sound plan for patient diagnosis and treatment.

무수히 많은 해석이 가능한 문학에 대한 연구도 모호성 개념에 대한 학생들의 노출을 증가시킨다. 이는 그들이 일반적인 전문 훈련과 특히 의료 훈련의 "실천에 대한 실증주의적 인식론" 이외의 방법을 아는 방법에 노출시킴으로써 임상 실습에서 전문가로서 직면해야 할 불확실성과 모호성에 대비하는 데 도움이 될 수 있다. 따라서 문학적 본문에 대한 반응을 통해 평가한 바와 같이 이러한 모호성 개념에 대한 그들의 파악은 환자 치료의 맥락에서 이를 접하기 위한 준비의 대용으로서 검토될 수 있을 것이다.

The study of literature, in which there are myriad possible interpretations, also increases students’ exposure to the concept of ambiguity.28,60,106 This may help prepare them12,64 for the uncertainty107 and ambiguity99 they will have to face as professionals in clinical practice by exposing them to ways of knowing other than the “[p]ositivist epistemology of practice” of professional training in general107 and of medical training in particular.58 Their grasp of this concept of ambiguity, as assessed through their responses to literary texts, could therefore be examined as a proxy for their preparedness for encountering it in the context of patient care.

그런 다음, 문학 및 의학 강좌의 목표를 안전한 강의실 상황에서 [임상 실습과 관련된 일련의 중요한 기술 개발]로 해석할 수 있다. 이러한 기술은 문헌과 의학이 개발하고자 하는 고차원의 목표에 대한 잠재적 대리 결과물이다. 서사적 역량 개발은 환자의 질병 경험 및 치료 경험에 대한 공감적 이해를 위해 필요한 기술이다. 감정적 자기성찰능력의 발달은 환자 치료에 대한 배려적이고 연계된 전문적 접근방식을 유지하는 능력에 필요한 기술이다. 마지막으로 [일관되고 종합적인 임상 상황clinical picture의 구성]을 위해서는 내러티브 기술의 발전이 필요하다.

It is possible, then, to interpret the objectives for courses in literature and medicine as being the development, in a safe, classroom situation, of a set of critical skills relevant to clinical practice. These skills are potential proxy outcomes for the higher-order objectives intended to be developed by literature and medicine. The development of narrative competence is a skill necessary for empathic understanding of patients’ experiences of illness and treatment. The development of emotional self-reflective ability is a skill necessary for the ability to maintain a caring and connected professional approach to patient care. Finally, the development of narrative skills is necessary for the construction of coherent and comprehensive clinical pictures.

문헌 및 의학 분야의 평가 기법

Assessment techniques in literature and medicine

문학 및 의학 강좌는 현재 길고 짧은 에세이, 논술 시험, 포트폴리오, 구두 발표, 포스터, 사례 쓰기, 저널, 응답 논문, 시, 단편 소설, 환자의 목소리에 담긴 내러티브와 같은 창조적 프로젝트, 심지어 객관적 구조화된 임상 시험 (OSCE) 스테이션 등 다양한 평가 도구를 사용하고 있다. 

Literature and medicine courses currently use a wide variety of assessment tools, including long or short essays, essay examinations, portfolios, oral presentations, posters, case write-ups, journals, response papers, creative projects such as poems, short stories, narratives in the patient’s voice, and even objective structured clinical examination (OSCE) stations.

사용할 평가 방법을 선택하기 위한 근거를 명시적으로 언급하는 과정 설명은 거의 없다. 그러나 분명한 것은 객관식 문항과 그 종류의 것들은 신뢰성과 행정의 용이성, 채점 때문에 의학교육에서 다른 곳에서 가장 많이 사용되는 서면평가 형태이나, 이 영역에서는 학생평가에 적합하지 않은 것으로 여겨지고 있다는 점이다.

Few course descriptions comment explicitly on the rationale for selecting the method(s) of evaluation to be used. What seems clear, however, is that multiple- choice questions and their ilk, which are the most commonly used forms of written assessment elsewhere in medical education because of their reliability and ease of administration and marking,89 have not been seen as suitable for student evaluation in this domain.

문학 및 의학 강좌에 대한 적절한 평가의 성격을 논하는 유일한 작가 중 한 명인 스퀴어 등은 서면 과제들을 형성 평가와 총괄 평가로 사용하는 것을 지지한다. 그러나 그녀는 이 지지에 대한 어떤 증거도 제시하지 않으며, "점수에 대한 지나친 집중을 피하고" "자기반성, 해석, 창의성"을 권장하는 것 외에 채점제나 가이드라인을 제시하지 않고, "학생들 사이의 차등화"보다는 피드백과 코멘트를 제공하는 데 초점을 맞추고 있다.

Squier,100 one of the only authors who discusses the nature of appropriate assessment for courses in literature and medicine, endorses the use of written assignments as both formative and summative assessments. However, she provides no evidence for this endorsement, nor does she propose a marking scheme or guidelines other than to “avoid an excessive focus on grading” and to encourage with such grading “self reflection, interpretation, and creativity,” focusing on giving feedback and comments rather than making “[f]ine distinctions between students.”100

이와 유사하게, 다우니는 다음과 같이 쓰고 있다: "의학 인문학 과정을 평가하는 데는 어려움이 없다. 그것은 시험이나 논술, 그 밖의 다른 프로젝트로 평가될 수 있다. 이런 일은 수세기 동안 예술 교수진에서 일어났고 이런 종류의 평가에 대한 예술 교수진에서 많은 경험이 있다."106그는 계속해서 표준 예술 수업에서 텍스트(이 경우, 시)가 어떻게 가르쳐질지, 그리고 그것에 관한 에세이가 어떻게 표시될지에 대해 고찰한다. —일관된 논거와 그 논거의 방향보다는 본문과 그 역사적 배경에 근거한 논거의 존재에 의해. 하지만, 그도 역시 자신의 주장을 정당화하거나 증거를 제시하지 않는다.

Similarly, Downie writes: “There is no difficulty about evaluating a medical humanities course. It can be assessed by examination or essay or other project. This has happened in Arts faculties for centuries and there is a great deal of experience in Arts faculties of this sort of evaluation.”106 He goes on to discuss how a text (in this case, a poem) might be taught, and an essay about it would then be marked, in a standard arts class—by the presence of coherence and of an argument grounded in the text and its historical background, rather than by the direction of that argument.106 Again, he does not justify or provide evidence for his assertions.

영국 고등 교육 품질 보증청 영문학과 언어의 학부 강의와 관련해 주제 벤치마크인 영어는 에세이가 "평가 과정에서 필수적인 요소"가 될 것을 요구하고 있으며, 에세이가 이 분야에서 요구되는 기술력의 입증에 적절하다는 의견을 제시한다.108

the British Quality Assurance Agency for Higher Education (QAA). Regarding undergraduate instruction in English literature and language, its subject benchmark statement, English, mandates that essays be “an essential component in the assessment process” and comments on their appropriateness to the demonstration of the skills required in this discipline.108

문학 연구나 관련 고등교육 영역에서는 그다지 두드러지지는 않지만, 의학 교육에서는 인문학 관련 커리큘럼에서 에세이처럼 포트폴리오가 활용되어 왔다.52

Although they are not as prominent in the study of literature and in related higher education domains, portfolios, like essays, have been used in humanities- related curricula in medical education.52

[포트폴리오] 개발에 관한 현재의 일반 교과서는, 포트폴리오를 [학생이 시간 경과에 따라 성취한 것(또는 성취하려고 노력한 것)을 보여주는 최소한 부분적으로 선택된 작품 모음]으로 기술하고 있다. 여기에는 특히 "학생 자기 평가와 성찰을 중심에 두고, 포트폴리오 내 작업이 달성되는 과정을 그릴portray 수 있는 기회"에 대한 강조가 포함된다. '포트폴리오'라는 용어의 의미는 특히 성찰 요건에 관하여 최근 의학 교육 문헌에서 논쟁의 대상이 되어 왔다. 어떤 사람은 어렵고, 시간이 많이 소요되며, 잠재적으로 불필요하다고 간주하고 있으며, 다른 사람은 도구의 독특하고 근본적인 측면이라고 믿고 있다. 포트폴리오의 정의의 일부로서 자기성찰을 널리 인식하지 않는다면, 일반적인 교육 문헌과 특히 의학교육 내에서, 이 논문에서는 포트폴리오라는 용어는 [성찰의 증거를 포함하는 작품의 모음]을 일컫는 말라 사용할 것이다.

A current general textbook on portfolio development describes a portfolio as a compilation of works, at least partially student-selected, that shows what the student has accomplished (or tried to accomplish) over time; this includes a particular emphasis on “the centrality of student self-evaluation and reflection and the opportunity to portray the processes by which the work in the portfolio is achieved.”113 The meaning of the term“portfolio” has been the subject of recent debate in the medical education literature, particularly with respect to the requirement for reflection, which some have viewed as difficult, time-consuming, and potentially unnecessary114 and others believe to be a unique and fundamental aspect of the tool.115,116 Given the otherwise widespread recognition of self- reflection as part of the definition of a portfolio, both in the education literature in general113 and within medical education in particular,117–120 within this paper the use of the term portfolio will refer to a collection of works which includes evidence of reflection.

이러한 문헌은 타당성과 신뢰성의 담론에 관여하거나 인정하지도 않으며, 증거 출처에 대한 정성적 방법론을 명시적으로 검토하지도 않는다. 재현성, 정확성, 표시 용이성 등을 논하지 않으며 기준 참조도 없다. 그럼에도 불구하고 그것들은 의학 교육 내에서 나온 수사학적 주장과 관련이 있다. 1991년 문헌을 검토한 노먼 외 연구진, 91명은 동일한 구성물에 대한 주관적 시험과 객관화된 시험이 높은 상관관계를 갖는다고 결론지었다. 이 저자들은 "학생들은 서로에 대한 지식의 여러 측면을 다루어야 하는" 에세이와 같은 질문 유형이 아닌, 객관식 또는 단답형 질문을 사용할 경우, 특정 구조를 경시할 위험을 미리 예측했다. 

These literatures neither engage in nor acknowledge the discourse of validity and reliability, nor do they look explicitly to qualitative methodology for sources of evidence. They discuss neither reproducibility, accuracy, nor ease of marking, and they have no criterion reference. They are nonetheless related to rhetorical arguments that have emerged from within medical education. Norman et al.,91 reviewing the literature in 1991, concluded that subjective and objectified tests of the same construct were highly correlated. These authors foregrounded the risk of trivializing certain constructs using either multiple-choice or short- answer questions, as opposed to question types, such as essays, “which require students to handle several aspects of knowledge in relation to each other.”91

따라서 그들은 후자를 시험의 합법적 옵션으로, 특히 고차 구조의 사용을 받아들였다. 더구나 슈와르트와 반데르 벨루텐은 시험의 목표가 있다면 그렇게 말할 정도였다. 

• 시험의 목표가 "추론 과정을 설정하거나, 정보를 요약하거나, 또는 알려진 원리를 다른 맥락에서 적용하는 것이라면", 그리고 특히 한 사람이 글쓰기 능력에도 관심이 있다면, 그렇다면, 유일한 적절한 유형의 필기 질문은 에세이이다. 

다음의 요약이 설명하듯이, 평가 기법으로서 에세이와 포트폴리오의 가치에 대해서도 상당한 양의 심리학적 연구가 있었는데, 그 중 많은 부분이 논란의 여지가 있었다.

They therefore accepted the use of the latter as a legitimate option for testing, particularly of higher-order constructs.91 Moreover, Schuwirth and van der Vleuten have gone so far as to say that 

• if the goal of a test is “to set up a reasoning process or summarise information, or [. . .] to apply a known principle in different contexts” then the only appropriate type of written question is an essay,121 particularly if one is also concerned with writing ability.122 

As the following summary will illustrate, there has also been a significant amount of psychometric research, much of it controversial, on the value of essays and portfolios as evaluative techniques.

에세이 및 포트폴리오

Essays and portfolios

[에세이 평가의 구성적 타당성]은 의학적인 맥락에서 구체적으로 연구되었다. 예를 들어 1990년 연구에서 대학원 수준의 임상적 판단 평가를 위해 논술 시험이 검증되었다. 에세이의 상호 신뢰도 측면에서 여러 연구들이 상반된 결과를 내놓았다. 그들의 일반화 가능성에 대한 연구도 있었다. 예를 들어, 세부적인 체크리스트를 사용하는 비의사 3명이 전체적 표시를 하는 의사 3명으로 교체되었을 때 임상적 판단에 대한 논술 테스트의 일반화가능성은 향상되었다(그리고 필요한 테스트 시간은 감소하였다). Frijns 외 연구진은 [비록 4시간에서 6시간 사이에 1개 또는 2개의 평가자가 있어야 일반화 계수 0.80 이상을 달성할 수 있었지만], 개방된open 문제에 대해 재현 가능한 방식으로 의사-평가자가 채점할 수 있다는 것을 보여주었다. 

The construct validity of essay assessments has been specifically studied in the medical context. For example, in a 1990 study, an essay test was validated for the assessment of clinical judgment at the postgraduate level.123 In terms of essays’ interrater reliability, several studies have given conflicting results.94,124–126 There has also been research into their generalizability. For instance, the generalizability of an essay test of clinical judgment improved (and its required testing time decreased) when three nonphysicians using a detailed checklist were replaced by three physicians marking holistically.127 Frijns et al.128 showed that open-ended questions could be marked by physician-raters in a reproducible manner, although achieving a generalizability coefficient of 0.80 or above with one or two raters required between four and six hours of testing time.

심리측정학 기준이 [평가도구 형식의 고유한 특성이 아니라는 현재의 이해]와 함께 에세이를 채점하는 데 신뢰성의 문제는 [시험 형식에 내재된 문제]가 아니라 [적절한 시험 시간과 전문가 채점자의 가용성]에 대한 문제인 것이다. 슈와르트와 반 데르 벨루텐은 평가되는 구조의 사소한 것을 피하기 위해 에세이를 표시하기 위해 과도한 구조물을 구성하지 않도록 조심하지만, 신뢰도를 향상시키고 그에 따라 그러한 자원의 필요성을 감소시키는 여러 가지 방법이 문헌에 제시되었다.

 In keeping with our current understanding that psychometric criteria are not inherent qualities of an instrument’s format,80 the issue of reliability for marking essays is not an intrinsic problemwith the test type but rather a question of the availability of adequate testing time and of expert markers. Multiple means of improving reliability, and thereby decreasing the need for those resources, have been suggested in the literature,88,121,122,125,126,129–131 although Schuwirth and van der Vleuten caution against overstructuring rubrics for marking essays to avoid trivializing the construct being assessed.121,122

포트폴리오는, [의학 교육에서 보다 개인적이고 프로세스 지향적일 뿐만 아니라] 새로운 것이다. 지금까지 의학적인 맥락에서 연구된 구조와 관련하여 타당성을 입증하는 것은 어려웠다. 포트폴리오에 대해 가장 잘 확립된 형태의 타당성은 시간의 경과에 따른 성찰 및 퍼포먼스을 포함한 건설에 대한 안면 타당성이다. 그러한 구성에 대한 예측, 기준 및 구성 타당성을 설정하는 것은 어려울 것이다. 

Portfolios are newer to medical education, as well as more individual and process-oriented. It has thus far been difficult to establish their validity with respect to the constructs for which they have been studied in the medical context. The best established form of validity for portfolios is face validity for constructs including reflection119,132 and performance over time.119 Establishing their predictive, criterion, and construct validity for such constructs will be challenging.117,119,132,133 

2001년 말 스코틀랜드 던디에서 의대생들의 최종 시험의 일부로 사용된 포트폴리오의 한 연구의 저자들은 보다 전통적인 시험 구성 요소로는 평가되지 않는 태도와 근면성과 같은 구조물에 대한 다양한 타당성의 증거를 주장했다. 정신건강의학과 레지던시 교육에서 포트폴리오에 대한 최근의 연구는 정신과적 지식과 훈련 수준에 대한 적당한 합치성을 보여주었다.

The authors of a study published in late 2001 of portfolios used as part of the final examination for medical students in Dundee, Scotland claimed evidence of divergent validity for constructs, such as attitude and diligence, which are not assessed by their more traditional examination components.134 A more recent study of portfolios in psychiatry residency education demonstrated modest convergent validity for psychiatric knowledge and level of training.135

포트폴리오 평가의 신뢰도도도 연구되었으며, 평가자 간 신뢰도 추정치는 0.1에서 0.82까지이다. 일반화 및 의사결정 연구는 또한 최소 0.8의 일반화에 필요한 광범위한 항목 및/또는 측정자를 생성했다. 포트폴리오 평가에서 신뢰도 향상을 위한 전략의 여러 제안이 나왔다. 여기에는 구체적인 기준과 표준화를 통한 객관화가 포함된다. 그러나, 컨텐츠의 표준화와 구체적인 기준의 개발은, 아마도 실제로 신뢰성의 문제를 제거하지 않고, 학생 성찰과 학습의 범위를 제한함으로써, 평가의 타당성에 위협이 된다는 우려는 남아 있다.

The reliability of portfolio assessments has also been studied, with estimates of interrater reliability ranging from0.1 to 0.82.119,136–138 Generalizability and decision studies have also generated a wide range of numbers of items and/or raters required for a generalizability of at least 0.8.119,135,137 Multiple suggestions of strategies to improve reliability in portfolio evaluation have been made.120,132,139 These include objectification through specific criteria and standardization.120,132 The concern remains, however, that the standardization of content and the development of specific criteria present threats to the validity of the assessment by limiting the range of student reflection and learning,119,120 perhaps without actually eliminating the problem of reliability.140

그래서 우리는 지금 난관에 봉착했다. 에세이와 포트폴리오가 문학과 의학의 평가에 가장 적합한 도구로 홍보되고 있으며, [공감, 개인적 성찰, 전문성과 같이 쉽게 평가할 수 없지만 점점 중요해지고 있는 역량]을 우리가 살펴볼 수 있게 해준다. 그러나, 도구로서, 그것들은 우리의 전통적인 정신 측정학의 세분화된 기법을 사용하여 쉽게 분석될 수 없으며, 어떤 조치들에 의해서 그것들은 총괄적 결정에 사용할 만큼 "좋지" 않다. 그럼에도 불구하고, 이러한 중요한 구조와 그것들을 홍보하기 위해 고안된 커리큘럼을 포기하는 것은 너무 급진적인 선택이다.

So we are now faced with a conundrum. Essays and portfolios are promoted as the most appropriate tools for the evaluation of literature and medicine, and they may allow us to tap into competencies that we cannot easily assess but which are becoming increasingly important, like empathy, personal reflection, and professionalism. However, as tools, they are not readily analyzable using the granular techniques of our traditional psychometrics, and by some measures they are not “good” enough to use for summative decisions. Nonetheless, abandoning these important constructs, and a curriculum that is designed to promote them, is too radical an option.

캐닝스 외 연구진이 다음과 같이 요약한다. 

"진실로 신뢰할 수 있는 평가를 찾기 위한 노력에서, 우리는 때때로 '주관적인' 작품을 평가해야 할 필요성을 간과해서는 안 된다. 그러한 채점에서 신뢰성이 다소 떨어질 것이라는 점을 받아들여야 한다"고 덧붙였다. 

또는 스내든은 우리에게 경고한다. 

"만약 우리가 측정할 수 없는 것을 측정하려고 애쓰게 된다면, [. .we]는 그것이 더 쉽기 때문에 관련 없는 것을 측정하게 될지도 모른다." 

다행히 좀 더 주관적인 평가 도구의 엄격함rigour은 측정에 의존하지 않고 다른 방법으로 평가할 수 있으며, 그러한 평가의 예시들이 의학 문헌에 등장하기 시작하고 있다.

As Cannings et al. summarizes: “In our efforts to find a truly reliable assessment, we must not lose sight of the need to occasionally assess a ‘subjective’ piece of work [. . .]. We then have to accept that there will be some loss of reliability in the marking that follows.”130 Otherwise, Snadden warns us, if we “continue to struggle to measure the unmeasurable, [. . .we] may end up measuring the irrelevant because it is easier.”141 Fortunately, the rigor of more subjective evaluation tools can be assessed in other ways, without relying on measurement, and examples of such assessment are beginning to enter the medical literature.

정성적 방법 및 평가로서의 병리학

Qualitative methods and hermeneutics as assessment

환자 경험, 의사 경험, 모호성의 질적, 개별화된 세계에 정량적 엄격성의 규칙을 적용하려고 시도하기보다는, 우리는 어떤 형태의 평가가 더 잘 연구될 수 있고, 어떤 질문은 질적 방법론을 사용하여 더 잘 대답할 수 있다는 것이 점점 더 많이 공표되는 인식을 볼 수 있다. 

Rather than attempting to apply the rules of quantitative rigor to the qualitative, individualized world of patient experience, physician experience, and ambiguity, we can look to the increasing published recognition that some forms of assessment can be better studied, and some questions better answered, using qualitative methodology.80,87,92

이러한 경향에 반영되고 있는 것은 의료실습과 의학교육의 서술적 세계에서 '해석-의식의 구별'의 중요성에 대한 이해의 증대다. 이는 포트폴리오와 에세이가 제공하는 질적 정보의 풍부함을 감안할 때 특히 해당될 수 있다. 다른 분야의 논술 평가에 대한 분석은 질적 접근법을 취하였다. 포트폴리오가 학생 평가에 대한 정성적 또는 양적, 질적 접근법을 혼합한 것으로 설명되어 왔기 때문에, 일부에서는 의료 교육에서 평가 도구로서의 포트폴리오 평가도 [질적 연구에 기초하여 수립된 접근방식]에서 이익을 얻을 수 있다고 주장해 왔다.

 Reflected in this trend is a growing understanding of the importance of “interpretation—the discernment of meaning”4 in the narrative worlds of medical practice and medical education. This may be particularly true of portfolios and essays, given the wealth of qualitative information that they provide. Analyses of essay evaluations in other disciplines have taken qualitative approaches.142 Because portfolios have been described as embodying a qualitative113 or a mixed quantitative and qualitative119 approach to student assessment, some have argued that the evaluation of portfolios as an assessment tool in health care education could also benefit from an approach founded in qualitative research.138,140,141,143,144

이것은 최근에 마스트리히트 대학의 의과대학에서 시도되었다.145 연구자들은 다음과 같은 세 가지 기본적인 전제에서 그들의 개입을 뿌리내렸다. 

This has recently been tried at the medical school at Maastricht University.145 The researchers rooted their intervention in three basic premises: 

• (1) 포트폴리오 평가의 가치가 표준화에 의해 상실되는 진정한 개인적 경험의 풍부함에 대한 기초에서 비롯된다는 것. 

(1) that the value of portfolio evaluation stems from its basis in the richness of authentic personal experience, which would be lost by standardization; 

• (2) 평가자 훈련과 체크리스트는 기존의 정신측정학 방법에 의해 평가된 적절한 신뢰성을 산출하기 위한 표준화의 결여를 보상할 수 없다는 것 

(2) that rater training and checklists cannot compensate for this lack of standardization to produce adequate reliability as assessed by traditional psychometric methods; and 

• (3) 질적 연구 전통에서 도출된 질적(및 주관적) 방법은 학생 평가에 대한 새로운 접근법을 제공할 수 있다는 것

(3) that qualitative (and subjective) methods, derived from the qualitative research tradition, can offer novel approaches to student assessment. 

그들은 네 가지 의사 역할("의료 전문가, 과학자, 의료 종사자 및 개인")과 관련된 개인의 장단점에 대한 반성과 증거를 포함하도록 의도된 포트폴리오의 형태별 및 종합 평가와 이러한 영역을 다루기 위한 학습 계획을 모두 수행했다. 종합평가에서 각 학생의 멘토는 '장점과 약점 분석의 질', '학습목표의 명확성과 실현가능성' 등 복수의 글로벌 기준을 활용했다.  그 후, 구분, 합격, 불합격 중 하나일 수 있는 멘토가 부여한 등급에 대해 학생과의 논의를 거쳐, 1, 2명의 다른 독자에 의해 확인되었으며, 13명의 평가위원(학생 멘토 포함)이 심사한 결과 계속 의견 불일치가 발생하는 경우.

They carried out both formative and summative evaluations of portfolios intended to contain reflections on, and evidence of, personal strengths and weaknesses in relation to four physician roles (“medical expert, scientist, health care worker and person”145) as well as learning plans to address these areas. In the summative evaluations, each student’s mentor used multiple global criteria such as “the quality of the analysis of strengths and weaknesses” and “the clarity and feasibility of the learning objectives.”145 The grade assigned by the mentor, which could be either distinction, pass, or fail, was then discussed with the student, confirmed by one or two other readers, and in cases of continuing disagreement reviewed by a committee of 13 assessors (including the student’s mentor).

정성적 연구 내에서 [구성주의적 전통으로부터 두 가지 방법론적 기준을 도입]함으로써, 신뢰성과 신뢰성의 병행적 타당성과 신뢰성에 이용할 수 있다. 그리고 나서 그들은 다음을 보장하기 위해 질적인 방법의 영역에서 받아들여진 전략을 사용했다. 

• 신뢰도(절제, 장기적 참여, 회원 확인) 및 

• 종합 평가의 신뢰도(추적 추적, 신뢰도 감사)