의사를 위한 CME활동에서의 기획 및 평가의 개념 프레임워크(Med Teach, 2018)

의사를 위한 CME활동에서의 기획 및 평가의 개념 프레임워크(Med Teach, 2018)

A conceptual framework for planning and assessing learning in continuing education activities designed for clinicians in one profession and/or clinical teams
Donald E. Moore Jra, Kathy Chappellb, Lawrence Shermanc and Mathena Vinayaga-Pavand

 

 

 

 

배경 Background

 

생물의학·보건서비스 연구의 지속적인 발전에도 불구하고 환자가 항상 혜택을 받는 것은 아니어서 환자가 받을 수 있는 진료와 받아야 하는 진료 사이에 괴리가 생긴다.

Despite continuous advances in biomedical and health service research, patients do not always benefit from them, resulting in a gap between the care that they receive and the care that they could and should receive.

지속 교육(CE)
continuing education (CE)

의료 전문가들은 환자에게 가능한 최선의 치료를 제공하기를 원하기 때문에 CE에 의존하여 자신의 실무 분야에서 역량을 유지한다.
Because healthcare professionals want to provide the best possible care to their patients, they rely on CE to maintain competence in their areas of practice.

2009년에 일부 연구 결과를 반영한 결과 프레임워크가 제안되었다(More 등) 프레임워크에는 참여, 만족도, 학습, 역량, 성과, 환자 건강 및 커뮤니티의 7가지 결과 레벨이 포함되었습니다(인구 건강; 그림 1 참조).
An outcomes framework that reflected some of the research findings was proposed in 2009 (Moore et al. 2009). The framework included seven outcome levels: participation; satisfaction; learning; competence; performance; patient health and community (population health; See Figure 1)

 

개념적 프레임워크는 [개념, 가정, 기대, 신념, 증거 및 이론의 체계]이며, [현상에 대한 포괄적 이해를 제공하는 이들 사이의 추정된 관계]이다. 이 기사에서는, '현상'은 [환자 건강 향상으로 이어질 수 있는 수행능력 향상을 돕기 위한 직업 및/또는 임상 팀의 임상의사 학습 활동의 계획 및 평가]이다
A conceptual framework is a system of concepts, assumptions, expectations, beliefs, evidence and theories and the presumed relationships among them that provide a comprehensive understanding of a phenomenon. In this article, the phenomenon is planning and assessing learning activities for clinicians in one profession and/or clinical teams to help them improve their performance that would lead to improved patient health.

업데이트된 개념 프레임워크는 계획에 사용된 단계(그림 2의 영역 1과 2의 영역)와 평가에 사용된 단계(그림 2의 영역 4와 5의 영역) 사이에 교수 설계(그림 2의 영역 3)를 배치한다. 개인 또는 팀의 인구 건강, 환자 건강 상태, 성과 및 학습 요구에 대한 데이터가 영역 1과 영역 2에서 수집된다. 이 데이터는 3단계(지도 설계)에서 단일 직업 또는 임상 팀의 학습자를 위한 학습 활동을 계획하는 데 사용되며 4단계의 학습, 역량 및 성과와 5단계의 환자 및 인구 건강 상태를 평가하는 데 기본 데이터 역할을 한다. 
The updated conceptual framework places instructional design (area 3 on Figure 2) between the steps used forplanning (areas 1 and 2 on Figure 2) and the steps usedfor assessment (areas 4 and 5 on Figure 2). Data are col-lected in areas 1 and 2 about population health, patienthealth status, performance, and learning needs of individu-als or teams. These data are used to plan learning activities for learners in single professions or clinical teams in phase3 (instructional design) and serve as baseline data for assessing learning, competence, and performance in phase4 and patient and population health status in phase 5. 

 

개념적 프레임워크의 중요한 부분은 지속적인 평가이다. 지속저 평가는 [니즈 평가], [형성 평가], [총괄 평가]의 세 단계로 구성된다.

• 니즈 평가는 한 전문직 및/또는 임상 팀의 임상의사가 학습 활동 전에 알고 할 수 있는 것과 환자에게 최선의 가능한 치료를 제공하기 위해 학습 활동 후에 알고 해야 하는 것 사이의 차이를 식별한다.
• 형성 평가는 개별 임상 의사 및/또는 임상 팀이 학습 활동 중에 무엇을 배우고 있으며, 니즈 평가에 의해 식별된 격차를 줄이거나 제거하는 방향으로 나아가면서 수행할 수 있는지 모니터링하는 것이다. 개별 의료진 및/또는 팀이 연습 및 피드백을 통해 격차를 줄이거나 제거할 수 있도록 지원하는 것은 개념적 프레임워크의 중요한 부분입니다.
• 총괄 평가는 학습자 및/또는 임상 팀이 학습 활동에 참여한 후 무엇을 알고 무엇을 할 수 있는지를 측정하고 이를 개별 임상 의사 및/또는 임상 팀이 알고 환자에게 최선의 치료를 제공할 수 있어야 하는 것과 비교한다.

An important part of the conceptual framework is continuous assessment. Continuous assessment consists ofthree phases of assessment: needs assessment; formativeassessment, and summative assessment.

• Needs assessment identifies the gap between what clinicians in one profes-sion and/or clinical teams know and can do before a learning activity and what they should know and do aftera learning activity in order to provide the best possible care to their patients.
• Formative assessment is monitoringwhat an individual clinician and/or clinical team is learning and can do during a learning activity as they progresstowards reducing or elimination the gap identified by needs assessment. Helping an individual clinician and/orteam reduce or eliminate the gap through practice and feedback is an important part of the conceptual framework.
• Summative assessment measures what an individual learner and/or a clinical team knows and can do afterparticipating in a learning activity and compares it to what an individual clinician and/or clinical team should know and be able to do to provide the best possible care to patients.

개념 모델 – 평가 필요
The conceptual model – needs assessment

니즈 평가란 니즈를 식별하고 분석하기 위한 체계적인 프로세스를 말합니다. "요구need"라는 용어는 "지금은 어떠한가" (현재 조건)과 "앞으로 어떻게 되어야 하는가" (희망 조건) 사이의 격차(gap)을 의미한다. 교육 활동이 다룰 필요성을 운영하기 위해서는 "무엇인가"와 "무엇이 될 수 있거나 되어야 하는가" 사이의 차이를 측정해야 한다. 개념적 프레임워크에서 니즈 평가는 인구 건강, 환자 건강 상태, 임상 성과, 개인 또는 팀 내에서 임상의사의 역량과 지식을 평가하는 것을 포함한다(Moore and Cordes 1992; 그림 3 참조).

The term needs assessment refers to a systematic processfor identifying and analyzing needs. The term “need” refersto a “gap” between “what is” (current conditions) and“what should or could be” (desired conditions; Knox 1980;Fox 1983) To operationalize the need that an educational activity will address, the gap between “what is” and “what could or should be” must be measured. In the con-ceptual framework, needs assessment includes assessing population health, patient health status, clinical performance, and the competence and knowledge of clinicians, individually or within teams (Moore and Cordes 1992; See Figure 3).

 

 

건강 상태 격차 파악 및 분석
Identifying and analyzing a gap in health status

 

환자의 건강 상태는 CE의 주요 관심사이기 때문에 [계획 활동은 모집단이나 환자 건강을 조사하는 것으로 시작]해야 한다. 건강 상태는 개인 또는 집단의 건강 수준을 말하며, 사망률과 질병률, 질병의 유무 및/또는 질병의 징후나 증상 측면에서 언급된다. 건강 상태는 임상 또는 병리학적 측정을 사용하여 설명할 수 있습니다.
Because the health status of patients is a primary concern in CE, planning activities should begin by examining population or patient health. Health status refers to the level of health of an individual or group and is referred to in terms of mortality and morbidity, the presence or absence of disease, and/or the signs or symptoms of disease. Health status can be described using clinical or pathological measures.


책임의 범위에 따라 학습 활동을 계획하는 개인("기획자")은 [건강 시스템, 그룹 관행, 질병, 정치적 또는 지리적 고려에 의해 정의된 모집단]의 환자의 건강 상태에 초점을 맞출 수 있다. 인구 수준에서, 국가 및 국제 기관은 일반적으로 자국민의 건강 상태를 반영하는 결과 데이터를 수집합니다(Frenk 등. 2010; Murray and Lopez 2017; Koh 및 Parek 2018).
Depending on their scope of responsibilities, individuals planning learning activities (“planners”) could focus on the health status of patients in a population defined by political or geographical considerations by a health system, by a group practice, or by a disease. At the population level, national and international agencies typically collect outcome data that reflect the health status of their citizens (Frenk et al. 2010; Murray and Lopez 2017; Koh and Parekh 2018).

교육 계획 이론은 인구 또는 환자 건강에서 시작하여 이를 "후향적backwards 계획"이라고 한다. "Backwards planning"은 "End-in-mind"로 시작하며, 이 최종점을 "원하는 결과"(Wiggins and McTighe 2005)라고도 한다. 의료에서 원하는 결과에는 의료 또는 의료 시스템의 환자 집단 또는 그룹의 개선된 결과가 포함되지만 이에 국한되지는 않는다.
Educational planning theory supports starting with population or patient health and refers to it as “backwards planning”. “Backwards planning” starts with the “end-in-mind,” also referred to as “desired results” (Wiggins and McTighe 2005). Desired results in health care include but are not limited to improved outcomes in a population or groups of patients in a practice or health system.

(그림 4 참조).
(See Figure 4).

건강 상태 격차를 파악하고 설명한 후 다음 단계는 간극이 존재하는 이유를 확인하는 것입니다. 일반적으로 사용되는 품질 개선 기법인 생선뼈 도표를 사용할 수 있다(Crotau 2010; Institute for Healthcare Environment 2017). 그것은 물고기 뼈대로 묘사된 원인과 결과도이다. 각 뼈는 원인의 범주를 나타냅니다. 일반적으로 원인에는 여섯 가지 범주가 있습니다.

• 장비, 
• 공정, 
• 사람, 
• 재료, 
• 환경, 
• 관리

 

After identifying and describing the gap in health status, the next step is analyzing the gap to determine why it exists. A commonly used quality improvement technique, the fishbone diagram, can be used (Croteau 2010; Institute for Healthcare Improvement 2017). It is a cause and effect diagram portrayed as a fish skeleton. Each of the bones represents a category of causes. Typically, there are six categories of causes: 

• equipment; 
• process; 
• people; 
• materials; 
• environment; and 
• management.

 

다이어그램을 작성하기 위해 대상 환자 모집단의 관리에 관련된 임상 팀의 대표들은 "5가지 이유" 기술을 사용하여 격차에 대한 토론에 참여해야 한다.2 "5가지 이유"는 특정 문제의 근본 원인과 결과 관계를 탐구하는 데 사용되는 반복 질문 기법이다. 이 기법의 주요 목적은 더 이상의 원인이 제시되지 않을 때까지 "왜?"라는 질문을 반복함으로써, 결함이나 문제의 근본 원인을 밝혀내는 것이다. "5-why's" 기법은 근본 원인을 파악하기 위해 적절한 수의 반응을 생성하는 것으로 나타났습니다.3
To populate the diagram, representatives of clinical teams involved in the care of the target patient population should engage in discussion about the gap using the “5why’s” technique.2 The “5 whys” is an iterative interrogative technique used to explore the cause-and-effect relationships underlying a particular problem. The primary goal of the technique is to unearth the root cause of a defect or problem by repeating the question “Why?” until no more causes are proposed. The “5-why’s” technique has been shown to produce the right number of responses to get to the root cause.3

그림 5
Figure 5


임상 성능의 격차 파악 및 분석
Identifying and analyzing a gap in clinical performance

다음 과제는 생선뼈 연습에서 확인된 관심 영역의 전문적 관행 격차(PPG)를 식별, 설명 및 분석하는 것이다. 환자 건강 기록을 공식적으로 검토하면 PPG를 식별하는 데 유용한 측정 기준을 제공할 수 있다.4
The next task is to identify, describe, and analyze the professional practice gap (PPG) in the area of concern that was identified in a fishbone exercise. Formal review of patient health records would provide useful metrics for identifying PPGs.4

그림 6
Figure 6


역량 및 지식의 격차 파악 및 분석
Identifying and analyzing gaps in competence and knowledge

다음 단계는 역량 및 지식의 격차가 있는지 확인하는 것입니다. 임상 팀이 알고 수행할 수 있는 작업을 결정하기 위해 계획자는 팀 구성원 및 중소기업과 협력하여 지식 및 역량 격차를 식별할 수 있는 PPG의 특정 문제를 강조하기 위한 사례 시나리오를 개발해야 한다.5
The next step is to determine if there are gaps in competence and/or knowledge. To determine what clinical teams know and could do; planners should work with team members and SMEs to develop case scenarios to highlight specific issues in the PPG that could lead to the identification of gaps in knowledge and competence.5

시나리오는 [역량과 지식 및 팀 기능에 관한 강점과 약점 영역을 보여줄 수 있는, 임상 관리 과제를 포함하는 진정한authentic 사례case]이다(Alinier 2011).
A scenario is an authentic case that contains clinical management challenges that can highlight areas of strengths and weaknesses in competence and knowledge and team functioning (Alinier 2011).

역량은 개인이 작업을 효과적으로 수행할 수 있도록 하는 선언적, 절차적, 성향적 지식의 결합이다.

• 선언적 지식은 학습자가 진술로 표현할 수 있는 사실, 개념, 명제의 집합이다.
• 절차적 지식은 사람들이 사고와 행동을 통해 목표를 달성하기 위해 사용하는 다양한 기술이다.
• 성향적 지식은 학습뿐만 아니라 개인의 의식적 사고와 행동을 지시하고 인도하는 태도, 가치, 관심사 및 의도로 구성된다(Billett 2009).

Competence is the combination of declarative, procedural, and dispositional knowledge that enables an individual to perform a task effectively. 

• Declarative knowledge is the collection of facts, concepts, and propositions that a learner can express as a statement.
• Procedural knowledge is the variety of skills that people use to achieve goals through thinking and acting. 
• Dispositional knowledge comprises attitudes, values, interests, and intentions that direct and guide an individual’s conscious thinking and acting, as well as learning (Billett 2009).

 

동기 부여 및 참여 참여 참여
Motivation and enrolling-participating-engaging

학습 활동이 PPG와 관련된 학습 요구를 해결하기 위해 설계될 수 있지만, CE의 주요 과제는 연습 성능에 차이가 있음을 깨닫거나 인정하지 않을 수 있는 바쁜 임상의들을 끌어들이는 것이다. 대부분의 임상의에게 학습 활동에 등록하고 참여하려는 동기 부여는 기회 비용(실습 및/또는 기타 개인 및 사회적 책임에서 벗어난 시간)과 그들에게 중요한 영역에서 역량 강화 및 환자 진료 개선 가능성을 비교함으로써 영향을 받는다(Cervero 1981; Moore et al. 1994).
Even though a learning activity may be designed to address learning needs associated with a PPG, a major challenge in CE is attracting busy clinicians who may not realize or acknowledge that there is a gap in their practice performance. For most clinicians, motivation to enroll and participate in a learning activity is influenced by comparing opportunity cost (time away from practice and/or other personal and social responsibilities) and the likelihood of enhanced capability and improved patient care in an area important to them (Cervero 1981; Moore et al. 1994).


가르칠 수 있는 순간teachable moments을 만들거나 강화하는 것은 잠재적인 학습자들이 공식적인 학습 활동에 등록하도록 동기를 부여하는 한 가지 방법이다. [가르칠 수 있는 순간] 배후에 있는 이론은 [인지 부조화]이다. [인지 부조화]는 개인이 경험한 정신적 불편함이 자신이 어떤 일을 올바르게 하고 있다고 믿지만 그 믿음과 모순되는 새로운 정보에 직면하는 것으로 정의된다. 인지부조화를 겪는 사람은 심리적으로 불편해지는 경향이 있기 때문에 불편함을 줄이려는 의욕이 생긴다(Festinger 1957). 공식적인 학습 활동에 등록하는 것은 시작입니다. 학습 활동 참여와 학습 참여를 장려하기 위해 학습자는 학습을 시작한 인지 부조화를 만든 PPG와 PPG를 줄이거나 제거하는 과정에서 발생하는 진행 상황에 대해 정기적으로 상기해야 한다.
Creating or reinforcing teachable moments is one way to motivate potential learners to enroll in a formal learning activity. The theory behind a teachable moment is cognitive dissonance. Cognitive dissonance is defined as the who mental discomfort experienced by an individual believes that he or she is correctly doing something but is confronted with new information that contradicts that belief. Because a person who experiences cognitive dissonance tends to become psychologically uncomfortable, he or she is motivated to try to reduce the discomfort (Festinger 1957). Enrolling in a formal learning activity is a start. To encourage participation in a learning activity and engagement in learning, learners should be regularly reminded about the PPG that created the cognitive dissonance that initiated learning and the progress that they are making in reducing or eliminating the PPG.


개별 학습자나 전문가 팀 구성원에게 학습 활동에 등록하도록 영향을 줄 수 있는 학습 가능한 순간을 만들거나 강화하는 두 가지 방법이 있습니다. 

• 첫 번째는 팀 성과에서 PPG의 존재를 강조하는 데이터가 포함된 채용 자료(브로셔, 전단, 이메일 등)를 만들어 임상팀의 등록 동기를 부여할 수 있는 티칭 가능한 순간을 만드는 것이다. 
• 두 번째는 임상 팀이 등록한 후 PPG와 관련된 문제를 해결하는 시나리오를 통해 작업할 수 있는 기회를 제공하는 것이다.

There are two ways to create or reinforce a teachable moment to influence individual learners or the members of an interprofessional team to enroll in a learning activity. 

• The first is to create recruitment materials (brochures, flyers, emails, etc.) that include data highlighting the existence of a PPG in team performance, potentially creating a teachable moment that will motivate clinical teams to enroll. 
• The second is to offer clinical teams an opportunity to work through scenarios that address issues related to the PPG after they have enrolled.

 

개념적 프레임워크 – 임상의의 학습 지원
The conceptual framework – helping clinicians learn

 

다음 섹션에서는 [역량]과 [지식]의 격차를 개선하고, 격차에 관한 정보를 사용하여 현재의 suboptimal한 성과와 건강 상태를 해결하기 위한 학습 활동을 설계하는 데 초점을 맞춘다(그림 2의 영역 3 참조). 계획자는 개별 임상의와 임상 팀이 학습에 도움이 되는 세 가지 유형의 학습 활동 제공을 고려해야 한다: 소인, 활성화 및 강화(Green and Kreuter 2005).
The next section will focus on refining the gaps in competence and knowledge and using that information to design learning activities to address suboptimal performance and health status (See area 3 on Figure 2). Planners should consider offering three types of learning activities to help individual clinicians and clinical teams learn: 

• predisposing; 
• enabling; and 
• reinforcing (Green and Kreuter 2005).

[선행predisposing 활동]은 개인이 특정한 방식으로 행동할 가능성이 더 높아지게 한다. 선행 활동은 학습 활동 전에 시작된 학습자의 역량과 지식을 평가하는 것뿐만 아니라, 가르칠 수 있는 순간을 만들고 강화하려는 노력의 연속이라고 볼 수 있다. 예를 들어, 계획자는 임상 팀 구성원에게 PPG와 관련된 임상 과제를 해결하는 소규모 그룹의 시나리오를 연구하도록 요청할 수 있다.6

Predisposing activities cause an individual to be more likely to behave in a particular way. Predisposing activities can be considered to be a continuation of efforts to create and reinforce teachable moments as well as to assess the competence and knowledge of learners that started before the learning activity. For example, planners could ask clinical team members to work on scenarios in small groups that address clinical challenges related to the PPG.6

 

 

그림 7
Figure 7


[활성화 세션Enabling session]은 학습자가 이전에는 할 수 없었던 작업을 수행하거나 잘하지 못한 작업을 개선할 수 있습니다. 계획자는 중소기업과 협력하여 팀원들이 PPG를 제거하거나 줄이기 위해 무엇을 배워야 하는지에 초점을 맞춘 수업 가능한 순간과 설계 가능 세션을 활용해야 한다. 활성화 세션은 학습자들에게 다음을 통하여 teachable moment를 해결할 기회를 제공한다.

• 무엇을 해야 하는가(선언적 지식),
  
• 어떻게, 언제 해야 하는가(절차적 지식) 및
  
• 적절한 시점에 배운 것을 사용하려는 성향의 개발(성향적 지식)

Enabling sessions help learners do something that they previously were not able to do and/or improve something that they were not doing well. Working with SMEs, planners should take advantage of teachable moments and design enabling sessions that focus on what team members need to learn to eliminate or reduce PPGs. Enabling activities provide learners with opportunities to address teachable moments by learning

• what to do (declarative knowledge),
• how and when to do it (procedural knowledge), and
• to develop the disposition do what they have learned when it is appropriate (dispositional knowledge).
  
  

[활성화 세션]에는 네 가지 구성 요소가 있습니다(Salas 및 Cannon-Bowers 2001, Merrill 2013).

• 프레젠테이션,
• 작업 예,
• 신중한 연습,
• 전문가 피드백 및 코칭
  

Enabling sessions have four components: 

• presentation; 
• worked example; 
• deliberate practice; and 
• expert feedback and coaching (Salas and Cannon-Bowers 2001; Merrill 2013).
  
  

첫째, 프레젠테이션 방법은 PPG를 명확히 표현해야 한다. PPG는 실행 중인 것과 실행되거나 실행되어야 하는 것의 차이이므로, 학습자는 활성화 세션 전체에 걸쳐 학습 가이드로 원하는 결과(그들이 해야 할 일)가 무엇인지 시각화할 수 있다(Fox et al., 1989). 질문과 설명을 위한 토론의 기회가 있어야 한다.
First, presentation methods should articulate the PPG, the difference between what is being done and what could or should be done, so learners will be able to visualize the desired results (“what-they-should–be-doing”) as a guide for learning throughout the enabling sessions (Fox et al. 1989). There should be opportunities for questions and discussion for clarification.


다음으로, Worked example은 일반적으로 단계별 시연에서 수행해야 할 작업의 모델 역할을 한다. 그런 다음, 구현을 위한 전략과 구현에 대한 장애요인에 대해 토론한다. 시나리오에 사용되는 것과 유사한 형식을 사용해야 한다.
Next, a worked example, a case that serves as a model of what should be done, usually in a step-by-step demonstration, is presented (Renkl et al. 1998; Clark et al. 2006). Discussions then include strategies for implementation and impact of barriers to implementation. A format similar to that used for scenarios should be employed.


임상 팀 구성원들이 [의도적 연습과 전문가의 피드백]을 함께 경험할 수 있는 기회를 제공하는 것은 활성화 세션의 필수적인 구성요소이다. 의도적 연습은 목적적이고 체계적인 특정한 유형의 실천을 말한다. 많은 경우, 연습은 체계적이지 않은 상태에서의 반복만을 포함한다. 의도적 연습은 성능 향상을 목표로 하는 특정 작업에 집중적인 주의를 요한다(Ericsson and Pool 2016). 의도적 연습은 임상 팀 구성원과 개별 학습자에게 진정한 임상 시나리오에서 무엇을 배우고 있는지 시험해 볼 기회를 제공한다.
Providing an opportunity for members of clinical teams to experience a combination of deliberate practice and expert feedback is an essential component of an enabling session. Deliberate practice refers to a specific type of practice that is purposeful and systematic. Typically, practice involves unorganized repetitions. Deliberate practice requires focused attention on a specific task with the goal of improving performance (Ericsson and Pool 2016). Deliberate practice provides members of clinical teams and individual learners opportunities to try out what they are learning in authentic clinical scenarios.


임상 과제는 복잡할 수 있으므로 비계scaffolding를 사용해야 한다(라이저 및 타박 2014). 비계는 학습자를 점차적으로 더 강한 이해와 궁극적으로 학습 과정의 더 큰 독립성으로 이동시킨다. 교수진은 학습해야 할 것을 모델링하거나 시연하며, 대개 난이도와 복잡성이 높아지는 순서로 구성된 하위 작업으로 학습을 세분화한 다음, 뒤로 물러나 필요한 경우에만 지원을 제공한다. 학습자는 각 하위 작업을 완료하여 이전 하위 작업과 통합함으로써 진행됩니다. 그림 8의 공유 막대는 하위 작업을 연습하고 전문 관찰자 또는 다른 학습자로부터 피드백을 받을 수 있는 각 기회를 나타냅니다. 

Because clinical tasks can be complex, scaffolding should be used (Reiser and Tabak 2014). Scaffolding moves learners progressively toward stronger understanding and, ultimately, greater independence in the learning process. Faculty model or demonstrate what is to be learned, usually breaking up learning into subtasks organized according to increasing difficulty and complexity, and then stepping back and offering support only as needed. A learner progresses by accomplishing each subtask, integrating it with previous subtasks. The shared bar on Figure 8 representeach opportunity to practice a subtask and receive feed-back from an expert observer or other learners. 

 

[활성화 활동]의 핵심 요소는 전문가의 피드백 및 코칭이다. 이것을 통해 보다 어려운 수준에서 지속적으로 임상 기술을 연습할 수 있다. 임상의사 학습자는 적절한 교육을 받은 교수 전문가가 자신의 성과에 대해 관찰하고 의견을 제시할 때 적절한 전문가 피드백을 받는다고 할 수 있다.

• 자신이 잘 한 것,
• 자신이 잘 못 한 것
• 자신이 놓친 것
• 다음 단계로 나아가기 위해 해야하는 것
  

A core component of enabling activities is continuallypracticing clinical skills at more challenging levels with expert feedback and coaching (Ericsson and Pool 2016) Clinician learners receive appropriate expert feedback whenan appropriately trained faculty expert observes and comments on their performance, addressing

• what they did well;
• what they have not done so well;
• what they might have omitted;
• what they can do to advance to the next level

소규모 그룹이 가능하지 않은 경우, 연습 및 피드백 활동은 주요 의사결정 지점에서 청중 투표를 통합하고, 이어서 교수 전문가의 피드백을 받아 점점 더 어려운 시나리오에 대한 소규모 그룹 토론으로 시작할 수 있다.

If small groups are not possible, practice and feedback activities could begin with discussions of worked examples in a large group, incorporating audience polling at key decision points followed by small group discussion of ncreasingly challenging scenarios with feedback from faculty experts.

 

그림 8. 
Figure 8. 

[강화 활동]은 세 번째 유형의 활성화 활동입니다. 강화 활동은 학습자가 임상 환경에서 사용할 필요가 있을 때 배운 내용을 상기하는 데 도움이 될 수 있습니다. 유인물 형태의 강좌 자료는 전통적으로 연습 보조 도구로서 매우 중요한 기능을 수행하는 것으로 생각되어 왔지만, 그러한 방식으로 상담된 적은 거의 없다. 강화 활동 및 자료의 다른 예로는 전자 건강 기록이나 모바일 장치에 대한 있는 리마인더, 또는 환자 차트에 클리핑된 종이 리마인더 등이 있다(Bennett et al. 2003). 
Reinforcing activities are the third type of enabling activ-ities. Reinforcing activities can help learners recall whatthey have learned when they need to use it in a clinicalsetting. Course materials in the form of handouts have traditionally been thought to accomplish this very important function as practice aids, but they rarely have been consulted in that way. Other examples of reinforcing activities and materials are reminders in electronic healthrecords or on mobile devices, or paper reminders clippedon patient charts (Bennett et al. 2003). 

계획자는 보다 적극적인 활동 강화 접근방식을 사용할 수 있다: 신용 인증을 받은 후속 시나리오가 있는 변경 약속 연습(Mazmanian et al. 2001; Wakefield et al. 2003).
planners can use a more activeapproach to reinforcing activities: a commitment-to-change exercise with follow-up scenarios certified for credit(Mazmanian et al. 2001; Wakefield et al. 2003)

개념 체계 – 학습과 학습의 영향 평가 
The conceptual framework – assessing learningand its impact 

개념 프레임워크의 최종 영역은 학습 활동의 효과를 결정하는 데 중점을 두고 그림 2의 영역 4와 5로 표시된다. 학습 활동의 영향을 평가할 때 다음과 같은 세 가지 관련 과제가 있다.

• 학습 평가(총괄 평가)
  
• 학습자의 수행능력 변화 평가(수행능력 평가)
  
• 학습자가 돌보는 환자의 건강 상태 변화 평가(영향 평가)
  

전이transfer을 지원하는 학습 활동에서 설계 특징을 통합하면, 학습된 내용을 실무에 쉽게 사용할 수 있기 때문에 설계자는 전이가 교수설계에서 중요한 고려사항임을 인식해야 한다.

The final areas of the conceptual framework focus on determining the effectiveness of a learning activity and aredepicted as areas 4 and 5 on Figure 2. There are threerelated tasks in assessing the impact of a learning activity:

• assessing learning (summative assessment);
• assessing change in performance of the learners (performance assessment); and
• assessing change in health status of patients cared for by the learners (impact assessment).

Planners should recognize that transfer is an important consideration in instructional design, because incorporation of design features in a learning activity that support transfer can facilitate the use of what is learned into practice. 


종합평가
Summative assessment

종합 평가는 개별 임상의와 임상 팀이 임상 환경에서 성능 향상에 기여할 수 있는 능력을 개발했는지 여부를 결정하기 위한 학습 경험 종료 시 발생한다. 어떤 학습자와 팀은 3개의 연습과 피드백 세션 후에 학습 활동의 목표에 도달할 수 있는 반면, 다른 학습자와 팀은 4번째 또는 5번째 연습과 피드백 세션이 끝날 때까지 숙련도에 도달하지 못할 수 있다. 
Summative assessment occurs at the conclusion of a learn-ing experience to determine if individual clinicians and clin-ical teams have developed capabilities that can contributeto improved performance in the clinical setting. Somelearners and teams may reach the goals of a learning activ-ity after as few as three practice and feedback sessions,while others may not reach proficiency until after thefourth or fifth practice and feedback sessions. 

 

그림 9
Figure 9


전이

Transfer

전이(transfer)는 임상의가 공식적인 학습 활동에서 배운 것을 자신의 연습 환경에서 배우고 적응하기 위해 사용하는 능력이다. 원래 이적은 개인이 배운 것을 한 환경에서 취해서 다른 유사한 환경에서 적용했을 때 발생하는 것으로 개념화되었다. 이 오래된 개념화에서, 학습의 전이는 새로운 환경에서 학습 과제와 작업의 유사성에 의존적이다(Thorndike와 Woodworth 1901; Perkins와 Salomon 1992).
Transfer is the capability of clinicians to use what they have learned in formal learning activities to learn and adapt in their practice settings. Originally, transfer was conceptualized as occurring when an individual took what he or she learned in one setting and applied it in another similar setting. In this older conceptualization, transfer of learning depended on the similarity of the learning task and the task in the new setting (Thorndike and Woodworth 1901; Perkins and Salomon 1992).

최근에는 전이transfer는 새로운 상황에서 학습과 성과에 영향을 미치는 과정으로 여겨진다. 이 새로운 전이 이해를 가능하게 하기 위해서는 학습 활동의 맥락을 뛰어넘는 '추상화'의 수준이 필요하다. [다양한 상황적 특징]에 대한 [여러 차례의 노출]은 학습자가 새로운 상황에서 학습과 전이를 용이하게 하는 원리를 인식하도록 도울 것이다.
More recently, transfer is conceived as a process in which past learning influence learning and performance in new situations. A level of abstraction that goes beyond the context of the learning activity is necessary to enable this newer understanding of transfer. Multiple exposures with differing contextual features, an important part of the approach described in the previous section, will help learners begin to recognize principles that facilitate learning and transfer in new situations.


성과평가
Assessing performance

새로 개발된 역량이 수행능력 향상에 기여하는지, 즉 니즈 평가 중에 식별된 PPG가 감소 또는 제거되었는지 여부를 결정하기 위해 임상 환경에서 학습자의 수행능력을 평가할 필요가 있다(그림 6 참조). 간격이 줄어들었는지 또는 제거되었는지 여부를 판단하기 위해 니즈 평가에 사용된 샘플과 유사한 환자 건강 기록의 샘플을 검토해야 할 것이다.
It is necessary to assess the performance of learners in their clinical setting to determine if the newly developed capabilities contribute to improved performance, that is, if the PPG identified during needs assessment has been reduced or eliminated (See Figure 6). To determine if the gap has been reduced or eliminated, it would be necessary to conduct a review of a sample of patient health records similar to the sample used in needs assessment.

 

그림 10
Figure 10

환자에게 미치는 영향 평가
Assessing the impact on patients

 

이 기사는 거꾸로 계획하는 과정에 대한 설명과 환자 건강에 대한 집중으로 시작되었다. 그림 4는 HbA1c 값이 7.0% 이상인 환자의 초기 백분율이 47%라는 것을 보여준다. 이 비율은 임상의와 의료 시스템 리더에게 허용되지 않는 것으로 간주되었다. 7.0% 이상의 HbA1c 값을 가진 환자의 40%가 원하는 결과로 설정되었으며, 이는 수년 동안 달성될 것이다.
This article started with a description of a backwards planning process and a focus on patient health. Figure 4 shows that the initial percentage of patients with HbA1c values over 7.0% was 47%. This percentage was considered unacceptable to clinicians and health system leaders. A goal of 40% of patients with HbA1c values over 7.0% was set as the desired result, to be achieved over several years.

그림 11
Figure 11

개념적 프레임워크 – 결론적 의견
The conceptual framework – concluding comments

개념 모델은 몇 가지 중요한 특징을 가지고 있다. 

• 첫째, 거꾸로 계획하는 접근법을 사용함으로써, 그것은 환자 중심이다. 
• 둘째, 데이터 중심이며, 데이터는 평가와 계획의 중심입니다. 
• 셋째, 학습 활동 설계에 대한 증거 기반 접근법을 제안하기 위해 학습 과학의 다양한 연구에 의존한다. 
• 넷째, 모델의 핵심은 학습자를 기존의 전문 지식 수준에서 보다 바람직한 전문 지식 수준으로 안내하는 지속적인 평가이다. 
• 다섯째, 유연하다. CE 기획자는 자원과 관심이 있는 수준에서 시작하기로 결정할 수 있다. 
• 여섯 번째, 1990년대 초반 이후 체계적인 검토를 통해 CE의 효과를 연구한 Cervero와 동료들의 작업을 따르고 어느 정도 영감을 받는다.

The conceptual model has several important characteristics. 

• First, by using a backwards planning approach, it is patient-centered. 
• Second, it is data-driven; data are central in assessment and planning.
• Third, it draws on a variety of studies in the learning sciences to suggest an evidencebased approach to designing learning activities.
• Fourth, a centerpiece of the model is continuous assessment that guides learners from an existing level of expertise to a more desirable level of expertise.
• Fifth, it is flexible. CE planners can decide to start at a level for which there is resources and interest.
• Sixth, it follows and, to a certain degree is inspired by, the work of Cervero and coworkers who studied the effectiveness of CE in the health professions through systematic reviews since the early 1990s (Umble and Cervero 1996; Robertson et al. 2003; Cervero and Gaines 2015).
  
  
  
  
  
  Mazmanian PE, Johnson RE, Zhang A, Boothby J, Yeatts EJ. 2001. Effects of a signature on rates of change: a randomized controlled trial involving continuing education and the commitment-to-change model. Acad Med. 76:642–646. XXX
  
  Moore DE Jr, Green JS, Gallis HA. 2009. Achieving desired results and improved outcomes by integrating planning and assessment throughout a learning activity. J Cont Educ Health Prof. 29:1–18. XXX
  
  

 

 

---

Med Teach

•  
•  
•  

. 2018 Sep;40(9):904-913.

 doi: 10.1080/0142159X.2018.1483578. Epub 2018 Jul 28.

A conceptual framework for planning and assessing learning in continuing education activities designed for clinicians in one profession and/or clinical teams

Donald E Moore Jr 1, Kathy Chappell 2, Lawrence Sherman 3, Mathena Vinayaga-Pavan 4

Affiliations collapse

Affiliations

• 1a Office for Continuing Professional Development Vanderbilt University Medical Center , Nashville , Tennessee , USA.

• 2b American Nurses Credentialing Center American Nurses Association , Silver Spring , Maryland , USA.

• 3c The Academy for Global Interprofessional Learning and Education (AGILE) , Thonex , Switzerland.

• 4d Eastman Dental Institute University College , London , UK.

• PMID: 30058424

 

• DOI: 10.1080/0142159X.2018.1483578

Abstract

Purpose: The purpose of this article is to provide a more actionable description of the components of the outcomes framework published in 2009.

Methods: Synthesis of recent research in the learning sciences.

Results: The authors propose a conceptual framework to be used planning learning activities and assessing learning in CPD.

Conclusions: CPD practitioners will have a more explicit approach to help clinicians provide the very best care to their patients.