교육 디자인연구(EDR) 수행을 위한 열두 가지 팁(Med Teach, 2020)

교육 디자인연구(EDR) 수행을 위한 열두 가지 팁(Med Teach, 2020)

Twelve tips for conducting educational design research in medical education
Weichao Chena and Thomas C. Reevesb

 

 

도입 Introduction

의학 교육 연구 분야는 1950년대 이후 꾸준한 성장을 보여 왔다(트레이너와 에바 2010). 오늘날의 의료 전문가들은 다양한 종류의 교육 연구(Eva 및 Lingard 2008)를 수행하는 데 점점 더 많은 투자를 하고 있으며, 해당 기관(Ahmed et al. 2016)의 지원을 받고 있다. 불행히도, 다른 교육적 맥락에서와 마찬가지로 교육적 연구의 영향은 약하다. 결과적으로, 연구와 실제 사이의 차이를 더 효과적으로 메워주는 연구에 대한 요구가 증가하고 있다. 
The field of medical education research has witnessed steady growth since the 1950s (Traynor and Eva 2010). Today’s healthcare professionals are increasingly invested in conducting educational research of various kinds (Eva and Lingard 2008), with efforts often supported by their institutions (Ahmed et al. 2016). Unfortunately, the impact of educational research on medical education practice is weak, just as it is in other educational contexts (Kaestle 1993; Kennedy 1997; Albert et al. 2007; Dolmans and Tigelaar 2012; van Enk and Regehr 2018). As a result, there has been a growing call for studies that more effectively bridge the gap between research and practice.

 

실천에 미치는 영향이 불충분할 뿐만 아니라, 교육 및 학습과 관련된 강력한 이론의 정의와 개선에 적절하게 기여하는 의학 교육 연구 연구는 거의 없다. 쿡 외 연구진(2007)이 2003년과 2004년 사이에 주요 학술지에 발표한 실험 의학 교육 연구를 체계적으로 검토한 결과, 45%의 연구가 개념적 틀을 결여하고 있었다. 
In addition to the insufficient impact on practice, few medical education research studies contribute adequately to the definition and refinement of robust theory related to teaching and learning. According to Cook et al.’s (2007) systematic review of the experimental medical education research published in leading journals between 2003 and 2004, 45% of the studies lacked a conceptual framework. 

'이론 지향적이고 응용과 관련된 두 가지 모두를 다른 사람에게 알리기 위해 사용한다'는 의학적 교육 연구에 대한 수요에 대응하여(Eva 2010, 페이지 4), 본 논문은 이 두 가지 목표를 달성하기 위한 유망한 접근법으로 교육 설계 연구(EDR)를 소개한다. 그림 1은 EDR 프로젝트의 세 가지 주요 단계를 보여줍니다(McKenney 및 Reeves 2019).

Responding to the demand for medical education research that is ‘both theory-oriented and application-relevant, using each to inform the other’ (Eva 2010, p. 4), this paper introduces Educational Design Research (EDR) as a promising approach to accomplishing this twofold objective. Figure 1 illustrates the three major phases of EDR projects (McKenney and Reeves 2019):

 

 

• '분석 및 탐구'는 중요한 교육 문제에 대한 이해를 얻고 다른 사람들이 어떻게 문제를 해결했는지 조사하기 위해 협력자들과 긴밀히 협력하는 것을 포함한다.
  
• '설계 및 시공'은 적절한 설계 원칙을 식별 또는 작성하고 이러한 원칙을 사용하여 프로토타입 개입을 개발하는 데 초점을 맞춥니다.
  
• '평가 및 성찰'은 프로토타입 개입을 테스트하고 결과가 미치는 영향을 검토하기 위해 여러 번 반복된 데이터 수집 및 분석으로 구성됩니다.

 

• ‘Analysis and Exploration’ involves working closely with collaborators to acquire an understanding of a significant educational problem and investigate how others have addressed it;
• ‘Design and Construction’ focuses on identifying or creating appropriate design principles and using these principles to develop your prototype intervention; and
• ‘Evaluation and Reflection’ consists of multiple iterations of data collection and analysis to test your prototype intervention and review the implications of the findings.

 

의학 교육 연구자들(Dolmans and Tigelaar 2012; Wolcott et al. 2019)에게 최근에 소개되었지만, EDR은 1990년대 초 다른 교육 환경에서 출현했으며, [교육 연구가 실제에 미치는 영향을 강화]하는 동시에, [이론을 확장 및 정제하는extending and refining 방식]의 하나로서 꾸준히 증가하고 있다. 설계 기반 연구 및 설계 기반 구현 연구와 같은 유사한 접근 방식을 포괄하는 EDR은 2003년부터 현재까지 주요 교육 연구 저널의 여러 특수 이슈에 실렸다. 그림 1은 맥케니와 리브스(2019)가 설명한 EDR의 과정을 보여주고 있다. 

While only recently introduced to medical education researchers (Dolmans and Tigelaar 2012; Wolcott et al. 2019), EDR emerged in other educational settings in early 1990s and has been steadily increasing as a way of enhancing the impact of educational studies on practice while at the same time extending and refining theory (McKenney and Reeves 2019). Encompassing similar approaches such as design-based research and design-based implementation research, EDR has been featured in multiple special issues of leading educational research journals between 2003 and the present. Figure 1 illustrates the process of EDR as delineated by McKenney and Reeves (2019). 

팁 1 EDR 이니셔티브가 학습 및 교육 관련 중요한 문제에 집중되도록 보장
Tip 1 Ensure your EDR initiative is focused on a significant problem related to learning and teaching

무엇보다도, 당신의 EDR 이니셔티브는 교육 및 학습의 실천과 관련된 의미 있는 문제에 초점을 맞추고 이 확인된 과제를 충족시키는 것을 목표로 해야 한다. [중요한 교육 과제를 해결하기 위한 초점]은 EDR을 교육 연구에 대한 많은 다른 접근 방식(McKenney 및 Reeves 2019)과 구별한다. 그림 1에서 설명한 바와 같이, EDR 이니셔티브의

• 첫 번째 단계인 집중적인 '분석 및 탐색'을 통해 문제에 대한 여러분의 이해도를 알게 되며, 이후
• 두 번째 단계인 '설계 및 시공'에서 문제에 대한 프로토타입 솔루션을 개발할 수 있게 됩니다. 이 솔루션은 새롭게 계획되거나 강화된
  • 교육 프로세스(예: 혁신적인 교육학적 전략),
  • 프로그램(예: 교직원 개발 노력 강화) 또는
  • 정책(예: 주민 교육 현장의 변화)...의 형태로 '개입'으로 특징지어질 수 있다(Groupen et al. 2018).
    

First and foremost, your EDR initiative should focus on a meaningful problem relevant to the practice of teaching and learning and aim to meet this identified challenge. This sharp focus on addressing a significant educational challenge distinguishes EDR from many other approaches to educational research (McKenney and Reeves 2019). As illustrated in Figure 1, your understanding of the problem will

• be informed by intensive ‘Analysis and Exploration’ during the first phase of your EDR initiative and
• subsequently enable the development of a prototype solution to the problem during the second phase, ‘Design and Construction.’ The solution can be characterized as an ‘intervention’ in the form of newly planned or enhanced
  • educational processes (e.g. innovative pedagogical strategies),
  • programs (e.g. enhanced faculty development efforts), or
  • policies (e.g. changes in training sites for residents) (Gruppen et al. 2018).

 

오늘날 의료 교육자들에게 심각한 문제를 구성하는 것은 무엇인가? 많은 교육적 과제는 모든 수준의 교사들이 경험하는 것과 다르지 않다(예: 능동적 학습 원칙의 통합 또는 고차원적 학습 성과의 달성 증가). 다음과 같이 의학교육에 더 구체적인 것도 있다.
What constitutes serious problems for healthcare educators today? Many educational challenges are not unlike those experienced by teachers at all levels (e.g., increasing the integration of active learning principles or the achievement of higher-order learning outcomes), but others are more specific to medical education, including:

• 점점 더 유동적인 의료 팀에서 효과적으로 작업할 수 있는 역량을 개발합니다.
  
• 환자 및 기타 의료 전문가와 문화적으로 유능한 방식으로 의사소통할 수 있는 기술을 배양합니다.
  
• 머신 러닝 알고리듬과 로봇에 점점 더 많이 빠져드는 세상에서 의료 전문가들이 실습을 할 수 있도록 준비한다.
  
• 평가 프로토콜 및 피드백 관행을 개선하여 역량 기반 교육을 촉진합니다.
  
• 의료 전문가의 임상 추론(CR)을 개선합니다.

 

• Develop capacities to work effectively in increasingly fluid healthcare teams.
• Cultivate skills to communicate in a culturally competent manner with patients and other healthcare professionals.
• Prepare healthcare professionals for practice in a world increasingly infused with machine learning algorithms and robots.
• Improve assessment protocols and feedback practices to promote competency-based education.
• Enhance healthcare professionals’ clinical reasoning (CR).

 

의학 교육에서 EDR이 어떻게 수행될 수 있는지를 명확히 하기 위해, 의대생의 임상 추론 강화 문제에 초점을 맞춘 가상의 연구가 다음 팁의 설명에 사용될 것이다. CR이 환자 안전에 중요한 영향을 미치는 의료 실무의 핵심 기술임에도 불구하고, 이러한 기술은 임상 회전 중에 전문 실무자를 관찰하여 개발하는 것으로 여기기 때문에 명시적으로 교육되는 경우는 거의 없다. 학생들의 CR을 향상시키는 것은 의대 교사들에게 분명히 심각한 도전이다(Higgs et al. 2019). 

To clarify how EDR can be conducted in medical education, a hypothetical study focused on the problem of enhancing medical students’ clinical reasoning (CR) will be used in the description of the following tips. Despite the fact that CR is a core skill in medical practice with major implications for patient safety, it is rarely explicitly taught because it is assumed that these skills will be developed by observing expert practitioners during clinical rotations (Gay et al. 2013; Amey et al. 2017). Enhancing the CR of their students is clearly a serious challenge for medical teachers (Higgs et al. 2019).

팁 2 실제 및 이론적 결과를 위해 노력합니다.
Tip 2 Strive for both practical and theoretical outcomes

 

McKenney와 Reeves(2019)에서 설명한 바와 같이, EDR 프로젝트는 [개입의 성숙]과 [강화된 이론적 이해]라는 두 가지 주요 결과를 동시에 추구한다.

• 그림 1에서 설명한 것처럼, EDR의 실제 결과는 새로운 조건이 진화함에 따라 개입도 진화해야 하기 때문에 [어떤 문제 해결도 최종적이지 않다는 인식]에서 성숙된 개입으로 개념화된다.
• 그림 1은 EDR의 이론적 기여를 이론적 이해로 지정한다. EDR에서 [이론적 이해]는 보통 '설계 원칙design principle'의 형태로 표현된다. 설계 원칙은 [이전 연구로부터 도출된 모범 사례로서, 프로토타입 솔루션의 작성에 정보를 제공하고, 이후 데이터 수집, 분석 및 반영 활동을 통해 구체화하는 데 사용]된다.
  

As delineated in McKenney and Reeves (2019), two primary outcomes are sought simultaneously in EDR projects, specifically a maturing intervention and enhanced theoretical understanding.

• As illustrated in Figure 1, the practical outcome of EDR is conceptualized as a maturing intervention in recognition that no problem solution is ever final because as new conditions evolve, interventions must evolve as well.
• Figure 1 designates the theoretical contribution of EDR as theoretical understanding. In EDR, theoretical understanding is usually represented in the form of ‘design principles.’ Design principles are the best practices derived from prior research that you will use to inform the creation of your prototype solution and that subsequently, you will refine through your data collection, analysis, and reflection activities.

 

학생들의 CR 기술 향상 도전에 EDR을 적용할 때, [실용적 결과]는 [CR 기술을 향상시키는 교육적 개입]이 될 것이며, [이론적 결과]는 [다른 높은 차원의 성과를 다루는 개입을 개발하기 위한 설계 원칙의 강화]일 것이다.

• 개입의 성숙의 예로는 학생들이 대화형 피드백과 코칭으로 실제 사례에 CR을 적용하는 데 관여하는 컴퓨터 기반 시뮬레이션이 있을 수 있다.
• 설계 원리의 예로는 '사례 기반 시뮬레이션은 임상 추론의 형태적 평가가 실제 작업에 포함되고 피드백이 지연되지 않고 즉시 제공될 때 가장 효과적이다'라고 할 수 있다.

 

In applying EDR to the challenge of enhancing students’ CR skills, the practical outcome would be an educational intervention that improves CR skills while the theoretical outcome would be enhanced design principles for developing interventions that address other higher order outcomes.

• An example of a maturing intervention might be a computer-based simulation that engages students in applying CR to actual cases with interactive feedback and coaching.
• An example of a design principle might be that ‘A case-based simulation is most effective when the formative assessment of clinical reasoning is embedded in authentic tasks and feedback is provided immediately rather than delayed.’

팁 3 연구 및 개발 프로세스 전반에 걸쳐 이론적 이해를 구합니다.
Tip 3 Seek theoretical understanding throughout the research and development process

EDR 이니셔티브 전반에 걸쳐 (니즈 평가, 문헌 검토, 준 실험과 같은) 다양한 연구 활동이 중요한 문제에 대한 해결책의 주기적인 개발에 통합된다. 이러한 연구 개발 활동은 서로 다른 유형의 [이론적 이해]를 통해 정보를 제공받는다(McKenney 및 Reeves 2019).
Throughout an EDR initiative, various research activities such as needs assessment, literature review, and quasi-experiments are integrated into the cyclical development of a solution to the significant problem. These research and development activities are informed by and in turn yield different types of theoretical understanding (McKenney and Reeves 2019):

 

• 기술적 이해descriptive understanding는 일반적으로 혁신적인 개입의 실제 개발을 시작하기 전에 '분석 및 탐색' 단계에서 이루어집니다. 문헌 검토나 경험적 탐색을 통해 목표 교육 과제와 관련된 현재 상황에 대한 더 나은 이해를 도출하고, 이는 이후 '설계와 건설' 단계를 알려준다.
  
• '평가 및 성찰' 단계에서는 개입의 테스트 및 개선을 통해 원하는 결과에 대한 예측적 이해predictive understading를 구하고, 설계된 개입이 목표 문제를 해결하는지 여부와 어느 정도까지 해결할 수 있습니다.
  
• 혁신이 제대로 작동하는지를 평가하는 것은 유용하지만, 혁신이 어떻게, 언제, 그리고 '어떤what' 측면과 '왜' 그것이 발생하였는지를 동시에 연구하는 것도 중요합니다(Regehr 2010). 따라서 설명적 이해explanatory understanding는 개입이 성공하거나 실패하는 방법과 이유를 설명하여 중요한 인과 관계 또는 영향력 있는 상황적 요인을 드러낸다.
  
• '평가 및 성찰' 단계에서 개입의 타당성을 조사하는 여러 번의 반복을 통해, 대개 [정교화된 설계 원리refinded design principle]의 형태로 규범적인 이해prescriptive understanding를 도출할 수 있습니다. 이상적으로, 이러한 정교한 설계 원칙은 자신이나 다른 사람이 새로운 교육 맥락에서 유사한 개입의 설계와 실행을 가능하게 할 것이다.

 

• Descriptive understanding is typically pursued during the ‘Analysis and Exploration’ stage, before starting the actual development of your innovative intervention. Through literature reviews or empirical exploration, you derive a better understanding of the current situation related to the target educational challenge, which subsequently informs the ‘Design and Construction’ stage.
• At the ‘Evaluation and Reflection’ stage, through the testing and refinement of your intervention, you can seek predictive understanding of the desired outcomes, addressing whether, and to what extent, the designed intervention addresses the target issue.
• While it is useful to assess ‘if’ your innovation works, it is also important to simultaneously study ‘how,’ ‘when,’ and ‘what’ aspects of it work and ‘why’ that happens (Regehr 2010). Explanatory understanding, therefore, explicates how and why the intervention succeeds or fails, revealing important causal relationships or influential contextual factors.
• Through multiple iterations of investigating the efficacy of your intervention during the ‘Evaluation and Reflection’ stage, you can derive prescriptive understanding, usually in the form of refined design principles. Ideally, these refined design principles will enable the design and implementation of similar interventions in new educational contexts by yourself or others.

 

가상 환자, 대화형 시뮬레이션, 반응성 매니킨, 질병 스크립트 워크샵, 서비스 학습, 문제 기반 학습, 개념 매핑, 혼합 학습 및 3-D 게임과 같은 의료 학습자의 CR을 향상시키기 위해 수 많은 혁신이 개발되었다. 하지만 이러한 개입 중 어느 것도 이 과제를 제대로 해결하지 못했습니다. 적어도 이 실패의 일부는 [CR에 대한 타당한 이론적 이해 없이 개입을 개발하는 모든 너무 일반적인 관행]과 [이러한 기술을 가르치는 복잡성]에 기인할 수 있다(Rencic 2011). 

Numerous innovations have been developed to enhance the CR of healthcare learners, such as virtual patients, interactive simulations, responsive manikins, illness scripts workshops, service learning, problem-based learning, concept mapping, blended learning, and 3-D games (among others), but none of these interventions has adequately met this challenge. At least part of this failure may be attributed to the all-too-common practice of developing interventions without a sound theoretical understanding of CR and the complexities of teaching these skills (Rencic 2011).

 

팁 4 개념적 프레임워크 식별 및 적용
Tip 4 Identify and apply conceptual frameworks

 

'분석 및 탐색' 단계(그림 1 참조)에는 [연구 및 설계 활동의 계획을 안내하기 위해 가능한 한 일찍 하나 이상의 개념 프레임워크를 식별하는 것]이 포함됩니다. 개념적 프레임워크는 관찰을 기반으로 개발되거나 경험적 연구에 의해 검증되거나 다른 well-grounded theory에서 도출된 이론, 모델 및 실천 원칙을 포함한다. 각 프레임워크는 복잡한 교육 현상을 검토하고 해석하기 위한 렌즈를 제공한다(Bordage 2009). 다시 말해서, 서로 다른 프레임워크는 [대상 문제의 상호 관련되고, 또 종종 복잡한 측면에 주의]를 기울이게 하며, [혁신적 개입에 통합될 수 있는 교육 전략의 유형]에 영향을 미친다.
The ‘Analysis and Exploration’ phase (see Figure 1) includes identifying one or more conceptual frameworks as early as possible to guide your planning of both research and design activities (Yin 2014). Conceptual frameworks include theories, models, and principles of practice that are developed based on observations, validated by empirical research, or derived from other well-grounded theories. Each framework provides a lens for examining and interpreting complex educational phenomena (Bordage 2009). In other words, different frameworks bring attention to interrelated and often complex aspects of the target problem and influence the types of educational strategies that might be integrated into an innovative intervention.

 

• 학습 이론에서 프레임워크를 식별하면(Zackoff et al. 2019), 학습이 어떻게 발생하고 성공적인 학습을 지원하기 위한 교육 노력을 개선하는 방법에 초점을 맞출 가능성이 높다.
• 반면에, 만약 시스템 이론으로부터 도출한다면(Barr 2013), 아마도 혁신이 지속되도록 조직의 능력을 향상시키기 위한 [혁신의 확산에 영향을 미치는 요소]들을 조사할 것이다.
• If you identify a framework from learning theories (Zackoff et al. 2019), you are likely to focus on the process of how learning occurs and how to improve instructional efforts to support successful learning;
• on the other hand, if you derive your framework from system theories (Barr 2013), you will probably investigate factors that influence the diffusion of your innovation so as to enhance your organization’s capacity to sustain it.

EDR을 수행하는 연구자와 실무자는 의료 학습자의 CR을 향상시키기 위해 서로 다른 학습 이론을 채택했다.

• 예를 들어, 라마케어스 외 연구진(2012)은 인지 이론을 채택하고 학습자의 인지 이해 구성을 지원하는 실제 사례와 실천을 갖춘 커리큘럼을 구축한 반면, 레게트(2016)는 CR 성능에 '자기조절학습'의 중요성을 강조했다. 그리고 학생들의 자율 학습 능력을 향상시키기 위해 피드백 연습을 강화하려고 노력했다.
  
• 반면 코이비스토 외 연구진(2016, 2017, 2018)은 경험이 학습에서 수행하는 중심 역할에 초점을 맞췄다. 학습자의 CR 능력을 높이기 위한 3-D 게임을 개발하면서, 학생들의 학습 과정을 조사하고 향상시키기 위해 경험 학습 이론을 채택했다.
  
• 의학 교육의 맥락에서, 학습 이론의 추가 예는 Zackoff et al. (2019, 페이지 137–138)에서 볼 수 있으며, Bar (2013)는 조직 이론과 활동 이론과 같은 시스템 이론의 예를 제공했다.

Researchers and practitioners conducting EDR have adopted different learning theories to enhance healthcare learners’ CR.

• For example, Ramaekers et al. (2012) adopted cognitive theories and built a curriculum with authentic examples and practice to support learners’ construction of cognitive understanding whereas Leggett (2016) emphasized the importance of ‘self-regulated learning’ on the performance of CR and sought to enhance feedback practice to foster students’ self-regulated learning skills.
• On the other hand, Koivisto et al. (2016, 2017, 2018) focused on the central role that experience plays in learning. In developing a 3-D game to enhance learners’ CR skills, they adopted the experiential learning theory to investigate and enhance students’ learning process.
• Within the context of medical education, additional examples of learning theories are available in Zackoff et al. (2019, p. 137–138), and Barr (2013) provided examples of system theories, such as organizational theory and activity theory. 

팁 5 EDR 이니셔티브에 대해 기꺼이 협력할 수 있는 실무자와 연구자를 식별합니다.
Tip 5 Identify practitioners and researchers willing and able to collaborate on the EDR initiative

 

EDR의 특징은 [연구자와 실무자의 긴밀한 협업을 포함]하거나, 의료 교육에서 실무자와 이론적 이해를 개선하기 위한 [장기적 노력에 협력하고자 하는 실무자 그룹을 포함]한다는 것이다. 교육 생태계에 대한 모든 개입의 성공은 시스템의 다른 요소(Zhao 및 Frank 2003)와의 혁신적 상호작용에 의해 결정된다. 다음 이해관계자는 EDR 프로젝트가 수행되는 생태계에서 중요한 역할을 할 수 있다.
A hallmark of EDR is that it involves the close collaboration of researchers and practitioners, or more likely in medical education a group of practitioners willing to engage collaboratively in long-term efforts to improve practice and theoretical understanding. The success of any intervention in an educational ecological system is determined by the innovation’s interaction with other components of the system (Zhao and Frank 2003). 

 

• 당신의 프로젝트가 다루는 문제와 관련된 핵심 기술 및 주변 기술을 가르치는 일에 관련된 전문가들,
  
• 프로그램 평가 및 학습 평가에 전문 지식을 갖춘 전문가
  
• 교수 및 직원 개발 및 교육 설계에 전문 지식을 갖춘 전문가
  
• 행정, 학술, 학생, 기술 지원 인력 및
  
• 대상 학습자 모집단의 대표자

• professionals involved in teaching the core and peripheral skills related to the problem your project addresses,
• professionals with expertise in program evaluation and learning assessment,
• professionals with expertise in faculty and staff development and/or instructional design,
• administrative, academic, student, and technology support personnel, and
• representatives of the target learner population.

교육 개발 및 연구 모두에서 중요한 역할을 수행해야 하지만, 경험이 풍부한 교육 연구자 또는 평가자를 팀에 한 명 이상 포함시키는 것을 고려하십시오. 성공적인 프로젝트 관리(Huggett et al. 2011)를 통해 다학제적 협업을 통해 학술활동의 질을 크게 높일 수 있습니다(Traynor 및 Eva 2010).

While you should play key roles in both instructional development and research, consider including one or more experienced educational researchers or evaluators on your team. With successful project management (Huggett et al. 2011), multidisciplinary collaboration can significantly advance the quality of scholarship (Traynor and Eva 2010).

 

또한 의대생 스스로 EDR 이니셔티브에 참여하기를 원할 수 있다. 이들이 소규모 평가의 참여자 및 설계 및 구현 아이디어를 위한 견고한 위원회 역할을 할 수 있기 때문이다.

In addition, you might want to engage medical students themselves in the EDR initiative as they can serve as participants in small-scale evaluations and as sounding boards for design and implementation ideas.

팁 6 대상 문제 및 학습자 분석
Tip 6 Analyze the target problem and learners

[개입의 구성construction of an intervention]에 정보를 제공하기 위해서는, 목표 문제와 다른 사람이 목표 문제를 해결하기 위해 사용한 [기존 혁신에 대한 풍부한 설명적 이해]를 얻어야 하며, [목표 모집단과 학습 환경에 대한 자세한 정보]도 얻어야 합니다(Bass and Chen 2016; Hughes 2016). 이러한 종류의 정보는 일반적으로 문헌 검토, 현장 방문 및 관찰, 학습자 및 교육자 조사를 통해 구해진다. 
To inform your construction of an intervention, you must acquire a rich descriptive understanding of the target problem and the existing innovations that others have employed to address your target problem, and you must also garner detailed information about the target population and the learning environment (Bass and Chen 2016; Hughes 2016). This kind of information is typically sought through reviewing the literature, conducting site visits and observations, and/or surveying learners and their educators. 

또한 대상 학습자와 학습 환경에 대한 다음 정보를 명확히 설명해야 합니다(Fink 2013).
Additionally, you should seek to clarify the following information about your target learners and their learning environment (Fink 2013):

 

• 학습자 및 강사 특성
  
• 학습 환경, 기술 및 기타 자원의 설정
  
• 사회, 전문직 협회, 소속 기관 같은 외부 기대치
  
• 교육내용subject matter의 특성과 내재된 교육학적 도전.
• learner and instructor characteristics;
• the setting of the learning environment, technology, and other resources;
• external expectations from the society, professional associations, and your institute; and
• nature of the subject matter and inherent pedagogical challenges.

팁 7 정렬된 교육 설계 및 구성
Tip 7 Design and construct an aligned educational design

 

EDR의 '설계 및 시공' 단계는 이전 '분석 및 탐사' 단계에서 습득한 기술 이해를 바탕으로 설계 계획을 수립하기 시작하는 단계입니다(그림 1 참조).
The ‘Design and Construction’ phase of EDR is when you begin constructing your design plan based on the descriptive understanding acquired during the previous ‘Analysis and Exploration’ phase (see Figure 1).

 

첫째, 프로토타입 개입에 대한 설계 원칙을 도출하기 위해 개념 프레임워크 및 유사한 솔루션과 관련된 문헌을 계속 검토하십시오. 이러한 원칙은 설계 계획design plan으로 전환되며, 여기에는 다음의 세 가지 핵심 요소가 포함되어야 합니다(Fink 2013). 

• 교육 목표,
• 교육 활동 및 자료,
• 평가 및 피드백 절차

First, continue to review literature related to your conceptual framework(s) and similar solutions to derive design principles for your prototype intervention. These principles are turned into your design plan, which must include three key elements at a minimum: 

• educational objectives,
• instructional activities and materials, and 
• assessment and feedback procedures (Fink 2013).

내용을 확인하거나 새로운 교육 방법 또는 기술을 탐색하여 혁신을 개발하고자 할 수도 있지만, 교육 목표를 구성하거나 검토하면서 학습자가 교육 개입의 마지막에 무엇을 해야 하는지를 명확하게 설명하는 것으로 시작할 수 있습니다. 이노베이션 개발을 안내하는 명확한 교육 목표를 작성할 때, 나머지 두 가지 주요 설계 요소(교육 활동 및 자료, 평가 및 피드백 절차)를 이러한 목표와 연계할 수 있는 기반을 구축합니다. 이러한 정렬은 학생들이 의미 있는 학습에 참여할 수 있는 기회를 높여 줍니다(Fink 2013). 

While you might be eager to start developing your innovation by identifying the content or exploring a novel teaching method or technology, instead begin by composing or reviewing your educational objectives, clearly describing what learners are expected to do at the end of the instructional intervention. When you write clear educational objectives to guide the development of your innovation, you build the foundation for the alignment of the other two major design elements (instructional activities and materials and assessment and feedback procedures) with these objectives. This alignment enhances your students’ opportunities to engage in meaningful learning (Fink 2013). 

교육 목표를 지정하는 과정은 자연스럽게 다음과 같은 다른 주요 설계 요소를 고려하도록 유도합니다.

• 학습자의 목표 달성을 지원하기 위한 교육 활동 및 자료를 제작하는 과정과
• 원하는 학습이 이루어졌음을 입증하기 위한 관련 평가 및 피드백 절차를 개발하는 과정.

The process of specifying your educational objectives naturally prompts you to consider other key design elements,

• crafting instructional activities and materials to support learners’ achievement of these objectives and
• developing relevant assessment and feedback procedures to demonstrate that the desired learning has occurred.

MedBiquitous Curriculum Inventory Working Group 표준화 어휘 소위원회(2016)는 의료 교육에서 일반적인 교육 및 평가 방법을 식별한다.

MedBiquitous Curriculum Inventory Working Group Standardized Vocabulary Subcommittee (2016) identifies common instructional and assessment methods in medical education.

'분석 및 탐구' 단계 이후, 여러분과 동료들이 학생들의 CR을 개선하기 위하여, 'flipped classroom'을 활용한 교육적 개입의 설계를 스케치했다고 가정합시다. 반복 설계 프로세스 중에 이러한 각 설계 구성요소를 수정하고 다시 검토하여 해당 구성요소가 서로 일치하고 개입이 제안된 설계 원리에 부합하는지 확인합니다. 다음과 같은 질문을 합니다.
Suppose that after the ‘Analysis and Exploration’ phase, you and your colleagues have sketched out a design of an instructional intervention to enhance students’ CR, specifically a ‘flipped classroom’. During the iterative design process, you will revise and revisit each of these design components to make sure that they are in alignment with each other and that the intervention is congruent with the proposed design principles. Ask questions such as:

 

• FC 모델은 모든 교육 목표를 효과적으로 다루고 학생들이 학습 평가를 준비하도록 하는가?
  
• 평가 활동이 모든 목표를 어느 정도까지 다루고 있는가?
  
• 프로토타입 FC 접근 방식에 당신의 설계 원칙이 얼마나 잘 반영되어 있습니까?
  
• 대상 학습자, 학습 환경 및 리소스에 대한 이해를 바탕으로 이 혁신을 실제로 구현하는 것이 얼마나 실현 가능합니까?

1. To what extent does the flipped classroom model effectively address all the educational objectives and prepare students for learning assessments?
2. To what extent do the assessment activities cover all the objectives?
3. How well are your design principles reflected in your prototype flipped classroom approach?
4. Based on your understanding of the target learners, learning environment, and resources, how feasible is it to actually implement this innovation?

팁 8 프로토타입 개입 구현 평가
Tip 8 Evaluate the implementation of your prototype intervention

EDR의 3단계는 '평가와 성찰'을 통해 혁신적인 개입을 개선하고 이론적 이해를 확대 또는 강화한다(그림 1 참조). 주기적인 평가를 수행하여 지역 및 광범위한 제도 생태계에서 개입의 기능을 조사하고 개입의 성공에 영향을 미치는 요인을 식별한다. 권장 질문은 다음과 같습니다.

The third phase of EDR involves ‘Evaluation and Reflection’ to refine the innovative intervention and extend or enhance theoretical understanding (see Figure 1). Conduct periodic assessments to investigate the intervention’s functioning in both the local and the broader institutional ecological systems and identify factors impacting its success. Recommended questions include:

 

• 선생님과 학습자 모두 여러분의 개입이 그들의 필요와 관련이 있다고 어느 정도 인식했는가?
  
• 학습자가 개입에 얼마나 관여하고engaged 있습니까?
  
• 당신의 개입이 그것의 의도된 목표를 얼마나 잘 다루고 있는가?
  
• 의도하지 않은 결과가 나타날 경우, 긍정적인 결과인가 부정적인 결과인가? 그리고 왜 그런 결과가 나타났는가?
  
• 당신의 원래 계획에 어떤 수정이 이루어졌고, 왜 이러한 변경들이 이루어졌는가?
  
  

1. To what extent have both teachers and learners perceived your intervention as relevant to their needs?
2. How engaged are learners in the intervention?
3. How well does your intervention address its intended goals?
4. If any unintended outcomes emerge, are they positive or negative and why have they occurred?
5. What modifications have been made of your original plan and why were these changes made?

이러한 유형의 질문을 어떻게 해결할 수 있습니까? 관찰, 인터뷰 및 설문지를 포함하여 평가 작업에 사용할 수 있는 다양한 데이터 수집 방법과 도구가 있습니다(Reeves 및 Hedberg 2003).

How can you address these types of questions? There are many different data collection methods and tools that can be used in your evaluative work, including observations, interviews, and questionnaires (Reeves and Hedberg 2003). 

 

학생들의 CR을 향상시키기 위해 뒤집힌 교실 접근법과 같은 교육적 혁신을 구현하기 시작한다고 상상해 보십시오. 혁신이 설계한 대로 구현되는지 여부를 확인하고 해당 설계에 필요한 조정을 수행하는 방법을 결정하기 위해 몇 번의 반복 시험과 개선을 수행할 계획이다.

Imagine beginning to implement an instructional innovation such as a flipped classroom approach to enhance your students’ CR. Plan to conduct several iterations of testing and refinement to see whether the innovation is being implemented as designed and determine how to make any needed adjustments to its design.

팁 9 개입의 결과 평가
Tip 9 Evaluate the outcomes of your intervention

실제 결과와 이론적 결과를 모두 향상시키기 위해 수행하는 '평가 및 성찰'의 반복 횟수에 대해 정해진 규칙은 없지만 대부분의 EDR 연구는 [최소 세 번의 반복]을 포함한다. 각 반복에 대해, 개입의 구현을 평가하는 것 외에도, 의도하지 않은 효과를 포함하여 EDR 이니셔티브의 즉각적인 교육 목표와 장기적인 최종 목표의 성취를 분석한다. 평가할 수 있는 결과의 범위는 Kirkpatrick과 Kirkpatrick(2016)에 의해 네 가지 수준으로 나뉜다.

Although there is no set rule for the number of iterations of ‘Evaluation and Reflection’ you carry out to enhance both your practical and theoretical outcomes, most EDR studies encompass at least three iterations (McKenney and Reeves 2019). For each iteration, in addition to evaluating the implementation of the intervention, analyze the achievement of both the immediate educational objectives and the long-term ultimate goals of the EDR initiative, including unintended effects. A range of outcomes that can be evaluated are divided into four levels by Kirkpatrick and Kirkpatrick (2016):

 

• 학습자의 학습 경험과 개입의 유용성에 대한 인식에 대한 만족도
  
• 학습 평가 결과에 반영되는 개입에서 얻은 학습
  
• 행동 변화 또는 새로운 학습의 성과 맥락으로의 전이transference
  
• 환자 안전 결과 개선과 같은 개입 이후의 조직 결과.

1. learner satisfaction with their learning experience and perception of the usefulness of the intervention;
2. learning acquired from the intervention as reflected in the learning assessment outcomes;
3. behaviors changes or transference of new learning to a performance context; and
4. organizational results following the intervention such as improved patient safety outcomes.

실현 가능성, 가용 리소스 및 목표를 기반으로 평가할 결과의 적절한 수준을 결정하고 적절한 평가 방법 및 도구를 사용합니다. 학생들의 CR을 개선하기 위해 FC를 활용한 경우, 적어도 커크패트릭과 커크패트릭(2016)이 설명한 처음 세 단계의 평가를 수행하고자 할 것이다.

• 레벨 1의 경우 설문지와 관찰을 사용하여 학생들이 FC 방식에 어떻게 반응하는지 확인할 수 있습니다.
• 레벨 2의 경우, 학습자의 CR 지식과 기술이 이 혁신에 의해 실제로 어느 정도 향상되었는지 평가하도록 한다(Durning et al. 2012).
• 레벨 3의 경우, 관찰, 인터뷰 및 포커스 그룹을 사용하여 학생들이 실제 또는 가상 환자와 상호작용할 때 새로 습득한 CR 기술을 어느 정도 사용하는지를 평가한다.

Determine the appropriate level(s) of outcomes to evaluate based on feasibility, available resources, and your objectives, and use appropriate evaluation method(s) and instrument(s) (Cook 2010). In the case of a flipped classroom approach to improving students’ CR, you will at least want to carry out evaluations of the first three levels described by Kirkpatrick and Kirkpatrick (2016).

• For Level 1, you could use questionnaires and observations to determine how students are reacting to the flipped classroom approach.
• For Level 2, seek to assess to what extent learners’ CR knowledge and skills are actually improved by this innovation (Durning et al. 2012).
• For Level 3, use observations, interviews, and focus groups to assess the degree to which the students are using their newly acquired CR skills in their interactions with real or virtual patients.

 

대부분의 혁신은 [의도된 구현]과 [실제 구현] 간의 차이를 수반하므로, 학습 결과를 구현 프로세스에 대한 연구 결과와 다시 연관시키십시오(Reeves와 Hedberg 2003). 교육 개입에 대한 반복적인 평가를 실시함으로써, 개입의 실제적이고 이론적 영향을 입증하는 데 필요한 정보가 포착되도록 보장합니다. 이러한 평가 활동은 예측, 설명 또는 규범적 이해의 생성으로 이어져야 한다.

Make sure to relate learning outcomes back to your findings about the implementation process, since most innovations are subject to differences between the intended and actual implementation (Reeves and Hedberg 2003). By conducting iterative evaluations of your educational intervention, you ensure that the information necessary to demonstrate the practical and theoretical impact of your intervention is captured. These evaluation activities should lead to the generation of predictive, explanatory, or prescriptive understanding.

 

팁 10 테크놀로지 도입 시 사용적합성 검토
Tip 10 Examine usability when adopting technologies

 

학생과 교사가 자신의 교육 과제를 효과적이고 효율적으로 수행하고 학습 경험에 진정으로 참여할 수 있도록, 테크놀로지의 손쉬운 사용에 관한 가용성을 통합적으로 고려해야 한다(Asarbakhsh 및 Sandars 2013). [사용적합성 평가]는 기술 기반 개입(Reeves and Hedberg 2003)을 구축하기 전에 수행할 수 있습니다. 
With the increasing use of technologies in medical education, it is necessary to incorporate usability considerations to ensure that students and teachers can easily use the technology to effectively and efficiently accomplish their instructional tasks and truly engage with their learning experience (Asarbakhsh and Sandars 2013). Usability evaluation can be conducted even before you begin constructing any technology-based intervention (Reeves and Hedberg 2003).

 

예를 들어 PowerPoint 또는 기타 그래픽 소프트웨어를 사용하여 몇 가지 프로토타입 화면을 설명하고 대상 학습 시스템의 주요 기능을 나타낼 수 있습니다. 이 프로토타입을 사용하여 대상 학습자를 인터뷰하고, 설계 계획과의 상호 작용을 관찰하고, 시스템의 기능과 '모습과 느낌'에 대한 의견을 물어볼 수 있습니다. 마찬가지로 사용적합성 평가는 사용자의 완료되거나 거의 완료된 제품을 사용하여 수행될 수 있으며, 수집된 피드백은 개입의 개선을 안내한다.

For example, you can use PowerPoint or other graphics software to illustrate a few prototype screens and to represent the target learning system’s main functionalities. You can use this prototype to interview target learners, observing their interaction with the design plan and asking for their opinion about the functions and ‘look and feel’ of the system. Similarly, usability evaluation can be conducted using your completed or nearly completed product, with collected feedback guiding the enhancement of the intervention.

대상 사용자(Sandars 및 Lafferty 2010)로부터 관점을 이끌어내는 것 외에도, 다른 사용자가 사용적합성 원칙에 대해 학습 시스템을 검토하도록 초대할 수 있는데, 이는 [휴리스틱 평가]라고 불리는 방법이다. 다른 사용적합성 평가 방법과 비교할 때, 휴리스틱 평가는 상대적으로 자원이 덜 소비되지만 효과적이다. 

In addition to eliciting perspectives from target users (Sandars and Lafferty 2010), you can invite others to review your learning system against usability principles, a method called heuristic evaluation (Reeves and Hedberg 2003). Compared with other usability evaluation methods, heuristic evaluation is relatively less resource consuming and yet effective. 

팁 11 반복 시 반성의 힘을 발휘합니다.
Tip 11 Unleash the power of reflection in your iterations

 

[성찰적 사고방식]은 EDR을 수행한 사람들의 주요 특징이다. 사려 깊은 성찰은 [실천와 연구 사이의 격차를 해소]하여,  [실천에 정보를 제공하는 연구 결과의 채택]과 [습득한 경험을 이론적 통찰로 전환하는 것]을 촉진한다. 의미 있는 성찰은 힘을 실어주는 것empowering이다. 성찰은 과거의 경험에 대한 비판적인 검사를 포함하지만, 그것의 초점은 자기 비판이나 단순한 오류 탐지에 있지 않다. 오히려, 이것은 여러분이 실무를 개선하고 이론을 향상시킬 기회를 식별하는 데 도움이 되는 여러분의 경험에 대한 새로운 관점을 발견하게 합니다.
The possession of a reflective mindset is a key characteristic of those who conduct EDR. Thoughtful reflection enables you to bridge the gap between practice and research, facilitating the adoption of research findings to inform your practice and the transformation of acquired experience into theoretical insights. Meaningful reflection is empowering. Although reflection involves a critical examination of past experience, its focus is not on self-criticizing or simply the detection of errors. Rather, it leads you to discover new perspectives on your experiences that will help you identify opportunities to improve practice and enhance theory.

한 가지 아이디어는 다른 관점(Visscher-Voerman 및 Procee 2007, Hong 및 Choi 2011)에서 여러분의 경험에 접근하여 예상치 못한 통찰력을 얻는 것입니다. 예를 들어, 뒤집힌 교실 활동에 참여하는 학습자를 관찰한 후, 여러분이 놀라고, 혼란스럽고, 좌절하거나, 흥분하는 순간을 기억하라. 그런 감정은 어디서 오는 것일까? 주요 이해관계자 또는 다른 연구 또는 실무자 커뮤니티 구성원의 해석을 고려하여 상황에 대한 이해도를 높일 수도 있습니다. 또한 현재 상황을 이상적인 상황과 비교할 수 있으며, 다음과 같은 질문을 할 수 있습니다: 

• FC 설계 계획의 이상적 구현과 실제 구현 사이에 어떤 불일치가 관찰됩니까? 
• 다음 번 반복에서는 무엇을 다르게 해야 합니까? 
• 어떻게 하면 다른 사람들에게 내 개입의 확산을 촉진할 수 있을까?

One idea is to approach your experience from different viewpoints (Visscher-Voerman and Procee 2007; Hong and Choi 2011), yielding unexpected insights. For instance, after observing learners engaging in flipped classroom activities, recall a moment when you feel surprised, confused, frustrated, or excited. From where do such feelings come? Your understanding of the situation can also be enriched through considering the interpretations by some of the key stakeholders or different research or practitioner community members. Further, you might compare the current situation with an ideal one, asking questions such as:

• What, if any, discrepancies are observed between the ideal and actual implementation of the flipped classroom design plan?
• What would I do differently during the next iteration?
• How might I best foster the spread of my intervention to others?

팁 12 다양한 EDR 단계에서 발표나 논문을 통해 전략적으로 결과를 전파하고 확산시킨다.
Tip 12 Strategically disseminate and diffuse outcomes through presentations or papers at different EDR stages

여러분 중 일부는 자신의 연구 프로파일을 만들고 싶어할 수도 있으므로 EDR을 수행하는 것은 혁신이 목표를 달성한 후까지 자신의 연구 결과를 발표하기를 기다려야 한다는 것을 의미할 수도 있다고 우려합니다. 그러나 EDR 프로젝트의 초기 단계부터 연구 결과를 공유할 수 있는 기회를 모색하는 것이 좋습니다. 예를 들어 '분석 및 탐색' 단계 중에 EDR 이니셔티브에 대한 이론적 프레임워크를 설명하는 논문을 작성하거나 EDR이 다루고 있는 문제에 대한 문헌 리뷰를 게시하려고 할 수 있습니다. '평가 및 반영' 단계는 여러 개의 출판 가능한 논문(예: 데이터 수집, 분석 및 개입의 개선의 각 반복마다 하나)을 산출할 수 있다.
Some of you might be eager to build up your research profile and therefore worry that conducting EDR might mean that you have to wait to publish your work until after the innovation has achieved its goals. However, you are encouraged to seek opportunities to share your research findings from the earliest stages of your EDR project. For example, during the ‘Analysis and Exploration’ phase, you might write a paper describing the theoretical framework for your EDR initiative, or you might seek to publish a literature review concerning the problem the EDR is addressing. The ‘Evaluation and Reflection’ phase may yield several publishable papers, e.g., one for each iteration of data collection, analysis, and refinement of the intervention.

연구 활동 및 결과의 성공적인 보급은 프로젝트 추진력을 유지하여 팀원들에게 지속적인 동기를 제공할 뿐만 아니라, 같은 생각을 가진 동료들로부터 피드백을 수집하고 의미 있는 성찰에 참여함에 따라 실용적이고 연구적인 제품을 지속적으로 개선하는 데에도 기여합니다. 이러한 보급 노력은 결과적으로 혁신이 새로운 설정novel setting으로 확산되도록 장려하여 개입의 영향을 확대한다(예: Chen 등 2015). 그러므로 EDR 프로젝트의 궁극적인 목표는 당신이 당신의 지역적 맥락에서의 개입의 성공적인 구현일 뿐만 아니라 당신의 실제적인 아이디어와 이론적 통찰의 성공적인 확산이다, 당신이 당신의 개입을 새로운 맥락에 소개하고 다른 실무자 또는 연구자의 작업에 inform하기 위해 당신의 이론적 이해를 공유하기를 열망하기 때문이다. 이상적으로, 다른 교육자들은 여러분의 노력을 전달하고 여러분의 개입이나 이론적인 연구 결과를 연구하기 위해 EDR을 수행할 것입니다.
Successful dissemination of research activities and results not only helps maintain the project momentum, providing continuous motivation to your team members, but also contributes to the continuous improvement of both practical and research products as you collect feedback from like-minded colleagues, and engage yourself in meaningful reflection. These efforts of dissemination subsequently encourage the diffusion of your innovation into novel settings, extending the impact of your intervention (e.g. Chen et al. 2015). The ultimate goal of an EDR project is, therefore, not only the successful implementation of your intervention in your local context, but also successful spread of your practical ideas and theoretical insights, as you aspire to introduce your intervention to new contexts and share your theoretical understanding to inform the work of other practitioners and researchers. Ideally, other educators will relay your effort and conduct EDR to study the outcomes of implementing your intervention or theoretical findings in their institutes.

 

 

 

 

---

Med Teach. 2020 Sep;42(9):980-986.

 doi: 10.1080/0142159X.2019.1657231. Epub 2019 Sep 9.

Twelve tips for conducting educational design research in medical education

Weichao Chen 1, Thomas C Reeves 2

Affiliations collapse

Affiliations

• 1Office of Medical Education, School of Medicine, University of Virginia, Charlottesville, VA, USA.
• 2College of Education, The University of Georgia, Athens, GA, USA.

• PMID: 31498719

 

• DOI: 10.1080/0142159X.2019.1657231

Abstract

Despite a steady growth in educational innovations and studies investigating the acceptance and effectiveness of these innovations, medical education has not realized sufficient improvement in practice and outcomes from these investments. In light of this lack of impact, there has been a growing call for studies that more effectively bridge the gap between research and practice. This paper introduces Educational Design Research (EDR) as a promising approach to address this challenge. Twelve tips are provided to inspire and guide medical educators to conduct EDR to achieve the dual goals of tackling a significant educational problem in a specific context while at the same time advancing the theoretical knowledge that may be used to improve practice elsewhere.