환경-정규화: 맥락 속 혁신의 수명을 평가하기 (Acad Med, 2021)

환경-정규화: 맥락 속 혁신의 수명을 평가하기 (Acad Med, 2021)
Eco-Normalization: Evaluating the Longevity of an Innovation in Context
Deena M. Hamza, PhD, and Glenn Regehr, PhD

 

 

[교육 혁신]은 단순히 빈번한 실천이 아니라 보건직 교육에서 깊이 자리 잡고 있는 가치이다. 상대적으로 작은 지역적인 노력에서부터, 국가적, 그리고 심지어 세계적인 운동에 이르기까지, 우리의 건강 전문 교육 저널의 페이지는 혁신에 대한 공동체의 헌신에 대한 증거입니다. [혁신의 목적]은 우리의 현재 상태를 개선하거나 현 상태를 개선하는 것입니다. [혁신]은 [우리가 열망하는 목표]를 [우리가 원하는 의미 있는 결과로 이어질 것으로 기대되는 활동이나 제품]으로 바꾸는 방법입니다. 그러나 많은 혁신들은 달성하고자 했던 지속적인 변화를 깨닫지 못하고 있다. 일부는 그들의 열망적인 목적을 향해 계속 진화하고 있지만, 많은 사람들은 그들의 의도된 목표에서 문제적으로 벗어나기 시작하거나, 이전 상태로 발전하거나, 또는 완전히 중단된다. [포부]부터 [성공적인 구현], [의미 있고 지속적인 변화]에 이르기까지 [내구성이 뛰어난 다리]를 건설하는 것은 쉽지 않을 수 있으며, 이러한 어려움elusiveness은 복잡한 생태계에 변화를 도입하는 데 어려움이 있다는 것에서 유래한다.

Educational innovation is not just a frequent practice but a deeply held value in health professions education. From relatively small, local efforts to national and even global movements, the pages of our health professions education journals are a testament to the community’s commitment to innovation. The purpose of innovation is to make our current state better, or improve the status quo. Innovations are how we translate aspirational goals into activities or products that are anticipated to lead to the meaningful outcomes we desire. However, many innovations do not realize the lasting changes that they were intended to achieve. While some continue to evolve toward their aspirational purpose, many start to deviate problematically from their intended goals, devolve to the previous state, or are summarily halted altogether. The construction of a durable bridge from aspirations to successful implementation to meaningful and lasting change can be elusive, and this elusiveness stems from the difficulty of introducing change into a complex ecosystem.

[혁신]이 목표를 달성하는 데 성공한다고 가정할 수 없기 때문에, 각 혁신을 [맥락에서 평가하는 것]이 중요하다. 프로그램 평가의 중요성은 한동안 잘 이해되었지만, 접근 방식과 방법은 수십 년 동안 크게 변화했다.

• [1980년대 이전]에 프로그램 평가는 주로 [실험 패러다임]에 의해 inform되었으며, 혁신이 의도한 결과를 달성했는지 여부를 결정하기 위해 통제된 연구를 사용했다.
• [1980년대]부터 [현실세계에서 구현의 맥락적·변혁적 과정]을 이해할 필요가 있음을 인정한 [이론 중심의 평가]의 발전으로 전환했다.  "블랙박스 평가"라는 용어는 [성과만을 검토하는 평가 도구]가 [구현 노력의 내부 작업에 대한 증거]를 포착할 수 없다는 인식을 상징한다. 이것은 [구현에 대한 정보 부족]과 [혁신이 맥락 속에서 어떻게 기능하는지에 대한 정보 부족]이 [개선을 위한 의미 있는 노력]이나 [혁신의 지속, 수정 또는 중단에 대한 현명한 의사결정]을 방해했기 때문에 문제가 되었다. 더욱이, 평가에 대한 이러한 접근법은 종종 간과되었고, 아마도 의도하지 않은 불리한 결과에 영구화되거나 심지어 기여했다.

Because it cannot be assumed that an innovation will be successful in achieving its goals, it is important to evaluate each innovation in context. While the importance of program evaluation has been well understood for some time, the approaches and methods have shifted significantly over the decades.

• Before the 1980s, program evaluation was predominantly informed by the experimental paradigm, using controlled studies to determine whether the innovation had achieved its intended outputs. 1–4 
• Starting in the 1980s, there was a shift to the development of theory-oriented evaluations that acknowledged the need to understand the contextual and transformational processes of implementation in the real world. 5–7 The term “black box evaluation” symbolized the recognition that evaluation tools that merely examine outputs could not capture evidence about the inner workings of implementation efforts. 1,8,9 This was problematic since the lack of information about implementation, and how the innovation functioned in context, prevented any meaningful efforts at improvement or sensible decision making about continuing, modifying, or halting an innovation. Moreover, this approach to evaluation often overlooked, and perhaps perpetuated or even contributed to, unintended and adverse consequences. 10–13

따라서

• [1990년대 이후], [실제 구현의 맥락]에서 혁신의 내부 작업을 검토하는 프로그램 모니터링 및 평가에 대한 접근 방식인 [구현 충실도]를 검토하는 방향으로의 움직임이 있었다.
  • [프로그램 평가의 충실도 모델]의 핵심 질문은, [새로운 프로그램, 지침, 절차 또는 도구의 활동이 의도한 대로 시스템에 통합되는지 여부]이다.
  • [충실도 측정]은 혁신의 도입, 구현 중 얻은 교훈, 그리고 변화의 예상 결과 사이에 다리를 놓는 것을 목표로 한다.
  • 보건직 교육에서 [구현 충실도]와 ["블랙박스 평가" 접근 방식을 넘어서는 것]에 대한 논의가 교과 개혁의 노력과 함께 재점화되었다.
  • 예를 들어, Van Melle과 동료들은 캐나다 전역에 도입된 커리큘럼 혁신의 핵심 구성 요소 구현의 충실도를 검토하기 쉽게 하는 안내 프레임워크를 개발했다. 또한 Onyura와 동료들은 맥락, 메커니즘 및 결과 사이의 관계를 평가함으로써 교수 개발 이니셔티브가 어떻게 그리고 왜 그 형태를 취하는지 탐구했다. 26
• Thus, since the 1990s, there has been a movement toward examining implementation fidelity, an approach to program monitoring and evaluation that examined the inner workings of an innovation in the context of real-world implementation. 14 
  • The core question in the fidelity model of program evaluation is whether the activities of a new program, guideline, procedure, or tool are incorporated into a system as intended. 14–20 
  • Fidelity measures aim to build a bridge between the introduction of an innovation, lessons learned during implementation, and the anticipated outcomes of change. 21 
  • In health professions education, discussions about implementation fidelity and moving beyond “black box evaluation” approaches have reignited alongside efforts at curricular reform. 22–24 
  • For example, van Melle and colleagues have developed a guiding framework that facilitates examining the fidelity of implementing the core components of a curricular innovation introduced across Canada. 25 Additionally, Onyura and colleagues have explored how and why faculty development initiatives take their form by evaluating the relationship between contexts, mechanisms, and outcomes. 26

이 접근 방식은 프로그램 평가에 대한 우리의 생각을 발전시키는 데 의심할 여지 없이 중요했지만, 프로그램 평가 노력에서 [충실도를 검사하는 방법]은 [시간이 지남에 따른 혁신의 궤도에 대한 우리의 생각]을 무심코 제한할 수 있다. 예를 들어,

• 충실도 평가는 평가 시점에 어떤 일이 일어나고 있는지에 대한 [심층적인 스냅샷]을 캡처하는 경향이 있습니다. 이러한 스냅샷은 [구현 단계의 우수한 단면]을 나타낼 수 있지만, 혁신을 제정하기 위한 [제도적 동기가 여전히 최고조에 있는 기간(구현 중)]에 초점을 맞추는 경향이 있다.
  • 따라서, 이 시기에는 자원(리더십의 적극적이고 목소리 높은 지원뿐만 아니라 재정, 물리적, 인적 자원 포함)은 여전히 이니셔티브에 많은 투자를 하고 있다.
  • 이것은 [기관의 주요관심 자원이 다른 곳에 할당될 때] 복잡한 시스템 내에서 어떤 일이 일어날지에 대한 결정적 질문을 제기한다.
• 또한, 구현 조사의 충실도는 [프로그램이 의도된 대로 제공되고 있는지 여부]에 초점을 맞추는 경향이 있으며, 이는 [구현의 기계적 또는 행동적 측면]에 초점을 맞추는 것으로 이어진다. 이러한 초점은 이러한 행동이 나타내는 기본 가치의 채택을 반영하는 범위를 간과하거나 구현의 "감시 기간" 동안 교사와 학생이 수행하는 단순한 행위일 수 있다.

While this approach has been of undisputed importance in advancing our thinking about program evaluation, the methods by which fidelity is examined in program evaluation efforts may inadvertently limit our thinking about the trajectory of the innovation over time.

• For example, fidelity assessment tends to capture in-depth snapshots in time about what is happening at the moment of the evaluation. These snapshots may represent an excellent cross section of the implementation phases, but they tend to be focused on the period when the institutional motivation for enacting the innovation is still at its peak (during implementation).
  • Thus, resources (including financial, physical, and personnel resources, as well as active and vocal support from leadership) are still being heavily invested in the initiative.
  • This raises the critical question of what will happen within a complex system when the institution’s attentional resources are allocated elsewhere.
• Further, fidelity of implementation inquiries tends to focus on whether the program is being delivered as intended, which leads to a focus on the mechanical or behavioral aspects of implementation. This focus may overlook the extent to which these behaviors reflect an adoption of the underlying values that those behaviors are intended to represent, or are merely performative acts by teachers and students during the “surveillance period” of the implementation. 27

이는 [구현 단계에서 관찰된 행동]이 [의미 있고 오래 지속되는 변화를 나타내는지]에 대한 의문을 제기한다. 혁신의 75%는 시간이 지남에 따라 [명시적으로 포기]되거나, [점진적으로 양도]되며, 이는 종종 [변화 이니셔티브의 주기적인 재창조]로 이어진다. 이러한 [커리큘럼 리뉴얼의 회전목마]는 시스템 내의 모든 이해 당사자들에게 불편하고, 지치고, 의욕을 잃게 합니다. 따라서 현재의 충실도뿐만 아니라, [변화의 내구성 또는 수명에 대한 포괄적인 그림]을 생성하는 [구현 모니터링 및 평가에 대한 접근 방식]을 반성하고 진전시킬 필요가 있다. 홀과 동료들이 주장했듯이, 혁신의 구현을 검토하는 것은 "스프린트가 아닌 마라톤"으로 간주되어야 한다. 
This raises the question of whether the behaviors observed during implementation phases represent a meaningful, long-lasting change. It is estimated that 75% of innovations are explicitly abandoned or gradually devolve over time, which often leads to the cyclic reinvention of change initiatives. 28–30 This carousel of curricular renewal 31 is inconvenient, exhausting, and demotivating for all stakeholders within a system. Thus, there is a need to reflect on and advance approaches to monitoring and evaluating implementation that produce a comprehensive picture not only about current fidelity but also about the durability or longevity of the changes. As Hall and colleagues have argued, examining the implementation of an innovation must be considered a “marathon not a sprint.” 32

구현 과학 문헌에서 [지속 가능성(sustainability)]은 혁신의 잠재적 수명을 고려할 때 사용되는 일반적인 용어이다. 비록 공유 정의가 아직 개발되지 않았지만(최근 209개의 원래 연구 기사에 대한 검토에서 24개의 서로 다른 지속 가능성의 정의가 확인됨), [지속가능성]에 대한 가장 일반적인 이해는 [혁신의 전달delivery에 대한 지속적인 지원(예: 금융 및 인적 자본)]과 [원하는 결과의 지속적인 달성]을 포함한다. 33 그러나 현재까지 프로그램을 종단적으로 검토하는 출판된 연구는 상대적으로 적기 때문에, 기관의 관심이 다른 곳으로 향하였을 때 혁신이 효과적으로 지속(그리고 진화하는) 방법(그리고 그 이유)을 탐구하는 문헌은 거의 없다. 그러므로 혁신의 맥락에서 지속 가능성에 대한 대부분의 논의는 실행 단계를 넘어 [프로그램의 실천을 유지하는 데 필요한 지속적인 자원 할당의 메커니즘 제안]을 포함한다. 이러한 자원에 대한 초점 때문에 프로그램 수명(프로그램의 목표와 이러한 목표를 달성할 수 있는 실무에 대한 이해관계자의 지속적인 참여)의 사회학적 측면은 문제적으로 무시된다.
In implementation science literature, sustainability is a common term used when considering the potential longevity of an innovation. Although a shared definition has yet to be developed (in a recent review of 209 original research articles, 33 24 different definitions of sustainability were identified), the most common understanding of sustainability involves continued support for the delivery of the innovation (e.g., financial and human capital) and continued achievement of the desired outcomes. 33 To date, however, there have been relatively few published studies that examine programs longitudinally, so there is little literature exploring the ways in which (and reasons that) innovations continue (and evolve) effectively, deviate problematically, or devolve once institutional attention is directed elsewhere. Thus, most discussions of sustainability in the context of innovations involve proposed mechanisms of ongoing resource allocation needed to maintain the program’s practices beyond the implementation phase. Because of this focus on resources, the sociological aspects of program longevity (ongoing stakeholder engagement in the goals of the program and the practices that will achieve those goals) are problematically ignored.

[혁신의 (잠재적) 수명]을 보다 효과적으로 평가하는 새로운 모델이 필요하다. 본 논문의 목적은 구현 과학의 이론과 모델을 차용하고 구축하여 혁신의 수명을 평가하기 위한 대안 모델을 개발하는 것이다.
A new model that more effectively assesses the (potential) longevity of an innovation (and therefore increases the likelihood of longevity) is needed. The purpose of this paper is to develop an alternative model for evaluating the longevity of an innovation, borrowing from and building on the theories and models of implementation science.

방법
Method

이 접근 방식은 기존 이론과 프레임워크에서 확장되는 새로운 개념 모델을 도출하기 위해 분야에서 관련 문헌을 식별하려고 하기 때문에 비판적 문헌 검토가 우리의 목적에 가장 적합한 방법으로 결정되었다. 비판적 검토 방법론을 사용하여, 저자들은 시스템에 도입된 혁신의 수명을 탐구하기 위한 마커나 전략이 포함된 논문을 위해 구현 과학 문헌을 검색했다. 

A critical literature review was determined to be the most appropriate method for our purpose, since this approach seeks to identify relevant literature in a field to derive a new conceptual model that expands on existing theories and frameworks. 34 Using critical review methodology, the authors searched the implementation science literature for papers that contained markers or strategies to explore the longevity of an innovation once introduced into a system. 

대부분의 기사가 학술 문헌에서 발견되었지만, 일부 회색 문헌 출처는 지식 있는 동료들과의 상호작용과 구글 스콜라를 통해 확인되었다. 관련 논문을 확인한 후, 저자들은 개발 중인 진화하는 모델과 관련된 요소를 이해하고 탐구하는 관점이나 접근 방식을 제공할 수 있는 구현 과학 문헌의 모델을 식별하기 위해 참조 목록을 추적했다.
While most of the articles were found in the academic literature, some gray literature sources were also identified through interactions with knowledgeable colleagues and via Google Scholar. Having identified relevant papers, the authors traced reference lists to identify models in the implementation science literature that might offer perspectives or approaches to understanding and exploring factors relevant to the evolving model being developed.

결과
Results

이 비판적 검토와 관련된 세 가지 주요 구현 과학 모델이 식별되었다. NPT(Normalization Process Theory), CFIR(Consolidated Framework for Implementation Research), RMA(Reflective Monitoring in Action)의 개념을 통합하여 혁신의 잠재적 수명을 평가할 때 고려해야 하는 6가지 질문을 강조하는 프레임워크를 제공한다.
Three prominent implementation science models were identified as relevant to this critical review. Integrating notions from

• Normalization Process Theory (NPT), 35 
• the Consolidated Framework for Implementation Research (CFIR), 36 and
• Reflexive Monitoring in Action (RMA), 37 

we offer a framework that highlights 6 questions that must be considered when evaluating the potential longevity of an innovation.

Normalization Process Theory (NPT): 새로운 프레임워크의 토대는 May와 동료들의 작업으로 시작되었는데, 그들은 [혁신]이 [조직 환경에 효과적으로 포함]되고 [전문적 관행에 통합]되는 정도에 따라 구현의 성공이 좌우될 것이라고 제안했고, 이를 [정상화normalization]라는 프로세스로 명명하였다. [정상화]의 핵심 특징에는 다음이 포함된다.

• 변화의 추진력, 중요성 및 실천요강에 대한 공유된 이해(일관성)
  
• 혁신 활동에 참여하고 모니터링함으로써 변화에 기여한다(참가자 참여). 
  
• 새로운 관행을 수행하기 위한 상호 작용 및 관계 업무 (집단적 행동)
  
• 변경사항의 영향을 평가하는 작업(성찰적 모니터링) 

이와 같이, NPT에서 기술혁신의 수명을 평가하는 것은 개인과 집단 간의 상호 작용을 조사하고 집단적 변화에 기여하는 능력과 자원을 평가하는 것을 포함한다.

The foundation for the new framework began with the work of May and colleagues, who have suggested that the success of an implementation will be dependent on the extent to which the innovation is effectively embedded in the organizational context and integrated into professional practices, a process they describe as normalization. 35,38 Core features of normalization include

• the shared understanding of the impetus, importance, and practices of the change (coherence);
• contribution to the change by participating in and monitoring the activities of the innovation (cognitive participation);
• the interactional and relational work to perform new practices (collective action); and
• the work of evaluating the impact of the change (reflexive monitoring). 35 

As such, in NPT, evaluating the longevity of an innovation involves examining the interactions between individuals and groups as they make sense of the work and appraise their capabilities and resources to contribute to collective change.

Consolidated Framework for Implementation Research (CFIR): 다른 관점에서 모니터링과 평가를 고려하면서, Damschroder와 동료들은 [구현의 성공]은 다면적이며, 개인의 작업 이상의 요소를 수반한다고 제안했다. 그들은 프로그램 평가자들이 [더 큰 변화의 생태계]를 보도록 안내하기 위해 CFIR을 개발했다. 따라서 CIFR 모델은 5개의 주요 도메인을 조사한다.

• (1) 설계 품질 및 증거의 강도, 재판 가능성 및 변경사항의 인식된 상대적 우위성과 같은 혁신의 특성 
  
• (2) 외부 정책, 압력, 요구 및 자원과 같은 "외부의" 설정 
  
• (3) 조직의 구조, 문화 및 변화에 대한 준비와 같은 "내부의" 설정 
  
• (4) 혁신과 자기 인식에 대한 지식과 신념과 같은 개인의 특성 
  
• (5) 시스템에 변화를 도입하기 위해 사용되는 전략, 그리고 혁신 결과를 반영하고 평가하는 과정과 같은 구현 과정, 

Contemplating monitoring and evaluation from a different perspective, Damschroder and colleagues have proposed that implementation success is multifaceted and involves factors beyond the work of individuals. They developed the CFIR 36 to guide program evaluators to look at the larger ecosystem of change. Thus, the CIFR model examines 5 primary domains:

• (1) the characteristics of the innovation, such as design quality and strength of evidence, trialability, and perceived relative advantage of the change;
• (2) the “outer” setting, such as external policies, pressures, needs, and resources;
• (3) the “inner” setting, such as the structure of the organization, culture, and readiness for change;
• (4) individual characteristics, such as knowledge and beliefs about the innovation and self-efficacy; and
• (5) the process of implementation, such as strategies used to introduce change into a system, and reflecting on and evaluating innovation outcomes. 36

Reflexive Monitoring in Action (RMA): 이 두 가지 프레임워크는 RMA 프레임워크에 의해 잘 보완될 수 있습니다.

• 성찰적 모니터링은 [원하는 목표에 도달하기 위한 미래 계획을 dictate]하기 위해 [혁신에 대한 과거의 경험을 조사함]으로써 합리적인 행동을 촉진한다. 그러므로,
• RMA는 [혁신의 야망]에 도달하기 위한 [장기적인 시스템 수준 변화를 달성]하기 위해, [집단적 반성의 사용]과 이러한 [반성에서 배우는 것]을 촉진한다.
• RMA는 [혁신을 이행하는 사람들의 일상적 경험에 대한 면밀한 검토와 구현]을 넘어, [혁신을 지속하는 데 필요한 시스템 수준의 변화]를 발견하는 사이에서 진동한다.

RMA는 계획-실행-연구-행동 모델 및 의료환경의 기타 품질 개선 이니셔티브와 같은 [여러 다른 모니터링 및 평가 접근방식의 주기적 활동]과 유사하다. 그러나 이는 세 가지 측면에서 이러한 접근법과 다르다.

• 첫째, 성찰적 모니터링은 시스템 내에서 [점진적 변화를 요구하는 혁신]보다는, [급진적 변환을 요구하는 혁신]에 이상적으로 적합하다. 
  
• 둘째, RMA는 [단기간에 걸친 구현의 일부분]을 탐구하기보다는, [혁신의 장기적 야심적 목표]를 검토한다. 
  
• 셋째, RMA는 [혁신 활동의 최적화]와 [이러한 활동을 혁신의 목표에 맞추는 것] 사이에서 흔들림으로써, 혁신의 수명을 조사한다. 이름에서 알 수 있듯이, [반사적 모니터링]은 반드시 초기 구현 기간 이후에 제정되어야 하는 지속적인 프로세스이다.

These 2 frameworks can be complemented well by the RMA 37 framework.

• Reflexive monitoring promotes rational action by examining past experiences with an innovation to dictate future plans to reach desired goals. 39 
• Thus, RMA promotes the use of collective reflection, and learning from these reflections, to accomplish long-term system-level change to reach the ambitions of the innovation. 37 
• RMA oscillates between close examination of the everyday experiences of the people implementing an innovation and uncovering system-level changes that are needed to sustain the innovation beyond implementation. 37 

RMA resembles the cyclic activities of other monitoring and evaluation approaches, such as the Plan-Do-Study-Act model and other quality improvement initiatives in health care settings. 40 However, it differs from these approaches in 3 significant ways.

• First, reflexive monitoring is ideally suited for innovations that require radical transformation rather than innovations that require incremental changes within a system. 37 
• Second, RMA examines the longer-term aspirational goals of the innovation rather than exploring a segment of implementation over a short period of time. 37 
• Third, RMA examines the longevity of the innovation by oscillating between optimizing the activities of the innovation and the alignment these activities with the goals of the innovation. 37 As implied by the name, reflexive monitoring is necessarily an ongoing process that should be enacted beyond the initial implementation period.

이러한 이론, 프레임워크 및 관행을 종합하면 성공적인 구현을 위한 지표는 [[시스템과 작업을 수행하는 사람들]이 [혁신의 특징 및 활동]과 [변화의 웅대한 포부]와 상호작용하는 방법]에 뿌리를 두고 있음이 명백하다. 이와 같이, 우리의 새로운 모델인 [환경-정규화] (즉, 개인 차원뿐만 아니라, 전체 생태계의 수준에서, 혁신의 가치와 실천의 정규화)는 변화의 잠재적 수명에 초점을 맞춘 구현 연구와 평가를 위한 지침 프레임워크의 형태로 이전 문헌의 확장이다. 

Putting these theories, frameworks, and practices together, it is evident that markers for successful implementation are rooted in how the system and people doing the work interact with both the features and activities of the innovation and the grand aspirations of the change. As such, our new model, Eco-Normalization (i.e., normalization of the values and practices of the innovation not just at the individual level but at the level of the entire ecosystem), is an expansion of previous literature in the form of a guiding framework for implementation research and evaluation that focuses on the potential longevity of change.

[혁신], [혁신이 내재된 제도적 시스템], [작업을 수행하는 개별 사람들] 사이의 상호작용을 조사함으로써, 에코-정규화 모델은 [구현된 혁신의 의미]와 [혁신의 수명에 영향을 미칠 수 있는 조건과 요소]를 체계적으로 탐구하는 프레임워크를 제공한다. 그림 1. 

• 일차 수준 상호 작용은 이러한 열망과 각 3가지 구성 요소 사이의 상호 작용을 검토할 때 [변화의 포부]를 전면에 내세운다:
  • 혁신의 설계,
  • 이해관계자의 지역적 포부
  • 시스템의 포부(그림 1) 
• 이차 수준 상호 작용은 일차 수준 상호 작용 사이의 더 복잡한 관계를 탐구하기 시작한다:
  • 혁신과 작업을 하는 사람들의 실천 사이의 양립성,
  • 시스템이 이해관계자에게 영향을 미치는 방식,
  • 그리고 혁신의 특징이 시스템의 특징과 어떻게 일치하는지. 

By examining the interactions between the innovation, the institutional system in which the innovation is embedded, and the individual people doing the work, the Eco-Normalization model offers a framework to systematically explore the conditions and factors that might affect the meaningfulness and longevity of an implemented innovation as depicted in Figure 1.

• Primary-level interactions hold the aspirations of the change at the forefront when examining the interaction between these aspirations and each of 3 components:
  • the design of the innovation,
  • the local aspirations of stakeholders, and
  • the aspirations of the system (Figure 1).
• Secondary-level interactions begin to explore more complex relationships between primary-level interactions:
  • the compatibility of the innovation with the practices of the people doing the work,
  • the ways in which the system impacts stakeholders, and
  • how the features of the innovation fit with the features of the system.

다양한 구성 요소가 1차 및 2차 상호작용 수준에서 정렬(또는 정렬되지 않음)되는 정도를 평가하면 에코 정규화 프로그램 평가의 기초를 이루는 [6개의 질문]이 생성됩니다.

Assessing the extent to which the various components align (or not) at the primary and secondary levels of interaction produces 6 questions that form the basis of an Eco-Normalization program evaluation.

 

 

일차 수준 상호 작용
Primary-level interactions

[변화의 포부]와 [혁신 설계] 간의 상호 작용: 설계한 대로 [혁신]이 [변화의 웅대한 포부]와 일치합니까?
Interactions between change aspirations and innovation design: Does the innovation, as designed, align with the grand aspirations of change?

[변화의 야심찬 목표]와 [혁신의 설계] 사이의 조정은 구현 성공의 중요한 특징이다. 예를 들어, 보건직 교육에서 [대망적 목표]는 개인화된 학습 문화의 개발을 포함할 수 있다. 그러나 이러한 웅대한 포부를 새로운 실천과 활동으로 혁신으로 번역translate 하는 것은 [무엇이, 왜 일어나는가에 대한 제안 또는 가정]인 [전략적 의도strategic intention]에 기초하며, 종종 [로직 모델 또는 프로그램 이론의 개발]이라는 형태로 설명된다. 이러한 가정은 구현 충실도의 평가와 유사한 프로세스를 통해 실제로 입증, 수정 또는 이의를 제기할 수 있다. 그러나 RMA의 원칙과 일관되게, [에코 정규화 모델]은 [혁신이란, 정적이 아니라, 끊임없이 변화하는 맥락에서 진화할 것으로 예상되는 일련의 역동적 특징이다]는 전제를 포함한다. 그러므로 혁신이 진화할 것으로 예상되는 현실을 고려했을 때, [환경-정규화]의 중요한 특징은, [혁신의 활동과 실천요강이 변화 뒤에 있는 거대한 포부의 달성을 촉진하거나 방해할 수 있는 방식으로 바뀌는지(혹은 어떻게 바뀌어가는지)]를 밝혀내는 [주기적인 모니터링]이다.

The alignment between the aspirational goals of change and the design of the innovation is a critical feature of implementation success. For example, in health professions education, grand aspirational goals may include development of a culture of personalized learning. However, translating these grand aspirations into an innovation with new practices and activities is founded on strategic intentions, which are propositions or assumptions of what is believed to happen and why, and often illustrated in the form of a logic model or development of a program theory. 24 These assumptions can be proven, modified, or contested in practice, through a process that might resemble the evaluation of implementation fidelity. However, consistent with the tenets of RMA, the Eco-Normalization model includes the premise that innovations are not static, but a set of dynamic features that are expected to evolve in ever-changing contexts. Thus, considering the reality that innovations are expected to evolve, a critical feature of Eco-Normalization is cyclic monitoring to uncover if/how the activities and practices of the innovation are being altered in ways that might facilitate or hinder achievement of the grand aspirations behind the change.

변경 포부와 시스템 간의 상호 작용: [시스템 목표]가 [변화의 거대한 포부]와 일치합니까?
Interactions between change aspirations and the system: Do the system goals align with the grand aspirations of change?

혁신은 일반적으로 [문화적, 절차적, 재정적, 구조적 뿌리가 깊은 확립된 내부 환경]에 통합된다. 예를 들어, 개별화된 학습personalized learning이 변화의 밑바탕에 있는 열망일 수 있다. (이것을 하려면 교육 및 학습에 더 많은 관심과 자원이 필요할 수 있다). 기관이 원칙적으로 이러한 포부에 동의할 수 있지만, 기관 지도자들은 이러한 포부를 [주주들에 대한 재정적 책임]과 같은 [다른 가치 및 포부]와 균형을 맞춰야 할 수도 있다. [재정적으로 수익성이 좋은 활동]에 우선순위를 두는 것은 [교육 및 사회적 책임의 우수성]을 암묵적으로 또는 명시적으로 박탈할 수 있다. 따라서, 각각을 따로 보면, 이러한 열망적 목표 각각은 시스템의 우선순위가 될 수 있다. 그러나, 다 모아놓고 본다면, [변화의 동기가 되는 가치]와 [시스템에서 독점적인 가치] 사이의 충돌은, 변화의 환경-정규화 또는 수명을 방해할 가능성이 있다.

Innovations are generally incorporated into established inner settings that have deep cultural, procedural, fiscal, and structural roots. For example, personalized learning may be an aspiration underlying the change (which might require greater attention and resources dedicated to teaching and learning). While the institution might agree with this aspiration in principle, institutional leaders might have to balance this aspiration against other values and aspirations, such as financial responsibility to shareholders. Prioritizing financially lucrative activities might implicitly or explicitly deprioritize excellence in education and social accountability. Thus, in isolation, each of these aspirational goals may be priorities of the system; however, in combination, the conflict between the values that underlie the motivation for change and others that are exclusive to the system has the potential to hinder Eco-Normalization, or the longevity, of the change.

변화의 열망과 작업을 수행하는 사람들 사이의 상호 작용: [이해 관계자의 지역적 열망]이 변화의 거대한 열망과 일치합니까?
Interactions between change aspirations and the people doing the work: Do the stakeholders’ local aspirations align with the grand aspirations of change?

[혁신 개발의 가정]은 [더 나은 교육적 실천을 통한 환자 치료 개선]과 같은 [위대한 포부]가 [현장의 일선 이해관계자(교사, 학생 및 행정 직원)의 국지적 포부]와 일치한다는 것이다. 그러나, 원대한 포부는 원칙적으로 변화를 살고 있는 사람들에 의해 지지될 수 있지만, 이러한 [원대한 포부]는 종종 [일상적 실천의 관심]에서는 매우 멀리 떨어져 있다. 이것은 변화를 위한 자극과 변화를 경험하는 사람들의 기능적 요구와 가치 사이에 틈을 초래할 수 있다.

• 예를 들어, 더 큰 교육적 책임에 대한 원대한 포부는 임상 교사가 학습자에 대한 더 자주 또는 더 정확한 평가를 완료하도록 요구할 수 있다. 그러나 이것은 교사들에 의해 안전한 학습 환경을 개발하고 그들의 학습자와의 멘토 관계를 발전시키는 그들의 더 즉각적인 목표를 방해하는 "게이트 키핑" 관행으로 인식될 수 있다. 
  
• 또 다른 예로, 큰 포부는 혁신이 실천에 대한 접근 방식을 개발하는 것을 촉진하는 적응형 전문가의 개발일 수 있지만, 학습자들은 불확실성의 맥락에서 문제 해결을 가르치는 노력을 거부하도록 지식 획득과 확실성을 중시하는 뿌리 깊은 정신적 모델을 가질 수 있다.

그러므로 개발자들의 힘이 미치지 못하는 곳에서, 열망은 [현장의 이해당사자이 가지는 국지적 비전, 가치 및 상대적 우선 순위]와의 충돌로 인해, 혁신이 문제적으로 이탈하거나 중단되어 변화의 의미 있는 수명을 방해할 수 있다.

An assumption in the development of an innovation is that grand aspirations, such as improving patient care through better educational practices, align with the local aspirations of frontline stakeholders on the ground (the teachers, students, and administrative staff). However, while the grand aspirations may be supported in principle by those who are living the change, these grand aspirations are often very far removed from the concerns of daily practice. This can lead to a chasm between the impetus for change and the functional needs and values of those experiencing the change.

• For example, a grand aspiration of greater educational accountability might require clinical teachers to complete more frequent or more precise assessments of their learners, but this might be perceived by teachers as a “gatekeeping” practice that interferes with their more immediate goal of developing a safe learning environment and mentoring relationship with their learner.
• As another example, a grand aspiration might be the development of adaptive experts such that the innovation promotes developing approaches to practice, but learners might have an ingrained mental model that values knowledge acquisition and certainty leading them to reject efforts to teach them problem solving in contexts of uncertainty.

Thus, the out-of-reach aspirations of developers may lead to the innovation deviating problematically or halting because of conflicts with the more local vision, values, and relative priorities of stakeholders on the ground, hindering meaningful longevity of the change.

 

이차 수준 상호 작용
Secondary-level interactions

시스템과 혁신 간의 상호 작용: 혁신은 변화의 포부를 이끌어낼 방식으로 시스템과 상호 작용합니까?
Interactions between the system and the innovation: Does the innovation interact with the system in a way that will lead to the aspirations of change?

[혁신의 구현]은 [시스템의 상호 관련 부분들의 집합]에 영향을 미친다. 기존 시스템에 혁신을 도입하려면 [조직 구조, 정책, 우선 순위, 도구, 인센티브 및 위임된 역할에 대한 변화]가 필요한 것이 논리적으로 보이지만, 이러한 측면 중 일부는 [숨겨지거나, 간과되거나, 우선순위로 여겨지지 않는다]. 이러한 요인의 우선 순위가 낮으면 혁신의 궤도에 상당한 영향을 미칠 수 있다.

• 예를 들어, 혁신의 활동은 환자 치료 루틴에 대한 영향을 고려하지 않고 새로운 임상 커리큘럼을 도입하거나, 그 과정의 평가가 더 큰 평가 시스템과 어떻게 상호 작용할 수 있는지를 고려하지 않고 새로운 과정을 도입하는 것과 같이 시스템에서 양립할 수 없을 수 있다.

이러한 상호작용이 신중하게 고려되고 관리되지 않는다면, [혁신을 시스템 관행과 정책에 효과적으로 통합]하고자 할 때, (해결하기보다는) 문제를 만들 수 있다. 이러한 상황에서 [시스템 장벽]은 집단적 행동collective action을 방해할 수 있으며, 이는 혁신이 문제적으로 이탈하거나 중단되어, 성공적인 변화의 장수longevity를 방해할 수 있다.

The implementation of an innovation impacts the collection of interrelated parts of a system. While it seems logical that introducing an innovation into an existing system requires changes to organizational structures, policies, priorities, tools, incentives, and delegated roles, some of these aspects are hidden, overlooked, or not prioritized. Underprioritization of these factors can significantly impact the trajectory of an innovation.

• For example, the activities of an innovation may not be compatible in the system, such as introducing a new clinical curriculum without considering its implications for patient care routines, or introducing a new course without considering how assessment in that course might interface with the larger assessment system.

Such interactions, if not carefully considered and managed, can create (rather than solve) problems for effective integration of the innovation into systemic practices and policies. In these circumstances, systemic barriers can hinder collective action, which can lead to the innovation deviating problematically or halting, preventing the longevity of successful change.

작업을 수행하는 사람과 혁신 간의 상호 작용: 그 혁신은 변화의 열망을 이끌어낼 일을 하는 사람들의 행동과 기관에 의미를 불러일으키는가?
Interactions between the people doing the work and the innovation: Does the innovation evoke meaning to actions and agency of the people doing the work that will lead to aspirations of change?

[구현 실패] 또는 [혁신의 수명 부족]의 책임은 종종 [일선 구현자]에게 있다. [혁신에 대한 지식과 기술]과 같은 [개인의 특성]은 종종 빠진 연결고리로 여겨진다. 예를 들어, 구현과 관련된 도전은 구현자들이 변화에 대한 자극과 혁신의 활동을 제정하는 방법에 대해 더 많은 지식, 기술 또는 설득력이 필요하다고 가정하는 보다 전문적인 개발 이니셔티브와 마주한다. 그러나, [행동을 이끄는 [의미와 가치]가 발달하는 것]을 방해할 수 있는 많은 동시적 요소들이 있다. 사실, 일선 구현자들은 변화에 대한 추진력과 개발자들이 설명한 대로 활동을 수행하는 방법을 인지하고 있을 수 있다. 그러나, [강제된 혁신]은 [국지적 열망과 기능적 우선 순위]와 일치하지 않으며, [Agency 및 Power의 감각을 억압하는 것]으로 인식된다. [Agency 및 Power]은 시스템 전반의 집단적 행동의 중요한 요소인 [책임과 관계]를 육성하기 때문에, 혁신을 구현할 때 필수적이다. 예를 들어, 구현을 용이하게 하는 행정 직원의 전문적 개발을 간과하고 혁신의 수령자를 적극적으로 참여시키는 것을 소홀히 하는 것은 그들의 기관, 권력 및 집단성에 영향을 미쳐 성공적인 변화의 수명을 단축시킬 수 있다.
Often, the onus of implementation failure or the lack of longevity of an innovation is placed on frontline implementers. The characteristics of individuals, such as knowledge and skills about the innovation, are frequently assumed to be the missing link. For example, challenges with implementation are met with more professional development initiatives that assume that implementers need more knowledge, skills, or convincing about the impetus for change and how to enact the activities of the innovation. However, there are many concurrent factors that may hinder the development of meaning and values that lead to action. In fact, frontline implementers may be cogently aware of the impetus for change and how to undertake the activities as described by the developers. But, the mandated innovation is perceived to be misaligned with local aspirations and functional priorities, and stifling to the sense of agency and power. Agency and power are imperative when implementing an innovation because they foster responsibility and relationships, which are critical ingredients of collective system-wide action. For example, overlooking the professional development of administrative staff facilitating implementation and neglecting to actively engage the receivers of an innovation can impact their sense of agency, power, and collectivity, derailing the longevity of successful change.

시스템과 작업을 수행하는 사람 간의 상호 작용: 시스템은 변화의 포부를 이끌어낼 방법으로 일을 하는 사람들을 지원합니까?
Interactions between the system and the people doing the work: Does the system support the people doing the work in ways that will lead to aspirations of change?

[혁신과 시스템의 호환성과 적응성]은 일선 구현자 또는 혁신 작업을 수행하는 사람들에게 낙수 효과를 준다. 예를 들어, [혁신에서 요구되는 활동]을 위해서는 [작업흐름을 재구성하거나, 새로운 도구를 사용하거나, 임상 업무에서 교육으로 시간을 재분배]해야 할 수 있다. [시스템이 경직되고 정적이어서 새로운 관행을 수용할 수 없는 경우], 이러한 관행이 일선 이해당사자들에게 추가적인 부담이 된다. [혁신에서 요구하는 새로운 활동의 집행을 지원하는 생태계]가 없다면, 이러한 활동은 [일련의 행정적 의식rituals으로 축소]되거나, [완전히 우회될 위험]이 있다. 이는 변화의 의도를 훼손하고 혁신의 문제적 편차와 중단을 촉진하여 성공적인 장기적 변화를 방해한다.
The compatibility and adaptability of the innovation and the system has a trickle-down effect to frontline implementers, or the people doing the work of the innovation. For example, the activities of an innovation may require the reorganization of workflows or the use of new tools and reallocation of time from clinical duties to teaching. If the system is rigid and static, and therefore unable to accommodate the new practices, then these practices become an added burden for frontline stakeholders. Without an ecosystem that supports the enactment of new activities of the innovation, these activities risk being reduced to a series of administrative rituals or bypassed altogether. This undermines the intentions of the change and promotes the problematic deviation and halting of the innovation, hindering successful long-term change.

논의
Discussion

제안된 [에코 정규화 모델]에서 혁신, 작업을 수행하는 사람 및 시스템은 [공생적]이지, [독립적인 것이 아니다]. 더욱이, 환경-정규화는 경직되기보다는 역동적인 미래 계획을 수용하고 장려하기 때문에, [혁신의 진화]는 실패의 징후라기보다는, 실행의 자연스러운 과정과 결과로 간주된다. 정체성, 역할 및 활동은 새로운 것을 구현하는 작업을 수행하는 동안 진화하지만, 혁신과 시스템 역시 변화의 수명을 촉진하기 위해 구현 중에 진화해야 한다.
In the proposed model of Eco-Normalization, innovations, the people doing the work, and the system are acknowledged to be symbiotic and not independent. Further, Eco-Normalization embraces and encourages forward planning that is dynamic rather than rigid, so the evolution of an innovation is considered a natural process and outcome of implementation rather than a sign of failure. While identities, roles, and activities evolve while doing the work of implementing something new, the innovation and system, too, need to evolve during implementation to promote the longevity of the change.

[에코 정규화]의 프레이밍은 [구현의 충실도와 무결성] 사이의 차이를 그리는 증가하는 대화와 호환된다. 대부분의 구현 과학 문헌은 충실도, 무결성 및 준수라는 용어를 동의어로 사용하지만, [구현 무결성]의 사용 가능한 대체 정의를 보면, [변화의 기저 철학 및 핵심 구성요소에 충실하면서, 지역 요구와 상황에 부합하도록, 혁신의 측면을 조정하고 수정할 수 있는 능력]을 반영한다. 실제로, [혁신의 성공적인 구현을 촉진하는 중요한 요소]에는 [맥락 속에서 혁신의 적응성과 호환성]이 포함된다. 36 

The framing of Eco-Normalization is compatible with a growing conversation drawing a distinction between fidelity and integrity of an implementation. While most implementation science literature uses the terms fidelity, integrity, and adherence synonymously, 39 the available alternate definitions of implementation integrity reflect the ability to adapt and modify aspects of an innovation to be compatible with local needs and circumstances, while remaining true to the underlying philosophy or core components of the change. 41,42 Indeed, significant factors fostering the successful implementation of an innovation include the adaptability and compatibility of the innovation in context. 36 

언뜻 보면, 혁신요소의 모든 가능한 조합과 결합을 생각하는 것은 위협적이거나 관리하기 어려워 보일 수 있다. 그러나 구현 단계 중 및 이후에 [6가지 중요한 평가 질문]을 반복적으로 하면, 혁신이 어떻게 그리고 왜 최종 형태를 취하는지, 그리고 그 최종 형태가 처음에 구상한 대로 변화의 가치와 목표를 계속 지원하는 정도에 대한 이해를 통해 증거를 발전시킬 수 있다. 그렇게 함으로써, [프로그램 평가]는 [혁신의 실천에 대한 충실도 또는 고수adherence의 스냅숏]에서 [적응, 수정, 열망적 목표의 수명을 포함한) 기술혁신의 적절성을 비판적이고 주기적으로 검토하는 성찰적 프로세스]로 진화할 것이다.

At first glance, thinking of the possible permutations and combinations of innovation components may seem threatening or unmanageable. However, asking the 6 critical evaluation questions iteratively, during and after the implementation phases, can advance an evidence informed understanding of how and why innovations take their final form as well as the extent to which that final form continues to support the values and goals of change as initially envisioned. As such, program evaluation will evolve from snapshots of fidelity or adherence to the practices of an innovation to a reflective process that critically and cyclically examines the appropriateness of the innovation, including adaptations and modifications, and the longevity of the aspirational goals.

[혁신]은 [번영적prosperous 성과]를 이끌어내기 위해 제안된 [전략적 의도]를 가지고 설계되는 반면, 이러한 전략이 [[광범위한 열망적 목적과 반대되는antithetical 방식]으로 [시스템의 가치 및 관행] 및 [현장의 사람들]과 상호작용할 것]이라는 것을 제안하는 증거를 인식하기 위해서는, [비판적 검토, 반성 및 합리적인 조치]가 필요하다. "블랙박스 평가"에서 [구현의 내부 작동에 대한 이해]로 나아가는 것은 [혁신의 성공에 대한 공동체의 이해]에 있어 중요한 진전이다. 

While innovations are designed with strategic intentions that are proposed to lead to prosperous outcomes, critical examination, reflection, and rational action are necessary to recognize evidence to suggest that these strategies will interact with values and practices of the system and those on the ground in ways that are antithetical to the broader aspirational goals. Progressing from “black box evaluations” to understanding the inner workings of implementation is a significant advancement in the community’s understanding of innovation success.

[구현 충실도] 및 [구현 무결성]에 대한 이러한 이해를 바탕으로, [에코 정규화 모델]은 프로그램 평가자들이 [적응 및 수정을 포함하여, 구현 중인 혁신에 대한 철저한 검토를 통해, 혁신의 수명을 더 잘 탐색할 수 있는 잠재력]을 가지고 있다.

• 이 모델은 [혁신]을 [정적 관행의 집합]이 아니라 [역동적인 것으로 프레이밍]하며,
• [시스템]과 [현장의 노동자]들을 [그들 자신의 목표와 의제를 가진 에이전트 파트너]로 다루며,
• 이 모든 요소사이의 상호작용을 ['생태계'가 변화의 동요에 따라 "뉴 노멀"을 추구하는 것]으로 인정한다.

실제로, [환경 정규화]는 [변화의 생태계]를 신중하게 검토한다. 

• 변화에 대한 거창한 대 지역의 열망, 
• 혁신, 
• 전략적 의도, 
• 구현 작업을 수행하는 사람들, 그리고 
• 시스템의 역할. 

Building on this understanding of implementation fidelity and implementation integrity, the Eco-Normalization model has the potential to enable program evaluators to better explore the longevity of innovations through fulsome examination of what is being implemented, including adaptations and modifications.

• It frames the innovation as a dynamic rather than static set of practices,
• it treats the system and the workers on the ground as agentive partners with their own goals and agendas, and
• it acknowledges the interactions between all these factors as the ecosystem seeks its “new normal” following the perturbation of change.

Indeed, Eco-Normalization judiciously examines the ecosystem of change:

• the grand versus local aspirations for change,
• the innovation,
• strategic intentions,
• the people doing the work of implementation, and
• the role of the system.

새로운 여정을 시작하며, [에코 정규화]는 혁신 경험을 비판적이고 주기적으로 평가하여 향후 경로가 원하는 목적지 방향으로 계속 이어질 수 있도록 보장합니다. 아직 개발 초기이긴 하지만, 우리는 혁신자들과 평가자들이 이 프레임워크를 통해 [구현과 변화의 생태계에 대한 또 다른 두루뭉술함]을 벗어나, 맥락적 혁신의 수명에 기여(또는 방해)하는 특징에 대한 이해를 심화시킬 수 있기를 바란다.

When embarking on a new journey, Eco-Normalization critically and cyclically appraises innovation experiences to ensure the upcoming path continues to lead in the direction of the desired destination. Although still early in its development, we hope that, through this framework, innovators and evaluators will be able to shed another layer of elusiveness about implementation and the ecosystem of change to deepen understanding of the features that contribute to (or hinder) the longevity of innovations in context.

 

---

Acad Med. 2021 Nov 1;96(11S):S48-S53. doi: 10.1097/ACM.0000000000004318.

Eco-Normalization: Evaluating the Longevity of an Innovation in Context

Deena M Hamza 1, Glenn Regehr 2

Affiliations collapse

Affiliations

1D.M. Hamza is an implementation scientist and the research and evaluation lead for postgraduate medical education, University of Alberta, Edmonton, Canada; ORCID: https://orcid.org/0000-0001-8943-2165.

2G. Regehr is professor, Department of Surgery, and scientist, Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada; ORCID: https://orcid.org/0000-0002-3144-331X.

PMID: 34348375

DOI: 10.1097/ACM.0000000000004318

Abstract

Purpose: When initiating an educational innovation, successful implementation and meaningful, lasting change can be elusive. This elusiveness stems from the difficulty of introducing changes into complex ecosystems. Program evaluation models that focus on implementation fidelity examine the inner workings of an innovation in the real-world context. However, the methods by which fidelity is typically examined may inadvertently limit thinking about the trajectory of an innovation over time. Thus, a new approach is needed, one that focuses on whether the conditions observed during the implementation phase of an educational innovation represent a foundation for meaningful, long-lasting change.

Method: Through a critical review, authors examined relevant models from implementation science and developed a comprehensive framework that shifts the focus of program evaluation from exploring snapshots in time to assessing the trajectory of an innovation beyond the implementation phase.

Results: Durable and meaningful "normalization" of an innovation is rooted in how the local aspirations and practices of the institutional system and the people doing the work interact with the grand aspirations and features of the innovation. Borrowing from Normalization Process Theory, the Consolidated Framework for Implementation Research, and Reflexive Monitoring in Action, the authors developed a framework, called Eco-Normalization, that highlights 6 critical questions to be considered when evaluating the potential longevity of an innovation.

Conclusions: When evaluating an educational innovation, the Eco-Normalization model focuses our attention on the ecosystem of change and the features of the ecosystem that may contribute to (or hinder) the longevity of innovations in context.

Copyright © 2021 by the Association of American Medical Colleges.