위계적이지 않은 선형적 교육 이니셔티브 평가: 7I 프레임워크(J Educ Eval Health Prof, 2015)

위계적이지 않은 선형적 교육 이니셔티브 평가: 7I 프레임워크(J Educ Eval Health Prof, 2015)

Proposal of a linear rather than hierarchical evaluation of educational initiatives: the 7Is framework

Damian Roland1,2*

 

 

 

 

 

도입

INTRODUCTION

[지속적인 의료 교육(CME)을 통해 또는 임상 사례와의 정기적인 상호 작용의 결과로] 의료 전문가들은 공식적인 의미에서 항상 학습한다[1-3].
Medical professionals are always learning, whether in a formal sense via continuing medical education (CME) or as a result of their regular interaction with clinical cases [1-3].

 

학습 평가 모델
MODELS OF LEARNING EVALUATION

자주 인용되는 학습 평가 모델은 Kirkpatrick[4-6]에 의해 개발되었다. 레벨 간 링크는 원래 개입과 전체 결과 사이의 브리지를 이해하기 위한 수단으로 쿡과 웨스트[7]에 의해 지원되지만 표 1에 기술된 Kirkpatrick 자신은 원래 '레벨'이라는 용어를 사용하지 않았다(그림 1).
A frequently cited model of learning evaluation is that developed by Kirkpatrick [4-6]. It comprises a hierarchy described in Table 1 Kirkpatrick himself did not originally use the term ‘levels’ although links between levels are supported by Cook and West [7] as a means to understanding the bridge between the original intervention and the overall outcome (Fig. 1).

 

 

'레벨'이라는 개념의 사용은 Kirkpatrick 프레임워크가 산출물product에(즉 프로세스보다는 관심 있는 특정 학습 결과의 측면에) 관한 것임을 암시하며, 이는 그 결과를 달성하는 데 필요한 지침의 품질일 것이다[8]. 개념적 프레임워크는 종종 원래 모델의 이전 이론과 개정에 기초한다. 커크패트릭 접근법의 가장 일반적으로 인용되는 변형 중 하나는 Barr 외 연구진[9]에 의해 제안되었다. 전문가 간 교육 검토에서 커크패트릭 프레임워크의 레벨 2와 레벨 4의 하위 유형이 추가되었다(표 2).
The use of the levels concept implies that the Kirkpatrick framework is about a product, that is, the aspect of a particular learning outcome of greatest interest, rather than a process, which would be the quality of the instruction needed to achieve that outcome [8]. Conceptual frameworks are often built on previous theories and revisions of original models. One of the most commonly cited variations of the Kirkpatrick approach was suggested by Barr et al. [9]. In a review of inter-professional education, subtypes of levels 2 and 4 of the Kirkpatrick framework were added (Table 2).

 

 

이 접근법은 실용적이지만, 원본 논문이나 후속 작업에 의해 검증되지 않았다. 의학 교육에서 최고의 증거 그룹[10,11]은 이 프레임워크를 따르지만, 전통적인 커크패트릭 레벨 2와 Barr 버전을 비교한 공식적인 연구는 없다.
Although this approach is pragmatic, it has not been validated by either the original paper or subsequent work. The Best Evidence in Medical Education group [10,11] follows this framework; however, no formal study has compared a traditional Kirkpatrick level 2 with Barr’s version.

또 다른 접근법은 순수하게 학습자, 즉 의료 전문가 자체에 초점을 맞추는 것이었습니다. 벨필드 외 [12] 5단계 계층을 제안했다: 의료 결과, 의료 전문가의 행동, 성과 또는 실천, 학습 또는 지식, 참가자의 반응 또는 만족도, 참여 또는 완료.
Another approach has been to focus purely on the learner, that is, the health care professionals themselves. Belfield et al. [12] proposed a five-level hierarchy:

• healthcare outcomes;
• healthcare professionals’ behaviour, performance or practice;
• learning or knowledge;
• reaction or satisfaction of participants; and
• participation or completion.
  
  

벨필드 외 [12]는 특히 의료 교육 환경에서의 성과-기반 연구의 어려움을 강조하였다. 왜냐하면 환자 성과는 학습자가 새로운 기술을 습득하고 구현하는 데 시간이 필요하기 때문에 장기간에 걸쳐서만 명백해질 수 있다는 문제가 있기 때문이다
Belfield et al. [12] highlighted the difficulty of outcomes-based research in a medical education setting, in particular, the problem that patient outcomes may only become apparent over a protracted period of time due to the time needed for the learner to acquire and implement new skills.

그들은 연구 보고서에는 어떤 [성과 척도]인 [효과 수준]을 사용하였는지가 명확하게 보고되고 정당화되어야 한다고 강조했다. 이는 Kirkpatrick의 활용과 관련이 있으며, '평가', '평가', '능력'과 같은 많은 의학 용어들이 분야와 전문 분야에 걸쳐 다른 의미를 가질 수 있기 때문이다[12].
They emphasised that levels of effectiveness, the outcome measures used, should be clearly reported and justified in study reports. This is of relevance to the utilization of Kirkpatrick, as much terminology in medical education such as ‘appraisal,’ ‘assessment,’ ‘evaluation,’ and ‘competency’ may carry different meanings across disciplines and specialties [12].

Kirkpatrick의 프레임워크에 기반을 두고 있지만 또한 의학 교육에 특정한 이론을 통합한 모델이 Moore 등에 의해 고안되었다. [13](표 3)입니다. 그들은 그들의 접근 방식이 완전히 검증된 모델이 아니라 개념적 프레임워크라는 것을 분명히 지적한다. Miller의 피라미드[14]의 통합은 학습자가 '아는'과 '아는'에서 '보여주는' 방법 및 '보여주는' 방식으로 이동하는 학습에 대한 이론적 접근법이다. Barr 등이 채택한 접근법과 유사하다. [9], 필수적인 Kirkpatrick 프레임워크는 변경되지 않지만 각 레벨에서 제공되는 세부 사항은 크게 확장된다. 다시 한 번, 직접적으로 검증되지는 않았지만, 이 접근 방식은 캐나다 왕립 의사 및 외과 대학으로부터 승인을 받았습니다 [15,16].
A model based on Kirkpatrick’s framework but also incorporating theories specific to medical education has been devised by Moore et al. [13] (Table 3). They clearly point out that their approach is a conceptual framework rather than a fully validated model. The incorporation of Miller’s pyramid [14], a theoretical approach to learning in which the learners move from ‘knows’ and ‘knows how’ to ‘shows how’ and ‘does’ is synergistic with the learning and performance domains. Similar to the approach adopted by Barr et al. [9], the essential Kirkpatrick framework is not changed but the detail provided at each level is greatly expanded. Again, although not directly validated, this approach has received endorsement by the Royal College of Physicians and Surgeons of Canada [15,16],

 

궁극적으로, 위에서 논의한 모든 모델에서, 커크패트릭 수준의 위계적 특성이 존재하고, 개입에 대한 반응, 뒤따라오는 학습, 행동으로의 구현, 그리고 환자 이익으로의 흐르는flow 변환translation이 여전히 존재한다.
Ultimately, in all the models discussed above, the hierarchal nature of the Kirkpatrick levels is present, and the flow from reaction to the intervention, followed by learning and implementation into behaviour and then a translation into patient benefit is still present.

Kirkpatrick의 프레임워크에 내재된 계층 구조를 피하기 위해 Hakkennes와 Green[17]은 세 개의 개별 결과 도메인을 측정하기 위해 특별한 순서 없이 5개의 범주를 사용했다(표 4). Hakkennes 모델은 개입의 효과를 측정하기 위한 명확한 측정 기준을 예와 함께 제공한다. 이 모델에서만 실제 대 대리 측정의 개념이 활용된다. 커크패트릭 모델은 최종 사용자가 각 특정 수준에서 결과 측정을 결정할 수 있도록 한다. Hakkennes와 Green [17]은 실제 또는 금 기준 결과와 인식되거나 잠재적으로 교란된 결과를 구별하여 타당성을 강화하기 위한 프레임워크를 제공한다.
In an attempt to avoid the hierarchical structure inherent in Kirkpatrick’s framework, Hakkennes and Green [17] used five categories in no particular order to measure three separate outcome domains (Table 4). The Hakkennes model provides clear metrics, with examples, in which to measure the effectiveness of the intervention. Uniquely to this model, the concept of actual versus surrogate measures is utilized. The Kirkpatrick model allows the end-user to decide the outcome measure at each particular level. Hakkennes and Green [17] provide a framework for strengthening validity by differentiating between actual or gold-standard outcomes and those that are perceived or potentially confounded.

 

각 영역 또는 수준에서 세부 수준을 높이면 결과 기반 시스템 개발자가 사용하는 인식론적 접근 방식에 대한 문제가 발생한다.

• Kirkpatrick이 내놓은 비즈니스 지향 모델에서는 각 레벨의 객관적인 설명자가 없음에도 불구하고 학습과 결과 사이의 명확한 연결connection이 구조에 내재되어 있다.
• 반대로, Hakkennes와 Green[17]이 제공하는 증가된 세부사항은 각 수준에서 정보를 수집하고 분석해야 하는 더 분리된dissociated 구조를 의미한다.
  

Increasing the level of detail in each domain or level raises a challenge to the epistemological approach used by developers of outcomes-based systems.

• In the business-oriented model put forward by Kirkpatrick, a clear connection between learning and outcome is inherent in the structure, despite the absence of objective descriptors of each level.
• Conversely, the increasing detail provided by Hakkennes and Green [17] implies a more dissociated structure where information must be collated and analysed at each level.

이러한 접근법은 복잡한 방법론적 논쟁을 나타내며 의료 개입을 평가하기 위한 패러다임에서 가능한 [스펙트럼의 일부]를 형성한다.

• 한 끝에는 Lemmens 등에 의해 증명된 이산 위계적discrete hierarchal 접근법이 있다. [18]에서는 질병관리 프로그램의 효과성을 결정하기 위한 평가 모델을 설명한다. 이 모델은 일련의 지식 습득을 통해 행동의도와 변화를 유도하고 궁극적으로 임상 결과를 개선합니다.
• 스펙트럼의 다른 끝에는 Yardley와 Dornan[19]이 지지하는 덜 규정된 접근법이 있는데, 이 접근법에서는 연구자가 결과의 복잡성을 평가하고 개입에서 결과까지 발생할 수 있는 과정에 따라 적절한 프레임워크를 적용한다(그림 2).
  

These approaches represent complex methodological debates and form part of a likely spectrum in paradigms for evaluating medical interventions. 

• On one side is a discrete hierarchal approach, as demonstrated by Lemmens et al. [18], who describe an evaluation model for determining the effectiveness of disease management programs. This model has a sequence of knowledge acquisition, leading to behaviour intention and then change—ultimately leading to improved clinical outcomes. 
• On the other side of the spectrum is a less prescribed approach espoused by Yardley and Dornan [19] in which the researcher assesses the complexity of the outcomes and applies an appropriate framework dependent on the processes that may occur from intervention to outcome (Fig. 2).
  
  

 

그러나 Yardley와 Dornan[19]이 주장하듯이, "특정 결과가 발생했는가?"가 아니라 "이 개입의 결과는 무엇이었는가?"를 묻는 것이 중요하다. 이러한 측면에서 커크패트릭 수준 기반 접근법은 특정 프로젝트의 성공 또는 실패 이유를 설명하는데 도움이 된다.
However as Yardley and Dornan [19] argues, it is important to ask not, “Did a specific outcome occur?” but “What were the outcomes of this intervention?” as the latter may aid in the determination of the underlying cause of the outcomes. In this respect, the Kirkpatrick level-based approach does aid reasons for success or failure of a particular project to be elucidated.

 

커크패트릭의 디자인 관련 문제
PROBLEMS WITH KIRKPATRICK’S DESIGN

커크패트릭의 디자인에 대한 우려에 대한 논평은 주로 의료 외 산업과 관련이 있다. Bates [21]은 Kirkpatrick 접근법으로 다음과 같은 세 가지 우려를 제기했습니다. 그것은 

• 불완전한 모델이고, 
• 인과관계에 대한 입증되지 않은 가정이 있으며, 
• 결과 수준이 높을수록 반드시 더 높은 수준의 정보를 의미하는 것은 아니다. 

Kirkpatrick에도 불구하고 처음에는 정보의 수준을 무시하지 않았다. Kirkpatrick이 처음에는 "레벨"이라는 용어를 사용하지 않았음에도 불구하고, 그의 설계는 레벨 4 결과가 레벨 1의 결과보다 더 중요하다는 것을 암시적으로 시사한다(그림 3).
Commentaries on concerns with Kirkpatrick’s design predominantly relate to industries outside of health care. Bates [21] raised three concerns with the Kirkpatrick approach: It is an incomplete model, there is an unproven assumption of causality, and the higher outcome levels do not necessarily imply high er levels of information. Despite Kirkpatrick not initially er levels of information. Despite Kirkpatrick not initially using the term “level” himself, his design implicitly suggests that level-four outcomes are of greater importance than those of level one (Fig. 3).

 

초기 [참여자의 반응]보다 더 많은 '가치'를 갖는 [조직적 성과] 또는 [ROI]의 위계적 구조는 한동안 비즈니스 커뮤니티에서 어려움을 겪어 왔습니다 [22]. Kirkpatrick이 레벨 2(지식 변화)를 평가하는 것과 관련하여 "이러한 학습 목표 중 하나 이상이 달성되지 않는 한 행동의 변화는 기대할 수 없다"고 믿었음에도 불구하고, 비즈니스 부문의 연구는 Kirkpatrick 모델이 제안하는 계층적 관계를 확인하지 못했다[23,24].
The hierarchy of organizational outcomes, or return on investment, having more ‘value’ than initial participant reactions has been challenged in the business community for some time [22]. Despite Kirkpatrick believing, in respect of evaluating level two (knowledge change), that “No change in behaviour can be expected unless one or more of these learning objectives have been accomplished” [6], research in the business sector has failed to confirm the hierarchical relationship the Kirkpatrick model suggests [23,24].

2012년, 야들리와 도넌은 Kirkpatrick의 바로 그 위계적 특성이 어떻게 평가가 검토하고자 하는 결과를 편향시킬 수 있는지를 강조하는 논평 모음을 식별했다. 알리거 외. [23]과 Abernathy[25]는 이전에 사업적 관점에서 평가 수준의 개념이 평가자가 취할 수 있는 학문적 접근법에 영향을 미친다고 주장하였다. Yardley와 Dornan[19]은 [의료 교육이 비즈니스보다 훨씬 복잡한 시스템]이라고 제안했는데, 이해당사자로서 환자와 의사뿐 아니라 환자의 가족, 보건 시스템 및 보건 시스템 주변의 지역사회도 포함되기 때문이다.
In 2012, Yardley and Dornan identified a collection of commentaries highlighting how the very hierarchical nature of Kirkpatrick could bias the outcomes the evaluation was aiming to examine. Alliger et al. [23] and Abernathy [25] have previously argued from a business perspective that the very notion of levels of evaluation influences the academic approach the evaluator may take. Yardley and Dornan [19] suggested that medical education is a much more complex system than business, as the stakeholders include patients and doctors but also the patients’ families, the health systems and the communities around the health systems.


평가를 위한 새로운 개념 모델
A NEW CONCEPTUAL MODEL FOR EVALUATION

커크패트릭이 내놓은 모델은 학문적 의학 교육계 전반에 걸쳐 보편적인 관심을 끌지 못했다. 야들리와 도르난[19]은 커크패트릭을 맹목적으로 따르는 것이 "임상 약물에 대한 연구를 수행하고 잠재적 부작용을 평가하지 않는 것"과 비슷하다고 느꼈다. 의료 환경에서 Kirkpatrick Framework를 사용하는 사람들은 지식, 기술 및 태도의 획득과 후속 사용의 [선형 순서sequencing]를 가정하고 있다. [의료 개입medical intervention]은 이항 트랜잭션binary transactional적 특성이 없으며, 예측할 수 없는 결과를 가지고 있다. 동일한 방식으로, [교육적 개입]이나 [행동을 바꾸려는 개입]도 이질적이다. 학습자는 개입에 대한 반응으로 [행동의 일부 측면을 수정]하지만 [다른 측면은 수정하지 않습니다].
The model put forward by Kirkpatrick has not gained universal traction throughout the academic medical educational community. Yardley and Dornan [19] felt that following Kirkpatrick blindly would be akin to “performing research on a clinical drug and not assessing the potential side effects.” Those utilising the Kirkpatrick Framework in the healthcare setting are assuming a linear sequencing of acquisition and subsequent use of knowledge, skills and attitudes. Medical interventions do not have a binary transactional nature and have unpredictable outcomes. In the same way, educational or other practicechanging interventions are also heterogeneous: Learners modifies some aspects of their behaviour but not others in response to the intervention.

버클리 외 [26] 레벨 기반 평가 시스템은 직관적이지도 않고 이론적으로도 건전하지도 않다고 느꼈으며, 개별 수준보다는 연속적인 변화의 필요성을 언급하였다. 이러한 체계적인 검토에도 불구하고, 많은 사람들이 Kirkpatrick 프레임워크를 계속 지지하며, 연구자들은 Kirkpatrick 모델을 기반으로 계속 구축합니다 [27]. Kirkpatrick의 향상을 목표로 하는 모델들은 개념을 완전히 재정의하기 보다는 수준을 더한다. 이러한 시스템은 암묵적으로 [개인의 학습의 선형적 특성]을 함축하며, 학습이 행동 변화를, 그리고 환자 성과로 이어진다고 본다.

Buckley et al. [26] felt a level-based system of evaluation was neither intuitive nor theoretically sound, citing the need for a continuum of change rather than discrete levels. Despite this systematic review, many continue to endorse the Kirkpatrick framework and researchers continue to build upon the Kirkpatrick model [27]. Models that aim to enhance Kirkpatrick add to the levels, rather than redefining the concept entirely. The linear nature of individuals’ learning, leading to behavioural change and finally patient outcomes is implicit in all such systems.

 

 

새로운 모델 도출
DERIVING A NEW MODEL

논의되고 기술된 다양한 모델에서 입증되었듯이, 평가에 대한 많은 접근법이 존재한다. 모든 상황에 가장 적합한 시스템은 없을 가능성이 높으며, 그보다는 평가의 의도, 주요 이해관계자의 성격 및 가용 자원과 같은 요인에 따라 최선의 접근 방식이 달라진다[28]. 평가적 프레임워크가 계속 만들어지는 것은 이 때문이다.
As demonstrated by the variety of models discussed and described, many approaches to evaluation exist. It is likely that no one system is best for all situations; rather, the best approach varies according to factors such as the intent of the evaluation, the nature of key stakeholders, and available resources [28]. It is for this reason that evaluative frameworks are created.

타당한 프레임워크를 만들기 위해 Kirkpatrick 등의 작업에 대한 문헌을 활용하여 다음과 같은 핵심 니즈를 도출하였다. 

In order to create a valid framework, the literature on the work of Kirkpatrick and others was utilised to derive core needs as follows: 

 

• 첫째, 다양한 출처에서 척도를 얻어야 한다. 커크패트릭은 불완전한 모델이며 광범위한 평가 방법론을 허용해야 하는 새로운 프레임워크가 필요하다.
  
• 둘째, 도메인(또는 이러한 도메인을 구성하는 측정치)은 서로 독립적이다. 인과성의 가정은 원래 커크패트릭 모델의 핵심 특징이며, 이러한 가정은 증명되지 않았다. 
• 셋째, 프레임워크는 명시적으로 계층 구조를 제안하지 않는다. 계층적 접근법은 프레임워크의 특정 부분에 과도한 가중치를 부여한다. 임상 의학에서 이는 정당화될 수 있습니다. 환자에게 가장 중요한 임상 결과는 명확하고 투명한 끝점입니다. 그러나 교육에서 환자의 이익이 중요하지만 모든 교육 개입이 반드시 환자의 경험이나 결과와 관련되는 것은 아니다. 참가자가 지식을 배우고 적용하는 방법에 대한 상당한 교란 영향을 고려하여 환자 결과에 집중하면 개입의 효과를 결정하는 정보가 누락될 수 있다. 이 프레임워크는 한 가지 요소에만 의존하는 것이 아니라 총체적으로 전체적인 효과를 제공하는 일련의 방법을 통합한다. 
• 넷째, 환자 결과를 고려한다. 환자 결과가 결과의 가장 높은 범위는 아닐 수 있지만, 평가 프로세스의 중요한 부분이며 사용된 개입과 관련하여 내부 유효성을 가져야 한다. 즉, 개입이 결과를 측정할 수 있는 타당한 결과를 초래할 수 있다. 
• 다섯째, 개입 그 자체에 대한 참여engagement를 고려한다. 이전 모델들은 모델에 대한 만족도를 측정했을 뿐 실제 이용률 자체는 측정하지 않았다.

 

• First, measures should be obtained from a variety of sources: Kirkpatrick is an incomplete model and a new framework needs to allow a broad range of evaluative methodologies. 
  
• Second, the domains (or measures making up those domains) are independent of each other: The assumption of causality is a core feature of the original Kirkpatrick model, and this assumption has not been proven. 
• Third, the framework does not explicitly suggest a hierarchy: A hierarchical approach gives an undue weight to certain parts of the framework. In clinical medicine, this may well be justified – the primary clinical outcome to the patient being a clear and transparent end point. In education, however, although patient benefit is of importance, not all educational intervention is necessarily related to patient experience or outcomes. Given the significant confounding influences on determining how participants may learn and apply their knowledge, concentrating on patient outcome may leave out information that determines the effectiveness of the intervention. The framework brings together a chain of methods which in totality deliver an overall effect rather than relying on just one component. 
• Fourth, patient outcomes are considered: Although patient outcomes may not be the highest rung of outcome, they are a vital part of the evaluation process and must have internal validity with respect to the intervention used; that is, the intervention would plausibly result in the outcome being measured. 
• Fifth, engagement with the intervention itself is considered: Previous models have only measured satisfaction with the model, not the actual uptake or utilisation itself.
  

 

 

 

이 모델은 Kirkpatrick의 누락된 구성 요소 중 일부를 개입, 개입 자체 및 개입의 결과를 캡슐화하는 도메인을 만드는 데 포함시키는 것을 목표로 했다. [개입 자체]를 포함시키는 목적은 개입 전, 중, 후 평가 시 취해진 정보가 필요하다는 원칙을 함양하기 위한 것이다.
The model aimed to include some of the missing components of Kirkpatrick and other frameworks in creating domains encapsulating the interaction with the intervention, the intervention itself and the outcomes of the intervention. The purpose of including the intervention itself is to ingrain the principle that the evaluation requires information taken before, during and after the intervention.

학습과 행동을 평가하는 기본 구조는 Kirkpatrick과 같이 남아있지만 서로 위에서가 아니라 병렬로 고려된다. 여기서 제안된 모델은 이 두 가지 평가 접근 방식이 포함되도록 보장하기 위해

• '아이디어'(배웠다고 생각하는 것)와
• '통합'(배운 것)의 개념을 사용합니다. 

The basic constructs of assessing learning and behaviour remain as in Kirkpatrick but are considered in parallel rather than on top of each other. The model proposed here uses the concepts of

• ‘ideation’ (what you think you have learned) and
• ‘integration’ (what you have shown you have learned) to ensure these two evaluative approaches are included.

 

이는 계층이 아닌 공통 도메인으로 학습과 행동 섹션을 통합합니다. 의료의 복잡성을 인식하여 Kirkpatrick의 프레임워크의 레벨 4에 해당하는 '결과'의 개념은 '실행'과 '개선'이 된다. 이를 통해 직접적인 임상 효과뿐만 아니라 경험 결과 측정으로도 환자 편익을 캡슐화할 수 있다. 잠정적으로 '7 is framework'라는 제목의 개념적 프레임워크는 그림 4와 표 5에 나타나 있다. 'I'의 반복은 우연이지만 프레임워크의 기억에 도움이 될 수 있다.

This brings together the learning and behaviour sections, not as a hierarchy but as a common domain. In recognition of the complexity of healthcare, the concept of ‘results,’ which correspond to level four of Kirkpatrick’s framework, becomes ‘implementation’ and ‘improvement’. This enables patient benefit to be encapsulated by direct clinical effects but also by experience outcome measures as well. The conceptual framework, provisionally entitled ‘the 7Is framework’, is shown in Fig. 4 and Table 5. The all iteration is coincidental but may aid memorability of the framework.

CONCLUSION 

 

 

 

 

---

J Educ Eval Health Prof

•  
•  
•  

. 2015 Jun 24;12:35.

 doi: 10.3352/jeehp.2015.12.35. eCollection 2015.

Proposal of a linear rather than hierarchical evaluation of educational initiatives: the 7Is framework

Damian Roland 1 2

Affiliations collapse

Affiliations

• 1Sapphire Group, Department of Health Sciences, University of Leicester, Leicester, United Kingdom.

• 2Paediatric Emergency Medicine Leicester Academic Group, University Hospitals of Leicester NHS Trust, Leicester, United Kingdom.

• PMID: 26101403

 

• PMCID: PMC4536351

 

• DOI: 10.3352/jeehp.2015.12.35

Free PMC article

Abstract

Extensive resources are expended attempting to change clinical practice; however, determining the effects of these interventions can be challenging. Traditionally, frameworks to examine the impact of educational interventions have been hierarchical in their approach. In this article, existing frameworks to examine medical education initiatives are reviewed and a novel '7Is framework' discussed. This framework contains seven linearly sequenced domains: interaction, interface, instruction, ideation, integration, implementation, and improvement. The 7Is framework enables the conceptualization of the various effects of an intervention, promoting the development of a set of valid and specific outcome measures, ultimately leading to more robust evaluation.

Keywords: Health expenditures; Health resources; Medical education; Outcome assessment.