IPE Guide No. 3: IPE 프로그램 평가(J Interprof Care, 2015)

IPE Guide No. 3: IPE 프로그램 평가(J Interprof Care, 2015)

Interprofessional Education and Practice Guide No. 3: Evaluating interprofessional education

Scott Reeves1, Sylvain Boet2, Brenda Zierler3, and Simon Kitto4

도입

Introduction

평가는 "인간의 활동을 형식적이고 체계적으로 평가"하는 과정으로 정의되었다(Kelly, 2004, 페이지 464). 평가의 주요 목적은 건강과 사회 프로그램의 유용성에 대한 판단을 내리는 것이다. 따라서 평가는 

• 활동이나 프로그램에 따른 변화를 수행하는 데 초점을 맞추고, 

• 사전에 지정한 질문을 투명하게 처리하며, 

• 데이터의 체계적인 수집과 분석에 기초한다. 

평가는 행동의 원인과 효과를 조사하는 경험적 활동이다. 이와 같이 정량적 또는 정성적 방법을 사용하거나 두 가지 유형의 접근법을 모두 사용할 수 있다.2

Evaluation has been defined as a process of ‘‘appraising human activities in a formal, systematic way’’ (Kelly, 2004, p. 464). A key purpose of evaluation is to make judgements about the usefulness of health and social programmes. Evaluation is therefore 

• focused on undertaking change in activities or programmes; 

• addresses pre-specified questions in a transparent way; and 

• is based on the systematic collection and analysis of data. 

Evaluation is an empirical activity that examines the causes and effects of actions. As such, it may use quantitative or qualitative methods, or employ both types of approach.2

배운 교훈

Lessons learned

가능한 한 빨리 평가에 대해 생각해 보십시오.

Think about evaluation as early as possible

IPE 활동/프로그램 평가를 위한 접근방식은 커리큘럼 개발 프로세스 초기에 고려할 필요가 있다. 이상적으로, IPE 활동을 평가하는 임무를 수행하는 사람들은 IPE의 설계와 개발을 안내하는 데 사용되는 개념적 프레임워크, 학습자 수준, 학습 컨텍스트, 촉진 전략 및 예상 결과(예: 지식, 태도, 기술의 변화)에 대한 직접적인 지식을 가져야 한다. 또한 가능한 경우 IPE 평가자는 가능한 한 많은 이해관계자를 참여시켜야 한다(즉, 관련된 직업의 대표자, 학습자의 참여, 지역 관리자의 참여). 이는 평가의 관점과 전문성을 넓히고 강화하므로 유리하며, 이는 평가 작업에 대한 지역적 "buy-in"을 향상시키는 데 도움이 될 수 있다.

The approach to evaluate the IPE activity/programme needs to be considered early in the curriculum development process. Ideally, those tasked with evaluating the IPE activity should have firsthand knowledge of the learning objectives, the conceptual framework used to guide the design and development of the IPE, level of learners, learning context, facilitation strategies, as well as the expected outcomes (e.g. changes in knowledge, attitudes, skills). Also, where possible, IPE evaluatiors should ideally involve as many stakeholders as possible (i.e. representation from professions involved, involvement of learners, participation of local managers). This is advantageous as it broadens and enriches the perspectives and expertise of the evaluation, which in turn can help enhance local ‘‘buy in’’ for the evaluation work.

평가의 목적을 명확히 함

Be clear with the purpose of the evaluation

전문가 간 교육 평가는 새로운 IPE 활동의 영향을 평가하고, 한 유형의 IPE의 비용과 편익을 다른 유형의 IPE와 비교하거나, 전문가 간 촉진 프로세스의 특성을 탐구하는 등 다양한 목적을 위해 수행될 수 있다. 평가의 목적에 대한 명확한 아이디어가 중요하다. IPE 평가의 목적이 본질적으로 형성적(IPE 활동을 개선하기 위해 데이터를 수집하기 위한 목적)인지 또는 총괄적(IPE 활동의 최종 영향을 판단하기 위한 목적)인지를 결정하기 위해 시간이 필요하다.

Interprofessional education evaluations can be undertaken for a variety of purposes, including assessing the effects of a new IPE activity, comparing costs and benefits of one type of IPE with another and/or exploring the nature of interprofessional facilitation processes. A clear idea of the purpose of the evaluation is crucial. Time is needed to decide whether the purpose of the IPE evaluation is formative (intended to gather data to improve an IPE activity) or summative (intended to judge the final impact of an IPE activity) in nature.

또한 각 평가 문항이 평가 설계(아래 참조)에 방향을 제공하고 서로 다른 결과와 결론을 도출할 수 있으므로 간결한 평가 질문을 작성하는 데 시간을 소비해야 한다.

Time should also be spent formulating concise evaluation question(s), as each will provide direction to the evaluation design (see below), and produce different findings and conclusions.

이 시점에서, 평가가 IPE 활동의 품질과 영향에 대한 지역 이해관계자(예: 관리자, 교육자, 관리자, 커미셔너)에 대한 피드백 및/또는 동료 검토 IPE 문헌에 결과를 출판하는 것을 목표로 하는지를 생각해 볼 가치가 있다. 

At this point, it is worthwhile thinking about whether the evaluation is aiming to provide: feedback to local stakeholders (e.g. managers, educators, administrators, commissioners) on the quality and effects of an IPE activity and/or aiming to publish the results in the peer-reviewed IPE literature. 

• 전자의 유형의 평가를 수행하고자 하는 경우, 평가 질문은 지역 이해관계자의 요구를 해결하는 데 초점을 맞출 수 있으며, 이는 보통 IPE가 학습자의 협력적 태도, 지식, 기술 및 행동에 미치는 영향을 이해하는 것과 관련이 있다. 

• 그러나, 동료 평론 문헌에 게재하고 싶은 평가 연구를 실시하고자 한다면, 그 작품이 어떻게 학문적인 방식으로 전문 분야간 발전을 도모하는 새로운 지식을 추가할 것인가에 대해 더 많은 생각이 필요하다. IPE 평가 문헌이 협력적 태도, 지식 및 기술의 단기 및/또는 자체 평가 변화를 보고하는 연구와 함께 논쟁적으로 "포화"되기 때문에, 다른 분야(즉, 직장 내 협력적 행동의 생성과 지속성, 전달)에 초점을 맞춘 평가 작업이 필요하다. 환자 관리 및 환자 결과의 개선).

• If you are aiming to undertake the former type of evaluation, the evaluation question can be focused on addressing the needs of the local stakeholders – usually linked to understanding the effects of IPE on learners’ collaborative attitudes, knowledge, skills and behaviours. 

• If, however, you are aiming to undertake an evaluation study which you want to publish in peer-reviewed literature, more thought is needed about how the work will add new knowledge that advances the interprofessional field in a scholarly manner. As the IPE evaluation literature is arguably ‘‘saturated’’ with studies reporting short-term and/or self-assessed changes in collaborative attitudes, knowledge and skills (Reeves, 2010), there is a need for evaluation work that is focused on other areas (i.e. the creation and sustainability of collaborative behaviours in the workplace, delivery of patient care and improvement in patient outcomes).

학습 결과를 고려하십시오.

Consider the learning outcomes

IPE 활동이 일회성 사건이든 종적 프로그램이든 평가는 IPE 활동에서 예상되는 의도된 학습 결과의 범위를 이해하는 것이 중요하다. Kirkpatrick의 결과의 사용은 변화를 측정하는 데 유용한 유형이다. 표 I는 레벨 2와 레벨 4에서 두 가지 결과를 추가함으로써 확장된 원본의 약간 수정된 버전을 제시한다(Barr, Koffel, Reeves, Hammick & Freeth, 2005).

Whether the IPE activity is a one-time event or a longitudinal programme, it is important for the evaluation to generate an understanding of the range of intended learning outcomes expected from an IPE activity. The use of Kirkpatrick’s outcomes is and typology useful to consider allows for measuring change. Table I presents a slightly modified version of the original – expanded by adding two outcomes at levels 2 and 4 (Barr, Koppel, Reeves, Hammick, & Freeth, 2005).

일반적으로 수준 1-2b에 대한 결과 도출에 초점을 맞춘 IPE 평가 연구는 일반적으로 지역 이해관계자(예: 교육자, 인가자, 전문 조직)의 요구를 충족시키는 데 적합하다. 그러나 이러한 결과 수준은 IPE가 행동의 변화(레벨 3)와 조직적 변화(레벨 4a) 및/또는 환자 건강/웰빙 개선(레벨 4b)을 초래하는 방법을 이해하는 데 더 관심이 있는 국가 이해관계자(예: 정책 입안자, 기금자, 규제자)의 요구를 충족하지 못할 수 있다. 물론 이러한 결과 수준의 변화를 보고하는 것을 목적으로 하는 평가를 설계하는 것은 더 복잡하고 매우 자원 집약적(예: 시간, 돈, 전문지식)이다. (아래 참조).

In general, IPE evaluation studies focused on producing outcomes for levels 1–2b are usually appropriate for meeting the needs of local stakeholders (e.g. educators, accreditors, professional organizations). However, these outcome levels may not meet the needs of national stakeholders (e.g. policy makers, funders, regulators) who are more interested in understanding how IPE may result in changes in behaviour (level 3), organisational change (level 4a) and/or improvement in patient health/ well-being (level 4b). Of course, designing an evaluation that aims to report changes to these outcome levels is more complex to undertake and very resource-intensive (e.g. time, money, expertise). (See below).

이론적 관점에 대해 생각해 보십시오.

Think about theoretical perspectives

IPE 활동의 평가는 이론적 관점을 이용함으로써 강화된다. 이론은 평가자의 근본적인 가정을 명확히 하는 데 도움이 되며, 평가 작업의 설계와 수행의 초점을 선명하게 할 수 있다. 더욱이 이론의 사용은 "그것이 효과가 있었는가, 효과가 없었는가"라는 단순한 개념을 넘어 IPE의 성격과 의도하지 않은 효과에 관한 일반적 지식의 생성으로 평가 연구를 이동할 수 있는 잠재력을 가지고 있다.

The evaluation of IPE activities is strengthened by the use of a theoretical perspective. Theories help clarify the evaluator’s underlying assumptions, and can sharpen the focus of the design and conduct of evaluation work. Furthermore, the use of theory has the potential to move evaluation studies beyond simple notions of ‘‘did it work, did it not work’’ to the generation of generalisable knowledge about the nature of IPE in relation to both its intended and its unintended effects.

또한, 이론의 사용은 평가 작업이 IPE 활동의 설계와 구현과 관련된 특성, 목적 및 광범위한 상황적 요인에 대한 보다 중요한 탐구를 제공한다는 것을 보장할 수 있다. 이론의 사용은 원래 평가의 설정 이외의 다른 맥락에서 IPE 활동의 설계와 실행을 알릴 수 있다. 즉, IPE 활동의 개념적 일반화가능성과 전이가능성을 제공한다. 이것은 많은 평가가 할 수 없는 것이다. 이론이 그들의 업무의 질을 향상시키기 위해 채택된 예는 Kitto 등(2014년)이다. Kitto 등은 의료 우위 이론을 사용하여 집단적 전문가간 역량과 관련된 문제를 이해하였다.

In addition, the use of theory can ensure that evaluation work provides more critical explorations of the nature, purpose and broader contextual factors connected to the design and implementation of an IPE activity. The use of theory can inform the design and implementation of IPE activities in other contexts outside the setting of the original evaluation. In other words, it provides for the conceptual generalisability and transferability of IPE activities; something that many evaluations cannot do. An example that employed theory to enhance the quality of their work is Kitto et al. (2014), whose evaluation of rapid response systems which employed medical dominance theories to understand issues linked to collective interprofessional competence.

IPE 평가에 대한 이론적으로 정보에 입각한 접근방식은 효율성에 관한 데이터를 제공할 뿐만 아니라 IPE 분야의 학문적 지식체에 직접적으로 기여한다. 사회과학 문헌은 IPE의 다양한 이론적 관점을 어떤 평가를 하는지에 대해 풍부하게 알릴 수 있다. IPE에의 적용에 관한 세부사항과 함께 이러한 이론의 유용한 요약은 Barr et al.에서 찾을 수 있다. (2005) 및 Suter 외 연구진(2013).

A theoretically informed approach to IPE evaluation cannot only provide data on effectiveness, but also contribute directly to the scholarly body of knowledge in the IPE field. The social sciences literature has can a rich inform array an of IPE different theoretical perspectives which evaluation. Useful summaries of these theories with details about their application to IPE can be found in Barr et al. (2005) and Suter et al. (2013).

평가 모델 사용

Employ an evaluation model

위에서 지적한 바와 같이, 종종 IPE 평가 연구는 일련의 단기 학습자 결과를 보고하는 데 초점을 맞춘다. 이러한 초점은 IPE의 사용에 대한 어떤 지표를 제공하지만, IPE가 수행되는 상황의 성격을 이해하고 관련 활동과 관련된 프로세스를 탐구하는 것과 같은 이 개입의 다른 많은 중요한 요소들을 간과하고 있다.

As noted above, often IPEevaluation studies focus upon reporting a set of short-term learner outcomes. While this focus does provide some indication of the use of IPE, it overlooks a number of other important components of this intervention, such as understanding the nature of the context in which IPE is undertaken and also exploring the processes associated with related activities.

이러한 광범위한 데이터를 수집하고 보다 포괄적인 연구를 생성하기 위해 포괄적인 평가 접근 방식을 채택하는 모델을 사용할 것을 권장한다. 예를 들어 Stufflebeam(2000)의 CIPP(Context Input-Process-Product) 모델은 개입의 특성 및 관련 결과를 고려한다. 다른 유사한 모델로는 빅스(1993)의 사전 공정-제품(3P) 모델과 포슨과 틸리(1997)의 현실주의 평가 모델이 있다. 이 모든 모델은 정량적 및 정성적 데이터의 사용을 통합한 포괄적인 평가 접근방식을 가지고 있다. 이들은 모두 상황적(예방) 요소가 교육/학습 활동(프로세스)의 전달에 어떤 영향을 미치는지, 그리고 이러한 과정이 개입에서 생성된 결과에 어떻게 영향을 미치는지 조사하는 것을 목표로 한다. 

To help capture this wider range of data and produce more comprehensive studies, we recommend the use of models which adopt a comprehensive approach to evaluation. For example, Stufflebeam’s (2000) context-input-process-product (CIPP) model takes into consideration, the whole context surrounding an intervention as well as the nature of the intervention and its associated outcomes. Other similar models include Biggs’ (1993) presage-process-product (3P) model and Pawson and Tilley’s (1997) realistic evaluation model. All these models have an inclusive approach to evaluation which incorporates the use of quantitative and qualitative data. They all aim to investigate how contextual (presage) factors affect the delivery of teaching/ learning activities (processes), and how these processes in turn impact the outcomes produced from an intervention. 

IPE 평가 작업에서 이러한 유형의 모델을 채택하는 작업의 예로는 Baker, Egan-Lee, Leslie, Silver 및 Reeves(2010)가 빅스의 3P 모델을 사용하여 IPE 교수진 개발 프로그램을 평가했으며 Hollenberg 등이 있다. 4개의 IPE 프로그램에 대한 연구에서 Pawson과 Tilley의 현실적인 평가 모델을 채택한(2009).

Examples of work employing these types of models in their IPE evaluation work have included Baker, Egan-Lee, Leslie, Silver, and Reeves (2010) who evaluated an IPE faculty development programme using Biggs’ 3P model, and Hollenberg et al. (2009) who employed Pawson and Tilley’s realistic evaluation model in their study of four IPE programmes.

평가 설계 선택

Select an evaluation design

다양한 정량적 및 정성적 평가 설계와 혼합 방법 평가를 활용하기 위한 접근법을 결합하는 옵션이 있다. 아래에서는 각각의 주요 평가 설계에 대해 논의한다. IPE 평가에 관심이 있는 동료들이 그들의 작업에서 이러한 디자인 중 하나를 채택하는 것을 고려할 것을 권고한다. 

• 광범위하게 말하면, 평가가 IPE 활동에서 일어난 일을 이해하는 데 초점을 맞춘다면, 정량적 설계가 사용하기에 적절하다. 

• 이와는 대조적으로, IPE 활동 중에 원소가 왜 발생했는지를 이해하기 위한 평가라면, 정성적 설계가 적절하다. 표 II는 IPE 평가에 채택될 수 있는 질적 및 정량적 설계를 설명한다. 

• 또한, 평가 질문이 무엇과 왜 질문을 모두 검토하는데 초점을 맞춘다면, 양적 방법과 질적 방법을 결합하여 혼합 방법 평가(표 II)를 실시하는 것이 적절하다.

There are a number of quantitative and qualitative evaluation designs available for use, as well as the option to combine approaches to utilise a mixed methods evaluation. Below we discuss each of the main evaluation designs. We recommend that colleagues interested in evaluating IPE consider adopting one of these designs in their work. 

• Broadly speaking, if an evaluation is focused on understanding what happened in an IPE activity, quantitative designs are appropriate to use. 

• In contrast, if an evaluation is aimed at understanding why elements occurred during an IPE activity, qualitative designs are appropriate. Table II describes qualitative and quantitative designs which can be employed in an IPE evaluation. 

• In addition, if the evaluation question(s) are focused on examining both what and why questions, it is appropriate to combine quantitative and qualitative methods to undertake a mixed methods evaluation (Table II).

윤리적 승인에 대해 생각해 보십시오.

Think about ethical approval

모든 평가 작업은 윤리적 기준으로 수행해야 한다. IPE 평가에 인간이 참여하는 것을 고려할 때 윤리적 관행에 대한 관심은 매우 중요하다. IPE 평가 작업에서 윤리적 관행을 구현하면 다음을 보장할 수 있다.

All evaluation work must be undertaken on an ethical basis. Given the involvement of humans in an IPE evaluation attention to ethical practice is critical. Implementing an ethical practice in IPE evaluation work ensures that:

•   개인이 평가에 참여하기를 원하는지 아닌지에 대해 정보에 입각한 선택을 할 수 있다.

•   개인이 평가에 참여하는 것과 관련된 강제성은 없다.

•   데이터는 안전하게 저장되어 기밀성을 보장한다.

•   Individuals can make an informed choice about whether (or not) they wish to participate in the evaluation.

•   There is no coercion related to individuals becoming involved in an evaluation.

•   Data are anonymised (so that no one individual can be and to identified and potentially harmed) stored securely ensure confidentiality.

IPE 평가의 주된 목적이 내부 품질 보증, 성능 검토 또는 품질 개선 목적을 위한 정보를 얻는 것이며 외부 대상에게 배포되지 않는다면, 일반적으로 윤리적 승인이 필요하지 않다. 만약 당신이 당신의 연구를 더 널리 보급하고 싶다면, 모든 관련 연구 윤리 위원회로부터 윤리적 승인을 받아야 한다. 윤리적 승인절차는 국가별로 현장마다 다를 수 있으므로 IPE 평가의 개발 초기에 지역기관심사위원회(IRB)나 연구윤리위원회(REC)로부터 자문을 구하는 것이 중요하다.

If the primary aim of your IPE evaluation is to gain information for internal quality assurance, performance review or quality improvement purposes and will not be disseminated to external audiences, ethical approval is usually not required. If you wish to disseminate your work further, it is recommended that ethical approval is obtained from all relevant research ethics committees. As the ethical approval process can vary from site to site in different countries, it is important to seek advice from the local Institutional Review Board (IRB) or Research Ethics Committee (REC) early in the development of an IPE evaluation.

한 가지 접근방식은 계획한 IPE 활동의 "상위" 적용을 만들어 필요한 경우 수정할 수 있도록 하는 것이다. 상위 애플리케이션은 평가를 수행할 사람(학습자, 촉진자), 평가를 수행할 사람(예: 교수, 환자, 동료), 학습자 평가 방법(예: 설문지, 인터뷰, 관찰), 평가가 수행되는 빈도 및 향후 이러한 데이터가 어떻게 활용될 것인지를 설명해야 한다(예: 동료 검토 대상).출판물).

One approach is to create a ‘‘parent’’ application of the planned IPE activities that can be modified if needed. The parent application should describe who will be evaluated (learners, facilitators), who will conduct the evaluation (e.g. faculty, patients, peers), how learners will be evaluated (e.g. questionnaires, interviews, observations), how often the evaluation will take place, and how these data will be utilised in the future (e.g. for peer reviewed publications).

"평가자 효과"가 있다는 것을 이해한다.

Understand that there is an ‘‘evaluator effect’’

IPE 평가를 수행하는 개인이든 전문가 간 팀이든, 평가자 개인이나 평가자가 IPE 활동을 평가하는 접근방식으로 인해서든 결과에 영향을 미치는 의도하지 않은 결과가 있을 수 있다. 예를 들어, IPE 학습자는 다른 직업의 교수 평가자에 의해 위협받는 경우가 있는데, 특히 복장, 언어 또는 위치에 기초한 계급 의식이 있는 경우에는 더욱 그러하다. 평가 대상 IPE 활동 외에도 학습자에게 교수진 촉진자와 평가자에 대한 평가 또는 피드백을 제공할 기회를 제공해야 한다.

Whether it is an individual or an interprofessional team conducting the IPE evaluation, there may be some unintended consequences affecting the outcomes based on the influence of these individual(s) and their approach to evaluating the IPE activity. For example, IPE learners are sometimes intimidated by faculty evaluators from other professions, especially if there is a sense of hierarchy based on dress, language or position. In addition to the IPE activity being evaluated, the learners should be given the opportunity to assess or provide feedback on the faculty facilitators and evaluator(s).

평가자 효과를 "반응reactivity"이라고 부르기도 한다. 평가자의 존재가 참가자의 행동을 긍정적으로 변화시키는 현상을 기술한다. 이것은 호손 효과로도 알려져 있다. 당신의 IPE 평가 작업에 대한 반응성의 수준을 평가하는 것은 어렵지만, 당신은 그것의 존재와 가능한 영향에 대해 알아야 한다. 정량적 평가에서 주요 영향은 질문의 틀을 짜고 연구해야 할 맥락이나 모집단을 식별하는 데 있다. 평가자가 데이터에 몰입하게 되는 질적 평가에서는 이들이 주된 영향을 받는다. 두 가지 유형의 IPE 평가에서 평가자는 연구의 경계, 평가 설계, 데이터 수집 및 분석 방법에도 영향을 미칠 수 있음을 기억해야 한다. 그러나 시간이 지나면 반응성 문제는 줄어들게 되는데, 이는 개인이 일반적으로 평가자가 장시간 있을 때 자신의 행동을 바꿀 수 없기 때문이다.

The evaluator effect is sometimes called ‘‘reactivity’’. It describes a phenomenon where the presence of the evaluator positively changes participants’ behaviour. It is also known as the Hawthorne Effect. Assessing the level of reactivity on your IPE evaluation work is difficult, but you need to be aware of its presence and its possible effects. In quantitative evaluation, the main influence is on framing the questions and identifying the contexts or populations to be studied. In qualitative evaluation, where the evaluator becomes immersed in the data, they are the main influence. Across both types of IPE evaluation one needs to remember that the evaluator can also influence the boundaries of the study, the evaluation design, data collection and analysis methods. Overtime, however, reactivity issues diminish, as individuals cannot usually alter their behaviour in the presence of an evaluator for extended periods of time.

• 이 문제와 관련하여, "내부" 평가자는 연구 설정의 역사와 맥락에 대한 광범위한 지식으로부터 이익을 얻을 수 있지만, 이것은 데이터로부터 물러서서 중립적인 방식으로 해석하는 것을 어렵게 할 수 있다. 

• 이와는 대조적으로 외부 평가자는 작업을 보다 중립적인 관점에서 보는 것이 더 쉽다는 것을 발견할 수 있다. 이러한 중립성은 참가자들로부터 보다 솔직한 데이터를 이끌어내는 데도 도움이 된다. 그러나 그들은 종종 맥락적 이슈에 대한 심층적인 이해를 개발하는데 시간을 보내야 한다. 외부 평가는 더 공평한 것으로 보여지기 때문에 종종 더 큰 ‘무게’를 갖는 것으로 간주된다. 

• In relation to this issue, an ‘‘inside’’ evaluator can benefit from extensive knowledge of the history and context of a study setting, but this can make it difficult to stand back from the data and interpret it in a neutral manner. 

• In contrast, external evaluators may find it easier to view the work from a more neutral viewpoint. This neutrality is also helpful for eliciting more candid data from participants. However, they often have to spend time developing an in-depth understanding of contextual issues. External evaluations are often accorded greater ‘weight’ because they are seen as more impartial. 

그러나 IPE 활동의 품질을 개선하기 위해, 활동의 개발과 구현에 필수적인 내부 평가자는 프로그램이 실행될 때까지 평가를 기다리는 대신 프로세스 초기에 개선을 권고(즉 프로세스와 성과 평가의 통합을 수행)하는 더 좋은 위치에 있을 수 있다.

However, to improve the quality of an IPE activity, an internal evaluator who has been integral to the development and implementation of the activity may be better positioned to recommend improvements early in the process – integration of process and outcomes in the evaluation – (Cook, 2006) instead of waiting to evaluate until the programme is implemented.

평가 사이트 관리

Manage the evaluation site(s)

평가 사이트(또는 복수의 기관이 관련된 경우)에 대한 접근을 확보하는 것이 평가 구현의 핵심 단계다. 어떤 연구가 직원이나 환자로부터 데이터를 수집하는 것을 목표로 하고(그리고 그 결과를 출판물에 의해 전파할 경우), 윤리적 승인이 필요할 가능성이 있다(위 참조). 또한 많은 기관이 외부 평가자가 직원이나 환자에게 연락하거나 접근할 수 있도록 허가하는 현장의 지원 서한을 요구할 수 있다. 또한 임상 현장에서 평가가 수행되고 평가자가 해당 현장에 기반을 둔 임상의사가 아닌 경우, 추가적인 윤리 교육을 완료하고 건강 상태(예: 면역 기록)를 문서화해야 물리적으로 존재할 수 있다. 이러한 항목들이 해결되면, 승인을 얻기 위해 접근해야 하는 고위 의사, 간호사 및 서비스 관리자와 같은 몇 명의 다른 문지기가 있을 수 있다.

Obtaining access to an evaluation site (or sites – if the work involves multiple institutions) is a key step in the implementation of an evaluation. If a study aims to gather data from staff or patients (and will disseminate its findings by publication), it is likely that ethical approval will be needed (see above). A number of institutions may also require letters of support from the sites giving permission for an external evaluator to contact or approach staff or patients. In addition, if the evaluation is undertaken at a clinical site, and the evaluator is not a clinician based at that site, they may be required to complete additional ethical training and document health status (e.g. records of immunisations) to physically be present. Once these items are addressed, there could be several other gatekeepers, such as senior physicians, nurses and service managers who need to be approached to gain their approval.

또한 평가에는 작업 수행 및 결과물에 관심이 있는 광범위한 이해관계자가 참여하는 경우가 많다. 평가 목적과 방법은 개발 프로세스 초기에 이러한 그룹과 협상할 필요가 있을 수 있다. 그러나 이들 집단은 방법론에 대한 지식이 거의 없을 수도 있고 그들 사이에서 의견이 다를 수도 있다. 선임 평가자는 활동의 개발 및 평가에 참여할 수 있도록 임상 사이트와의 파트너십을 고려하고, 활동이 환자 또는 시스템 결과를 개선할 수 있는 방법에 대해 더 잘 이해해야 한다.

In addition, evaluation often involves a wide range of stakeholders with an interest in the conduct and findings from the work. Evaluation aims and methods may need to be negotiated with these groups early in the development process. However, these groups may have little knowledge of methodology and may disagree among themselves. The lead evaluator should consider a partnership with the clinical site so that they can participate in the development and evaluation of the activity, and get a better understanding on how the activity could improve patient or systems outcomes.

또한 평가는 고도의 정치적 활동이 될 수 있다는 것을 기억할 필요가 있다. 예를 들어, 허가 기관들은 조사 결과의 해석에 동의하지 않거나 이를 거부할 수 있다. 관리자는 긍정적인 평가 결과를 도출한 IPE 과정을 계속 진행하지 않기로 결정할 수도 있다. 더욱이 변화는 보건 및 사회보장제도의 제공 안에서 일정하며, 따라서 내부 또는 외부의 영향(예: 보상 정책의 변경, 인력 배치)으로 인해 발생하는 변화를 문서화하는 것이 중요하다는 것을 기억해야 한다. 

Also, one needs to remember that evaluation can be a highly political activity. For example, granting agencies may disagree on the interpretation of findings or may reject them. Managers may not go on to implement an IPE course that has generated positive evaluation results. Furthermore, one needs to remember that change is a constant within the delivery of health and social care systems, and it is therefore important to document changes that are occurring due to internal or external influences (e.g. change in reimbursement policies, staffing). 

그 결과, 평가가 진행됨에 따라 IPE 활동의 맥락과 성격이 모두 바뀔 수 있기 때문에, 실제 세계의 IPE 평가는 억제하고 통제하기 어렵다. 예를 들어, 임상 관리자가 새로운 의료 우선순위와 경쟁해야 하는 경우 IPE 제공에 영향을 미치는 새로운 정책이 구현될 수 있으며 변경되거나 철회될 수도 있다. 또한, 평가는 시간 및 자금 제약이나 진행 중인 평가 작업을 저해할 수 있는 지역 IPE 챔피언의 상실과 같은 다양한 다른 변화에 의해 제한되는 경우가 많다.

As a result, the IPEevaluation in the real world is difficult to contain and control, as both context and nature of the IPE activity may change as the evaluation progresses. New policies may be implemented that influence the delivery of IPE and may be altered or even withdrawn if, for example, clinical managers have to contend with new health care priorities. In addition, evaluations are often limited by a range of other changes, such as time and funding constraints, or the loss of a local IPE champion which can undermine ongoing evaluation work.

리소스를 고려하십시오.

Consider the resources

IPE 활동을 평가할 수 있는 충분한 자금(시간 및 비용)을 확보하는 것은 어려울 수 있다. 가능한 경우, 문헌 검토, 질문 공식, 설계 선택, 윤리적 승인, 데이터 수집/분석 및 조사 결과의 배포를 포함하여 평가 과정의 모든 단계에 대한 기금을 어디서 확보해야 하는지 고려해야 한다. 복잡한 환경의 다단계 변화를 도표화할 수 있는 대규모 장기 작업을 평가하기 위해서는 실질적으로 더 많은 자금이 필요하다. 

Finding sufficient funds (time and money) to evaluate an IPE activity can be difficult to secure. Wherever possible one should consider where to secure funding for all stages of the evaluation process, including, literature reviewing, question formulation, selection of designs, ethical approval, data collection/analysis and dissemination of findings. Substantially more funds are needed to evaluate larger-scale, longer-term work that can chart multilevelled change in complex environments. 

지역 보건 과학 사서, 프로그램 평가자 및/또는 IPE 커리큘럼 팀원 등 기존 인프라의 자원을 활용하여 비용을 최소화하고 IPE 평가에 관심이 있는 동료집단을 구축하기 시작하라. 학문적인 프로젝트나 독립적인 연구(문학평론, 범위 지정 연습, 커리큘럼 설계, 평가 전략)의 기회를 제공함으로써 대학원생들의 지원을 요청하는 것은 모든 관련자들에게 유익할 수 있고 공동 창작이나 공동 제작의 원칙을 충족시킬 수 있다. 대학원생들은 또한 연구결과의 보급에 더 큰 기회를 제공한다.

Utilising the resources of the existing infrastructure – local health sciences librarian, program evaluators and/or IPE curriculum team members – minimises costs and begins to build a cadre of colleagues who are interested in IPE evaluation. Soliciting assistance from graduate students by offering opportunities for scholarly projects or independent studies (literature reviews, scoping exercises, curricular design and evaluation strategies) can be beneficial to all involved and meets the principle of co-creating or co-producing. Graduate students also offer greater opportunities for dissemination of the work.

다양한 보급 방법 사용

Make use of different dissemination methods

평가 결과의 배포는 그 과정의 중요한 부분이다. 주요 이해관계자(학습자, 교육자, 관리자, 고용주, 기금자, 환자, 동료 평가자)에게 특정 개입의 영향에 대한 중요한 정보를 제공한다. 또한 이러한 이해관계자들에게 작업에서 어떻게 유사한 성공을 거둘 수 있는지에 대한 통찰력을 제공할 수 있다. 고려해야 할 다양한 보급 경로가 있다.

Disseminating findings from an evaluation is a critical part of the process. It provides key stakeholders (learners, educators, managers, employers, funders, patients, fellow evaluators) with important information about the effects of a certain intervention. It can also provide these stakeholders with insights into how they might achieve similar successes in their work. There are a number of different routes of dissemination to consider.

•    로컬 미팅 - 내부 평가 작업에 유용

•    국가 또는 국제 컨퍼런스(포스터, 논문) - 프로세스 및/또는 결과에 대한 피드백을 도출하기 위한 초기 작업을 논의하는 데 유용한 곳이다.

•    전문 저널에 실린 보고서 - 이러한 보고서는 진행 중인 작업을 기술하거나 독자들에게 좀 더 긴 보고서를 안내하는 데 특히 유용하다.

•    동료 검토 저널에 실린 스콜라 논문은 IPE의 개입과 평가에 관한 더 많은 정보를 제공할 수 있다.

•    기관이나 전문 규제 기관의 뉴스레터는 대개 특정 네트워크 내에서 전파된다. 즉, 전문직 또는 전문직 간이다.

•    웹 사이트 - 이러한 웹 사이트는 평가 정보에 대한 빠르고, 쉽게 업데이트되며, 저렴한 비용으로 액세스할 수 있다. 또한 이 사이트를 이용하는 사람들로부터 피드백을 얻을 수 있다.

•   소셜 미디어 - 이러한 메시지는 일반적으로 Twitter, Facebook 및/또는 LinkedIn을 사용하여 개인들이 위에 나열된 다른 확장된 형식으로 평가 결과에 대한 자세한 정보를 찾도록 권장할 수 있는 짧은 메시지 입니다.

•    Local meetings – useful for internal evaluation work.

•    National or international conferences (posters, papers) – these are useful places to discuss early work to elicit feedback on processes and/or outcomes.

•    Reports in professional journals – these are particularly useful for describing work in progress and/or directing readers to a more lengthy report.

•    Scholarly papers in peer-reviewed journals – these can provide more information on the IPE intervention and evaluation, usually for an academic audience.

•    Newsletters at the institutions or professional regulatory bodies – these usually disseminate within a specific network – professional or interprofessional in nature.

•    Websites – these can provide rapid, easily updated, low-cost access to evaluation information. Feedback can also be obtained from those who use the site.

•   Social media – these are usually short messages using Twitter, Facebook and/or LinkedIn that may encourage individuals to look for more information about the results of the evaluation in the other extended formats listed above.

평가에서 얻은 주요 메시지는 가능한 광범위하게 배포되어야 한다. 따라서, 국가 또는 국제 회의에서 발표뿐만 아니라 지역 프레젠테이션을 수행하는 것을 고려하는 것이 유용하다.

Key messages fromone’s evaluation should be disseminated as widely as possible. Therefore, it is useful to consider undertaking local presentations as well as presentations at national or international conferences.

고찰

Discussion

위에서 언급한 교훈을 바탕으로, 우리는 IPE 평가 체크리스트(표 III)를 만들어 동료들이 그들의 경험적 작업을 전개하고 수행할 때 이들 각 분야에 집중하도록 하였다. 평가 설계에 대한 아이디어, 초기 계획 작업 정보 및 IPE 평가의 구현 지원(데이터 수집/분석, 기록 및 배포)에 도움이 되므로 동료, 특히 평가 작업에 경험이 없는 사람들이 순차적으로 이 체크리스트를 사용할 것을 권고한다.

Based on the lessons mentioned above, we have created an IPE evaluation checklist (Table III) to ensure colleagues are focused on each of these areas as they develop and undertake their empirical work. We recommend colleagues, particularly those inexperienced in evaluation work, employ this checklist in a sequential fashion, as it will help ideas about evaluation design, inform initial planning work and support implementation (data collection/analysis, writeup and dissemination) of their IPE evaluation.

---

, 29 (4), 305-12

 2015

Interprofessional Education and Practice Guide No. 3: Evaluating Interprofessional Education

Scott Reeves 1, Sylvain Boet, Brenda Zierler, Simon Kitto

Affiliations 

Affiliation

• 1Centre for Health and Social Care Research, Kingston University & St George's University of London , London , UK .

• PMID: 25671416
 
• DOI: 10.3109/13561820.2014.1003637

Abstract

We have witnessed an ongoing increase in the publication of evaluation work aimed at measuring the processes and outcomes related to a range of interprofessional education (IPE) activities and initiatives. Systematic reviews of IPE have, however, suggested that while the quality of evaluation studies is improving, there continues to be a number of empirical weaknesses with this work. In an effort to enhance the quality of IPE evaluation studies, this guide provides a series of ideas and suggestions about how to undertake a robust evaluation of an IPE event. The guide presents a series of key lessons for colleagues to help them undertake a good quality IPE evaluation, covering a range of methodological, practical and ethical issues. These include: the formation of evaluation questions, use of evaluation models and theoretical perspectives, advice about the selection of qualitative, quantitative and mixed methods evaluation designs, managing evaluation resources, and ideas about disseminating evaluation results to the broader IPE community. It is anticipated that this guide will assist IPE colleagues in undertaking high-quality evaluation in order to provide valuable evidence for different stakeholders, and also help inform the scholarly knowledge for the interprofessional field.

Keywords: Evaluation; interprofessional education; interprofessional learning; mixed methods; qualitative methods; quantitative methods.