전문직간교육(IPE) 학습성과 평가에 대한 국제적 합의문(Med Teach, 2016)

전문직간교육 학습성과 평가에 대한 국제적 합의문(Med Teach, 2016)

International consensus statement on the assessment of interprofessional learning outcomes

Gary D. Rogersa, Jill E. Thistlethwaiteb, Elizabeth S. Andersonc, Madeleine Abrandt Dahlgrend,

Ruby E. Grymonpree, Monica Moranf and Dujeepa D. Samarasekerag

aSchool of Medicine and Health Institute for the Development of Education and Scholarship (Health IDEAS), Griffith University, Gold Coast, Australia; bSchool of Communication, University of Technology, Sydney, Australia; cDepartment of Medical Education, The University of Leicester, Leicester, UK; dDepartment of Medical and Health Sciences, Link€oping University, Link€oping, Sweden; eCollege of Pharmacy, University of Manitoba, Manitoba, Canada; fSchool of Human Health and Social Sciences, Central Queensland University, Rockhampton, Australia; gCentre for Medical Education (CenMED), National University of Singapore, Singapore, Singapore

도입

Introduction

전문 직업인 교육 (IPE)은 "두 명 이상의 전문직이 협력 및 양질의 개선을 위해 서로간에, 그리고 서로에 대해 배울 때"발생합니다 (CAIPE 2002). 이 과정은 건강 전문 학생과 실무자가 효과적인 협동적 직업 간 연습 (IPP)에 필요한 역량을 갖추도록 보장하는 것을 목표로합니다. IPP의 정의는 다음과 같다.

Interprofessional education (IPE) occurs when “two or more professions learn with, from, and about each other to improve collaboration and the quality of care” (CAIPE 2002). This process aims to ensure that health professional students and practitioners have the capabilities required for effective collaborative interprofessional practice (IPP), which we have chosen to define as

보건 및 지역 사회 서비스 전문가가 신뢰와 존경, 그리고 서로의 전문 지식에 대한 이해를 바탕으로 보완적 지식과 기술을 사용하여 환자, 고객 및 지역 사회를 제공하기 위해 함께 일하는 것 (Canadian Medical Association 2007, p.3).

health and community service professionals working together,using complementary knowledge and skills, to provide care to patients, clients and communities, based on trust, respect and an understanding of each other’s expertise (adapted from Canadian Medical Association 2007,p.3).

세계 보건기구 (WHO 2010)는 직업 간 교육 및 협력 실천을위한 기본 틀 (WHO 2010) 내에서 이러한 증거를 강조했다. 이 문서는 다음과 같은 협력적 치료 모델의 동인을 제시합니다. 가난한 환자 안전 기록; 서비스의 중복; 비용 상승.  적시에 적합한 서비스에 대한 제한된 액세스를 제공합니다. 또한 입원 기간 단축과 같은 IPP의 많은 이점을 확인합니다. 환자, 고객 및 그 가족의 삶의 질 향상. 진료에 대한 접근성 향상; 향상된 환자 및 고객의 안전.

The World Health Organization (WHO 2010) highlighted this evidence within a Framework for Action on Interprofessional Education & Collaborative Practice (WHO 2010). This document cites drivers for collaborative care models including: 

• health care provider shortages; 

• poor patient safety records; 

• duplication of services; 

• escalating costs; and 

• limited access to the right services at the right time at the right location. 

It also identifies many possible benefits from IPP such as 

• reduction in lengths of hospital stay; 

• improvements in quality of life for patients, clients and their families; 

• improved access to care; and 

• enhanced patient and client safety. 

또한 고도의 협업 팀은 긴장과 갈등을 감소시켜 직무 만족도를 높이고 건강 관리 제공자의 채용 및 유지력을 향상시키는 것으로 나타났습니다 (Zwarenstein 외 2009, Health Force Ontario 2010, Reeves 외). IPP를 지지하는 사람들은 환자와 고객의 많은 요구가 단일 의료 공급자의 전문성을 넘어서는 것이며 진정한 환자 중심 또는 고객 중심의 서비스를 위해서는 IPP가 필요하다고 주장합니다 (Freeth 2001, Bridges et al. 2011; van Dongen 외 2016) .

Further, evidence suggests that highly collaborative teams experience reduced tensions and conflict, leading to improved job satisfaction, as well as enhanced recruitment and retention of health care providers (Zwarenstein et al. 2009; Health Force Ontario 2010; Reeves et al. 2013). Proponents of IPP assert that the needs of many patients and clients are beyond the expertise of any single health care provider and true patient- or client-centered service requires IPP (Freeth 2001; Bridges et al. 2011; van Dongen et al. 2016).

미국의 Lancet Report는 IPE가 21 세기의 의료, 간호 및 공중 보건 교육을 변화시키는 핵심 요소임을 확인했습니다 (Frenk 외 2010). 캐나다의 의료 교육의 미래에 대한 10 가지 권장 사항 중 하나는 전문 간 및 전문 직업 훈련 (캐나다 학부 의학 연합 2010)에 관한 것입니다.

From the US, the Lancet Report identified IPE as a key factor in transforming medical, nursing, and public health education in the 21st century (Frenk et al.2010). One of 10 recommendations in The Future of Medical Education in Canada report relates to advancing inter- and intra-professional practice (Association of Faculties o Medicine of Canada 2010).

최근 몇 년 동안, IPE의 driver중 하나는 IPE 표준을 건강 및 사회 보호 프로그램 인증에 통합하고자하는 전문직 규제 당국도 포함된다. 인증은 프로그램이 국가의 전문 표준을 준수하는지 평가하고 변경에 대한 인센티브로 작용하는 복잡한 프로세스입니다 (Curran 외. 2005).

In recent years, drivers have also included professional regulatory authorities, who seek integration of IPE standards into the accreditation of health and social care programs. Accreditation is a complex process that assesses a program’s compliance with national professional standards and serves as an incentive for change (Curran et al. 2005).

2010 년 WHO 행동 강령 (World for Action)의 발간 외에도 2010 년에는 호주에서 개최 된 제 5 회 글로벌 투게더 더 나은 건강 컨퍼런스 (The All Together Better Health Conference)에서 합의한 공동 성명 인 Sydney Interprofessional Declaration이 발표되었습니다. 선언문은 제 1 조에서 "... 모든 보건 및 인적 서비스 이용자는 완전히 통합 된, 전문 직업인과의 공동 건강 및 인적 서비스를받을 권리가있다"고 주장하고 제 3 조에서 사전 면허 건강 전문가 교육에 다음과 같은 책임을 부여한다

In addition to publication of the WHO Framework for Action, 2010 saw the promulgation of the Sydney Interprofessional Declaration, a consensus communique from the fifth global All Together Better Health Conference in Australia. The declaration asserted, in Article 1, that “…all users of health and human services shall be entitled to fully integrated, interprofessional collaborative health and human services” and went on in Article 3 to place an onus on providers of pre-licensure health professional education, as follows:

보건 종사자 교육 및 훈련은 IPE의 중요한 핵심 요소를 포함해야합니다. 이것들은 실질적 경험을 포함하고 공식적으로 평가되어야 한다. (모두 함께 건강 해집니다 5 국제 컨퍼런스 참가자 2010, p.1)

Health worker education and training prior to practice shall contain significant core elements … of interprofessional education. These … shall contain practical experiences … [and] … be formally assessed. (All Together Better Health 5 International Conference participants 2010, p. 1)

Sydney Declaration 이후 6 년 동안 IPL 성과의 정의에 대한 많은 활동이 있었지만 (Thistlethwaite 외 2014), 평가할 결과의 범위와 방법에 대한 세계적인 공감대는 나타나지 않았다. 그 평가가 착수되어야한다.

In the six years since the Sydney Declaration, there has been much activity around the definition of interprofessional learning (IPL) outcomes (Thistlethwaite et al. 2014), but so far no global consensus has emerged about the range of outcomes to be assessed and how that assessment should be undertaken.

학업, 전문 및 규제 기관을 만족시키기 위해서는 평가 프로세스 및 절차에 대한 합의가 필요합니다. 그러나 공감대 형성을 위해서는 다음의 두 가지의 긴장감을 인식해야 한다. 한편으로는 규제 당국을 진정시키고 서비스 기관이 필요로하는 종사자 유형을 생산하는 교수진이 받는 압력이 있다. 한편으로는 환자 중심의 효과적인 의료, 효율적이고 수준 높은 의료 서비스에 대한 환자 및 고객의 요구를 고려해야한다(그림 1 참조).

Consensus about assessment processes and procedures is needed to satisfy academic, professional, and regulatory bodies. However, the formation of consensus needs to recognize the tensions between the pressures on faculty members to appease regulators and produce the types of practitioners required by service organizations, on the one hand, while considering the needs of patients and clients for person-centered, effective, and efficient high quality care, on the other (see Figure 1).

동시에 대부분의 저자는 IPE가 중요하다는 데 동의하지만 IPL 평가를 포함하여 학습 결과에 따라 사전 등록 교육 전반에 커리큘럼 주제를 컴파일하는 방법에 대해서는 거의 합의하지 않았습니다. Reeves (2012, p.254)는 "IP 능력을 구성하는 여러 가지 진술을 견고하게 측정 (평가)하는 방법에 대해서는 명확하지 않습니다." 그 이유는 부분적으로 보건의료전문직 교육에서, 대부분 팀의 책임 성과 책임보다는 등록 목적에 대한 개인적인 책임에 초점을 맞추기 때문입니다. 또한, 세계 보건기구 (WHO) 용어 사전 등록 및 다양한 전문화 된 직업 궤적 수준의 "협력적 실천이 준비된"학습자를 완전히 기술하는 방법에 대해 상당한 불확실성이 남아 있습니다.

At the same time, while most authors agree that IPE is important, there is little agreement on how to compile a curriculum theme throughout pre-registration education,aligned with learning outcomes, that includes assessment of IPL. Reeves (2012, p.254) further points out that “we are not clear about how to robustly measure (assess) the many different statements which make up the interprofessional competency”. This is partly because, in health professional education broadly, we are focused on personal accountability for registration purposes, rather than team accountability and responsibility. In addition, there remains considerable uncertainty as to how to describe fully what the World Health Organization terms, “collaborative practice-ready”(WHO 2010, p.7) learners at the pre-registration and various post-qualified levels of a professional career trajectory. 

방법

Methods

In response to an invitation by the Program Committee for the 17th international Ottawa Conference on the Assessment of Competence in Medicine and the Healthcare Professions, held in Perth, Australia in March 2016, we began a collaborative process with the aim of reaching a global consensus on the key questions related to the assessment of IPL outcomes. 

주요 주제

Consensus themes

  Context: 

i. The purposes of the assessment of IPL outcomes 

ii. How assessment should be applied over the course of a learning program

   The assessment journey of teacher and student: 

i. What should be assessed 

ii. How to assess 

iii. How feedback to enhance further learning should best be provided

   Gaps in the evidence base requiring further scholarly enquiry.

맥락

Context

IP평가의 목적

The purposes of interprofessional assessment

길버트 (Gilbert, 2005)가 주장한 것처럼 IPE의 효과에 대한 가장 중대한 장벽 중 하나는 일부 학생과 교사의 부분에 대한 인식이다. 사람들은 "어느 과에서든 IPE를 보건의료전문직 교육의 필수적 요소라기보다는 add-on으로 본다". (p.101). Oandasan and Reeves (2005)는 "학생들은 때로는 IPL이 직업에 대한 구체적인 경험만큼 중요하지 않다고 인식한다"(p.26).

As Gilbert (2005) has argued, one of the most significant barriers to the effectiveness of IPE is the perception on the part of some students and educators that it is a peripheral “add-on”, rather than “an integral and necessary component in the education of health and human service professionals, regardless of discipline” (p.101). Oandasan and Reeves (2005) suggest that “students sometimes feel that IPL is not as important as their profession specific experiences” (p.26).

Boud (2000)는 다음과 같이 평가를 정의했다.

Boud (2000) defined assessment as

우리가 소중히 여기는 것에 대한 의사 소통 행위. 평가는 우리의 subject에 대해 중요한 것에 대한 우리의 견해를 전달할뿐만 아니라 "우리"가 집단적으로 의도하는 것이 무엇인지를 전달하는 문화적 의사 소통의 행위입니다 (p160).

an act of communication about what we value. It transmits not only our views about what is important for our subject, but is an act of cultural communication transmitting what the collective “we” intends (p160).

Muijtjens et al. 1998 년에 관찰 된 "시험은 학생 학습을 이끌었다drive"(81 쪽)

As Muijtjens et al. observed in 1998, “tests and examinations drive student learning” (p. 81)

 대부분의 사실주의와 마찬가지로 이것은 현실의 지나친 단순화이기도하지만 (McLachlan2006), IPE 프로그램에 평가를 포함함으로써, 그렇지 않았다면 uniprofessional learning에만 더 많은 관심을 기울였을 수 있는 학생들의 참여를 촉진한다는 것은 의심의 여지가 없다. 

 while, like most truisms, this is an over-simplification of reality (McLachlan2006), there is no doubt that the inclusion of assessment in an interprofessional program promotes engagement on the part of students who may otherwise tend to pay more attention to the acquisition of uniprofessional learning. 

역사상 지금만큼이나 환자 안전의 촉진이 긴급한 때는 없었고, 그렇기 때문에 효과적인 IPL을 통해서 수련을 마친 의사가 협력적으로, 그리고 안전하게 팀으로서 협력적으로 진료할 것을 확실하게 만들어야 한다(Dixon-Woods 2010) (Ladden 외. 2006).

There has never been a more urgent period in the history of health care for promotion of patient and client safety (Dixon-Woods 2010), underlining the importance of effective assessment of IPL to ensure that graduating practitioners are able to practise collaboratively and work effectively – and safely – in teams (Ladden et al. 2006).

환자와 고객이 의사 소통을 효과적으로 원하고 많은 사람들이 이러한 포부 때문에 IPL의 개발과 전달에 관여하게된다는 증거도있다 (Manidis et al., Anderson et al. 2011).

There is also evidence that patients and clients want professionals to communicate effectively and many become involved in the development and delivery of IPL because of these aspirations (Manidis et al. 2009; Anderson et al. 2011).

보건 의료 종사자가 "서로 이야기하지 않는다"고 종종 불평하는 일화적인 증거가 있습니다. 이러한 기대는 보건 의료 종사자와 그들이 제공하는 시민들 사이의 "사회적 계약"의 일부로서 IPL을 분명히하기 시작합니다 (Cruess & Cruess, 2008).

there is anecdotal evidence that people from indigenous communities in different parts of the world, in particular, frequently complain that health care workers don’t, as Carlisle’s group (2004) put it, “talk to each other” (p. 545). These expectations begin to articulate IPL as part of a “social contract” between the health care professions and the citizens they serve (Cruess & Cruess, 2008).

평가의 목적에는 두 가지 주요 구성 요소가 있습니다. 그것은 학습을 평가하고 그 자체로 학습을 유도합니다 (Thistlethwaite 2015). Imanipour와 Jalili (2016)가 최근에 관찰 한 바와 같이

There are two key components to the purpose of assessment: it both assesses learning and also in itself drives learning (Thistlethwaite 2015). As Imanipour and Jalili (2016) have recently observed

평가를 평가 도구로만 보지 않고 개선 및 학습 방법으로 보는 것은 평가에 대한 사고에서 가장 중요한 변화입니다 (47 페이지).

Viewing assessment as a method for improvement and learning instead of viewing it as only a tool for accountability is the most important change that [has] occurred in thinking about assessment (p. 47).

IPE가 두 영역 모두를 다루기를 요구하면서 "요약 (summative)"또는 "조형 (formative)"으로 평가하는 경우가 자주있다 (Barr et al., 2016).

Frequently, reference is made to assessment as either “summative” or “formative”, with calls for IPE to address both of these areas (Barr et al. 2016).

따라서 형성 평가는 학습자와 교사 간의 "피드백"과 "대화"에 관한 것입니다. 이상적으로, 모든 요약 평가는 형성 요소를 가져야하지만, 표식 또는 합격 / 불합격 결정만으로 발생하는 고부담 검사에서는 누락되는 경우가 종종 있습니다.

Thus, formative assessment is about “feedback” and “dialogue” between learner and teacher. Ideally, all summative assessment should have a formative component, but this is often missing from high stakes examinations that result solely in a mark or a pass/fail decision.

기술 기반 활동 및 팀워크와 같은 복잡한 작업의 형식적 평가는 건설적이고시기 적절한 피드백으로 빈번한 관찰을 포함해야합니다. 따라서 잘 수행되면 시간과 자원이 많이 소모됩니다.

Formative assessment of skills-based activities and complex tasks such as teamwork should involve frequent observation with constructive and timely feedback. When done well, therefore, it is time and resource intensive.

지난 20 년 동안 행동 주의자, 결과에 초점을 둔 건강 관리 커리큘럼은 역량 기반 평가 (Frank et al. 2010)의 사용으로 바뀌었고,이 접근법을 지지하거나 반박하는 많은 논문들이있었습니다 (참조 : 예 : van der Vleuten & Schuwirth 2005; Lurie 2012).

Over the last two decades, behaviorist, outcomes-focused curricula in health care have turned to the use of competence-based assessments (Frank et al. 2010) and there has been a plethora of papers that both support and refute this approach (see, for example, van der Vleuten & Schuwirth 2005; Lurie 2012).

"역량"의 사용은 평가를위한 명확한 구조를 제공합니다. 역량은 밀러 (Miller, 1990)가 [지식이 후속 실천 능력에 결합되는 것]으로 outline되었다. 특히 인지 영역과 심리 운동 영역의 융합이다.

The use of “a competence” offers a clear structure for assessment. Competence is aligned to what Miller (1990) outlined as a combination of knowledge with subsequent ability to practise. In particular, it is an amalgamation of 

• knowledge and understanding in the cognitive domain (“Knows” and “Knows How”), 

• with performance in the psychomotor domain (in “Shows How”) and action (“Does”), which combines all three of Bloom’s domains [Bloom et al. 1956].

그러나 Fraser와 Greenhalgh (2001)는 역량의 개념 ( "지식, 기술, 태도와 관련하여 개인이 알고 있거나 할 수있는 것"[p.799])이 복잡한 보건의료환경에서는 효과적인 실천에 필요한 자질을 기술하기에는 불충분하다고 지적한다. 그들은 "capability능력"를 제안하면서, 이것은 역량의 요소뿐만 아니라 "변화에 적응하고 새로운 지식을 창출하며 지속적으로 성과를 향상시키는 능력"(p.799)까지 포괄하는 더 높은 수준의 결과라고 제안했다. Wilson and Holt (2001)은 같은시기에 비슷한 결론에 도달했다.

However, as Fraser and Greenhalgh (2001) argued the concept of competence (“what individuals know or are able to do in terms of knowledge,skills, attitude” [p.799]) is insufficient to describe the qualities necessary for effective practice in a complex health environment. They suggested “capability” as a higher level outcome that encompassed the elements of competence as well as “the ability to adapt to change, generate new knowledge, and continuously improve performance” (p.799). Wilson and Holt (2001) reached similar conclusions at about the same time. 

Lurie (2012)는 interprofessionalism은 주로 사회적 능력이기 때문에 환원주의적 접근 방식을 포기하고 "임상 환경에서의 인간 수행 패턴"과 관련하여 복잡성을 포용하는 것이 더 적절할 수 있다고 제안했다. (56 쪽).

Lurie (2012) has suggested that, because interprofessionalism is, like many others, mainly a social competence, it may be more appropriate to abandon reductionist approaches to measurement altogether and rather embrace complexity in relation to “patterns of human performance in the clinical setting” (p. 56).

IP성과를 평가하는 목적에 대한 컨센서스

Points of consensus on the purposes of the assessment of interprofessional outcomes.

? 모든 이해 관계자를위한 학습의 가치를 높이고 학습자 참여를 촉진하기 위해

? 안전한 효과적인 의료를 위한 능력을 확인하기 위해

? '보건 및 사회 복지사 간 효과적인 협력 및 전문가 간 의사 소통'이라는 간병인 및 가족뿐만 아니라 환자, 고객 및 지역 사회의 필요와 기대를 충족시키기 위해 

? 어떤 학습이 이루어졌는지 측정하고 추가 학습을 지원하기 위해

? 역량 또는 역량과 관련된 프레임 워크를 사용하여 최소한의 표준 달성에 대한 통찰력을 주기 위해

To raise the value of the learning for all stakeholders and promote learner engagement

To verify the capabilities for safe effective practice

To meet the needs and expectations of patients, clients, and communities, as well as carers and families, for effective cooperation and interprofessional communication between health and social care workers

To measure what learning has taken place and support further learning

To offer insights into the achievement of a minimal standard using frameworks relating to competence or capability.

프로그램에서 평가가 어떻게 적용되어야 하는가

How assessment should be applied over the course of a program

가장 바람직한 평가는 커리큘럼의 alignment를 요구합니다. 즉, 교육 프로그램의 정의 된 학습 결과를 평가해야합니다 (Biggs & Tang 2007). 또한 교육자는 학습 기회 및 학습 활동과 관련하여 학생들이 필요한 결과를 달성 할 수 있도록 도와 줄 수 있도록, 무엇을 언제 평가할 것인가를 결정해야합니다. 현재 일부 교육 기관에서는 모든 전문직 및 사회 복지학생이 충분한 경험과 IPL 관련 노출을 가진 것은 아닙니다. 따라서 꼭 모든 학생들이 정확히 동일한 경험을 가질 필요는 없지만, 적어도 동등한 학습기회가 주어져야만 평가를 받아들일 수 있습니다. 이것은 [조기 이론 학습]뿐만 아니라 [팀 작업 및 협동 연습을 관찰하고, 연습하고, 잠재적으로 평가할 수있는 시뮬레이션 활동 또는 임상 활동]을 동반하는 학습 궤적을 필요로합니다 (Anderson et al., 2015).

Best practice in assessment requires curriculum alignment, that is, it must assess the defined learning outcomes of the educational program (Biggs & Tang 2007). In addition, educators need to decide what should be assessed and when, in relation to the learning opportunities and learning activities in place to help students to meet the required outcomes. At the current time in some institutions, not all health professional and social care students have sufficient experiences and relevant exposure to IPL. Assessment, therefore, cannot be acceptable or feasible until there is equity of opportunity in learning – though all students do not need to have exactly the same experiences. This requires a learning trajectory with early theoretical learning, as well as learning activities – simulated or clinical – where team working and collaborative practice can be observed, practised, and potentially assessed (Anderson et al. 2015).

Reeves et al. (2016)은 IPE 촉진이 자원 및 기술, 준비 및 지원과 같은 facilitator 경험, 반영 및 피드백과 같은 facilitator 전략과 같은 맥락적 특성에 의해 영향을받는다고 주장했다.

Reeves et al. (2016) have argued that IPE facilitation is influenced by contextual characteristics such as resources and technology, facilitator experience such as preparation and support, as well as facilitator strategies such as reflection and feedback.

프로그램에서 어떻게 평가가 적용되어야 하는가에 대한 컨센서스

Points of consensus on how assessment should be applied over the course of a program.

? 형성 및 총괄 평가는 직업 간 교육에 대한 프로그램 방식의 중요한 요소가되어야합니다. 이 때 적절한 평가는 프로그램의 복잡성이 증가함에 따라 학습을 촉진하고 학습 결과를 측정하기 위해 활용되어야 한다.

? 적절한 IPL 기회의 가용성은 전문 직업 능력의 공정한 평가를위한 선결 조건입니다

? 교사와 평가자에 대한 적절한 개발 기회는 전문가 간 평가 프로세스의 효과적인 구현을위한 고유 한 요구 사항입니다.

Formative and summative assessment should be critical elements within a programmatic approach to interprofessional education, where appropriate assessments are utilized to promote learning and to measure learning outcomes of increasing complexity across programs

The availability of appropriate IPL opportunities is a critical prerequisite to the fair assessment of interprofessional capabilities

Appropriate developmental opportunities for educators and assessors are an inherent requirement to the effective implementation of interprofessional assessment processes.

학습자와 교수자를 위한 평가의 여정

The assessment journey for the learner and teacher

무엇을 평가할 것인가

What to assess

적절한 고려를 한 후에, 서면 팀은 이러한 원하는 특성이나 세부 사항을 설명하기 위해 사용되는 결과 개념에 대한 합의에 도달하려는 시도는 가치가 거의 없다고 결정했습니다.

After due consideration, the writing team has decided that there would be little value in attempting to reach consensus on either the outcome concept to be used to describe these desired characteristics or their detail.

그러나 사용 가능한 모든 직업 간 프레임 워크의 핵심 도메인 간에는 상당한 일관성이 있습니다. 이들 중 가장 두드러진 4 가지는 Thistlethwaite et al. (2014) 표 1에 요약되어있다.

There is, however, considerable consistency between the core domains of all the available interprofessional frameworks. The four most prominent of these were reviewed and compared by Thistlethwaite et al. (2014) and are summarized in Table 1.

1. 역할 이해 :이 영역에는 학습자가 추구하는 직업을 포함하여 향후 실습에서 가장 많이 겪고 직면하게 될 건강 전문직의 역할, 책임, 가치 및 기여에 대한 이해를 확인하는 결과가 포함됩니다. 이것은 첫 번째 저자가 "건강 전문직 문맹 퇴치"라는 별명을 붙인 개념입니다. 합의 과정의 일부 구성원은 [이 기능에 대한 원래의 전체 설명]은, 특히 사전 등록 건강 전문 프로그램 단계에서는, 완전히 도달되기 어려운 깊은 수준의 이해를 암시한다고 보았다.

1. Role understanding: This area includes outcomes that confirm an understanding of the roles, responsibilities, values, and contributions of the health professions that the learner is most likely to encounter and work with in their future practice, including the profession that they are seeking to enter themselves. This is a concept that the first author has dubbed “health professions literacy”, though some members of the consensus process thought that the full original description of this capability (see Teodorczuk et al. 2016) implied a depth of understanding that was unlikely to be fully achieved, particularly in preregistration health professional programs.

2. 전문가 간 의사 소통 :이 주제에는 다른 직업의 동료와 효과적으로 커뮤니케이션하고 존중할 수있는 능력을 확인하는 결과가 포함됩니다. 그것은 듣기, 협상, 갈등 관리 및 해결책의 중요성뿐만 아니라 가치를 탐구하고 존중하는 것 (반드시 그들 모두와 동의하지는 않지만)을 포함합니다.

2. Interprofessional communication: This theme includes outcomes that confirm an ability to communicate effectively and respectfully with colleagues in other professions. It encompasses the importance of listening, negotiation, conflict management, and resolution, as well as exploring and respecting values (though not necessarily agreeing with them all).

3. Interprofessional 가치 :이 주제는 효과적인 IPP와 일치하는 학습자의 가치관에 대한 통합과 관련된 결과를 포함합니다. 여기에는 졸업 후의 직업 생활 전반에 걸쳐 전문 직업인으로서의 평생 교육에 대한 공약뿐만 아니라 동료애, 사람 존중, 확립 된 계층 구조에 대한 비판적 견해, 고객 및 환자 중심성, 다양성에 대한 인식, 정직성, 성실성 및 신뢰성이 포함됩니다. 우리는 그러한 결과가 직접적으로 측정하기가 어려울 수 있음을 인정합니다. 일부에 대해서는 방법이 존재하지만 (아래의 "평가 방법"참조), 종종 관찰 가능한 행동에 대한 영향을 통해 간접적으로 평가됩니다.

3. Interprofessional values: This theme includes outcomes related to the incorporation into the learner’s worldview of values consistent with effective IPP. These include 

• collegiality, 

• respect for persons, 

• a critical view of established hierarchy, 

• client and patient-centeredness, 

• appreciation of diversity, 

• honesty, 

• integrity, and 

• reliability, as well as 

• a commitment to interprofessional continuing education across their professional life after graduation. 

We recognize that such outcomes may be difficult to measure directly – though some methods do exist (see “How to assess” below) – and will often be assessed indirectly through their impact on observable behaviors.

4. 조정 및 협력 의사 결정 :이 주제는 환자, 고객, 간병인, 가족 및 지역 사회뿐만 아니라 동료와 함께 전문적인 활동을 조정하여 다양한 의견을 종합하고 제공되는 치료와 서비스를 최적화 할 수있는 능력과 관련된 결과를 포함합니다. 옹호, 리더십 및 팔로워십 역량을 통합합니다.

4. Coordination and collaborative decision-making: This theme includes outcomes related to the ability to coordinate one’s professional activities collaboratively with colleagues, as well as with patients, clients, carers, families, and communities, in order to synthesize diverse opinion and optimize care and services provided. It incorporates advocacy, leadership, and followership capabilities.

5. 성찰(Reflexivity) :이 분야의 성과는 지속적 개선을 목표로, 자신의 커리어 내내, 자기 자신과 다른 사람들을 포함하는 전문 직업적 협력의 효과 성을 모니터하고 성찰하는 능력의 획득에 관한 것이다.

5. Reflexivity: Outcomes in this area concern acquisition of the ability to monitor and reflect upon the effectiveness of interprofessional collaborations involving one’s self and others, throughout one’s career, with the aim of continuous improvement.

6. 팀웍 : IPP는 [팀원임을 확인하고, 정기적으로 만나고, 성과를 성찰하는] 한정된 공동 그룹의 전문가라는 전통적인 의미에서 팀워크에 관한 것이 아닙니다. Hammick et al. (2009), 팀은

6. Teamwork: IPP is not solely about teamwork, in the traditional sense of a bounded co-located group of professionals who identify as a team, meet regularly, and reflect on performance. According to Hammick et al. (2009), a team is

상호 보완적인 공통된 목적, 성과, 목표 및 접근 방식에 전념하는 보완 기술을 가진 소수의 사람들 (39 페이지 참조).

a small number of people with complementary skills, who are committed to a common purpose, performance, goals and approach, for which they are mutually accountable (p. 39).

그러나이 주제는

• 팀은 무엇이며 건강 관리에서 어떻게 기능 하는가?

• 효과적인 협업 팀을 만드는 이유는 무엇입니까?

• 팀워크 장벽;

• 책임;

• 팀 역학 및

• 권력 관계.

However, this theme does focus on what teams are and how they function within health care; what makes for an effective collaborative team; barriers to teamwork; accountability; team dynamics, and power relationships.

무엇을 평가할 것인가

Points of consensus on what to assess.

Assessment of IPL should include outcomes in the following six domains: 

• role understanding; 

• interprofessional communication; 

• interprofessional values; 

• coordination, and collaborative decision-making; 

• reflexivity; and 

• teamwork

어떻게 평가할 것인가

How to assess

평가 방법은 언제나 상황과 맥락에 달려있다.

The ways we assess are always situated and contextualized.

[개별 학습자]와 [그룹 또는 팀 환경 내에서의 학습자] 모두에 대한 평가의 조합이 필요하다는 강한 동의가있었습니다.

There was strong agreement that a combination of assessments is required that looks to both the individual learners and their performance within a group or team setting.

팀웍 평가는 여전히 중요한 과제입니다. IPE가 팀워크에만 집중하는 것은 아니지만 IPP와 관련된 팀웍 역량은 평가에 중요한 항목입니다. 대부분의 상황에 적합한 개인의 평가는 주로 보건 전문가와 학생들의 인증 목적입니다. 논리적으로 팀웍 및 협업 실습을 평가하려면 팀 전체에 대한 평가와 팀웍 및 협업에 기여하는 개인의 성과가 모두 평가되어야 한다.

The assessment of teamwork remains an important challenge. Assessment of health professionals and students for certification purposes is predominantly the assessment of individuals, which is appropriate in most situations.However, while IPE does not focus solely on teamwork,teamwork competencies related to IPP are important items for assessment. Assessment of teamwork and collaborative practice logically should involve an assessment of the whole team as well as individual performance contributing to teamwork and collaboration.

교육 프로그램의 초기 단계에서 이러한 작업은 비 임상 프로젝트 일 수 있지만 후기 단계에서는 실제 시뮬레이션 및 실제 임상 설정 (작업 기반 평가)의 작업을 포함하여 임상 적으로 관련성이 있어야합니다.

In the early stages of an educational program, these tasks may be nonclinical projects, but in the later stages they should be clinically relevant, involving authentic simulation and, ideally, tasks in real clinical settings (work-based assessment).

우리는 모든 학습자에게 프로그램 기간 동안 정확히 동일한 경험을 제공하는 것은 불가능 함을 인정합니다. 건강 및 사회 복지 학생들은 다양한 유형의 전문 직업인 팀에서 다양한 기간 동안 일하기 때문에, 팀워크를 관찰하는 것은 쉽지 않다.

We acknowledge that it is impossible to provide all the learners with exactly same experiences during their programs. Health and social care students work in different types of interprofessional teams for varying time periods, making observation of their teamwork challenging.

팀은 시뮬레이션이나 관찰 된 구조화 된 임상 검사 (OSCE)와 같은 평가 목적으로 특별히 형성 될 수 있습니다. 이러한 유형의 "팀웍"은 심장 마비에 대한 대응과 같은 팀 작업을 모방하지만, 임상 상황처럼 authentic하지 않습니다. 팀이 이상적으로 기능하기 위해서는 시간이 필요하기 때문이다. 이러한 이유로 협력 기술에 대한 평가를 위해 특별히(별도로) 구성된 학생들의 "팀"은 잘 기능 할 것 같지 않습니다 (Oakley 외 2004).

A team may be formed specifically for the purpose of assessment, for example, for a simulation or an observed structured clinical examination (OSCE). While this type of “teamwork” mimics such team tasks as the response to a cardiac arrest, when teams form in response to an incident, it is not as authentic for other clinical situations when teams take time to form, “gel” and thus to perform optimally. For these reasons, a “team” of students formed specifically to be assessed for their collaborative skills are unlikely to function well (Oakley et al. 2004).

학문적, 전문직업적, Interprofessional 고려 사항 및 요구 사항은 종종 충돌합니다. 일부 인증 기관에서는 같은 직업의 구성원에 의해서만 평가 될 수 있다는 specification이 있을 수 있습니다. 직업 간 (그리고 국가 간) 교육 문화의 차이는 IPL 결과 및 역량에 대한 보편적으로 수용 가능하고 실현 가능한 평가의 개발을 방해 할 수있다 (Dunworth 2007).

Academic, professional, and interprofessional considerations and requirements often conflict. There may be a specification on the part of some accrediting bodies that students may only be assessed by members of the same profession. Differences in educational cultures across the professions (and between nations) may also hamper the development of universally acceptable and feasible assessments for IPL outcomes and competencies (Dunworth 2007).

보건전문직 문해력에 대한 전통적 평가

Conventional assessment of health professions literacy.

상위 레벨 IPL의 전제 조건 인 기본 역할 이해는 후보자가 작성한 단답형 질문이나 잘 만들어진 시나리오 기반, 시나리오 기반의 여러 질문 (Morrissey 외 2014)과 같은 기존 기술을 통해 평가할 수 있습니다.

Basic role understandings, as a prerequisite to higher-level IPL, can be assessed through conventional techniques such as candidate-completed short answer questions or wellchoice crafted, scenario-based, multiple questions (Morrissey et al. 2014).

팀 기반 프로젝트

Team-based project.

전문 직업인 팀의 학생들은 지역 사회 방문, 환자 전단지 작성, 병원 감사, 보고서 작성, 예술품, 포스터 또는 비디오와 같은 작은 프로젝트를 수행하거나 프리젠 테이션을 제공 할 수 있습니다 (Anderson & Lennox 2009).

Students in interprofessional teams can undertake small projects such as community visits, writing patient leaflets, hospital audits then produce a report, an artifact (such as an art work, poster or video), or give a presentation (Anderson & Lennox 2009).

시뮬레이션 상황에서의 관찰

Observation in simulation.

시뮬레이션 - 특히 확장 된 다중 방법의 전문가 수준의 시뮬레이션 활동 (Rogers 외 2014a)의 활용 - 학습자의 팀워크 및 전문 직업적 의사 소통 기술을 상대적으로 제어되고 예측 가능한 환경에서 관찰 할 수있는 기회를 제공합니다. 이러한 설정에서 평가자는, 평가의 신뢰성을 보장하기 위해 신중한 교정 및 벤치마킹이 수행되는 경우, 단순한 리커트 유형의 저울에 대한 학생들의 구체적인 능력에 대한 평가를 평가할 수 있습니다. 시뮬레이션 기반 교육에서 학생들은 또한 시뮬레이션을 시행하는 동료 관찰자로 참여합니다. 그들의 관찰은 형성 평가를 위해 사용될 수 있으며 프로패셔널 시뮬레이션 교육의 학습 결과에 기여할 수 있습니다.

Simulation – particularly the utilization of extended, multi-method, interprofessional simulation activities (Rogers et al. 2014a) – provides the opportunity for learners’ teamwork and interprofessional communication skills to be observed in a relatively controlled and predictable environment. In these settings, it is quite feasible for assessors to rate students’ demonstration of particular capabilities on simple Likert-type scales, provided that careful calibration and benchmarking is undertaken to ensure reliability of assessments. In simulation-based education, students are also engaged as observers of peers enacting simulation. Their observations can be used for formative assessment and contribute to the learning outcomes of interprofessional simulation training.

실제 행위의 관찰

Observation in practice.

진정한 환자 또는 고객 관리 실무에서 감독자 관찰을 통한 평가는 실현 가능하고 시간을 초월한 방법이지만 개별 역량보다는 "글로벌"수준에 집중하는 경향이 있습니다. 최근 호주 임상 진료위원회 (Australian Medical Council)의 "인턴 평가 양식 (International Assessment Form)"(노인 의대생 평가에 사용되기도 함)과 같은 이니셔티브를 통해 직장 내 평가 (WBA) 접근법이 전문가 수준의 협업 능력 평가를 포함하도록 확대되었습니다. 

Assessment through supervisor observation in real patient- or client-care practice is a feasible and time-honored methodology, but has tended to focus at a more “global” level than on individual capabilities. Recently, these workplace-based assessment (WBA) approaches have been extended to include assessment of interprofessional collaborative capacity though initiatives like the Australian Medical Council’s “Intern Assessment Form” (which is also being used in the assessment of senior medical students). 

이 문서는 임상 감독자에게 "다른 의료 전문가의 역할과 전문성을 존중하고, interprofessional 팀의 구성원이나 지도자로서 효과적으로 학습하고 일하는 것처럼 보이는 정도까지 다른 영역과 관련하여 학습자의 성과를 평가하도록 요청합니다. 적절한 추천을하는 것 "으로,"전문가 간의 효과적인 기능을 방해하는 방식으로 작업하는 것 "에서"Inter-professional 팀의 구성원이나 지도자로서 효과적으로 작동하는 것 " - 전문 (팀) 팀 및 긍정적 인 팀 역학에 영향을 미칩니다 "(Australian Medical Council 2014).

This document asks clinical supervisors to rate learners’ performance in relation, among other domains, to the extent to which they appear to “respect the roles and expertise of other healthcare professionals, learn and work effectively as a member or leader of an interprofessional team, and make appropriate referrals”, rating them on a five-point Likert-type scale ranging from “Works in a way that disrupts effective functioning of the inter-professional (sic) team” to “Works effectively as a member or leader of the inter-professional (sic) team and positively influences team dynamics” (Australian Medical Council 2014).

성찰 일지

Reflective journaling.

반사 저널링은 건강 전문 교육에서 잘 정립 된 교육 기술이며 임상 또는 시뮬레이션 환경에서 감정적으로 영향을받는 경험과 관련하여 정서 영역에서의 학습 평가를 가능하게합니다. 최근이 접근법은 확장 된 시뮬레이션 경험 동안 직업 간 가치와 관련된 정서적 학습의 사례를 확인하고 평가하는 데 활용되었습니다.

Reflective journaling is a well-established educational technique in health professional education (Mann et al. 2009) and has the potential to allow assessment of learning in the affective domain (according to Bloom’s original taxonomy [Krathwohl et al. 1956]) in association with emotionally impactful experiences in clinical or simulated settings. Recently, this approach has been utilized to identify and assess examples of affective learning related to interprofessional values during extended simulation experiences (Rogers et al. 2012; Rogers et al. 2014b).

팀 기반 비평'

Team-based critique.

임상 배치placement와 관련된 문헌에 따르면 최적 학습을 위해서는 수동적 관찰보다 참여가 중요하다 (Dornan 외. 2007). 그러나 적극적이고 목적있는 관찰은 여전히 ​​실질적인 학습 혜택을 줄 수 있습니다 (Graffam 2007). 학생들이 입학 한 실무자 팀을 고의적으로 비판적으로 관찰함으로써 IPL 프로그램을 통해 얻은 협동 실습에 대한 이해를 적용 할 수있는 "관석capstone"(사전 졸업) 평가 활동을 고안하는 데 최근 관심이있었습니다. 학생들은 실무자 팀원들 사이에서 관찰 한 효과적이고 효과적이지 못한 협력 실습 사례와 이러한 평가의 이유를 확인하고 설명해야하며 팀이 어떻게 협력 기능을 향상시킬 수 있는지 제안해야합니다. 

Scholarship in relation to clinical placement emphasizes the importance of participation over passive observation for optimal learning to occur (Dornan et al. 2007). However, active or purposeful observation can still have real learning benefit (Graffam 2007). There has been recent interest in devising “capstone” (pre-graduation) assessment activities that allow students to apply the understandings of collaborative practice they have gained through an IPL program by undertaking deliberate critical observation of a practitioner team into which they have been placed. Students are required to identify and describe examples of effective and less effective collaborative practice they have observed between the practitioner team members, as well as the reasons for these evaluations, and make suggestions for how the team may improve its collaborative function. 

이러한 관찰은 연구 프로그램이 끝날 무렵에 작성된 평가서의 기초를 형성합니다. 이 전략은 구성하기가 쉽고 구현하기가 쉽지 않지만 학습 통합의 관점에서 교육 이익을 제공 할뿐만 아니라 상위 수준의 학습 성과에 대한 포괄적 인 평가를 제공 할 수 있다는 이점이 있습니다. 가장 큰 단점은 평가가 필요한 서면 과제의 숫자 일 수 있습니다. 모든 전문 학습자의 일부 교육 기관에서는 1000을 초과 할 수도 있습니다.

These observations form the basis of a written assessment piece undertaken toward the end of their study program. This strategy has the advantage of being simple to organize and inexpensive to implement but might nonetheless provide educational benefit in terms of consolidation of learning, as well as summative assessment of higher level learning outcomes. A main drawback may be the numbers of such written assignments that need to be assessed – in some institutions across all professional learners the number may be in excess of 1000.

전문직간 포트폴리오

An interprofessional portfolio.

이것은 개인이 정의 된 학습 성과를 달성했거나 프로그램 내에서 또는 인증을 위해 필요한 역량을 달성했음을 확인하기위한 다양한 증거 모음입니다. 포트폴리오는 또한 "직업 간 여권"으로 불릴 수도 있습니다 (예 : 브리티시 콜롬비아 대학의 건강 분야 학회 (College of Health Disciplines) 2014 참조).

This is a collection of diverse evidence intended to confirm that an individual has met the defined learning outcomes or achieved the required competencies for progression within a program or for certification. A portfolio may also be termed “an interprofessional passport” (see for example College of Health Disciplines, University of British Columbia 2014). 

포트폴리오는 일반적으로 다음 두 섹션으로 구성됩니다.

• (i) 역량, 적합한 IPL 활동 및 완료를위한 목록 결과 또는 템플릿을 포함하여 교육자 및 평가자가 제공 한 요소; 

• (ii) 학습자가 제공 한 요소는 결과가 자신의 실습에 중요한 이유, 수행 된 활동 및 학습 성과 달성에 대한 증거를 포함합니다.

포트폴리오에는이 섹션에서 논의 된 다른 평가 활동의 모든 증거가 포함될 수 있습니다

Portfolios usually include two sections: 

• (i) elements provided by educators and assessors including the list outcomes or template for competencies, suitable IPL activities and a by completion; and 

• (ii) elements provided the learners including discussion of why the outcomes are important for their practice, activities undertaken and evidence for their achievement of the learning outcomes. 

Portfolios may contain evidence from all of the other assessment activities discussed in this section.

이 방법은 모든 학습자가 동일한 결과를 충족시켜야하지만 동일한 학습 활동이나 경험이 없을 수 있음을 다시 한번 인정합니다. 평가 필요성은 학습자 중심으로 학생들이 활동을 선택하고 그들이 필요한 결과를 달성했음을 입증하는 데 필요한 증거에 대한 성찰을 요구한다.

The method again acknowledges that, while all learners must meet the same outcomes, they may not have the same learning activities or experiences. The assessment need becomes learner-centered as students to choose activities and reflect on the evidence required to show that they have achieved the required outcomes.

포트폴리오는 자격을 얻은 후에 재 검증 및 평가를위한 중요한 학습 순간을 선택하는 방법을 배워야하기 때문에 대중적으로 보급되었습니다 (예 : General Medical Council 2012 참조). 영국에서는 학부생이 졸업 후 개인 개발 관리를 준비하기 위해 국민 건강 서비스 포트폴리오에 액세스 할 수 있으며 "성찰"와 같은 드롭 다운 기능은 관련 IPL (스코틀랜드 NHS 교육 2016)을 문서화 할 수있는 곳을 제공합니다. 학부 교과 과정 전반에 걸쳐 IPE를 마친 학생들은이 가치가 있다는 것을 발견했으며이 도구는 다양한 직업에 쉽게 적용되고 수용 될 수 있습니다 (Domac 외 2015). 최근 연구에서, 포트폴리오 내 IPE에 뒤 따르는 성찰적 글쓰기의 분석은 학생들이 지식 학습을 명확하게 명료화하고 그 결과로 그들의 실천을 어떻게 프레임화할 것인지를 고려할 수 있음을 확인했다 (Domac et al., 2016).

Portfolios have become more popular because of the need for students to learn to select critical learning moments for revalidation and appraisal after they have qualified (see General Medical Council 2012, for examples). In the UK, undergraduate students have had access to the National Health Service ePortfolio to prepare them for managing personal development after graduation and the drop down functions, such as “reflection”, offer places to document relevant IPL (NHS Education for Scotland 2016). Students completing IPE across an undergraduate curriculum have found this valuable and the tool appears to be easily adapted and accepted across different professions (Domac et al. 2015). In a recent study, analysis of reflective writing following IPE within a portfolio has confirmed that students can clearly articulate learning of knowledge and consider how they will frame their practice as a result (Domac et al. 2016).

동료 평가

Peer assessment.

대학 설정에서 그룹 및 팀워크를 평가하기 위해 자가 평가 및 동료 평가가 점점 더 많이 사용되고 있습니다. 이것은 임상의와 교육자가 학생을 관찰하는 데 어려움이있는 것과 같은 실용적인 고려 사항을 기반으로 할 수 있지만 학생들이 자신의 학습에 참여하도록하는 중요성을 강조하는 학습 이론에서도 지원됩니다. 이 목적을위한 혁신적인 도구 중 하나는 웹 기반의 SPARK입니다 (Freeman & McKenzie 2002). 팀에서 일하는 학생들은 활동에 대해 정의 된 결과에 대해 자신과 상대방의 성과를 평가합니다. 자체 평가는 동료 평가와 비교 될 수 있으며 모든 판단은 식별되지 않습니다deidentified.

Self and peer assessment are increasingly being used to assess group and teamwork in university settings. This might be based on practical considerations such as difficulties in finding clinicians and educators to observe students, but it is also supported by learning theory that emphasizes the importance of engaging students in their own learning. One innovative tool for this purpose is SPARK, which is web-based (Freeman & McKenzie 2002). Students working in teams assess their own and each other’s performance against outcomes defined for the activity. Self-assessment can be compared to the peer assessment and all judgments are deidentified.

도구

Tools.

팀워크 및 직업 성 간의 태도 측면과 관련하여 설문 조사, 규모, 도구는 전혀 부족하지 않습니다.

There is no shortage of surveys, scales, tools, and instruments in relation to teamwork and attitudinal aspects of interprofessionality.

지난 20 년간 자체 완성 된 여러 설문지와 저울이 개발되어 IPL 프로그램 평가를위한 사전 테스트와 사후 테스트로 활용되었습니다. Interprofessional Learning Scale (RIPLS) (Parsell & Bligh 1999)에 대한 준비는 아마도 가장 잘 알려져있을 것입니다. 그러나 많은 다른 사례들이 캐나다 Interprofessional Health Collaboration (CIHC 2012)와 Oates and Davidson (2014)에 의해 목록 화되고 비교되었습니다.

Several self-completed questionnaires and scales have been developed over the last two decades and utilized particularly as preand post-tests for the evaluation of IPL programs. The Readiness for Interprofessional Learning Scale (RIPLS) (Parsell & Bligh 1999) is perhaps the best known, but the many other examples have been cataloged and compared by the Canadian Interprofessional Health Collaboration (CIHC 2012) and by Oates and Davidson (2014).

합의 과정에 기여한 사람들은 일반적으로 자체 완성 된 설문지가 개인 학습자의 IPL 결과 달성에 대한 포괄적 인 평가에 거의 기여하지 않았다고 믿었습니다. 그 이유는 다음과 같은 우려 때문이었습니다. (Oates & Davidson 2014; Mahler et al. Schmitz & Brandt 2015); 자기보고의 진실성; 그리고 그러한 규모가 그 성격의 환원 주의자라는 점에서 상호 프로 의식의 복잡한 현상을 적은 수의 수치로 압축하려는 철학적 인식.

Contributors to the consensus process generally believed that self-completed questionnaires had little to contribute to the summative assessment of the achievement of IPL outcomes by individual learners due to concerns about: the validity of scales (Oates & Davidson 2014; Mahler et al. 2015; Schmitz & Brandt 2015); 

• the veracity of self-reporting; and 

• a philosophical recognition that such scales are, of their nature, reductionist, aiming to compress the complex phenomena of interprofessionality into a small number of numerical values.

다음 툴은 실시간 (임상 설정 또는 시뮬레이션에서) 또는 비디오 레코딩 성능의 관찰 및 구성을 용이하게하기 위해 개발되었습니다. 기존 (임상) 팀의 성과를 평가하기 위해 개발 된 도구는 학생으로 구성된 팀의 평가에 적합하지 않을 수 있음에 유의해야합니다.

The following tools have been developed to facilitate the organization and recording of observations of performance either in real-time (in clinical settings or simulation), or video recordings. It is important to note that tools developed to assess the performance of established teams are unlikely to be suitable for the assessment of teams comprised of pre-registration health professional students.

  Interprofessional collaborator assessment rubric (ICAR) (Curran et al. 2011).

This is a detailed tool for the assessment of observable teamwork behaviors and may be used for individuals within a team or for the team as a whole. It has six domains with several dimensions in each: communication; collaboration; roles and responsibility; collaborative patientor client-centered approach; team functioning; and conflict management and resolution. Learners are graded as: not observable; minimal; developing; competent; and mastery. The ICAR is quite complex and ideally should be used on multiple occasions with repeated observations.

  Interprofessional OSCE (iOSCE) (Simmons et al. 2011).

While stations may be developed locally, this tool includes behavioral indicators for teamwork that are generic. There are four items and a 0–3 grading: demonstrates knowledge and understanding of, and respect for, the roles of different members of the team; demonstrates ability to work well with different team members; has ensured all significant aspects of management have been addressed by a member of the team; does not duplicate information provided by a colleague. Simmons’ group’s paper (2011) describes the development of the iOSCE but there are, as yet, no data on its usage.

  Team OSCE (T-OSCE) (Symonds et al. 2003; Hall et al. 2011; Solomon et al. 2011).

Also known as the McMaster-Ottawa T-OSCE, this is a scenario-based assessment with scenario-specific content and collaborative practice competencies. It involves observation of students in teams. There are six core objectives each containing several items: communication; collaboration; roles and responsibilities; collaborative patient and family-centered approach; conflict and management resolution; and team functioning, each on a 9 point scale.

  iTOFT (interprofessional teamwork observation and back tool) (iTOFT Consortium 2015;Thistlethwaiteetal. 2016).

There are two versions of this tool. The basic version is intended for the observation of junior students and has 11 items in the two domains of shared decision making; and working in a team. The advanced form is for more senior students or novice health professionals and has 10 items in the four domains of shared decision making; working in a team; leadership; and patient safety. Both versions have the same grading: not applicable to this activity; inappropriate; appropriate; responsive.

어떻게 평가할 것인지에 대한 컨센서스

Points of consensus on how to assess.

? IPL 결과의 평가에는 최소한 (후보자가 완료 한) 역할 이해에 대한 기존 평가, 그리고 (모의 환자 또는 실제 환자 및 환자 관리 환경에서) interprofessional하게 상호 작용하는가에 대한 관찰 평가의 두 가지가 포함되어야 한다. 관찰 평가는 학습 결과 영역의 직접 평가를 포함하거나 특별히 고안된 도구를 활용할 수 있습니다

? (팀 내에서 상호 작용하는 개인에 대한 평가와는 대조적으로) 팀 단위의 성과 평가는 pre-registration 영역에서는 문제가 있으며, (지원되기 전에) 추가 연구와 개발이 필요합니다.

? 학습자의 성찰 일지를 활용하여 interprofessionalism과 관련된 정서적 학습을 평가하는 기술은 더 많은 연구를 할 가치가 있으며, promising하다.

? 학습자가 배치 된 실무자 팀의 협업 실무 효율성에 대한 비판적인 글쓰기의 사용은 pre-registration 프로그램의 마지막에 사용하는 총괄 평가뿐만 아니라 IPL의 통합consolidation을 제공 할 가능성이 있으며, 또한 추가 연구가 필요하다.

? 태도나 인지 된 자신감을 측정하기 위해 자기기입식 도구와 척도를 사용하는 것은 일반적으로 IPL 결과에 대한 포괄적 평가의 요소로 추천되지는 않지만 이러한 도구 중 일부는 포트폴리오 평가 프로세스의 일부로 자리 잡을 수 있습니다.

Assessment of IPL outcomes should, as a minimum, include candidate-completed conventional assessment of role understanding; and observational assessment of individuals interacting interprofessionally, either in simulated or real patient and client care settings. The observational assessment may involve direct rating of learning outcome areas or utilize specifically designed tools

The assessment of the performance of teams (as opposed to individuals interacting in teams) remains problematic in the pre-registration domain and requires further research and development before it can be supported

Techniques to assess affective learning related to interprofessionalism in the reflective journals of learners have promise and warrant further investigation

The use of critical writing on the collaborative practice effectiveness of practitioner teams into which learners have been placed has the potential to provide consolidation of IPL, as well as summative assessment of understanding, toward the end of pre-registration programs, and also warrants further evaluation

The use of learner-completed tools and scales to measure attitude or perceived confidence is not generally recommended as an element of the summative assessment of IPL outcomes, though some such tools may have a place as part of a portfolio assessment process.

학습을 증진하기 위한 피드백

Feedback to enhance student learning

피드백은 위에서 설명한 형성 평가의 개념과 긴밀하게 일치하는 평가 프로세스의 필수적인 부분입니다. 피드백은 현재 재 개념화를 겪고 있으며 동기 부여에 필수적이라고 여겨지고 있습니다. 이상적인 피드백은 학습자 입장에서의 '수동적 활동'으로 여겨져서는 안되는데, 그 이유는 "학생에게 제공되는 정보는 이후의 과제 수행에 영향을 미치는 방향으로 사용되기 때문"이다. 따라서 학습자는 후속 성과를 적절하게 변경하기 위해 피드백을 반영하고 적극적으로 동화 작용을하는 에이전트(주체) 역할을 해야합니다. 이는 IPL에 필수적인 요소로 간주되는데, 왜냐하면 IPL에서는 개인의 통찰력과 반성하는 능력이 그 자체로 중요한 학습 성과이기 때문이다. 이 개념에서 피드백은 양방향 과정이며 학습자는 피드백이 주어질 때까지 기다리기보다는 피드백을 찾는 것이 좋습니다. 많은 경우, 형성 평가 후 피드백을받습니다. 그러나 피드백은 가르침 전반에 걸쳐서 발생하는데, 비공식적으로 교실에서 이해 여부를 확인하기 위해 일어나기도 하고, 임상실습에서 경험이 많은 의사가 어떻게 학생이 더 역량이나 능력을 발전시킬 수 있을지를 보여주기 위해서 opportunistic하게 발생하기도 한다.

Feedback is an integral part of the assessment process that aligns closely with the concept of formative assessment described above. Feedback is currently undergoing a reconceptualization and is seen as vital for motivation and used al. impact when appropriately (van de Ridder et 2015). Optimal feedback should no longer be seen as a passive activity on the part of the learner, since “information provided to students is used to influence their subsequent task performance” (Molloy & Boud 2013, p. 19). Thus, learners need to adopt an agentic role, reflecting on and actively assimilating feedback in order to make appropriate changes in their subsequent performance. This is seen as integral to IPL, where personal insight and the ability to reflect are critical learning outcomes in their own right. In this conception, feedback is a two-way process and learners are encouraged to seek out feedback rather than wait for it to be given to them. In many instances, feedback is received following formative assessments; however, feedback takes place throughout teaching, both informally in a classroom when checking for understanding and opportunistically in clinical practice, where experienced practitioners may indicate how a student can progress their competence or capability.

임상 환경에서 학생들은 종종 피드백을 얻기를 주저하기도 하고, 바쁜 임상환경에서 누구에게 접근해야하는지 확신하지 못할 수 있습니다. 피드백에 대한 요청이 거부되면 학습자는 동기가 저하되고, 미래에 의견을 구할 가능성이 줄어들 수 있습니다. 근무환경의 압력으로 인해 비공식적인 피드백 프로세스는 거의 발생하지 않을 수 있습니다. 따라서 학생과 임상의에게보다 체계적인 피드백 프로세스를 제공하기 위해 WBA에서는 보다 공식적인 시스템이 시행되고 있습니다 (예 : Norcini et al. 2003). 그러나 이것은 여전히 ​​'선의'에 달려 있기에 보호 된 시간이 필요하다. 새로 개발 된 접근법은 다중 소스 피드백을 사용하여 임상 설정에서 환자, 고객 및 기타 전문가의 견해를 수집하는 것입니다 (Thompson 외 2016).

In clinical settings, students are frequently reluctant to solicit feedback and may not be sure whom to approach in a busy workplace. If a request for feedback is denied, learners may be demotivated and less likely to solicit comments in the future. Informal feedback processes may be rare due to workforce pressures. More formal systems of WBA are therefore being put into place to give students and clinicians a more structured feedback process (for example, the mini-CEX in medicine – Norcini et al. 2003) but this is still largely contingent on goodwill and there is a need for protected time. A newly developed approach is to use multisource feedback, collecting the views of patients, clients, and other professionals in clinical settings (Thompson et al. 2016).

피드백 제공에 대한 포인트 합의

Points of consensus on feedback.

? IPL 결과 달성에 대한 학습자의 정확한 피드백을 적시에 제공하는 것은 보건 전문 교육 프로그램의 중요한 구성 요소입니다

? IPL 동안의 피드백은 [학습자의 행동을 향상시킬 수 있는 근거를 적극적으로 찾음으로써 학습자의 선택을 강조하는] 능동적 프로세스가 되어야 한다.

The provision of accurate, timely, feedback to learners on their progress toward achievement of IPL outcomes is a critical component of health professional education programs

Feedback during IPL should be seen as an active process that emphasizes the agency of the learner as an active seeker of feedback on the basis of which they can improve their performance.

Gaps requiring further research and scholarship

Faculty development for the assessment of IPL outcomes

Understanding the broader impact of assessment in IPE

The connection between assessment of IPL and patientcentered care

Identification of the minimum required suite of IPL assessments

Optimal feedback strategies for IPL

====아래 찾아야 함====

Mann K, Gordon G, MacLeod A. 2009. Reflection and reflective practice in health professions education: a systematic review. Adv Health Sci Educ Theory Pract. 14:595–621.

Oates M, Davidson M. 2014. A critical appraisal of instruments to measure outcomes of interprofessional education. Med Educ. 49:386–398.

Thompson BM, Gonzalo JD, Levene RE. 2016. The power of the written word: team assessment of behaviour. Med Educ 50:702–708.

van de Ridder JMM, McGaghie WC, Stokking KM, ten Cate OTJ. 2015. Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review. Med Educ. 49:658–673.

---

Med Teach. 2017 Apr;39(4):347-359. doi: 10.1080/0142159X.2017.1270441. Epub 2016 Dec 26.

International consensus statement on the assessment of interprofessionallearning outcomes.

Rogers GD1, Thistlethwaite JE2, Anderson ES3, Abrandt Dahlgren M4, Grymonpre RE5, Moran M6, Samarasekera DD7.

Author information

1

a School of Medicine and Health Institute for the Development of Education and Scholarship (Health IDEAS), Griffith University , Gold Coast , Australia.

2

b School of Communication, University of Technology , Sydney , Australia.

3

c Department of Medical Education , The University of Leicester , Leicester , UK.

4

d Department of Medical and Health Sciences , Linköping University , Linköping , Sweden.

5

e College of Pharmacy, University of Manitoba , Manitoba , Canada.

6

f School of Human Health and Social Sciences, Central Queensland University , Rockhampton , Australia.

7

g Centre for Medical Education (CenMED), National University of Singapore , Singapore , Singapore.

Abstract

Regulatory frameworks around the world mandate that health and social care professional education programs graduate practitioners who have the competence and capability to practice effectively in interprofessionalcollaborative teams. Academic institutions are responding by offering interprofessional education (IPE); however, there is as yet no consensus regarding optimal strategies for the assessment of interprofessionallearning (IPL). The Program Committee for the 17th Ottawa Conference in Perth, Australia in March, 2016, invited IPE champions to debate and discuss the current status of the assessment of IPL. A draft statementfrom this workshop was further discussed at the global All Together Better Health VIII conference in Oxford, UK in September, 2016. The outcomes of these deliberations and a final round of electronic consultation informed the work of a core group of international IPE leaders to develop this document. The consensus statement we present here is the result of the synthesized views of experts and global colleagues. It outlines the challenges and difficulties but endorses a set of desired learning outcome categories and methods of assessment that can be adapted to individual contexts and resources. The points of consensus focus on pre-qualification (pre-licensure) health professional students but may be transferable into post-qualification arenas.

PMID:

 

28024436

 

DOI:

 

10.1080/0142159X.2017.1270441