의학교육에 환자/서비스사용자 참여: BEME 체계적 문헌고찰 (BEME Guide No. 58) (Med Teach, 2020)

의학교육에 환자/서비스사용자 참여: BEME 체계적 문헌고찰 (BEME Guide No. 58) (Med Teach, 2020)
Patient/service user involvement in medical education: A best evidence medical education (BEME) systematic review: BEME Guide No. 58 
Morris Gordona,b, Simon Guptab, Debra Thorntonb, Michael Reidb, Ernie Mallena and Angela Mellinga

 

 

배경
Background

'책 없이 질병 현상을 연구하는 것은 미지의 바다를 항해하는 것이고, 환자 없이 책을 연구하는 것은 아예 바다에 나가지 않는 것이다.' 
‘To study the phenomenon of disease without books is to sail an uncharted sea, while to study books without patients is not to go to sea at all.’

윌리엄 오슬러 경
Sir William Osler

[환자와 서비스 사용자]는 항상 의학 교육에서 중요한 역할을 담당해 왔지만, 과거에는 상태, 병리 또는 검사 징후를 설명하는 학습 자료 또는 '임상 자료'(Flexner 1910)의 역할에 그쳤습니다. 1980년대 이후 '전문가 환자'(Tuckett 1985)라는 개념이 등장하면서 환자가 자신의 치료에 보다 적극적으로 참여해야 하며 의료 전문가와 환자 간의 파트너십이 장려되어야 한다는 인식이 확산되었습니다. 이 아이디어는 '환자와 대중의 참여가 국가보건서비스(NHS)의 일상적인 관행의 일부가 되어야 하며 개선을 위한 행동으로 이어져야 한다'는 요구사항과 함께 영국(영국) 정부 정책에서 점점 더 두드러지게 부각되었습니다(보건부 2007). 2012년의 보건 및 사회보장법은 의료 시스템 전반에 걸쳐 환자의 목소리가 반영될 수 있도록 2006년에 제정된 법을 기반으로 하며, 이제 [영국의 모든 보건 관련 법정 기관]은 [환자, 보호자 및 대중을 참여시킬 의무]를 갖게 되었습니다.
Patients and service users have always been vital to medical education, but in the past this role has been a learning resource or ‘clinical material’ (Flexner 1910), illustrating conditions, pathologies or signs for examination. Since the 1980s, the notion of the ‘expert patient’ (Tuckett 1985) has led to a recognition that patients should be more actively involved in their own care and a partnership between healthcare professionals and patients should be encouraged. This idea has gained increasing prominence in the United Kingdom (UK) government policy with a requirement that ‘patient and public involvement should be part of everyday practice in the National Health Service (NHS) and must lead to action for improvement’ (Department of Health 2007). The Health and Social care Act of 2012 built on the previous 2006 Act to ensure the voice of patients is heard throughout the healthcare system and all statutory bodies in the UK relating to health now have duties with regards to the involvement of patients, carers, and the public.

이는 대학원 및 학부 교육에 영향을 미치고 있으며, 2009년에는 환자가 '의대생의 교육, 피드백 및 평가에 독특하고 귀중한 전문 지식을 제공할 수 있기'때문에 [환자를 학부 의학교육(UME)에 참여시키기 위한 의학전문대학원협의회(GMC)의 지침에 권고사항]이 작성되었습니다(General Medical Council 2009). 또한 의과대학 커리큘럼 개발 시 의대생, 수련 중인 의사, 교육자, 고용주, 기타 보건 및 사회복지 전문가, 환자, 가족 및 보호자의 의견을 수렴해야 한다고 권고했습니다(General Medical Council 2016). 
Clearly, this has an impact on postgraduate and undergraduate education and in 2009 recommendations were written into Graduate Medical Council (GMC) guidance for the involvement of patients in undergraduate medical education (UME) as they ‘can contribute unique and invaluable expertise to teaching, feedback and assessment of medical students’ (General Medical Council 2009). They further recommended that the development of medical school curricula must be informed by medical students, doctors in training, educators, employers, other health and social care professionals and patients, families and carers (General Medical Council 2016).

다른 나라에서도 의료 및 의료 교육에 환자와 대중 등 [소비자의 참여를 확대해야 한다는 요구]가 있습니다. 1995년 세계보건기구(WHO) 보고서는 의과대학이 지역사회의 요구를 충족하는 데 있어 사회적 책임이라는 새로운 패러다임을 채택할 것을 요구했으며, 이러한 요구의 우선순위는 [정부, 의료기관, 의료 서비스 제공자 및 대중]이 공동으로 파악해야 한다고 주장했습니다(Boelen and Heck 1995).
In other countries, too, there is a call for increased involvement of consumers – patients and the public – in healthcare and healthcare education. A World Health Organization report in 1995 called for medical schools to adopt a new paradigm of social accountability in meeting the needs of their communities – the priorities for these needs being identified jointly by governments, healthcare organizations, healthcare providers and the public (Boelen and Heck 1995).

의료 전문가 교육에 대한 환자 참여의 정도와 방식은 매우 다양하며, 여러 개념적 프레임워크를 사용하여 이를 조사해 왔습니다. 스펜서 외(2000)가 개발한 [캠브리지 프레임워크]는 [참여 환경의 분류]를 설명합니다:
There is wide variation in the extent and manner of patient involvement in health professional education and these have been examined by the use of a number of conceptual frameworks. The Cambridge framework developed by Spencer et al. (2000) describes the classification of the setting of involvement:

• 누가: 각 환자, 가족 및 간병인의 개별적인 배경, 문화 및 경험.
  
• 어떻게: 환자의 역할(수동적 또는 능동적), 만남의 성격, 접촉 시간 및 감독 정도를 포함합니다.
  
• 무엇을: 문제의 유형(일반적 문제와 특정 문제), 학습해야 할 지식, 기술, 가치를 포함한 교육 내용.
  
• 어디서: 상호작용이 이루어지는 장소(예: 지역사회, 병원 병동, 클리닉).
• Who: the individual background, culture, and experience of each patient, their family, and carers.
• How: including, patient role (passive or active), nature of the encounter, length of contact, and degree of supervision.
• What: the content of the education including the type of problem (general versus specific) and the knowledge, skills, and values to be learned.
• Where: location of interaction (for example, community, hospital ward, clinic).

이 프레임워크는 환자/서비스 사용자가 환자/학습자와의 만남에서 얼마나 적극적인 역할을 수행할 수 있는지에 대한 가능성을 개괄적으로 보여줍니다.
This framework provides an overview of the possibilities of how active a role patients/service users may play in the patient/learner encounter.

Tew와 포스터(2004)는 [참여의 정도를 분류하는 프레임워크]를 설명합니다. 그들의 '참여의 사다리'에는 [미미한 참여, 새로운 참여, 증가하는 참여, 협력, 파트너십]의 다섯 단계가 포함됩니다. 이 프레임워크는 사용자 참여에 관한 많은 연구와 담론에서 사용되었으며, Arnstein의 '시민 참여의 사다리'(Arnstein 1969)의 영향을 많이 받았습니다. 환자의 의료 참여를 측정하는 다른 프레임워크도 존재하지만, Towle 등(2010)이 고안한 프레임워크는 [캠브리지 프레임워크와 Tew의 참여 사다리를 통합]하여 이 두 모델의 요소를 모두 포함하는 분류법을 만들었으며, 특히 의료 전반이 아닌 교육에서의 참여의 깊이와 영향을 측정하도록 고안되었습니다(표 1). 토우 프레임워크는 의학교육 내에서 서비스 제공자-사용자 참여의 상당한 다양성을 강조할 수 있는 실용적이고 포괄적인 프레임워크로 선정되었습니다.
Tew and Foster (2004) describe a framework for classifying the extent of involvement. Their ‘Ladder of Involvement’ included five steps:

• little involvement;
• emerging involvement;
• growing involvement;
• collaboration;
• partnership.

This has been used in many studies and discourses on user involvement and was heavily influenced by Arnstein’s ‘Ladder of Citizen Participation’ (Arnstein 1969). Other frameworks exist which measure patient engagement in healthcare, but the framework devised by Towle et al. (2010) integrated the Cambridge framework and Tew’s Ladder of Involvement to produce a taxonomy with elements of both these models (Table 1), specifically designed to measure the depth and impact of involvement in education rather than in healthcare in general. The Towle framework was selected as a pragmatic, comprehensive framework that enables us to highlight the significant diversity of servicer–user involvement within medical education

이전 리뷰(Morgan and Jones 2009, Spencer 외. 2011)에서는 주로 '어떤' 참여가 이루어지고 있는지, 그리고 그러한 작업이 학습 환경을 개선하는 데 효과적인지 여부를 규명하고자 했습니다. 그러나 이 두 리뷰는 체계적이지 않았고 학술적인 2차 연구 접근법을 사용하여 증거를 종합하지 않았습니다. 더 중요한 것은 이러한 검토가 발표된 이후 동시대 연구 보고서로 이어질 가능성이 있는 보다 최근의 전략적 지침이 등장했다는 점을 고려할 때, 문헌에 대한 최신의 체계적인 검토가 필요하다는 것입니다. 이 검토에서는 증거 기반의 종합을 통해 세 가지 측면을 다루어야 합니다. 이러한 측면은 Cook 등(2008)의 의학교육 연구 프레임워크에 설명되어 있는 것으로, 세 가지 연구 질문으로 이어집니다: 
Previous reviews (Morgan and Jones 2009; Spencer et al. 2011) primarily sought to characterize the concept of ‘what’ involvement is taking place and whether such works are effective at enhancing learning encounters. However, both these reviews were not systematic and attempted no synthesis of evidence using a scholarly secondary research approach. More importantly, given the advent of more recent strategic guidance after these reviews were published that has likely led to contemporaneous research reports, there is a need for an up to date systematic review of the literature. This review must address three different aspects through a synthesis of the evidence base. These are those aspects described within Cook et al’s (2008) framework of medical education research and led to three distinct research questions:

• 의학교육에서 어떤 서비스 사용자 참여가 이루어지고 있는가(설명)?
  
• 이러한 참여가 학생의 교육에 어느 정도 영향을 미치는가(정당화)?
  
• 서비스 사용자 참여가 학습에 미치는 영향은 어떻게 그리고 왜 발생하는가(명확화)?
• What service user involvement is taking place in medical education (description)?
• To what extent this involvement impacts the student’s education (justification)?
• How and why such learning may be impacted by service user involvement (Clarification)?

이 마지막 질문은 이전에 다루어지지 않았고 필요한 작업 영역으로 지적된 질문입니다(Spencer 외. 2011).
This final question is one that has not been previously addressed and indicated as an area of work needed (Spencer et al. 2011).

연구 방법
Methods

이 검토를 뒷받침하는 단일 연구 패러다임은 없습니다. 우리는 실증주의(증거 수집을 위한 체계적이고 투명하며 재현 가능한 모델에 부합하고 정당성과 설명적 결과에 대한 고려를 통해)와 구성주의(개입을 뒷받침하는 이론적 틀에 대한 고려와 설명 질문을 해결하기 위한 내용 및 결과의 종합을 통해)를 모두 수용하고자 했습니다. 
No single research paradigm underpins this review. We planned to embrace both positivism (through alignment to a systematic, transparent and reproducible model for evidence collection and consideration of our justification and descriptive outcomes) and constructivism (through consideration of underpinning theoretical frameworks that inform interventions and synthesis of content and outcomes to address our clarification questions).

연구 프로토콜은 2016년 1월 13일에 BEME에서 동료 검토를 거쳐 발표되었습니다(Gordon 외. 2016) 주 저자의 역할 변경과 프로젝트에 대한 합의된 자금 확보 지연으로 인해 몇 차례 지연이 있었고 검토가 보류되었다가 2017년 7월 1일에 공식적으로 다시 시작되었습니다. 연구를 포함한 다양한 프로젝트를 지원하는 블랙풀 티칭 병원의 '블루 스카이' 자선 단체에서 기금을 지원받았습니다. 이 자금은 10개월 동안 연구원 한 명의 급여(0.2 WTE)를 제공했습니다. 
The study protocol was peer-reviewed and published by BEME on the 13th January 2016 (Gordon et al. 2016) Due to changes in roles of the main authors and delays in securing agreed funding for the project, there were several delays and the review was placed on hold and officially started again on 1st July 2017. Funding was sought from Blackpool Teaching Hospitals’ ‘Blue Skies’ charity which supports numerous projects, including research. The funding provided one researcher’s salary (0.2 WTE) for 10 months.

본 연구 결과는 STORIES(보건의료 교육에서의 근거 종합 보고에 대한 구조화된 접근 방식) 성명서(Gordon and Gibbs 2014)와 BEME 검토 체크리스트(Hammick et al. 2010)에 따라 보고했습니다. 
We have reported our findings in alignment with the STORIES (Structured approach to the reporting in healthcare education of evidence synthesis) statement (Gordon and Gibbs 2014), as well as by using the BEME review checklist (Hammick et al. 2010).

검색 전략
Search strategy

2017년 9월 1일에 검색을 실시했습니다. 우리는 다음 데이터베이스에 대해 공인된 방법론(Jenkins 2004)에 따라 표준화된 검색 전략(보충 부록 1)을 사용했습니다: MEDLINE, EMBASE, CINAHL, PsychINFO). 또한 포함된 연구에 참고 문헌으로 등재된 논문을 검토하고, 주요 의견의 저자로 확인된 서비스 사용자 참여 분야의 전문가에게 연락하여 이 검토에서 인용한 저작물을 확인했습니다. 데이터베이스의 온라인 검색 외에도 지난 5년간의 유럽 의학교육협회(AMEE) 연례 회의 초록(2013~2017년 포함)을 수작업으로 검색했습니다. 발표된 연구를 찾을 수 없는 경우 초록의 저자에게 이메일로 연락을 취했습니다. 응답하지 않은 저자는 두 번째 연락을 취한 후 제외했습니다. 모든 국가에서 수행되고 영어로 출판된 연구를 포함했습니다. 검색 날짜에는 제한을 두지 않았습니다. 저자들은 이 분야가 수십 년 동안 크게 변화했다는 사실을 알고 있었지만, 오래된 연구를 추가하는 것이 연구 결과에 부정적인 영향을 미칠 것이라고 생각하지 않았습니다. 
We conducted our search on 1st September 2017. We used a standardized search strategy (Supplementary Appendix 1) following a recognized methodology (Jenkins 2004) to the following databases: MEDLINE, EMBASE, CINAHL, PsychINFO). Additionally, we reviewed articles listed as references in included studies, and we contacted experts in the field of service user involvement identified as authors of key opinion pieces and cited works from this review. In addition to online searching of the databases, abstracts from the last 5 years of the Association for Medical Education Europe (AMEE) annual meeting proceedings (2013–2017 inclusive) were hand searched. Where published studies were not available, authors of abstracts were contacted by email. Authors who did not respond were contacted a second time before being excluded. We included studies undertaken in any country and published in English. No limitation on the search dates was imposed. Whilst the authors were aware the field has changed substantially over the decades, we did not believe the addition of older studies would in any way negatively impact findings.

이 리뷰에서는 검색 전략이 특히 까다로웠다는 점에 유의해야 합니다. '환자/서비스 사용자'라는 용어가 너무 일반적이고 보편적으로 사용되어 관련 없는 논문 수천 편이 검색되었기 때문입니다. 또한 환자/서비스 사용자 참여에 대해 합의된 통일된 명명법이 없어 검색이 복잡해졌습니다. 문헌에서 사용된 용어 중에는 환자 강사/교육자, 멘토, 환자 파트너, 서비스 사용자, 교육 보조원, 환자 자원봉사자, 환자 중재자, 지역사회 교육자, 일반인 건강 멘토 등이 있었습니다. 흥미롭게도 이전에 발표된 이 주제에 대한 리뷰(Morgan and Jones 2009)의 검색 전략을 범위 설정의 출발점으로 사용했으며, 비슷한 날짜로 제한하고 전략을 그대로 따랐음에도 불구하고 매우 다른 결과가 도출되어 이 작업에 대한 추가적인 의문을 제기했습니다. 우리는 사서 저자와 긴밀히 협력하여 검색을 구체화했으며, 최종 용어는 부록 1에 명확하게 표시되어 있지만 출판된 프로토콜(Gordon et al. 2016)과는 다릅니다. 사용자를 설명할 때 일부 주요 용어의 제한은 실행 가능한 검색을 보장하기 위해 필요했지만, 범위를 설정함으로써 주요 논문이 손실되지 않았고 이것이 유효한 접근 방식임을 보장했습니다 .
It is important to note that the search strategy was particularly challenging for this review. This was because the terms ‘patient/service user’ is so generic and ubiquitous in their use that thousands of irrelevant articles were retrieved. Additionally, the lack of an agreed, uniform nomenclature used for patient/service user involvement complicated the search. We encountered patient instructor/educator, mentor, patient partner, service user, teaching associate, patient volunteer, patient moderator, community educator, lay health mentor amongst the terms used in the literature. Interestingly, the search strategy from a previously published review of the topic (Morgan and Jones 2009) was used as a starting point for scoping and despite limiting to similar dates and following the strategy verbatim, a very different set of results was achieved, raising the further question of this work. We worked closely with our librarian author to refine the search and the final terms are displayed clearly in Supplementary Appendix 1, but differ from the published protocol (Gordon et al. 2016). The limitation of some key terms in describing users was necessary to ensure a viable search, but scoping ensured that no key papers were lost and that this was a valid approach.

심사
Screening

처음 500건의 인용을 대상으로 한 파일럿 심사 단계에서는 평가자 간의 긴밀한 합의와 토론을 통해 명확성이 부족한 주요 영역을 다루었습니다. 그 결과 품질 평가 도구를 약간 수정하여 3번 항목에 '없음'(근거, 교육학, 내용 등에 대한 언급 또는 세부 사항) 대신 '없음 또는 매우 제한적'이라고 표시하도록 했습니다. 그런 다음 한 명의 저자(SG)가 6155개의 인용 목록 전체를 심사하고 두 명의 저자(MG와 DT)가 각각 절반씩 독립적으로 심사하는 방식으로 전체 심사가 진행되었습니다. Cohen의 카파를 사용한 평가자 간 일치도는 0.401로 공정한 일치도를 보였습니다. 평가자 간의 의견 충돌은 전체 텍스트 평가를 진행하기 전에 토론을 통해 해결했습니다. 
A pilot screening phase involving the first 500 hundred citations was conducted to ensure closer inter-rater agreement and discussions addressed key areas of lack of clarity. This led to the quality assessment tool being amended slightly so that section three, instead of reading ‘no’ (mention or details of underpinning, pedagogy, content, etc.) read ‘no or extremely limited.’ Full screening then took place, with one author (SG) screening the full list of 6155 citations and two authors (MG and DT) independently screening half each. Inter-rater agreement using Cohen’s kappa showed fair agreement at 0.401. Conflicts between raters were resolved by discussion before proceeding to full-text evaluation.

포함/제외 기준
Inclusion/exclusion criteria

포함 및 제외 기준은 표 2에 나와 있습니다. 범위 검색에서 서비스 사용자 포함에 대해 피상적으로만 언급하고 자세한 내용은 언급하지 않은 연구가 여러 편 발견되었기 때문에 서비스 사용자 참여에 대해 피상적인 수준 이상으로 논의해야 했습니다. 이는 검색을 수행한 두 명의 저자가 독립적으로 판단했습니다. 또한 학습자를 위한 실제 배포를 확인하기 위해 실제 개입에 대한 어떤 형태의 평가를 기술해야 했지만, 어떤 방법이든 사용할 수 있었습니다. 의료 학습자를 포함시킨 것은 자의적인 결정이었으며 향후 다른 환경에서 검토가 필요할 수 있습니다. 
The inclusion and exclusion criteria are shown in Table 2. Studies had to discuss the service user involvement in more than a cursory fashion as scoping searches found several studies that simply made a single statement about including service users and no further details. This was independently judged by two authors performing the searches. Studies also had to describe some form of assessment of the intervention in practice to confirm its actual deployment for learners, but any method could be used. The inclusion of medical learners was an arbitrary decision and may lead to the need for future reviews in other settings.

데이터 추출 및 합성
Data extraction and synthesis

연구 내용을 평가하기 위해 BEME 지침(Hammick 외. 2010)을 기반으로 한 데이터 추출 양식(부록 2)을 사용하여 중재, 연구 유형, 결과 및 결과에 대한 데이터와 사용자 참여 및 학습자 결과의 Kirkpatrick 수준과 관련된 Towle 기준을 수집했습니다(Kirkpatrick 및 Kirkpatrick 2006). 그런 다음 세 저자 모두 이 데이터를 평가하여 주제를 생성했습니다. 누락된 주요 데이터의 경우 연구 저자에게 연락하여 이 정보를 제공받았습니다. 
A data extraction form (Supplementary Appendix 2), based on BEME guidance (Hammick et al. 2010) was used to assess the content of the studies and collected data on the interventions, study types, outcomes and results, as well as Towle criteria relating to user involvement and Kirkpatrick levels of learner outcomes (Kirkpatrick and Kirkpatrick 2006). This data was then assessed by all three authors to generate themes. In the case of key missing data, authors of studies were contacted to supply this information.

[Towle 분류법]은 의학교육 내에서 서비스 사용자 참여의 상당한 다양성을 강조할 수 있는 실용적이고 포괄적인 프레임워크로 선정되었습니다. 
The Towle Taxonomy was selected as a pragmatic, comprehensive framework that enables us to highlight the significant diversity of servicer user involvement within medical education.

교육에 대한 환자 참여를 개념화하는 데 [Towle 분류법]을 사용하는 것을 고려할 때 저자들은 처음에 몇 가지 어려움에 직면했습니다. 저자들은 처음에 이 분류법의 함의가 주어진 연구를 [단일 수준]에서 평가할 수 있고 그 수준에 따라 [6개의 차원 A-F로 세분화]할 수 있다고 생각했습니다. 그러나 특정 개입은 6가지 영역 각각에 대해 서로 다른 수준으로 평가할 수 있는 등 더 복잡하다는 것이 분명해졌습니다. 기본 가정은 차원 간 대략적인 정렬이지만, 항상 그런 것은 아닙니다. 따라서 각 연구를 각 영역에 대해 개별적으로 평가하기로 결정하고 [6가지 분류 요소]를 적용했습니다. 더 복잡하긴 하지만, 저자들은 이 방법이 독자들에게 더 정확하게 증거를 종합해 준다고 생각합니다. 여러 항목이 동일한 차원(예: 도메인 F의 경우 처음 3개 수준이 '낮음' 등급)의 경우, 더 낮거나 높은 수준은 무시하고 설명자가 적절한 가장 극단적인 수준에서 등급을 설정했습니다. 따라서 도메인 F의 경우 가장 낮은 수준은 레벨 3, 도메인 C의 경우 가장 높은 수준은 레벨 5가 됩니다. Towle 분류법 사용에 대한 이 수정안은 부록 3에 나와 있습니다.
In considering the Towle taxonomy and its use in conceptualizing patient involvement in education, the authors encountered some initial difficulty. The authors initially believed that the implication within the taxonomy is that a given study could be assessed on a single level and that level would dissect the six dimensions A–F. However, it was very clearly apparent that specific interventions were more complex, with rating possible on different levels for each of the six domains. The underpinning assumption is rough alignment across dimensions, but clearly, this is not always the case. As such, it was decided to rate each study individually for each domain and as such receive 6 elements of categorization. Whilst more complex, the authors believe this more accurately synthesizes the evidence for readers. In the case of dimensions where several items were the same (for example, for domain F the first 3 levels are ratings of ‘Low’), the lower or higher levels were ignored and the rating set at the most extreme level where the descriptor was appropriate. So in the case of domain F, this would be level 3 at the low end or in the case of domain C, level 5 at the high end. This amendment to the use of the Towle taxonomy is shown in Supplementary Appendix 3.

의학교육 연구의 중재에 적합하고 체계적 문헌고찰 과정의 일부로 BEME 공동연구에서 채택한 Kirkpatrick의 4단계 학습 평가는 각 연구에서 사용한 결과 측정을 분류하는 데 사용되었습니다(Yardley and Dornan 2012). 네 가지 수준은 다음과 같습니다:
Kirkpatrick’s four levels of learning evaluation, adapted for interventions in medical education research and adopted by the BEME collaboration as part of the systematic review process (Yardley and Dornan 2012), were used to classify outcome measures used by each study. These four levels are:

• 레벨 1: 반응 - 개입에 대한 학습자의 반응은 어땠나요?
  
• 레벨 2: 학습 - 개입 후 참가자가 태도를 바꾸거나(레벨 2a) 지식 또는 기술을 향상시킨 정도(레벨 2b).
  
• 레벨 3: 행동 - 개입으로 인한 행동 또는 실천의 변화.
  
• 레벨 4: 결과 - 개입으로 인한 조직 관행의 변화(레벨 4a) 또는 환자/고객에 대한 혜택(레벨 4b).
• Level 1: Reaction – what was the reaction of the learners to the intervention?
• Level 2: Learning – the extent to which participants changed their attitude (Level 2a) or improved their knowledge or skill (Level 2b) following the intervention.
• Level 3: Behavior – change in behavior or practice due to the intervention.
• Level 4: Results – changes in organizational practice (Level 4a) or benefit to patients/clients (Level 4b) due to the intervention.

연구는 계층 구조에서 두 개 이상의 수준을 반영하는 결과를 설명할 수 있습니다.
Studies may describe outcomes that reflect more than one level on the hierarchy.

증거의 종합
Synthesis of evidence

연구 유형, 교육적 개입, 협력 세부 사항 및 1차 연구의 결과에 중점을 두고 연구 데이터를 요약하는 서술적 종합이 이루어졌습니다. 연구에서 추출할 주요 방법, 내용 및 결과 항목에 대해 저자들이 논의하고 합의했습니다. 또한 질 평가 지표와 관련된 내용을 추출했으며, 관련성이 있는 경우 추가 내용이나 부록도 포함했습니다. 포함된 연구에서 기술하고 평가하는 교육적 개입에 초점을 맞춘 주요 세부 사항을 포함시킨 것은 환자/서비스 사용자 문헌의 이전 검토에서 다루지 않은 독특한 추가 사항입니다. 아래 질 평가에서 설명한 바와 같이, 교육적 관심의 주요 영역에 대한 보고 수준이 높을수록 질이 높다는 것을 의미하며, 이는 1차 독자와 이 리뷰의 독자에게 암묵적 유용성이 있기 때문입니다. 이 정보는 독자가 해당 내용을 고려할 때 유용성을 얻을 수 있도록 표 형식으로 제공됩니다. 또한 이러한 중재적 보도에 대한 RAG(빨강, 주황, 초록) 등급을 제시함으로써 독자가 해당 정보의 사용에 대한 결정을 내리는 데 도움을 줄 수 있습니다. 또한 데이터는 결과의 맥락 내에서 요약됩니다. 
A descriptive synthesis took place which summarizes the data from the studies, focusing on study type, educational intervention, collaboration details and outcomes of the primary study. Key method, content and outcome items to be extracted from the studies were discussed and agreed by the authors. Additionally, content related to the quality assessment indices was extracted, including where relevant any additional content or appendices. The inclusion of key details that focus on the educational intervention being described and assessed by the included studies was a unique addition not addressed in previous reviews of the patient/service user literature. As stated below in quality assessment, this equated higher levels of reporting in key areas of educational interest as higher quality, as this was of implicit utility to primary readers and therefore readers of this review. This information is offered within a tabulated form to allow readers to gain utility from considering such content. Additionally, the presentation of the RAG (red, amber, green) ratings of such interventional reporting should support readers in making decisions on the use of such information. The data is also summarized within the context of the results.

적절하게 동질적인 결과 데이터가 존재하는 경우, 정당성을 설명하기 위한 메타분석은 공개된 프로토콜에 따라 계획되었습니다. 그러나 어떤 연구에서도 그러한 데이터를 사용할 수 없었기 때문에 자세한 내용은 보고하지 않았습니다. 
If suitably homogeneous outcome data were present, meta-analysis – to explain Justification – was planned as per our published protocol. However, as such data was not available in any of the studies, details are not reported.

메타 민족지학(메타 민족지학은 명확성을 설명하기 위한 것으로, 질적 연구 결과를 종합하는 질적 종합 기법입니다(딕슨-우즈 외. 2005). 앞서 언급한 바와 같이, 이 방법을 사용하여 세 번째 연구 질문을 해결할 계획이었으나 해당 데이터가 부족하여 이 방법은 전체적으로 보고되지 않았으며 해당 분석도 완료되지 않았습니다. 
Meta-ethnography – to describe Clarification – is a qualitative synthesis technique which involves the synthesis of the findings of qualitative studies (Dixon-Woods et al. 2005). As mentioned before, it was planned to address our third research question with this method, but as there was a paucity of such data, these methods are not reported in full and no such analysis was completed.

포함된 연구의 질 평가
Quality assessment of included studies

보건 교육 체계적 문헌고찰의 맥락에서 질 평가를 위해 다양한 방법이 사용되어 왔지만, 합의된 방법은 존재하지 않습니다. 고려해야 할 [두 가지 핵심 요소]가 있습니다: 첫째, 연구의 방법론적 질과 둘째, 제시된 교육적 개입의 질입니다. 조사 과정에 대한 수준 높은 보고로 [방법론적]으로 건전한 보고서일 수 있지만, [중재 자체인 교육]이 자세히 보고되지 않고 이론적으로 뒷받침되지 않으며 자원이나 비용 관점에서 설명되지 않고 자료가 제공되지 않는다면 이를 수준 높은 교육적 글이라고 보기 어렵기 때문에 이 구분이 중요합니다.
Whilst there have been many different methods employed to assess quality within the context of health education systematic review, no consensus method exists. There are two key elements to consider: Firstly, the methodological quality of any study and secondly, the quality of any educational interventions presented. This distinction is important as a report may be methodologically sound with high-quality reporting of investigative process, but if the education that was the intervention itself is not reported in detail, not underpinned theoretically, not described from a resource or cost perspective and materials not available, it is hard to suggest this as a high-quality piece of educational writing.

이전 체계적 문헌고찰(Gordon 외. 2011)에서 사용되었던 시각적 RAG 순위 시스템을 사용하여 [교육 개입과 관련된 6개 영역] 각각에 대한 정보 보고의 질 또는 정도를 판단했습니다:
A visual RAG ranking system, previously used in an earlier systematic review (Gordon et al. 2011), was employed to judge the quality or extent of the reporting of information in each of six areas relating to the educational intervention:

• 이론적 토대
  
• 커리큘럼 또는 강의 계획서 설계
  
• 환경(교육적 맥락 및 학습자 특성)
  
• 교수법
  
• 콘텐츠
  
• 결론의 강도
• Theoretical underpinning
• Curriculum or syllabus design
• Setting (educational context and learner characteristics)
• Pedagogy
• Content
• Strength of conclusion

항목은 보고된 내용의 장점보다는 위 각 보고 영역의 포괄성 측면에서 높은 수준(녹색), 불명확한 수준(호박색), 낮은 수준(빨간색)으로 판단되었습니다.
Items were judged to be of high quality (green), unclear quality (amber), low quality (red) in terms of comprehensiveness in each of the above reporting areas, rather than the merit of what was reported.

환자/서비스 사용자 참여
Patient/service user involvement

이 체계적 문헌고찰의 주제에 따라 처음부터 [서비스 사용자를 참여]시키는 것이 적절하다고 생각했습니다. 저희는 관심 있는 사용자를 위해 UCLan의 COMENSUS(커뮤니티 참여 및 서비스 사용자 지원) 그룹에 연락했고, 이 그룹의 두 명이 원고를 검토하고 토론에 사용자 관점을 추가하는 데 자원했습니다. 
Due to the topic of this systematic review, we felt it pertinent to involve service users from the start. We contacted the COMENSUS (Community Engagement and Service User Support) group at UCLan for interested users and two from this group volunteered to review the manuscript and add a user perspective to the discussion.

결과
Results

문헌 검색을 통해 초기 11,093건의 인용이 이루어졌으며, 참고 문헌 목록과 AMEE 컨퍼런스 초록에서 47건의 추가 인용이 확인되었습니다. 해당 분야의 전문가 4명에게 연락을 취했지만 더 이상의 고유한 연구는 없었습니다. 중복을 제거한 후 6155건의 인용을 선별할 수 있었습니다. 
The literature search produced an initial 11,093 citations, with a further 47 identified from reference lists and AMEE conference abstracts. No further unique studies were received from contacting four experts in the field. After removing duplicates, the resulting 6155 citations were available for screening.

그런 다음 세 명의 저자가 위에서 설명한 포함/제외 체크리스트를 사용하여 96개의 전체 텍스트 논문 초록을 선별하여 포함 여부를 결정했습니다. 이견은 토론을 통해 해결되었으며, 최종적으로 총 39개의 논문이 포함 기준을 충족하는 것으로 간주되었으며, 연구 흐름은 그림 1에 나와 있습니다. 
All three authors then screened the abstracts of 96 full-text articles to determine eligibility for inclusion, using the inclusion/exclusion checklist described above. Disagreements were resolved by discussion and a final total of 39 articles were deemed to meet the inclusion criteria, with study flow shown in Figure 1.

제외된 연구
Excluded studies

제외된 연구 목록은 부록 4에서 확인할 수 있지만, 제외된 57건의 연구 중 가장 흔한 이유는 개입에 대한 평가가 이루어지지 않았기 때문입니다(46건의 연구). 의료진이 아닌 다른 보건 전문가가 주 학습자 그룹으로 포함된 연구도 11건 있었습니다.
The list of excluded studies can be found in Supplementary Appendix 4, but of the 57 excluded studies, the most common reason was lack of any form of evaluation of the intervention (46 studies). A further 11 studies involved other health professionals as the primary learner group, i.e. not medics.

포함된 연구 개요
Overview of included studies

포함된 39개 연구에 대한 관련 세부 정보는 부록 3에 나와 있습니다. 보다 포괄적인 데이터는 부록 5에서 확인할 수 있습니다. 
Relevant details of the 39 included studies are shown in Supplementary Appendix 3. Further comprehensive data can be found in Supplementary Appendix 5.

환자/서비스 사용자의 참여 수준
Level of involvement of patients/service users

그림 2는 Towle의 프레임워크에 따라 [개별 연구를 분류하여 6가지 영역에 매핑]하고 이 분류체계의 6가지 수준에 따라 분류한 것으로, 현재 문헌이 의학교육에서 환자/서비스 사용자 참여의 깊이와 영향력의 범위를 어떻게 반영하고 있는지 보여줍니다. 제외 기준에 따라 레벨 1 연구는 모두 제외되었으므로 포함되지 않았습니다.  
Figure 2 shows the categorization of the individual studies according to Towle’s framework, mapping to the six domains and ranging across the six levels of this taxonomy, thus demonstrating how the current literature reflects the range of the depth and impact of patient/service user involvement in medical education. Our exclusion criteria specifically removed all level 1 studies and so none were included.

대부분의 연구는 환자를 [촉진자, 교사 또는 평가자로 참여시킬 수 있는 가능성]을 나타내는 Towle의 분류법(부록 4 및 그림 2 참조)의 [레벨 3 또는 레벨 4]에 해당하는 환자를 대상으로 했습니다.
The majority of studies involved patients at Level 3 or Level 4 of Towle’s Taxonomy (see Supplementary Appendix 4 and Figure 2), which indicates the feasibility of involving patients as facilitators, teachers or assessors.

면담 기반 연구
Encounter-based studies

Encounter는 교수에 의해 기획되며, 환자는 자신의 경험을 공유하도록 초대되며, 개인적인 편안함과 참여 수준은 환자가 결정합니다. 이 범주에 속하는 17개의 연구 중 16개는 질적 방법론의 서술적 기법을 사용했으며, 학습자에게는 환자가 경험한 질병에 대한 공감과 이해 증가, 환자와의 의사소통 개선, 총체적이고 환자 중심적인 치료에 대한 이해 증진 등의 이점을 제시했습니다. 보고된 환자에 대한 이점에는 '장벽 허물기'를 통한 의사소통 개선(Cooper and Spencer-Dawe 2006), 자신의 개인적인 이야기가 치료 효과 개선에 도움이 될 것이라는 믿음(Salerno-Kennedy 외. 2009; Graham 외. 2014), 세션의 즐거움(Jha 외. 2013; Lenton and Storr 2015; Makker 2017) 등이 있습니다. 
The encounter is planned by faculty; the patient is invited to share their experience; personal comfort and level of participation is determined by the patient. Of the 17 studies in this category, 16 used descriptive techniques in a qualitative methodology and suggested benefits to learners of increased empathy and understanding of illness as experienced by patients; improved communication with patients and a greater understanding of holistic and patient-centered care. The benefits to patients, where reported, included improved communication by ‘breaking down barriers’ (Cooper and Spencer-Dawe 2006), a belief that their personal stories will help to improve treatment effectiveness (Salerno-Kennedy et al. 2009; Graham et al. 2014), and enjoyment of the session (Jha et al. 2013; Lenton and Storr 2015; Makker 2017).

이 수준의 개입의 예로는 [의료 전문가 간의 학습]을 촉진하기 위해 "건강 멘토"를 활용한 Arenson과 동료들의 연구(Arenson 외. 2015)가 있습니다. [최소 한 가지 이상의 장애 또는 만성 질환을 가진 환자와의 4가지 모듈 만남]은 [의대생 팀과 관련 직종 학생들 간의 팀워크 기회]를 제공했습니다. 이 연구는 품질 기준에 따라 적당히 잘 보고된 연구였으며, 그 결과 학생 팀 내에서 협업을 발전시키는 데 도움이 되는 것으로 나타났습니다. 이 범주에 속하는 단 한 건의 연구(Jha 외, 2015)만이 표준 교육과의 비교를 통해 '정당화'를 제공했으며, 쿠마가이의 공감과 도덕성 발달의 혁신적 학습 프레임워크를 사용하여 환자 내러티브가 참가자들의 정서적 반응을 불러일으켜 '의미 전달'에 어떻게 도움이 되는지 설명함으로써 '명료화'를 시도했습니다. 의사들의 안전 교육을 강화하기 위해 환자들이 의료 사고 또는 피해 경험을 공유한 이 무작위 대조군 임상시험(RCT)은 환자 안전에 대한 태도 변화라는 주요 목표에서 중재군과 대조군 간에 차이가 없는 것으로 나타났습니다. 
Examples of interventions at this level include Arenson and colleagues’ study (Arenson et al. 2015) which utilized “Health Mentors” to facilitate learning between health professionals. The 4 module encounter with patients, who had at least one disability or chronic health condition, provided an opportunity for teamwork between teams of medical students and students from allied professions. This was a moderately well-reported study according to our quality criteria and the results showed a benefit in developing collaboration within student teams. Only one study in this category (Jha et al. 2015) provided ‘justification’ by means of comparison with standard teaching, as well as attempting ‘clarification’ by using Kumagai’s transformative learning framework of empathy and moral development, by which they explained how the patient narratives helped ‘communicate meaning’ by evoking an emotional response among the participants. This randomized control trial (RCT), in which patients shared their experiences of medical errors or harm to enhance safety training amongst doctors, showed no difference between the intervention and control groups in its primary aim – to change attitudes towards patient safety.

[이 범주에 속하는 다른 연구 중 단 한 건만이 연구의 이론적 토대를 보고]했습니다(Cooper and Spencer-Dawe 2006). 이 질적 연구에서는 훈련된 서비스 사용자가 전문가 간 워크숍을 공동 진행하여 서로 다른 전문가 그룹의 학생들이 '협력적 실무에 대한 인식을 높이고 치료 전달의 효율성 향상과의 연관성을 높이기 위해 서로 배우고 서로에게서 배울 수 있도록' 했습니다. 자기 조직화, 연결성, 출현, 혼돈의 가장자리라는 [복잡성 이론]을 바탕으로 [선형성, 예측 불가능성, 자기 조직화, 연결성, 출현]이라는 주제를 도출해냈습니다. 학생들의 개인적인 경험과 서비스에 대한 참여('스토리')에 대해 듣는 경험은 전인적 치료를 제공할 때 환자 중심의 관점을 높이고 팀워크의 기반이 되는 이론적 개념을 더 잘 이해함으로써 전문가 간 통합, 파트너십 작업 및 팀워크를 향상시켰습니다 .
Only one other study in this category reported a theoretical underpinning for their study (Cooper and Spencer-Dawe 2006). In this qualitative study, trained service users co-facilitated inter-professional workshops to enable students from different professional groups to ‘learn with and from each other with a view to raising awareness about collaborative practice and its link to improving the effectiveness of care delivery.’ The underpinning complexity theory of self-organization, connectivity, emergence, the edge of chaos drew out the themes of linearity, unpredictability, self-organization, connectivity, and emergence. Students’ experience of hearing about users’ personal experiences and their involvement with services (their ‘stories’) enhanced inter-professional integration, partnership working and teamwork through a heightened patient-centered perspective in providing holistic care and a better understanding of the theoretical concepts underpinning teamwork.

교사/평가자로서의 환자
Patients as teachers/assessors

환자는 [특정 교육 역할에 대한 준비]가 주어지며 [피드백을 제공]하거나 학생의 [성과를 평가]할 수 있습니다. Towle 레벨 4에서 평가한 16개 연구 중 한 개를 제외한 모든 연구는 [실제 임상 검사 또는 평가 기술을 가르치는 교육개입]이었으며, 따라서 대조군 또는 중재(정당화)와 결과를 비교할 수 있는 경우가 많았습니다. 이 범주의 비교 연구 결과에 따르면 환자/서비스 이용자에 의한 교육이 [교수진에 의한 교육만큼 효과적]이며(Anderson and Meyer 1978; Kleinman 외. 1996; Hendry 외. 1999; Schrieber 외. 2000; Smith 외. 2000; Duffy 외. 2016), 일부 연구에서는 더 효과적인 것으로 나타났습니다(Branch 외. 1999; Haq 외. 2006; Livingstone 외. 1980).

• 사전/사후 시험 결과 측정을 사용한 연구 중에서는 기술/지식 성취도가 증가한 것으로 나타났습니다. 예를 들어, Bideau와 동료들(Bideau et al. 2006)은 무릎과 손 검사에 대한 세션을 계획하고 가르치는 광범위한 교육을 받은 '환자 강사'(PI)를 고용했습니다. 이 연구는 세션의 커리큘럼과 내용을 포괄적으로 보고하여 향후 연구를 위해 이 연구를 재현할 수 있도록 했습니다. 이 연구는 학생들이 질병의 심리적, 정서적, 사회적, 직업적, 가족적 측면을 파악하는 능력이 현저히 향상되었으며, 이는 실제 환자와의 직접적인 접촉 때문일 수 있다고 제안했습니다.
• 헨릭슨과 링스테드의 연구(Henriksen and Ringsted 2014)에서는 이전 연구에서 직접 고안한 이론적 모델을 사용한 질적 방법론을 사용하여 류마티스 전문의가 제공하는 교육을 PI와 비교하여 평가했습니다. 그들은 권력 관계 측면에서 PI와 학생의 관계가 교수진과 학생, 학생과 클리닉 환자 사이의 관계와 다르다는 것을 발견했습니다. 이러한 균형 잡힌 권력 관계는 학생들이 학습자의 역할을 수행하고 임상 환경에서 부적절하다고 인식되는 질문을 과감하게 할 수 있도록 정당화합니다. 이 연구는 이전 이론에서 나온 내용, 교육 형식, 권력 관계에 대한 민감성 개념을 명확히 하고 확인했을 뿐만 아니라 지식에 대한 협상의 새로운 개념인 경험적 또는 과학적 생물의학 지식을 도입했습니다.

The patient is given preparation for a specific teaching role and may give feedback or evaluate student performance. All but one of the 16 studies we assessed at Towle Level 4 were interventions which taught practical clinical examination or assessment techniques and, as such, were often able to compare outcomes with a control group or intervention (justification). Outcomes of the comparison studies in this category demonstrated that teaching by patients/service users is at least as effective (Anderson and Meyer 1978; Kleinman et al. 1996; Hendry et al. 1999; Schrieber et al. 2000; Smith et al. 2000; Duffy et al. 2016) as teaching by faculty and, in some studies, was shown to be more effective (Branch et al. 1999; Haq et al. 2006; Livingstone et al. 1980).

• Of the studies which used a pre- and post-test outcome measure, these also showed an increase in skill/knowledge attainment. For example, Bideau and colleagues (Bideau et al. 2006) employed extensively-trained ‘Patient Instructors’ (PIs) who planned and taught sessions on examination of the knee and hand. This study comprehensively reported the curriculum and content of the sessions, enabling reproduction of this study for future research. It noted a marked improvement in students’ ability to grasp the psychological, emotional, social, professional and family aspects of the disease and suggested this may be due to the direct contact with real patients.
• Henriksen and Ringsted’s study (Henriksen and Ringsted 2014) used a qualitative methodology using a theoretical model devised by themselves in a previous study to assess teaching delivered by rheumatologists compared with PIs. They found that, in terms of power relations, the PI-student relationship differs from those between faculty teachers and students, and students and patients in the clinic. This balanced power relationship legitimizes the students’ taking on the role of learners and daring to ask questions they perceive to be inappropriate to the clinical setting. This study clarified and confirmed the sensitizing concepts of content matter, pedagogical format and power relationship which had emerged from their earlier theory but also introduced a new concept of negotiations about knowledge – experiential or scientific biomedical knowledge.

이 범주의 연구 결과에 따르면 [환자를 교사 및 평가자로 활용하는 것]은 [표준화된 평가 체크리스트와 채점 기준을 구성]할 수 있을 때 [가장 효과적]이라고 합니다. 이러한 결과는 모든 레벨 4 연구에서 어느 정도 일관되게 나타났으며, 객관적 구조화 임상 검사(OSCE) 또는 후속 조치에서도 개선이 지속되지 않았다는 추가 연구 결과도 있습니다(Livingstone 외. 1980; Gruppen 외. 1996; Smith 외. 2000; Duffy 외. 2016). 
Results of the studies in this category suggest that utilizing patients as teachers and assessors work best when it is possible to construct standardized assessment checklists and scoring criteria. This finding was more or less consistent across all of the Level 4 studies, with a further finding that, when tested, the improvements were not sustained at objective structured clinical examination (OSCE) or follow up (Livingstone et al. 1980; Gruppen et al. 1996; Smith et al. 2000; Duffy et al. 2016).

동등한 파트너로서의 환자
Patients as equal partners

환자 튜터는 교육 전달, 개발 및 평가의 여러 측면에 관여합니다. 소비자를 튜터로 묘사한 연구 2편(Owen and Reay 2004, Towle and Godolphin 2013)만이 환자 교사를 동등한 파트너로 묘사하여 Towle의 분류법에서 레벨 5로 분류되었습니다.

• Owen과 Reay(2004)의 연구에서 소비자 튜터는 학생 커리큘럼을 작성하는 운영 위원회의 일원으로 계획, 개발, 실행 및 평가의 모든 측면에 참여했습니다. 이 연구는 4학년 의대생을 위한 커리큘럼을 제공하는 데 있어 환자-교사가 동등한 파트너로서 참여하여 효과적인 면담 접근 방식을 통해 의학교육에 의미 있고 가치 있는 기여를 하고 있음을 명확하게 설명했습니다.
• Towle과 Godolphin(2013)의 연구에서는 만성 질환을 앓고 관리하기 위한 전문가 간 교육 워크숍을 설계, 제공 및 평가하는 데 있어 소비자 교육자와 그들의 고유한 역할에 대해 설명합니다. 이 워크숍은 소비자 교육자가 자문 그룹의 일원으로 교수진의 의견을 수렴하여 설계했지만 교수진이 교육을 중재하거나 통제하지는 않았습니다.
• 이 범주에 속하는 Towle의 연구만이 결과의 근거가 되는 이론적 근거를 활용했습니다. 이들은 환자가 교사인 환자 중심주의 프레임워크를 사용하여 환자를 교육자로 활용하는 전문가 간 교육 프로그램을 연구했으며, 특히 환자의 경험과 전문성이 어떻게 힘의 불균형을 줄이고 학습을 향상시키는지 명확히 했습니다. 

Patient tutors are involved in many aspects of educational delivery, development, and evaluation. Only 2 studies (Owen and Reay 2004; Towle and Godolphin 2013), which described consumers as tutors, were categorized as Level 5 on Towle’s Taxonomy – patient teachers as equal partners.

• In Owen and Reay’s (2004) study, consumer tutors were involved in all aspects of planning, development, implementation, and evaluation as part of a steering committee that authored the student curriculum. This study gave a clear description of patient-teachers being involved as equal partners in the delivery of a curriculum for 4th-year medical students in effective approaches to interviewing and making a meaningful and valued contribution to medical education.
• Towle and Godolphin’s (2013) study describe Consumer Educators and their unique role in designing, delivering and evaluating inter-professional educational workshops on living with and managing chronic conditions. The workshops were designed by the Consumer Educators, with input from faculty as part of an Advisory Group, but faculty did not mediate or control the teaching. Only Towle’s study in this category utilized a theoretical basis on which to base the outcomes. They used a patient-centeredness framework, where the patient is the teacher, to study a program of interprofessional education using patients as educators, specifically to clarify how the experience and expertise of patients reduce the power imbalance and enhances learning.

39건의 연구 중 환자 파트너가 기관 정책의 지원을 받아 기관 차원에서 참여하는 레벨 6의 증거는 찾지 못했습니다.
We did not find evidence of Level 6 within the 39 studies, whereby patient partners are involved at the institutional level with the support of institutional policies.

 

학습자를 위한 혜택(Kirkpatrick의 교육 평가 수준 사용)
Benefits for learners (using Kirkpatrick’s levels of training evaluation)

9개의 연구는 [Kirkpatrick 레벨 1(교육 중재의 질 또는 수용 가능성에 대한 학습자의 반응)만 보고]하고 교육 중재의 결과에 대한 다른 측면을 평가하지 않은 것으로 평가되었습니다. 이러한 연구는 대체로 의학교육에 환자를 참여시킴으로써 얻을 수 있는 실용성과 이점을 평가하는 타당성 연구였으며, 대체로 환자 중심 진료에 대한 수련의의 인식을 개선하기 위해 환자를 참여시키는 것이 실현 가능하고 실용적이라는 결론을 내렸습니다. 총 29개의 연구에서 레벨 1의 결과를 보고했지만, 다음 텍스트에 설명된 대로 더 높은 수준의 결과를 보고한 연구도 많았습니다.
Nine of the studies were assessed as reporting Kirkpatrick level 1 only (learner reactions to the quality or acceptability of the intervention), and not attempting to assess any other aspect of the outcome of the educational intervention. These were generally feasibility studies which assessed the practicalities and benefits of involving patients in medical education and usually concluded that involving patients was both feasible and practical in attempting to enhance trainees’ perceptions of patient-centered care. In total, 29 studies reported outcomes at level 1, but many also reported further outcomes as described in the following text.

16개 연구는 [Kirkpatrick 레벨 2a(중재 후 태도 또는 인식의 변화)를 보고]했습니다. 이 연구들은 다양한 연구 방법론(RCT, 관찰, 정성적, 사전/사후 테스트)을 사용했습니다. 이 연구 중 5건은 Towle의 분류법 중 4단계 이상에 해당합니다(Gruppen 외. 1996, Farber 외. 2003, Owen and Reay 2004, Towle and Godolphin 2013, Henriksen and Ringsted 2014). 이는 환자가 교사로서, 종종 평가자로서 교육 개입에 깊이 관여했음을 나타냅니다.

• Farber의 연구에서는 암 환자들이 자신의 사례 기록을 활용하여 내과 레지던트에게 '나쁜 소식 속보' 개념을 가르쳤습니다. 이 사전 및 사후 연구에서는 4점 리커트 척도 설문지를 사용하여 환자에게 나쁜 소식을 전하는 것에 대한 11개 항목에 대한 응답을 수집했습니다. 그 결과, 참가자들은 환자에게 희망을 전달하기, 환자의 상태에 대한 초기 이해 확인, 감정 표현 장려 등 세 가지 영역에서 환자에 대한 공감 능력이 향상된 것으로 나타났습니다.
• Owen과 Reay(2004)의 연구에서 소비자는 커리큘럼의 계획, 제공 및 평가의 모든 측면에 참여했습니다. 이 연구의 주요 결과는 소비자 참여자들 사이에서 의학교육에서 인터뷰 기술을 가르치는 정당한 교사로서의 위상을 높였다는 것입니다.

16 studies reported Kirkpatrick Level 2a (modification of attitudes or perceptions following the intervention). These employ different research methodologies (RCT, observational, qualitative and pre/post-test). Five of these studies also reached Towle’s taxonomy of 4 or above (Gruppen et al. 1996; Farber et al. 2003; Owen and Reay 2004; Towle and Godolphin 2013; Henriksen and Ringsted 2014) indicating that the patient was deeply involved in the educational intervention as teacher and, often, as assessor.

• Farber’s study involved cancer patients using their own case histories to teach ‘breaking bad news’ concepts to internal medicine residents. This pre- and post-test study used a four-point Likert scale questionnaire to gather responses to 11 items on giving bad news to patients. The results indicated that the participants gained enhanced empathy towards patients in three areas: ensuring they convey hope to the patient; ascertaining the patient’s initial understanding of their condition and encouraging the expression of feelings.
• In Owen and Reay’s (2004) study consumers were involved in all aspects of the planning, delivery, and evaluation of the curriculum. The main outcome of the study was that it raised the profile amongst participants of consumers as legitimate teachers of interviewing skills in medical education.

[Kirkpatrick 수준 2b(지식 또는 기술 향상)의 결과를 보고]한 15개 연구 중 대다수(14개 연구)는 전통적인 정량적 데이터 수집 방법론인 RCT, 사전/사후 시험 설계 또는 비교 그룹을 사용하여 임상 또는 신체 검사 기술에 대한 참가자의 접근 방식을 측정했습니다.

• Duffy 등(2016)의 RCT에서는 숙련된 산부인과 교육 보조원(GTA)이 의대생에게 부인과 검사 술기 세션을 제공하여 학생들의 지식, 편안함, 자신감이 향상되었음을 보여주었으며, 중재 그룹과 대조 그룹 간 OSCE 총점에는 큰 차이가 없었습니다.
• 나머지 연구(Graham 외. 2014)에서는 투렛 증후군 환자를 대상으로 인터뷰 또는 병력 청취 기술을 연구하기 위해 질적 접근법을 사용했으며, 참가자의 [증후군에 대한 지식]이 향상되고 환자에 대한 [공감과 인본주의적 접근]이 증가했다고 보고했습니다.

Of the 15 studies that reported outcomes at Kirkpatrick level 2b (increased knowledge or skills) the majority (14 studies) measured participants’ approaches to the clinical or physical examination skills using traditional quantitative data capture methodologies – RCTs, pre-and post-test designs or comparison groups.

• Duffy et al’s (2016) RCT involved trained Gynecology Teaching Associates (GTAs) delivering gynecological examination skills sessions to medical students which demonstrated improvements in students’ knowledge, comfort, and confidence, with no significant difference in summative OSCE scores between the intervention and control groups.
• The remaining study (Graham et al. 2014) used a qualitative approach to study interviewing or history taking skills amongst patients with Tourette Syndrome and reported an improvement in participants’ knowledge of the syndrome, along with an increase in empathy and humanistic approach to these patients.

커크패트릭의 환자 또는 사용자 참여 계층 구조에서 3단계 또는 4단계에 해당하는 결과, 즉 기술을 실무에 적용하거나 조직 전반의 실무 변화를 이끌어낸 연구 결과는 보고되지 않았습니다. 일부 연구에서는 중재 후 참가자를 추적 관찰하려고 시도했지만(Anderson and Meyer 1978; Gruppen 외. 1996; Duffy 외. 2016), 참가자와 관련된 결과만 평가했을 뿐 의료 교육에 대한 환자 참여에 대한 조직의 태도나 연구로 인한 환자 혜택에 대한 중재의 이점을 평가하지는 않았습니다.
No studies reported outcomes at levels 3 or 4 of Kirkpatrick’s hierarchy of patient or user involvement – transferal of skills into practice or leading to a change in practice across an organization. Some studies attempted to follow up the participants after the intervention (Anderson and Meyer 1978; Gruppen et al. 1996; Duffy et al. 2016), but only assessed the outcomes relating to the participants – they did not assess the benefit of the intervention on organizational attitudes to patient involvement in medical education or the benefit to patients that resulted from the study.

연구 방법론
Study methodology

대부분의 연구는 포커스 그룹 또는 인터뷰와 같은 [질적 방법론을 사용]했습니다. 이러한 방법론은 개입의 영향에 대한 정량적 분석을 허용하지 않지만, 향후 연구에서 연구 결과를 바탕으로 의학교육에 대한 환자 참여에 대한 보다 명확한 관점을 만들 수 있는 매우 풍부한 경험적 데이터의 원천이 될 것입니다. 이 연구는 전문성, 의사소통, 건강과 질병에 대한 태도, 면담 기술 및 역량, 환자 중심주의, 전인적 치료 등의 문제를 환자 또는 서비스 사용자를 교육 개입에 활용하여 효과적으로 가르칠 수 있는 방법을 보여주었습니다.
The majority of studies used a qualitative methodology – focus groups or interviews. Whilst these do not allow for quantitative analysis of the impact of the interventions they are an extremely rich source of experiential data which will allow future studies to build on the findings and create a clearer perspective on patient involvement in medical education. These studies demonstrated how issues of professionalism, communication, attitude towards health and illness, interviewing skills and competencies, patient-centredness and holistic care could effectively be taught using patient or service users in the educational intervention.

사전 및 사후 연구에서는 몇 가지 기준 측정을 수집한 후 교육이 [학습의 어떤 측면에 영향을 미쳤는지]에 대한 결론을 도출할 수 있었습니다. 그러나 [개입의 어떤 측면이 변화를 가져왔는지]는 밝혀내지 못했습니다. 대조군 설계를 사용한 7개의 연구에서는 환자를 대상으로 한 교육과 일반적으로 사용되는 표준 교육 방법을 비교할 수 있었습니다. Jha 등(2013)을 제외한 모든 연구에서 환자 참여 교육이 적어도 표준 교육 방법만큼 효과적이라는 결론을 내렸습니다.
Pre-and post-test studies collected several baseline measures and were then able to draw conclusions on whether the training had led to an impact on any aspect of learning. However, they do not determine which aspect of the intervention led to the change. The seven studies which used a control group design enabled comparisons to be made between the teaching involving patients and the standard teaching methods normally employed. In all of these, except Jha et al. (2013), the studies concluded that involving patients was at least as effective as standard teaching practices.

무작위 배정 방법은 명시되지 않았지만 RCT로 분류된 연구는 4편에 불과했습니다. 이 중 2건(Hendry 등, 1999; Duffy 등, 2016)은 환자 주도 교육이 학습 결과에 중간 정도의 영향을 미친다고 결론지었고, Jha 등(2015)은 환자 주도 교육이 교수 주도 교육보다 더 효과적이지 않다고 결론지었으며, Humphrey-Murto 등(2004)은 환자 주도 교육이 교수 주도 교육보다 MSK 시험에 더 효과적이라는 사실을 발견했습니다.  
Only four studies classified themselves as RCTs, although the method of randomization was not stated. Of these, two (Hendry et al. 1999; Duffy et al. 2016) concluded that patient-led teaching had a moderate effect on learning outcomes, Jha et al. (2015) concluded that patient-led teaching was no more effective than faculty-led teaching and Humphrey-Murto et al. (2004) found that faculty-led teaching was more effective in MSK examination than patient-led teaching.

학습자 유형 및 상황
Learner type and context

포함된 연구 중 높은 비율(77%)이 학부 의대생만을 학습자 그룹으로 포함했습니다. 이 중 11개는 임상 전 단계, 19개는 임상 단계에 있었습니다. 
A high proportion (77%) of the included studies involved solely undergraduate medical students as the learner group. Of these, 11 were in their pre-clinical years and 19 were in their clinical years.

대학원생의 지속적인 전문 교육에 초점을 맞춘 연구는 6건에 불과했으며, 학부생과 대학원 수련생을 모두 포함한 연구는 2건이었습니다. 
Only six studies focused on the continuing professional education of postgraduates, with two studies including both undergraduate and postgraduate trainees.

임상 전문 분야
Clinical specialty

연구는 근골격계(11개 연구), 장기/만성 건강 상태(10개 연구), 정신 건강(3개 연구), 부인과(3개 연구), 암(2개 연구), 기타 또는 지정되지 않음(11개 연구)의 6가지 주요 임상 전문 분야로 분류할 수 있습니다. 
The studies could be grouped into 6 major clinical specialties: musculoskeletal (11 studies), long-term/chronic health conditions (10 studies), mental health (3 studies), gynecology (3 studies), cancer (2 studies), other or not specified (11 studies).

[근골격계 및 부인과 연구]에서 중재는 일반적으로 응용 기술, 즉 특정 관절 검사 기술을 가르치는 것으로 구성되었으며, 환자는 교육, 평가 및 피드백에 어느 정도 관여했습니다. 14개 연구 중 5개 연구(Gruppen 외. 1996, Kleinman 외. 1996, Bideau 외. 2006, Haq 외. 2006, Duffy 외. 2016)는 질병의 심리적, 기능적 영향에 특별히 중점을 둔 병력 청취 또는 환자 중심의 공감 통합, 학생의 편안함과 자신감 증진 등 단순한 관절 검사 교육 이외의 요소를 구체적으로 탐구하고자 했습니다. 이러한 연구 중 10개의 연구에서 결론은 [훈련된 환자에 의한 술기 교육이 적어도 교수진에 의한 교육만큼 효과적]이라는 것이었지만, 단 하나의 연구에서는 류마티스내과 교수진이 환자 파트너보다 MSK 신체검사를 더 효과적으로 가르친다는 다른 결과가 나왔습니다(Humphrey-Murto 외. 2004). 
In the musculoskeletal and gynecology studies the intervention generally consisted of applied techniques, i.e. the teaching of a specific joint examination technique, with the patient being involved to a greater or lesser extent in the teaching, assessment, and feedback. 5 of the 14 studies (Gruppen et al. 1996; Kleinman et al. 1996; Bideau et al. 2006; Haq et al. 2006; Duffy et al. 2016) specifically sought to explore elements other than simply joint examination teaching: for example, history taking with a special emphasis on the psychological and functional impact of the disease or incorporating patient-centred empathy and increasing student comfort and confidence. The conclusion in 10 of these studies was that skills teaching by trained patients were at least as effective as training by faculty whereas just one study had a different finding and concluded that rheumatology faculty were more effective teachers of the MSK physical examination than patient partners (Humphrey-Murto et al. 2004).

[장기 건강 상태와 관련된 교육]에 환자가 참여하는 것은 10건의 연구의 주제였으며, 학생/수련의가 장기 질환 관리에 대한 환자의 생생한 경험을 탐구하고, 의사-환자 관계를 더 잘 이해하거나, 환자 치료에 대한 학제 간 접근법을 탐구할 수 있도록 하는 것이 그 목적이었습니다. 
Patient involvement in teaching related to long term health conditions was the subject of 10 studies, the purpose of which was to allow the students/trainees to explore patients’ lived experiences of managing a long-term condition, gain a greater understanding of the doctor-patient relationship, or explore interdisciplinary approaches to patient care.

나머지 연구에서는 정신 건강, 심혈관 질환, 당뇨병, 신장 질환을 포함하거나 단순히 의료 사용자의 개인적인 경험과 수련생이 면담 기술, 공감 능력, 환자 중심 치료에 대한 태도를 습득하는 데 도움이 되는 실제 역할에 초점을 맞춘 연구로 건강 상태를 명시하지 않았습니다. 
In the remaining studies, the health conditions included mental health, cardiovascular disease, diabetes, kidney conditions, or simply were not stated as the studies concentrated on the personal experiences of healthcare users and their authentic role in helping trainees gain skills in interviewing techniques, empathy, and attitudes towards patient-centered care.

포함된 연구의 방법론적 품질
Methodological quality of included studies

질 평가 방법에는 보고된 교육의 질을 판단하기 위해 시각적 RAG 순위 시스템을 통합했습니다(방법 섹션 참조). 
The quality assessment method incorporated a visual RAG ranking system to judge the quality of the reported education in question (see methods section).

이론적 토대 측면에서 이 기준을 충족하여 녹색(높은 질) 등급을 받은 연구는 4편에 불과했습니다(Cooper and Spencer-Dawe 2006, Towle and Godolphin 2013, Henriksen and Ringsted 2014, Jha 외. 2015).

• 쿠퍼와 스펜서-도웨는 복잡성 이론을 기본 이론으로 선택했으며, 자기 조직화, 연결성, 출현, 혼돈의 가장자리라는 네 가지 원칙을 사용하여 프로젝트 개발을 안내한 다음 선형성, 예측 불가능성, 자기 조직화, 연결성, 출현의 다섯 가지 영역을 사용하여 논의했습니다(Cooper and Spencer-Dawe 2006).
• Henriksen과 Ringsted는 구성주의 이론을 기반으로 연구를 진행했으며, 환자-교사-학생 간의 권력 균형을 탐구한 이전 모델에서 민감성 개념을 도출했습니다(Henriksen and Ringsted 2014).
• Jha와 동료들은 쿠마가이가 제안한 변혁적 학습의 개념적 틀을 사용하여 환자의 감정적 이야기를 의도적으로 사용하여 교육생의 학습 경험을 향상시키고 학습자가 환자의 관점에서 안전에 대해 더 잘 이해할 수 있도록 했습니다(Jha 외. 2015).
• Towle과 Godolphin은 환자를 교육자로 활용하는 전문가 간 교육 프로그램, 특히 환자의 경험과 전문성이 어떻게 힘의 불균형을 줄이고 학습을 향상시키는지 연구하기 위해 환자 중심주의에 대한 Bleakley와 Bligh 프레임워크를 사용했습니다(Towle and Godolphin 2013).

In terms of theoretical underpinning, only four studies achieved a ranking of green (high quality) for the reporting of these criteria (Cooper and Spencer-Dawe 2006; Towle and Godolphin 2013; Henriksen and Ringsted 2014; Jha et al. 2015).

• Cooper and Spencer-Dawe chose complexity theory as their underpinning theory and the four principles of self-organization, connectivity, emergence, edge of chaos were used to guide the development of the project, which they then went on to discuss using five areas of a-linearity, unpredictability, self-organization, connectivity, and emergence (Cooper and Spencer-Dawe 2006).
• Henriksen and Ringsted based their study on constructionist theory and drew sensitizing concepts from a prior model which explored the power balance between patient-teachers and students (Henriksen and Ringsted 2014).
• Jha and colleagues used the conceptual framework of transformative learning suggested by Kumagai to deliberately use emotional stories from patients to enhance the learning experience of trainees and to provide the learners with a greater understanding of safety from the patient’s perspective (Jha et al. 2015).
• Towle and Godolphin used the Bleakley and Bligh framework of patient-centredness to study a program of interprofessional education using patients as educators, specifically to determine how the experience and expertise of patients reduce the power imbalance and enhances learning (Towle and Godolphin 2013).

[커리큘럼에 대한 설명]은 6개의 연구(Owen and Reay 2004, Bideau 외. 2006, Towle and Godolphin 2013, Arenson 외. 2015, Jha 외. 2015, Duffy 외. 2016)에서 충분히 기술되었지만 나머지 연구에서는 커리큘럼 또는 강의 계획서에 대한 설명이 향후 연구에서 연구를 정확하게 재현하는 데 필요한 깊이나 세부 수준이 부족하다고 느꼈습니다. 마찬가지로 모든 연구에서 개입의 교육법, 환경 및 내용에 대한 충분한 세부 정보가 포함된 것은 아닙니다. Cahill 등(2015), Duffy 등(2016), Jha 등(2015), Owen과 Reay(2004), Towle과 Godolphin(2013)만이 위의 기준에 가장 근접하게 설명했습니다. 이러한 연구들은 각 개입에 대한 요구 사항을 상당히 포괄적으로 설명하여 유사하거나 다른 맥락의 학습자를 대상으로 연구를 복제하여 이론을 테스트하고 개념적 틀을 더욱 발전시킬 수 있습니다. 
Description of the curriculum was sufficiently described in six studies (Owen and Reay 2004; Bideau et al. 2006; Towle and Godolphin 2013; Arenson et al. 2015; Jha et al. 2015; Duffy et al. 2016), but in the remaining studies we felt the description of the curriculum or syllabus lacked the depth or level of detail required for accurate replication of the study in future research. Similarly, not all studies included sufficient details of the pedagogy, setting, and content of the intervention. Only Cahill et al. (2015), Duffy et al. (2016), Jha et al. (2015), Owen and Reay (2004), and Towle and Godolphin (2013) achieved close to an optimum description of the above criteria. These studies describe fairly comprehensively the requirements for each of their interventions so that the study could be replicated with learners in a similar or different context to test their theories and further develop their conceptual frameworks.

토론
Discussion

의학교육에서의 환자 참여에 관한 문헌에 대한 이전 검토(Morgan and Jones 2009)가 발표된 이후, 이 검토에서 확인된 새로운 연구가 최소 18건 이상 있었습니다. 
Since the publication of a previous review of the literature around patient involvement in medical education (Morgan and Jones 2009), there have been at least 18 new studies identified in this review.

교육에 대한 환자/서비스 이용자의 참여 수준과 관련하여, 본 검토에 따르면 많은 수의 연구에서 [이용자가 교육, 평가 및 평가에 기여하고(Towle 레벨 4 - 16개 연구)] [학생들과 직접 경험을 공유하는 것(Towle 레벨 3 - 17개 연구)]의 타당성을 입증하고 있는 것으로 나타났습니다. 향후 연구에서는 환자/서비스 사용자가 더 높은 수준, 즉 교육 커리큘럼 개발, 제공 및 평가에 동등한 파트너로서 참여하는 것을 다루어야 하며, 이는 Towle과 Godolphin(2013), Owen과 Reay(2004)의 연구에서 이것이 가능하고 성공할 수 있음을 보여주었습니다. 
With regard to the level of involvement of patients/service users in education, our review shows that a high number of studies are demonstrating the feasibility of users contributing to teaching, assessing and evaluating (Towle level 4 – 16 studies) and also in sharing their experiences directly with students (Towle Level 3 – 17 studies). Future research should address the involvement of patients/service users at a higher level i.e. as equal partners in developing, delivering and assessing educational curricula, as the studies by Towle and Godolphin (2013) and Owen and Reay (2004) have shown that this is possible and can be successful.

Morgan과 Jones의 검토에 따르면 대부분의 연구에서 학습자의 지식, 기술 및 태도에 즉각적인 영향을 미치는 Kirkpatrick 레벨 2의 결과를 평가하는 것으로 나타났습니다. 이번 검토에서도 비슷한 결과가 나타났는데, 레벨 2(학습에 미치는 영향)의 결과를 평가하는 연구 수가 더 많다는 것은 의학교육자들이 사용자 참여가 학생의 태도와 술기에 미치는 영향을 평가하려고 시도하고 있지만 이러한 [학습을 내재화하는 방법], 즉 실제 행동에 미치는 영향을 입증하여 환자 진료에 변화를 가져오는 방법을 아직 찾지 못하고 있음을 보여줍니다. 
Morgan and Jones’s review found the majority of studies to evaluate outcomes at Kirkpatrick Level 2 – immediate impact on learner knowledge, skills, and attitudes. Our review found similar, with the higher number of studies in our current review which evaluate outcomes at Level 2 (impact on learning) demonstrating that medical educators are attempting to evaluate the impact of user involvement on student attitudes and skills but are still not finding ways to embed this learning, i.e. demonstrate an impact on behavior in practice, and thus make a difference to patient care.

대부분의 연구는 [학부생을 대상으로 진행]되었습니다. 이러한 결과는 서비스 제공과 다방면의 전문적, 관리적, 리더십 개발의 균형을 맞춰야 하는 대학원 교육 커리큘럼의 과중한 부담으로 인해 연구를 통합하기 위해 대학원 교육 프로그램을 재설계할 때 발생하는 문제점을 반영하는 것일 수 있습니다. 또한 환자와 함께 일하는 대학원생에게 환자 참여는 암묵적인 것으로 간주될 수 있기 때문에 이러한 연구는 추진되지 않을 수 있습니다.
Most of the studies were of undergraduates. These findings perhaps reflect the problems in redesigning postgraduate training programs to incorporate research, due to increasingly overburdened curricula in postgraduate education, which need to balance service delivery and multi-faceted professional, managerial and leadership development. Additionally, as patient involvement may be seen as implicit for postgraduates working with patients, such studies may not be pursued.

중재에 대한 실제 1차 연구 보고의 전반적인 질은 좋지 않았습니다. 지난 10년간 발표된 연구 중 절반인 39건이 [실제 개입을 이해하거나 전파할 수 있을 만큼 충분한 내용]을 담은 연구가 1/5도 되지 않는다는 사실은 매우 실망스러운 결과입니다. 이론의 경우, 개입이 특정 방식으로 전개된 방법이나 이유를 이해할 수 있는 근거를 제공하는 수준 높은 연구로 평가된 것은 단 4건에 불과했습니다. 안타깝게도 이는 BEME 리뷰에서 종종 확인되는 이 분야의 만연한 문제이지만, 독자들이 '그래서 뭐냐'고 묻는 연구를 출판하는 데 대한 변명은 되지 못합니다. 물론 이는 왜 연구들이 이러한 주요 결과를 보고하지 않는지에 대한 의문을 제기합니다. 이 질문에 답할 수 있는 세 가지 가능성이 있습니다.

• 첫째, 저자가 단순히 일부 데이터를 발표하지 않기로 결정했을 수 있으며, 이는 잘 보고된 문제입니다(Hoffman 외. 2013).
• 둘째, 출판되지 않은 것은 이론을 고려하지 않았거나 콘텐츠가 의미 있는 방식으로 제작되지 않아 교육의 질이 낮음을 시사하는 등 그러한 고려가 이루어지지 않았기 때문일 수 있습니다.
• 세 번째는 두 가지 모두에 해당할 수 있으며, 출판된 것보다 더 많은 연구가 있지만 저자가 출판할 수 있을 만큼 충분한 수준은 아닐 수도 있습니다. 안타깝게도 증거 기반을 전체적으로 고려할 때는 이용 가능한 것만 고려할 수 있으므로 향후 교육 및 연구 작업에 대한 이 분야의 증거의 유용성이 크게 제한됩니다. 

The overall quality of the actual primary study reporting of interventions was poor. With 39 studies published, half in the last 10 years, the fact that less than a fifth of studies presented sufficient content to allow their actual intervention to be understood or disseminated is extremely disappointing. When it comes to theory, just four studies were judged as high quality, providing underpinning that allows understanding of how or why interventions were deployed in a particular manner. This is, unfortunately, a pervasive problem in the field that BEME reviews often identify, but this is simply not an excuse for publishing studies that leave readers asking ‘so what.’ This, of course, raises the question as to why studies do not report such key outcomes. There are three possibilities in answering the question.

• Firstly, the authors simply may have chosen not to publish some data, a problem well reported (Hoffman et al. 2013).
• Secondly, the lack of publishing may be because such considerations have not been made, with either theory not considered or content not produced in any meaningful way, suggesting low-quality education.
• The third option could be elements of both, with perhaps some more work available than published, but not at a sufficient standard that the authors felt able to publish. Unfortunately, when considering the evidence base as a whole, we can only consider what is available and therefore this significantly limits the utility of the evidence in this area for future teaching and research works.

Cook 등(2008)의 분류의 맥락에서 볼 때, 우리의 초기 '무엇을', '어떻게', '왜'라는 질문에 답할 수 있는 연구는 제한적입니다.

• 이를 차례로 고려할 때, 커리큘럼(무엇을)에 대한 설명은 단 6개의 연구에서, 교육학, 환경 및 개입의 내용은 이 리뷰에서 단 5개의 연구에서 충분히 설명되었습니다(표 3의 RAG 등급 참조). 이러한 간단하지만 중요한 개입의 속성이 없다면, 일차 문헌의 독자는 물론 이 리뷰의 독자가 보고된 개입의 본질에 대한 통찰력을 얻는 것은 불가능합니다. 이는 역설적이지만 안타깝게도 교육 문헌에서 흔히 발견되는 현상입니다(Gordon 2016). 그러나 이는 이 주제의 맥락에서 유용성을 가로막는 더 중요한 장벽이며, 이 분야 전반에 걸쳐 완전히 확립되지 않았고 계속 진화하고 있습니다.

Within the contexts of Cook et al’s (2008) classification, there is limited work to answer our initial ‘what,’ ‘how,’ and ‘why’ questions.

• Considering these in turn, description of the curriculum (what) was sufficiently described in just 6 studies and pedagogy, setting and content of the intervention described in just 5 studies in this review (see RAG ratings in Table 3). Without these simple, but crucial attributes of interventions, it is impossible to readers of the primary literature and in turn readers of this review to have any insight into the nature of the interventions reported. This is a paradoxical, but unfortunately common finding within the education literature (Gordon 2016). But this is a more important barrier to utility in the context of this topic, which is not established fully throughout the field and is evolving.

또한 검토 결과, 특정 개입이 '어떻게' 또는 '왜' 효과가 있는지에 대한 답을 시도한 연구는 거의 없었습니다. 39개의 연구 중 4개 연구만이 연구 결과를 제시하기 위한 근거 이론이나 프레임워크를 설명했습니다. 이러한 연구는 결과를 학습 이론에 매핑하고 개입이 효과가 있는 이유를 설명함으로써 의학교육에 대한 이해를 증진하는 데 필요합니다. 우리가 평가한 연구에 사용된 이론은 복잡성 이론(Cooper and Spencer-Dawe 2006), 구성주의 이론(Henriksen and Ringsted 2014), 변혁적 학습(Jha 외. 2015), 사회문화적 학습 이론(Towle 외. 2014) 등입니다. 이러한 연구는 학습 이론을 교육 프로그램에 적용하여 수련의와 환자 간의 힘의 균형을 맞추고, 환자가 교육 역할을 맡고 수련의는 책임감 있는 유능한 전문가의 역할을 맡지 않고도 환자에게 질문할 수 있도록 하는 방법을 보여주었습니다. 또한, 학습 이론은 공감과 환자 중심주의의 개념을 설명하고 환자와 관련된 교육적 개입에 대한 인문학적 접근이 어떻게 의학의 의미와 의료 개입에 대한 정서적 반응에 대한 이해를 높이고 궁극적으로 학습자가 환자와 더 잘 동일시할 수 있도록 하는지를 보여주는 데 도움이 됩니다. 
Our review also shows that very few studies have attempted to answer the question ‘how’ or ‘why’ a particular intervention work. Of the 39 studies included only 4 of them described an underpinning theory or framework with which to present their findings. Such studies are required to advance our understanding of medical education by mapping outcomes to learning theories and explain why an intervention works. The theories used in the studies we evaluated were complexity theory (Cooper and Spencer-Dawe 2006), constructionist theory (Henriksen and Ringsted 2014), transformative learning (Jha et al. 2015), socio-cultural learning theory (Towle et al. 2014). These studies demonstrated how learning theories can translate into pedagogical programs to create a power balance between trainee and patient, empowering patients to take on a teaching role and the trainee to be able to question patients without needing to be in the role of responsible competent professional. Additionally, learning theories help to explain the concepts of empathy and patient-centredness and demonstrate how a humanistic approach to an educational intervention involving patients can lead to an enhanced understanding of the meaning of medicine and the emotional response to medical intervention and, ultimately, allow learners to better identify with the patient.

의료 교육에서 서비스 사용자의 참여 범위가 증가하고 있다는 분명한 증거가 있습니다. 이러한 연구에 참여한 여러 기관에서 환자 또는 서비스 사용자의 의료 교육 참여를 보장하기 위해 [공식적인 사용자 참여 그룹을 설립]했다는 점은 고무적입니다. 위스콘신 대학교(Arenson 외. 2015)는 2007년부터 건강 멘토 프로그램을 교육에 통합하고 있으며, 태즈메이니아의 론체스톤 임상학교(Barr 외. 2014)는 8년 이상 환자 파트너 프로그램을 설립했고, 리버풀 대학교는 의료 교육에서 사용자 참여에 핵심적인 역할을 하는 보호자 및 서비스 사용자 포럼(FOCUS) 그룹을 운영하고 있습니다(Cooper and Spencer-Dawe 2006). 환자 또는 사용자 참여를 촉진하기 위해 유사한 공식 그룹을 운영하는 다른 기관으로는 코펜하겐 대학교(Henriksen and Ringsted 2014), 네브래스카 대학교(Hinners and Potter 2006), 노스캐롤라이나 의과대학(Kleinman 외. 1996), 호주 퀸즐랜드 대학교(Lane 외. 2015), 애리조나 대학교(Mohler 외. 2010), 시드니 대학교(Owen and Reay 2004), 브리티시 콜롬비아 대학교(Towle and Godolphin 2013; Towle 외. 2014) 등이 있습니다.
There is clear evidence of an increased range of service user involvement in medical education. What is encouraging to note is that several institutions in these studies have established formal user engagement groups to ensure patient or service user involvement in medical education. The University of Wisconsin (Arenson et al. 2015) has been incorporating the Health Mentors Program into their teaching since 2007, the Launceston Clinical School in Tasmania (Barr et al. 2014) has established a Patient Partner program for over 8 years, the University of Liverpool has a Forum of Carers and Users of Services (FOCUS) group which plays a key role in user involvement in healthcare education (Cooper and Spencer-Dawe 2006). Other institutions which have similar formal groups to promote patient or user involvement are the University of Copenhagen (Henriksen and Ringsted 2014), the University of Nebraska (Hinners and Potter 2006), North Carolina Medical School (Kleinman et al. 1996), University of Queensland, Australia (Lane et al. 2015), University of Arizona (Mohler et al. 2010), University of Sydney (Owen and Reay 2004), University of British Columbia (Towle and Godolphin 2013; Towle et al. 2014).

이전 출판물(Department of Health 2007, Morgan and Jones 2009, Spencer et al. 2011)의 결과를 반영하여 학생과 수련의의 교육 및 평가에 환자를 참여시키면 몇 가지 이점이 있다는 것을 발견했습니다.

• 학습자의 경우 환자 중심 진료와 질병이 일상생활에 미치는 영향에 대한 인문학적 측면에 대한 이해가 향상되고, 검사 및 병력 청취 기술에 대한 자신의 지식에 대한 자신감이 높아지며 환자/서비스 사용자가 참여하는 세션이 즐겁다고 보고했습니다.
• 환자들은 자신의 개인적인 경험을 의료 교육에 활용함으로써 만족감을 느끼고 자신의 건강이나 질병에 대한 지식에 대한 자신감이 높아지는 등의 이점을 누릴 수 있습니다.

Reflecting the findings of previous publications (Department of Health 2007; Morgan and Jones 2009; Spencer et al. 2011) we have found that involving patients in the teaching and assessing of students and trainees has several benefits:

• for learners their understanding of patient-centered care and the humanistic aspect of the impact of illness on everyday life is enhanced,
• they report greater confidence in their own knowledge of examination and history taking skills and they enjoy sessions where patients/service users are involved.
• The benefits for patients include satisfaction from using their personal experiences in medical education and greater confidence in their knowledge of their own health or illness.

물론 이 분야의 연구를 설계하는 데에는 어려움이 있습니다. 

• 환자 교육자를 식별, 모집, 교육 및 유지하는 현실적인 문제 외에도
• 결과 측정에 대한 명확성이 부족하고,
• 어떤 종류의 영향을 결론 내릴 때 고려해야 할 변수가 많으며,
• 관찰된 행동이 아닌 참가자의 인식에 기반한 연구일 때 결론의 강도,
• 교수진이 전문가로서의 역할을 포기하는 것을 꺼려할 수 있기 때문입니다.

There are, obviously, difficulties in designing research studies in this field.

• Apart from the practicalities of identifying, recruiting, training and maintaining patient educators,
• there can often be a lack of clarity on outcome measures,
• the multitude of variables which need to be considered in concluding any kind of impact,
• the strength of conclusions when studies are based on participants’ perceptions rather than observed behavior and
• the possible reluctance of faculty in relinquishing their role of expert.

서비스 사용자 작성자는 이 데이터의 종합과 해석에 핵심적인 역할을 했으며, 최종 원고의 내용, 결과 및 형식에 대한 여러 논의에 참여했습니다. 이러한 논의에서 나온 몇 가지 핵심 사항은 다음과 같습니다. 자금 조달은 중요한 문제이며 일부 연구에서만 언급되었습니다. 일부 의학교육 기관에서는 [시간 또는 발생 비용에 대한 보상]을 제공하지만, 예산이 제한되어 있기 때문에 현실적으로 달성할 수 있는 참여의 양이 줄어들 수 있습니다. 또한 서비스 사용자가 시장 가격으로 비용을 지불하는 경우 '전문 서비스 사용자 및 환자'로 분류되지 않아야 하나요? [급여를 지급하지 않는 것]은 긍정적인 결과와 부정적인 결과를 모두 가져올 수 있습니다.

• 긍정적인 측면은 대학 내 환자/서비스 사용자 대표의 수가 증가할 수 있다는 것입니다. 다양한 질환과 배경을 가진 환자들이 독립적으로 고려되는 가운데 그들의 고유한 목소리와 아이디어, 의견을 들을 수 있습니다.
• 의과대학의 변덕스러운 자금 지원과 같은 부정적인 측면은 '환자/서비스 사용자가 회의에 참석할 필요가 없다는 사실을 짧은 시간에 통보받는 것'을 의미할 수 있습니다. 이는 신뢰성에 대한 의문을 불러일으키고 학생들의 학습 기회에 영향을 미칠 수 있습니다.
• 또 다른 중요한 측면은 자금 지원이 환자의 국가 혜택에 미치는 영향인데, 일부 중앙 정부는 이러한 수입을 부정적으로 보고 참여에 불이익을 줄 수 있는 부정적인 압력을 가할 수 있습니다. 이는 각 대학의 지역적 맥락에서 고려해야 합니다.

Our service user authors were integral in the synthesis and interpretation of this data and were involved in several discussions about the content, findings, and format of the final manuscript. There were several key points that came from these discussions that are relevant. Funding is an important issue and is mentioned in only a few of the studies. Payments for time, or for incurred expenses are offered by some medical education institutions and, due to the limited amount of budget available, can sometimes curtail the amount of involvement realistically achievable. Additionally, if service users are paid at the market rate, should they not be classed as a ‘professional service user and patient?’ Nonpayment can also have both positive and negative outcomes.

• The positive being that numbers of patient/service user representatives within the universities may increase. Enabling patients with diverse conditions and backgrounds can ensure their unique voice, ideas and opinions are heard, whilst they are considered to be independent.
• Negative aspects, such as capricious funding arrangements in medical schools may mean ‘patients/service users are informed at short notice, that they are not required to attend meetings.’ This leads to questions around authenticity and will impact on the opportunity for learning for the students.
• Another important aspect is the impact of funding on patients’ state benefits, with some central government sources viewing such income negatively and in turn creating a negative pressure that would penalize involvement. This must be considered in the local context of each university.

의과대학 내 기존 및 오랜 관행으로 인해 환자/서비스 사용자의 교육 참여에 대한 [토큰주의적 접근 방식]이 종종 나타날 수 있습니다. 출판된 문헌의 종합적인 합계인 Towle 결과물에 초점을 맞추는 것은 이러한 주관적인 시각을 불식시키는 데 거의 도움이 되지 않습니다. 사용자 저자들의 경험에 따르면, Towle 분류체계의 2단계 또는 3단계에 참여하면 [지원자(환자)]가 학습 경험의 진정한 파트너가 아니라 '찌르고 찔러야 하는 살아있는 몸'처럼 느낄 수 있습니다. 환자들은 자신의 질환에 대한 풍부한 지식과 서비스 경험으로 독특한 관점을 제공할 수 있으며, 이는 의료 교육에 대한 총체적이고 인본주의적인 접근 방식을 제공할 수 있습니다. 이러한 진정성을 바탕으로 파트너십을 구축하고 이를 통해 얻을 수 있는 프레임워크를 구축하는 것은 문헌에서 아직 명확하게 안내하지 않는 부분이며, 이러한 방법의 사용을 늘리려는 비전을 가진 사람들은 여전히 어떻게 해야 할지에 대해 고민하고 있습니다. 
Due to existing and long-standing practices within medical schools, there can often appear to be a tokenistic approach to patient/service user involvement in education. The focus of Towle outcomes in what is the synthesized sum of published literature does little to dispel this subjective view. The experiences of our user authors are that involvement at levels 2 or 3 of Towle’s Taxonomy can leave such volunteers feeling like ‘a live body to be poked and prodded’ rather than an authentic partner in the learning experience. Patients have a wealth of knowledge about their own conditions and experiences of services which can give a unique perspective – offering a holistic and humanistic approach to medical education. Building a framework to work in partnership and gain from this authenticity is something the literature clearly still does not guide, leaving those with the vision to increase the use of such methods still left asking how to do this.

교육은 또한 환자/서비스 사용자 참여의 중요한 측면으로, 환자에게 필요한 것이 무엇인지 더 잘 이해할 수 있게 해주고 강점이나 약점을 강조하여 해결할 수 있습니다. 그러나 연구에 포함된 연구들에서 교육 내용, 시기 및 자금에 관한 결정을 주로 내리는 것은 [교수진]입니다. 이는 궁극적인 최종 업무 관계에 분명히 영향을 미치므로 더 높은 수준의 참여를 원하는 경우 이를 고려해야 합니다. 
Training is also an important aspect of patient/service user involvement – it gives patients a better understanding of what is required of them and it can highlight any strengths or weaknesses which can then be addressed. However, in the studies included it is the faculty members who mostly made the decisions regarding the content, timing, and funding of training. This clearly has an impact on the ultimate end working relationship and should be considered for those looking to achieve higher levels of involvement.

검토의 한계
Limitations of the review

이 체계적 문헌고찰에는 몇 가지 한계가 있습니다. 번역 서비스가 제공되지 않아 영어 논문으로만 검색이 제한되었습니다. 환자 중심 치료 및 의료 교육에 대한 환자/서비스 사용자의 참여를 설명하는 데 사용되는 용어에 대한 일관성이 부족하다는 점도 아쉬운 제약 조건이었습니다. 모든 종합에서 항상 요구되는 것처럼, 실용적인 판단을 내려야 했고, 저자의 검토 내 동의 수준을 측정해야 했습니다. 그러나 관련성이 있을 수 있는 특정 논문이 포함되지 않았을 가능성이 있습니다. 이와 관련하여, 이 리뷰에는 종이 기반 또는 전자 시나리오를 포함하지 않기로 실용적인 결정을 내렸습니다(Towle의 분류법 레벨 1). 또한 이 검토는 포함된 연구의 방법론적 품질, 특히 이론적 개념, 교육학 및 커리큘럼에 대한 세부적인 보고의 부족으로 인해 제한되었습니다. 이로 인해 연구 결과를 어떤 형태로든 종합할 수 없었습니다. 
This systematic review has several limitations: the search was restricted to the English language only articles due to a lack of availability of translation services. A frustrating constraint was the lack of consistency over the terminology used to describe patients/service users involvement in patient-centered care and medical education. As is always required in any synthesis, pragmatic judgments had to be made, as well as a measurement of the author’s level of agreements within the review. However, it is possible that certain papers were not included that may be relevant. Related to this, a pragmatic decision was made to not include paper-based or electronic scenarios within this review (Level 1 of Towle’s Taxonomy). The review is also limited by the methodological quality of the included studies pertaining to the lack of detail in reporting – particularly around theoretical concepts, pedagogy, and curricula. This precluded any form of synthesis of the outcomes of the studies.

교육에 대한 시사점
Implications for teaching

이 리뷰는 '정당화' 연구를 통해 환자/서비스 사용자가 가르치는 것이 적어도 교수진이 가르치는 것만큼 효과적일 수 있음을 보여주었습니다. 또한 환자와 의료 서비스 소비자는 자신의 질병에 대한 풍부한 지식을 가지고 있어 학습자의 태도, 지식 및 공감을 크게 향상시킬 수 있지만 이러한 전문 지식을 교육 프로그램에 가장 잘 활용할 수 있는 정도는 아직 밝혀지지 않았습니다. 분명한 것은 환자가 주도하는 교육 기회는 [신체 검사 기술, 상담 및 병력 청취, 전문가 간 교육, 질병과 함께 사는 경험, 파트너와 가족에게 미치는 영향, 환자/전문가 관계의 변화하는 역학(환자 역량 강화)] 등 [다양한 주제]를 다룰 수 있다는 것입니다. 많은 증거를 통해 Towle의 분류체계의 어떤 수준에서도 사용자의 참여를 방해하는 [실제 상황적 또는 학습자적 요인이 없음]을 명확히 확인했습니다. 이는 저자 팀, 특히 이 리뷰의 사용자 작성자의 관점에서 볼 때 독자들이 반드시 고려해야 할 핵심 메시지라고 생각했습니다. 
This review has shown, through ‘justification’ studies, that teaching by patients/service users can be at least as effective as teaching by faculty. In addition, patients and consumers of healthcare services have a rich knowledge of their own illnesses which can greatly enhance learners’ attitudes, knowledge, and empathy but the extent to which this expertise could best be employed in educational programs is yet to be discovered. What is clear is that patient-led teaching opportunities can cover a diverse range of topics, including physical examination skills, consultation and history-taking, inter-professional education, the experience of living with an illness, the effect on partners and families, and the changing dynamic of patient/professional relationships (patient empowerment). The large body of evidence has clearly identified there are no real contextual or learner factors that prevent the involvement of users at any level of Towle’s Taxonomy. This is a key finding and from the perspective of the author team and specifically the user authors on this review, they felt it as a takeaway message that must be considered by readers.

그러나 독자들은 증거 기반이 종합할 수 있는 모든 면에서 제한적이라는 점도 분명히 알아야 합니다. 이 교육 방법의 이점을 입증하기 위한 최적의 환자 참여 수준을 결정할 수 없었고, 콘텐츠, 교육학 및 커리큘럼에 대한 세부 정보가 부족하여 이러한 연구 중 상당수를 정확하게 복제할 수 없었습니다. 마찬가지로, 개입의 어떤 측면이 누구에게, 어떤 상황에서, 가장 효과적으로 효과가 있었는지, 특히 사용자 관점에서 참여 유형을 최적화하여 최적의 관계를 보장하는 방법을 파악할 수 없었습니다. 내용이나 이론에 대한 광범위한 증거를 제시할 수는 없지만, 임상 교사들이 이 분야의 제한된 양질의 증거를 보고한 결과의 관련 부분을 고려하고 이를 현지에서 자료를 생산하기 위한 출발점으로 삼을 것을 제안합니다.
However, it should also be apparent to readers that the evidence base is limited in all ways it can be synthesized. We were not able to determine an optimum level of patient involvement to demonstrate benefits of this method of teaching and the lack of detail of content, pedagogy, and curricula preclude many of these studies being replicated accurately. Similarly, we were unable to identify which aspects of the interventions worked most effectively, for whom, in what circumstances and in particular how to optimize the type of involvement from the user perspective to ensure an optimal relationship. We cannot give extensive evidence of content or theory, however, would suggest clinical teachers consider the relevant sections of the results that do report the limited high-quality evidence in this area and use this as a starting point for local production of resources.

추가 연구를 위한 시사점
Implications for further research

이 체계적 문헌고찰은 맥락과 학습 과정을 탐색하여 결과를 학습 이론 개념에 매핑하고 개입이 효과가 있는 이유를 설명함으로써 의료 교육에서 사용자 참여에 대한 이해를 증진하는 데 필요한 교육적으로 강력한 연구가 부족하다는 점을 강조했습니다. 이는 향후 중점적으로 연구해야 할 핵심 영역으로, Towle과 같은 프레임워크의 맥락에서 [수행한 작업과 이러한 선택이 이루어진 이유를 구체적으로 설명]하는 연구입니다. 이는 연구 조사 방법론에 달려 있는 것이 아니며, 비록 미흡하지만 이 문제를 해결하는 데 필수적인 요소는 아닙니다. 대신 저자는 자신이 ['무엇을' 가르쳤는지를 충분히 제시하는 방식으로 교육을 제시]하기만 하면 됩니다. [학습 목표, 제작된 콘텐츠, 커리큘럼 맵, 심지어 제작을 지원하기 위해 사용된 이론적 또는 개념적 요소]까지 제시하는 것은 비용이 많이 들거나 어렵지 않습니다. 이러한 보고는 의학교육에서 환자를 가장 잘 활용할 수 있는 방법에 대한 증거적 합의를 형성하기 시작할 수 있습니다. 
This systematic review has highlighted a lack of educationally robust studies which are needed to advance our understanding of user involvement in medical education by exploring context and learning processes which would then map outcomes to learning theory concepts and explain why an intervention works. This is a key area for future focus, with studies specifically describing what they have done in the context of a framework, such as Towle’s, as well as why these choices were made. This is not hinged on the methodology of investigation of studies, which while poor, is not integral to meeting this concern. Instead, authors simply need to present their education in a manner that fully presents ‘what’ teaching they have done. It is not costly or difficult to present learning objectives, content produced, curriculum maps and even the theoretical or conceptual elements employed to support production. Such reporting may then to start to form an evidential agreement as to how patients are best employed within medical education.

또한 [학습 이론을 채택한 연구]는 환자/사용자 참여의 다양한 측면의 가치를 더 명확하게 파악할 수 있게 해줍니다.

• 경험을 공유하여 환자 중심의 진료를 유도하거나,
• 학습자의 대인관계 기술에 대한 즉각적인 피드백을 제공하여 의사소통 및 병력 기록 기술을 향상시키거나,
• 자신의 상태에 대한 지식을 활용하여 교수진 대신 전문가 교육을 제공하는 등

[학습자가 자신의 역할을 어떻게 인식하는지, 참여를 통해 무엇을 얻는지] 등 [학습자의 관점에서 결과]를 측정하는 것도 필요합니다. 마지막으로, 항상 [가치value]를 고려해야 하며, 이러한 참여를 촉진하는 데 직간접적으로 [필요한 리소스에 대한 보고]가 필수적입니다. 이러한 요소 중 어느 하나라도 향후 논문을 작성하는 데 큰 방해가 되어서는 안 되며 증거 기반에 큰 영향을 미칠 수 있다는 점에 유의할 필요가 있습니다. 

Studies also adopting learning theories would enable a clearer picture of the value of the different aspects of patient/user involvement –

• whether this is to elicit patient-centered care by sharing their experiences,
• to improve communication and history-taking skills by giving immediate feedback on learners’ interpersonal skills, or
• by using their knowledge of their own condition to give expert instruction in place of faculty educators.

Measuring outcomes from the perspective of the user is also needed, such as how they perceive their role and what they gain from involvement. Finally, the value must always be considered and reporting on the resources directly or indirectly needed to facilitate such involvement is vital. It is worth noting that none of these elements should massively encumber writers of future papers and could hugely impact the evidence base.

결론
Conclusions

최근 의학교육에서 환자의 참여를 탐구하는 논문이 증가하고 있음에도 불구하고 이러한 보고서가 학계나 교육 분야를 발전시키지 못하고 있습니다. 이 연구들은 다양한 참여 방법을 탐구하고 환자 또는 서비스 사용자를 교육 개입에 참여시킬 수 있는 가능성을 보여줍니다. 연구 결과에 따르면 환자 참여는 실용적인 임상 기술, 병력 청취 및 면담 기술, 의사소통 및 공감에 대한 인식을 효과적으로 전달할 수 있으며, 학습자가 전체적인 치료에서 환자 중심의 관점을 탐구할 수 있도록 함으로써 의학 교육을 풍부하게 할 수 있습니다. 그러나 교육기관 수준에서 또는 실제로 교육 커리큘럼을 설계하는 수준에서 환자가 참여하는 정도는 개선되지 않았습니다. 또한 이러한 개입의 결과도 진전되지 않았습니다. 환자의 참여가 교육적 맥락에서뿐만 아니라 전문적인 실무에서도 학습자에게 도움이 된다는 증거가 필요합니다. 또한 교육학에 대한 보고도 부족합니다. 

Despite a recent increase in the number of publications exploring patient involvement in medical education, these reports fail to move the scholarly or teaching field forward. The studies explore a wide range of methods of involvement and demonstrate the feasibility of involving patients or service users in educational interventions. They show that patient involvement can effectively deliver practical clinical skills, history taking and interview skills, enhanced perceptions of communication and empathy, and can enrich medical education by allowing learners to explore patient-centered perspectives in holistic care. However, the extent to which patients are involved at an institutional level or, indeed, at the level of designing educational curricula, has not improved. Nor has the outcomes of these interventions progressed. We need to see evidence of patient involvement benefitting learners not just in an educational context, but in professional practice. There is also a lack of reporting of pedagogy, content, curricula or any other key elements that facilitate dissemination or replication of research methods to involve patients and service users. Future studies must be underpinned by clear and relevant theory, implemented with appropriate pedagogy and reported in a fashion that supports evidence-based replication and dissemination of patient and service users in medical education.

 

---

 

 

Med Teach. 2020 Jan;42(1):4-16. doi: 10.1080/0142159X.2019.1652731. Epub 2019 Sep 13.

 

Patient/service user involvement in medical education: A best evidence medical education (BEME) systematic review: BEME Guide No. 58

Morris Gordon 1 2, Simon Gupta 2, Debra Thornton 2, Michael Reid 2, Ernie Mallen 1, Angela Melling 1

Affiliations collapse

1School of Medicine, University of Central Lancashire, Preston, UK.

2Families Division, Blackpool Teaching Hospitals NHS Foundation Trust, Blackpool, UK.

PMID: 31518544

DOI: 10.1080/0142159X.2019.1652731

Abstract

Background: The extent to which patients and service users are involved in medical education varies widely. There is a need for an up to date systematic review of the literature that examines what involvement (description), the potential outcome of such involvement (justification) and 'why' such involvement impacts students (clarification).Methods: Systematic searches of four databases were undertaken. Citations were screened and consensus reached for inclusion/exclusion of studies. Quality of study design and interventional presentation were assessed.Results: Of the 39 studies included in the review, 4 studies were encounter based, 17 sharing experiences, 16 with patients involved in teaching, 2 studies describing consumers as tutors, and none with involvement at the institutional level. Outcomes in terms of benefits to learners included increased empathy and understanding of illness as experienced by patients, improved communication with patients and a greater understanding of patient-center care. Educational quality assessment showed specific weaknesses in theoretical underpinning, curriculum outcomes, content or pedagogy.Conclusions: Patients can enrich medical education by allowing learners to explore patient-centered perspectives in holistic care. For educators this review highlights the lack of an underpinning conceptual basis for which to translate theory into practice.