의학교육에서 학술연구경험에 대한 실재주의적 리뷰 (Med Educ, 2020)

의학교육에서 학술연구경험에 대한 실재주의적 리뷰 (Med Educ, 2020)
A realist review of scholarly experiences in medical education
Marian Cornett1 | Claire Palermo1 | Megan J. Wallace2,3 | Basia Diug4 | Bernadette Ward5

 

 

1 소개
1 INTRODUCTION

지난 10년 동안 의과대학은 핵심 교육의 일부로 [연구 방법]과 [증거 기반 의학]을 점점 더 많이 통합해 왔다.1 수업을 통해 연구 방법을 가르치는 것 외에도, 수많은 기관들이 [학문적 경험]을 수용하고embrace 있다. 세계적으로, 학문적 경험은 기관마다 다르며 종종 학문적 위치, 학문적 프로젝트, 학문적 집중 또는 학문적 집중이라고 불린다. 우리는 '학술 경험scholarly experience'이라는 용어를 여러 의과대학에서 사용하는 다양한 용어를 포괄하기 위해 매우 중요한 용어로 사용해 왔다. 이러한 경험은 [독립적인 학습]을 육성하고, [핵심 연구 스킬을 개발하는 것]을 목표로 한다.1 연구 방법 훈련은 증거 기반 의학의 평생 실습을 가능하게 하고 학문적 또는 연구 활동적 임상의의 비율을 증가시키기 위한 의료진의 준비에 매우 중요한 것으로 인식되어 왔다. 
Over the last decade, medical schools have been increasingly incorporating research methods and evidence-based medicine as part of their core teaching.1 In addition to teaching research methods via coursework, numerous institutions have embraced scholarly experiences.1, 2 Globally, scholarly experiences differ between institutions and are often termed, scholarly placements, scholarly projects, scholarly intensives or scholarly concentrations.1 We have used the term ‘scholarly experiences’, as an over-arching term to encompass the various terminologies used by different medical schools. These experiences aim to foster independent learning and develop key research skills.1 Research methods training has been recognised as critical for the preparation of the medical workforce to enable the lifelong practice of evidence-based medicine and to increase the proportion of scholarly or research-active clinicians.1, 3

[학문 활동Scholarly activity]은 [특정 주제에 대한 상세하고 사려 깊은 조사]로 정의된다. [학문적 경험]은 학생들이 학문적 기술을 개발할 수 있도록 지원하는 광범위한 단기 및 장기 경험이다. 예를 들어, 여기에 포함되는 기술에는 한 분야에서 더 깊은 지식을 얻고, 새로운 지식을 창조하며, 학습 평가를 하고, 자기 주도 학습과 구술 및 문서 커뮤니케이션 기술을 습득 등이 있다.

Scholarly activity is defined as a detailed and a thoughtful examination of a subject.4 Scholarly experiences describe a range of short- and long-term experiences that support students to develop scholarly skills, for example, gaining a greater depth of knowledge in a field, creating new knowledge, learning evaluation and, self-directed learning and oral and written communication skills.5 

[학문적 경험]대한 접근법은 단일하지 않다. 이들은 내용 및 학습 성과와 감독 상호작용이 다양하며 기간(몇 주에서 몇 년)을 포함한 다양한 특성을 가지고 있다.

• 일부 경험은 선택적 또는 자발적 경험에 비해 커리큘럼에 전념하는 시간이 필수적입니다.1 이러한 특성은 필요한 인프라 수준, 경험의 내용과 집중, 감독 준비 및 책임뿐만 아니라 커리큘럼 내의 위치에도 영향을 미칩니다. 예를 들어,
  • 어떤 학생들은 그들의 학문적 경험을 위해 주제를 선택하고, 개별적으로 또는 그룹의 일부로서 경험에 참여한다.
• 일부 학문적 경험은 연구 (실험실 또는 임상)에만 초점을 맞춘다;
  • 반면 어떤 학문적 경험의 범위는 더 넓어서, 공공 보건, 의료 교육, 문헌 검토, 커뮤니티 프로그램 등에 초점을 맞춘 경험을 포함한다.
• Supervision arrangement에는 학술 연구 스텝, 멘토 또는 임상 감독관이 포함되며, 학생 지도감독에 대한 시간은 할당되기도 하고, 그렇지 않기도 한다.

There is no one singular approach to these experiences. They have varying characteristics, including duration (from a few weeks to several years),6, 7 with varying content and learning outcomes and supervisory interactions.8, 9 

• Some experiences are compulsory with dedicated time in the curriculum versus elective or voluntary experiences.1 These characteristics affect the level of infrastructure required, the content and focus of the experience, supervision arrangements and responsibility, as well as the position within the curriculum. For example,
  • some students can choose the topic for their scholarly experience8, 9 and work individually or as part of a group.10 
• Some scholarly experiences remain solely focused on research (laboratory or clinical);
  • however, others have a broader scope and include experiences focussed on quality improvement, public health and medical education, literature reviews and community programmes.11 
• Supervision arrangements include academic research staff, mentors or clinical supervisors.12-14 with time allocated (or not) for student supervision.15, 16

의학에 대한 학문적 경험이 광범위한 활동을 포함하는 것으로 인정되지만, 현재까지 의대생 학문적 경험에 대한 연구는 주로 다음에 초점을 두고 있다.

• 연구 성과물(예: 동료 검토 출판물, 포스터, 컨퍼런스 프레젠테이션), 
• 연구에 대한 관심/참여(예: 박사 등록)
• 학생들의 학술적 경험에 대한 만족감

While scholarly experiences in medicine are acknowledged as encompassing a broad range of activities,5 to date, the research about medical student scholarly experiences has largely focused on

• research outputs (eg peer-reviewed publications, posters, conference presentations),
• subsequent interest/participation in research (eg PhD enrolments) or
• student satisfaction with their scholarly experience.

2017년 학술적 경험에 대한 체계적인 검토는 내부 프로젝트 보고서를 완료하거나 공동저자/첫 번째 저자의 동료 검토 출판물, 교수진 및 국가 또는 국제 컨퍼런스에서 포스터 및 구두 프레젠테이션을 수행한 학생의 비율 측면에서 결과를 보고했다.1 학문적 경험이 [어떻게 학문적 기술을 쌓는지]에 대한 복잡성을 탐구하는 연구는 없었고, 학문적 경험이 어떻게 다양한 결과를 가져오고, 어떤 상황에서 어떤 결과로 이어지는지를 탐구하는 어떠한 증거도 없었다.

A 2017 systematic review of scholarly experiences reported outcomes in terms of the proportion of students who completed internal project reports or had co-authored/first-authored peer-reviewed publications, undertaken poster and oral presentations to faculty and at national or international conferences.1 There has been no research exploring the complexities of how the scholarly experiences build scholarly skills nor has there been any evidence syntheses that explores how scholarly experiences lead to a range of outcomes and under what circumstances.

교육은 평가하기가 어렵기로 악명높다. [학문적 경험] 역시 그것이 구현되는 [다양한 설정과 구조와 결합되며, 시간의 경과에 따라 지속적으로 변화]하기 때문에, 본질적으로 [학습 목표 및 관련 학술적 성과물 달성과 관련된 특성]을 식별하기 어렵게 만들었다. Havnaer 등에 의해 개발된 로직 모델에 따르면

• 입력(시간, 돈, 시설, 장비 및 기술)이
• 활동(학생 학술 작업, 감독, 학사 감독, 관리자 지원)과 연관되어
• 산출물(학생 수, 시간 및 직원 시간)을 내고, 궁극적으로는
• 결과물(연구 지식, 기술, 태도, 행동과 학술적 결과물)을 만들어낸다.

Education is notoriously difficult to evaluate, and combined with the diverse settings and structures in which scholarly experiences are implemented, changes over time17 have made it inherently difficult to rigorously identify the characteristics that are associated with achieving learning objectives and associated scholarly outputs. The logic model, developed by Havnaer et al,1 suggests

• inputs (time, money, facilities, equipment and technology) are associated with
• activities (student scholarly work, supervision, academic oversight, administrator support) to achieve
• outputs (student numbers, hours and staff time) and ultimately
• outcomes (research knowledge, skills, attitudes, behaviours and scholarly outputs).

[학문적 경험]이 어떻게 [학문적 산출물]로 이어지는지를 설명하는 다른 문헌과 결합한다면, 이 로직 모델은 [학문적 경험의 평가에 정보를 제공하고, 이러한 요소들이 경험에서 어떻게 운영되는지, 그리고 학문적 경험 결과 달성에 미치는 영향을 탐구하기 위한] 예비 이론preliminary theory 이다. 중요한 다음 단계는, 로직 모델을 하나의 이론으로 검증하는 것이다.

Combined with other literature that describes scholarly experiences leading to scholarly outputs,2, 5, 18 this logic model is a preliminary theory to inform evaluations of scholarly experiences, explore how these factors are operationalised across experiences and their influence on achieving scholarly experience outcomes. Testing the logic model as a theory is an important next step.

이 리뷰는 의대생들의 학문적 경험이 어떻게, 왜, 어떤 상황에서 결과를 도출하는지 이해하기 위해 현실주의 접근법을 사용하여 기존 문헌을 종합하는 것을 목표로 한다. 보다 구체적으로, 다음과 같은 질문에 답하고자 하였다. 

의대생들의 학문적 경험은 왜, 어떻게, 어떤 상황에서 다양한 결과를 낳는가?

This review aims to synthesise existing literature using a realist approach to understand how, why and in what circumstances medical student scholarly experiences produce outcomes. More specifically, the review sought to answer the question:

‘Why, how and under which circumstances do medical student scholarly experiences produce a range of different outcomes?’

2 방법
2 METHODS

2.1 연구 설계
2.1 Study design

현실주의 검토인 연구 설계는 Pawson's five stages of realist review를 따랐다.

• (a) 범위 명확화(개념 마이닝 및 이론 개발),
• (b) 증거 검색,
• (c) 연구 선택,
• (d) 데이터 추출,
• (e) 데이터 합성

보고는 RAMESES를 따랐다.  
The study design, a realist review, was guided by Pawson's five stages of realist review:

• (a) clarifying scope (concept mining and theory development);
• (b) searching for evidence;
• (c) study selection;
• (d) data extraction; and
• (e) data synthesis,

19, 20 and was reported following the Realist and Meta-narrative Evidence Synthesis: Evolving Standards (RAMESES) for realist syntheses.21 

검토에 대한 현실주의 접근법은 [복잡한 개입이 왜 작동하고 왜 작동하지 않는지 이해]하기 위해 문헌을 검토하는 체계적인 접근 방식을 취한다. 19 현실주의 접근법은 이론 주도적theory-driven이어서, 이론의 개발이 이 과정을 시작부분부터 가이드한다.

• 개입Intervention은 [메커니즘의 작용을 통해 결과를 이끌어내기 위해 제안된 프로그램 또는 실험]이며, 현실주의 접근 이론은 이러한 기본 메커니즘을 식별하고 설명하는 것을 목표로 한다. 개입과 기본 메커니즘 사이의 관계와 개입의 결과는 복잡하고 미묘한데 맥락적 변화에 민감하다.19
• 맥락Contexts은 물질적 자원과 사회적 구조 또는 특정 환경 내의 요소일 수 있다. 맥락은 또한 개입, 이해관계자 상호 관계, 제도적 준비 또는 더 넓은 문화적, 경제적 및 사회적 환경에 참여하는 개인을 지칭할 수 있다.
• 메커니즘Mechanism은 일반적으로 숨어있으며, 맥락적 변화에 민감하며, 특정 결과를 산출한다.22 성과와의 관계에 있어서 메커니즘은 성과를 일으킬 수도 있고, 그렇지 않을 수도 있다. 

Realist approaches to reviews take a systematic approach to reviewing the literature to unpack and understand why complex interventions do or do not work.19 Realist approaches are theory-driven with theory development guiding the process from the outset, with data extraction and synthesis key aspects of theory refinement.

• Interventions are the programme or experiment proposed to lead to outcomes through the action of mechanisms and theory of realist approaches aims to identify and explain these underlying mechanisms. The relationship between interventions and the underlying mechanisms and the outcomes of the intervention are complex, nuanced and sensitive to contextual variations.19 
• Contexts may be material resources and social structures or the elements within a particular setting.22 Context can also refer to individuals participating in an intervention, stakeholder interrelationships, institutional arrangements or wider cultural, economic and/or societal settings.23 
• Mechanisms are typically hidden, sensitive to contextual variations and produce certain outcomes.22 In their relationship to outcomes, mechanisms can either cause, or not, the outcome.24 

결국, 현실주의 검토자들이 일차적으로 관심을 갖는 것은 [상황 (C), 메커니즘 (M), 결과 (O) 구성으로 알려진 개입, 맥락, 메커니즘 및 결과 사이의 관계]이다. 19 현실주의 합성은 이론을 다듬기 위해 CMO 구성 전반에 걸쳐 [데미-규칙성]이라고 불리는 패턴을 식별하는 것을 목표로 한다.

In the end, it is the relationships between interventions, context, mechanism and outcomes, otherwise known as Context (C), Mechanism (M), Outcome (O) configuration, that is of primary interest to realist reviewers.19 Realist syntheses aim to identify patterns, termed demi-regularities, across CMO configurations to refine the theory.

 

2.2 범위 명확화
2.2 Clarifying scope

인턴(1학년) 의사로 이어지는 의무compulsory 의대생 학구적 경험에 초점을 맞춘 연구만 포함됐다. [비필수Optional 연구 프로그램](예: 명예, 석사 또는 박사) MBBS/PhD, MBChB/PhD, MD/PhD 또는 대학원 의료교육(전공 수련 과정)은 자발적 프로젝트(의과대학 교육과정 바깥에서 진행되는 것)과 마찬가지로 제외되었다. [비필수이고 자발적인 학문적 기회에 참여하기로 선택한 학생]들은 의대생 전체 코호트와 다른 특성을 가질 가능성이 높으며, 이는 우리의 현실주의적 합성으로부터 결과를 편향시키거나 결과의 일반성을 제한할 수 있다. 학부(학교가 직접 운영)와 의학전문대학원(학사 학위 이후)의 연구가 포함되었다.

Only studies focusing on compulsory medical student scholarly experiences that lead to an internship (1st year) doctor were included. Optional research programmes (eg Honours, Masters or PhD (eg. MBBS/PhD, MBChB/PhD, MD/PhD) or post-graduate medical education (ie medical speciality training) were excluded, as were voluntary projects (outside of the medical curriculum). Students who select to participate in optional and voluntary scholarly opportunities are likely to have different characteristics from the entire cohort of medical students, which could bias the outcomes, or limit the generalisability of the outcomes, from our realist synthesis. Studies of both undergraduate (direct from school) and graduate (after initial degree) entry medical schools were included.

현실주의 접근법의 중심인 것처럼, 우리는 합성을 테스트하기 위해 문헌의 예비 분석에 기초한 초기 프로그램 이론initial programme theory을 개발했다. 이 이론은 Havnaer 등에 의해 개발된 논리 모델을 기반으로 개발되었으며 학문적 경험의 효과에 대한 다른 기존 리뷰에 의해 칭찬받았다. 이러한 리뷰를 바탕으로, 우리의 [초기 프로그램 이론]은 

• 성과: 경험의 결과로 달성된 학문적/연구적 지식, 기술, 태도, 행동 및 프로젝트 성과물(포스터, 출판물, 프리젠테이션)의 개발로 정의했다.

이러한 검토를 바탕으로, 우리의 [초기 프로그램 이론]은 성과는 다음의 경우에 달성된다는 것이다.

• 맥락: 시간, 돈, 시설, 장비 및 기술 측면에서 연구 지원이 제공되고,
• 메카니즘: 학생들이 학술 활동에 참여하고, 양질의 감독, 교육 관리oversight, 관리자 지원 등이 있을 때,

As is central to realist approaches, we developed an initial programme theory based on preliminary analysis of the literature to test our synthesis. This theory was developed based on the logic model developed by Havnaer et al1 and complimented by the other existing reviews of the effectiveness of scholarly experiences .2, 18 Based on these reviews, our initial programme theory defined

• outcomes as the development of scholarly/research knowledge, skills, attitudes, behaviours and project outputs (eg posters, publications, presentations) that were achieved as a result of the experience.

Based on these reviews, our initial programme theory was that these outcomes were achieved

• when research support is provided in terms of time, money, facilities, equipment and technology, proposed as contexts,
• through students engaging in scholarly work, with quality supervision, academic oversight, administrator support, proposed as mechanisms.

 

2.3 증거검색
2.3 Searching for evidence

 

2.4 스터디 선택
2.4 Study selection

 

2.5 데이터 추출
2.5 Data extraction

세 명의 저자가 데이터 추출에 참여했다. 데이터 추출 표를 만들었고, 여기에는 다음을 포함하였다.

• 연구 특성(예: 저자, 출판 연도, 연구 방법론),
• 맥락,
• 학문적 경험 또는 개입의 세부 사항: 이론, 메커니즘, 결과 및 CMO 구성을 포함한 

Three authors were involved in data extraction. A data extraction table whereby

• study characteristics (eg author, publication year, study methodology),
• contexts,
• details of scholarly experiences or intervention including any theory, mechanisms, outcomes and any CMO configurations

처음에는 데이터가 풍부한 5개 연구에서 데이터를 추출하여 이 추출 표를 시험해 본 후 경미한 수정이 이루어졌고 나머지 연구가 완료되었다. 그런 다음 나머지 연구의 데이터를 이 표를 사용하여 중복 추출했다.

...was created. Initially, data from five data-rich studies were extracted to trial this extraction table after which minor modifications were made and the remaining studies completed. Data from the remaining studies were then extracted in duplicate using this table.

2.6 데이터 합성
2.6 Data synthesis

28개 연구와 22개 학문적 경험의 데이터는 36개의 CMO 구성뿐만 아니라 C, M, O에 걸친 패턴에 대해 조사되었다. 우리는 더 빈번한 패턴을 식별하기 위해 CMO 구성에 걸쳐 C-M과 M-O의 일관성을 찾았다. 또한 초기 프로그램 이론과 구성이 어떻게 관련되는지도 고려했습니다. 흔하게 사용되지 않는 CMO 구성은 수정된 프로그램 이론의 개발을 지원하기 위해 사용되지 않았다. [CMO 구성 패턴]을 식별하고 초안을 작성하였다. 이러한 구성 패턴은 [초기 프로그램 이론]과 비교하였고, 차이가 무엇인지 검토하였고(예: 상황 또는 메커니즘으로서의 돈), 현실주의 방법에 기반한 토론을 하여, [최종 CMO 구성 패턴]으로 합의되었다. 수정된 프로그램 이론에 inform하기 위하여, 학문적 경험에 대해 설명하거나 발견을 설명하는 데 사용되는 모든 이론(중간 범위 이론)을 식별하였다.
The data from all 28 studies and 22 scholarly experiences were then examined for patterns across C, M and O as well as the 36 CMO configurations. We looked for consistency of C-M and M-O across the CMO configurations with the aim of identifying more frequent patterns. We also considered how the configurations related to our initial programme theory. CMO configurations that were not common were not used to support the development of the modified programme theory. The identified CMO configuration patterns were drafted. These configuration patterns were then compared to the initial programme theory, differences noted (eg money as context or mechanism), debated based on realist methods, and final CMO configurations patterns agreed. Any theories used to inform the scholarly experience or explain the findings (mid-range theories) were identified for potential use to inform the modified programme theory.

3 결과
3 RESULTS

총 6294개의 레코드가 4개의 데이터베이스에 걸쳐 검색되었으며 중복이 제거되면 4590개의 레코드가 다운로드되었다. 참조 목록이나 Google Scholar 검색에서 식별된 추가 스터디는 없습니다. 초기 심사 후 75개 레코드의 전체 텍스트 검토가 완료되었고 47개 추가 논문이 제외되었다(그림 1).
A total of 6294 records were retrieved across four databases, and once duplicates were removed, 4590 records were downloaded. No additional studies were identified from reference lists or from the Google Scholar search. After initial screening, full-text review of 75 records was completed and 47 additional papers excluded (Figure 1).

 

28개 연구의 22개 학문적 경험이 현실주의 검토에 포함되었다(표 S2). 10개(12개 논문)가 미국에서 왔고, 호주와 터키에서 각각 2개, 사우디 아라비아, 인도, 캐나다, 일본, 남아프리카, 스웨덴, 수단12, 네덜란드에서 각각 1개 논문이었다. 나머지 6개 연구는 혼합 방법, 감사, 35 사전 사후, 예비 코호트 또는 정성 설계를 포함한 다양한 접근방식을 적용했다.

Twenty-two scholarly experiences from 28 studies were included in the realist review (Table S2). Ten (12 articles) were from the USA,7, 30 two from each of Australia31, 32 and Turkey6, 13 and one from each of Saudi Arabia,15 India,10, 33 Canada,9, 34 Japan,35 South Africa,36 Sweden,37-40 Sudan12 and the Netherlands.41 Sixteen programmes (20 studies) used a cross-sectional study design.7, 9-12, 29-31, 33, 34, 36-41 The other six studies applied a variety of approaches including mixed methods,6, 13 audit,35 pre-post,32 prospective cohort14 or qualitative35 designs.

코호트 규모는 오클랜드 대학교 윌리엄 보몬트 의과대학의 47명에서 마스트리히트 대학교의 320명까지 다양하였으며, 학문적 경험의 역사는 1년에서 40년 이상이었다. 모든 학문적 경험은 학문적 경험의 이전이나 도중에 학문적 경험 내에서 가르치는 연구 방법을 통합했고, 모든 것은 학문적 경험으로서 연구 프로젝트를 포함했다.
Cohort sizes ranging from 47 at Oakland University William Beaumont School of Medicine27 to 320 at Maastricht University,41 and the history of scholarly experiences ranged from 1 to 40+ years. All scholarly experiences integrated research methods teaching within the scholarly experiences, either before or during the scholarly experiences, and all involved a research project as the scholarly experience.

학문적 경험의 구성요소에 대한 만족도는 설문조사, 성찰적 비평, 인터뷰로 측정되었다.35 연구 지식과 기술의 발전은 자기 보고서 조사, 인터뷰, 성찰 또는 시험을 통해 측정되었다.10 데이터의 초점은 (감독관이나 의과대학이 아닌) 학생 경험에 있었다. 경험적 학습, 40 사회문화적 학습37, 38, 위치적 학습을 포함한 세 가지 학문적 경험만이 이론을 기술했다.32
Satisfaction with components of the scholarly experiences was measured by survey6, 41 and reflective critique8, 40 or interview.35 The development of research knowledge and skills was measured by self-report survey, interviews, reflections7, 9, 17, 27, 32-35 or by tests.10 The focus of data was on student experiences, not supervisors or the medical school. Only three scholarly experiences described theories including experiential learning,40 socio-cultural learning37, 38 and situated learning.32

합성을 통해 확인된 5가지 주요 구성 패턴이 있는 36개의 개별 CMO 구성(표 S2)은 다음과 같습니다.

Thirty-six individual CMO configurations (Table S2) with five main configuration patterns identified through the synthesis, as follows:

• 연구문화(맥락)가 잘 갖춰진 의과대학에서, 관련성이 있고 가치(메커니즘)가 있는 학문적 경험을 할 때, 이는 학생들이 다양한 연구능력에 대한 능력과 자신감을 키우는(결과)로 이어진다.
  
• 의과대학이 기관과 직원 모두에게 많은 배려regarded를 받는 학문적 경험(컨텍스트)을 가지고 있을 때, 잘 뒷받침되고 구조화된 학문적 경험(메커니즘)은 학생들에게 폭넓은 연구능력에 대한 능력과 자신감을 길러준다(결과물).
  
• 학생과 감독자 모두가 학문적 경험에 참여할 수 있는 충분한 시간(컨텍스트)이 주어지면, 양질의 감독(메커니즘)은 학생들이 프로젝트를 완료하고 학문적 산출물을 생산할 수 있는 능력(성과)을 향상시킨다.
  
• 학생과 감독자 모두가 학문적 경험에 참여할 수 있는 충분한 시간(컨텍스트)이 주어지면, 학생들이 연구 프로젝트를 완수할 수 있는 능력에 대해 지지와 자신감(자기효능감)을 느낄 때(메커니즘), 이는 학문적 산출물과 출판(성과)으로 이어진다.
  
• 의대생들이 자율성을 가지고, 흥미롭고 관련 있는 프로젝트를 선택할 수 있는 능력이 있을 때(맥락), 학문적 경험은 관련이 있고 가치 있는 것으로 여겨지며(메커니즘), 이는 연구에 대한 더 많은 관심과 추구(결과)로 이어진다.

 

1. When a medical school with a well-established research culture (context) has a scholarly experience that is seen as relevant and of value (mechanism), this leads to students developing ability and confidence in a wide range of research skills (outcome).
2. When a medical school has a scholarly experience that is highly regarded by both the institution and staff (context), a well-supported and structured scholarly experience (mechanism) leads to students developing ability and confidence in a wide range of research skills (outcome).
3. When adequate time is available for both students and supervisors to engage in scholarly experiences (context), quality supervision (mechanism) leads to students having enhanced ability to complete projects and produce scholarly outputs (outcome).
4. When adequate time is available for both students and supervisors to engage in scholarly experiences (context) and students feel supported and more confident in their capacity to complete research projects (self-efficacy) (mechanism), this leads to scholarly outputs and publications (outcome).
5. When medical students have the ability to choose projects that are interesting and relevant with autonomy (context), the scholarly experience is seen as relevant and of value (mechanism) and this leads to an interest in and pursuit of further research (outcome).

 

학술적 경험의 주요 성과는 다음으로 일관되게 보고되었다. 

• 학술적 성과물(학술지에 원고를 출판하거나 컨퍼런스에서 발표)
• 미래 진로로서 연구에 대한 흥미
• 지식 및 기술 향상 

어떤 연구도 학생 경험과 관련된 시스템 변화, 환자 또는 커뮤니티 결과를 보고하지 않았다. 핵심 메커니즘은 지원, 구조 및 감독에 대한 '자원resources'과 자기 효능감 및 연구를 관련있고 가치있게 여기는 '추론reasoning'이었다.

The key outcomes of the scholarly experiences were consistently reported as

• scholarly outputs (publishing manuscripts in journals, or presenting at conferences),6, 38 
• interest in pursuing research in their future career8, 13, 14, 16, 17, 25-27, 29 and
• increased research knowledge and skills.6, 32-34, 36, 39, 40 

No studies reported any system change, patient or community outcomes linked to the student experience. The key mechanisms were ‘resources’ of support, structure and supervision and ‘reasoning’ being self-efficacy and seeing research as relevant and of value.

[맥락-기계 관계C-M relationship]에서, 세 가지 주요 특징은 지속적으로 긍정적인 결과로 이어졌다. 여기에는

• 보호된 시간,
• 양질의 슈퍼비전
• 학술경험 수행을 어떻게 할지에 대한 자율성 정도.

Across the range of contexts-mechanism relationships, three key features consistently led to positive outcomes. These included

• protected time,6, 31, 33, 34 
• quality supervision6-14, 17, 25, 26, 28, 29, 31-34, 37-41 and
• the degree of autonomy in how the experience was carried out.9, 13, 15-17, 27, 31, 32, 34 

양질의 슈퍼비전에는 독립적인 작업을 지도하고 감독하며 진행 상황을 모니터링하고 품질 피드백을 제공하는 똑똑한 지도교수knowledgeable supervisors가 포함되어 있다. 학생들이 다른 학위로부터의 연구 경험을 가지고 있거나 프로젝트를 수행하기에 시간이 충분하지 않아 연구 기술을 얻지 못하는 부정적인 결과를 가져온 연구는 단 한 가지뿐이었다.9

Quality supervision included having knowledgeable supervisors who guided and oversaw independent work, monitored progress and provided quality feedback. Only one study resulted negative outcomes where students did not gain research skills due to having previous experience in research from another degree or inadequate time to undertake the project.9

초기 프로그램 이론을 바탕으로, 우리는 다음과 같은 수정된 프로그램 이론을 우리의 발견을 종합하여 제안한다(그림 2).
Building on our initial programme theory, we propose the following modified programme theory as a synthesis of our findings (Figure 2).

 

4 논의
4 DISCUSSION

이 연구는 의대생들의 학문적 경험이 다양한 결과를 낳는 이유, 방법, 상황에 대한 수정된 이론을 설명한다. 우리의 연구 결과는 학문적 경험이 연구별 기술, 연구 산출물 및 미래 연구 경력 관심사를 개발하는 수단으로 작용할 수 있다는 이전의 리뷰의 보고서와 일치한다. 이번 현실주의 검토는 [결과를 달성하기 위한 메커니즘]으로, 학생들이 [연구의 가치를 깨달아야 하며], [연구 자기효능감을 구축해야 할 필요성]을 강조하였고, 이는 학문적 경험이 효과적인 이유에 대한 [초기 프로그램 이론]에 추가되었다. 연구 문화를 조성하고, 학문적 경험을 중시하며, 학생들이 경험을 통해 어느 정도의 선택권을 행사할 수 있는 조직의 맥락에서 성과를 달성했다. 학문적 경험이 어떻게 작용하는지에 대한 이 수정된 이론은 의대생들을 위한 학문적 경험을 디자인하기를 원하는 사람들에게 중요한 학습을 제공한다.

This study describes a modified theory as to why, how and under which circumstances medical student scholarly experiences produce a range of different outcomes. Our finding are consistent with reports from earlier reviews1, 2, 18 that scholarly experiences can act as a means to develop research-specific skills, research outputs and future research career interests. This realist review adds to our initial programme theory of why scholarly experiences are effective by highlighting the need for students to see the value of research and build research self-efficacy as mechanisms for achieving outcomes. Outcomes were achieved in contexts of organisations that foster a research culture, that value the scholarly experience and where students were able to exert some choice over the experience. This revised theory of how scholarly experiences work provides important learnings for those wishing to design scholarly experiences for medical students.

이러한 학문적 경험의 목표 범위를 고려할 때, '올바른' 커리큘럼 모델은 없는 것이 분명하다. 다양한 규모와 역사를 가진 국제 의과대학에 걸친 이러한 문헌을 종합하면, 학술적 경험은 [시간을 들여야]하며, 동시에 [학문적 경험과 양질의 지도감독을 위한 적절한 지원]이 필요함을 시사한다. 학생들의 일과 통합 학습 경험의 리뷰에서도 [시간]이 학습 성공의 핵심 요소인 것으로 나타났다.42
Given the range of objectives of these scholarly experiences, it is clear there is no ‘right’ curriculum model. This synthesis of literature across international medical schools of varied size and history1, 2, 18 has shown that experiences must dedicate time together with adequate support for the scholarly experience and quality supervision. Time has also been shown to be a key factor in learning success in reviews of student work-integrated learning experiences.42

[양질의 지도감독quality supervision]이 연구 성공의 열쇠로 인정되지만, 우리의 연구 결과는 이전에 연구 감독에 대한 열쇠로 식별된 '문화화enculturation'와 '해방emancipation'의 역할을 강조한다.44 다른 맥락에서 양질의 지도감독자의 속성이 식별되었다.45 그러나, 성과를 더욱 향상시키기 위해서, 학문경험의 지도교수자들이 이 메커니즘을 어떻게 촉진할 수 있는가에 대한 추가 연구가 필요하다

While quality supervision is acknowledged as key to research success,43 our findings highlight the role of ‘enculturation’ and ‘emancipation’ previously identified as key to research supervision.44 The attributes of quality supervisors in other contexts have been identified.45 However, how supervisors of scholarly experience curricula can foster these mechanisms to further enhance outcomes warrants further exploration.

현재까지 이 분야의 많은 연구는 [연구 출판물]과 [학생 만족도]를 포함한 학문적 경험의 결과에 초점을 맞추고 있다. 실제로, 이 합성에 포함된 대부분의 학술적 경험은 출판물과 같은 [전통적인 연구 성과]에 초점을 맞췄다. 출판물은 보조금을 신청하고 국제적인 인정을 받기 위해, 그리고 대학들이 국제 대학 순위를 높이기 위해 필요로 하는 높은 가치의 산출물이며, 이는 결국 양질의 직원과 학생들을 끌어들인다. 그러나 의료진의 관점에서는 [비판적, 분석적, 그리고 학문적 기술을 전문직업적 실천professional skill으로 번역translate할 수 있는 졸업생]을 양성하는 것 또한 중요하다.

To date, much of the research in this area has focused on the outcomes of scholarly experiences including research publications and student satisfaction. Indeed, most of the scholarly experiences included in this synthesis focussed on traditional research outputs such as publications. Publications are highly valued outputs required by researchers applying for grants and to gain international recognition and by universities to increase their international university rankings, which in turn attracts high-quality staff and students. However, from a medical workforce perspective, it is also important to develop graduates who can translate critical, analytical and scholarly skills into professional practice.46 

전 세계적으로 [학문적 경험]을 포함하는 의과대학이 늘어나고 있고, 이는 의과대학생들이 의학 연구 환경에 노출될 기회를 제공한다. 이를 통해서 학생들의 연구 기술 능력과 자신감을 향상시키고, 연구에 대한 관심이 높아지며, 궁극적으로는 의사-과학자의 부족을 해결할 수 있는 잠재력을 가지고 있다. 다만, 이미 과밀화된 의과대학 커리큘럼에서 무엇을 우선순위에 둘 것인지를 놓고 긴장이 존재한다. 학문적 경험을 이수하는 것이 임상 술기 연습과 같은 다른 콘텐츠에 전념할 수 있는 능력을 축소시키기 때문이다. 개념-기반 커리큘럼은 나아가야 할 방법이 될 수 있다.47

The inclusion of scholarly experiences globally provides the opportunity for medical students to have exposure to the medical research environment, to increase students ability and confidence in research skills and interest in research, which in turn, has the potential to address the shortage of clinician-scientists.1, 2 Tensions exist for priorities in already overcrowded medical school curricula regarding completing a scholarly experience as it reduces the ability to devote to other content such as practicing clinical skills. A concept-based curriculum approach may be a way forward.47

이 합성에서 검토된 모든 학문적 경험 프로그램은 [연구research]에 초점을 맞췄다.

• 두 개의 경험은 지역사회 건강 요구에 기반한 연구 관련 프로젝트였지만 여전히 연구에 초점을 맞추고 있었다.
• 이러한 지역사회 기반 경험의 성과는 연구 기술과 컨퍼런스 프레젠테이션 또는 간행물 개발에 초점이 맞춰져 있었지만, 정책 및 관행의 변화와 같은 임상적으로 중요한 다른 결과도 도출할 수 있었다. 그러나 이들은 보고되지 않았다. 

All the scholarly experience programmes reviewed in this synthesis were focussed on research.

• Two experiences11, 32 were research-related projects based on community health needs but still had a research focus. While the focus of outcomes of these community-based experiences was on developing research skills and conference presentations or publications, they could have also resulted in other clinically important outcomes such as changes to policy and practice; however, these were not reported.

많은 의료 전문분야에서, [지속적인 등록]은 의료인이 [자신의 의료행위 및 근무중인 시스템]의 [질 보증 및 질 개선 활동]을 수행하는 것에 달려 있다. 따라서 의료 훈련의 관점에서, 학생들을 [임상적 실천의 개선으로 이어지는 질 보증이나 질 개선 방법론에 대해 훈련]시키고, [교육 개선으로 이어지는 활동]을 다루는 [학술적 경험]은 전통적인 연구 결과만큼 높게 평가되어야 한다. 이러한 종류의 경험에 참여하는 것이 연구 경험이 미래 연구에 대한 참여 욕구를 증가시키는 것과 유사한 방식으로 질 향상/교육 활동에 참여하고 싶은 욕구를 증가시켰는지도 명확하지 않다. 우리는 학문적 경험에 대한 향후 평가가 그러한 활동의 결과에 대한 별도의 분석을 포함할 것을 권고한다. 우리의 리뷰에서 주목할 만한 또 다른 gap은, 학생들이 이러한 경험을 수행하는 과정에서 발생하는 [부정적인 결과] 및 [감독관, 의과대학, 보건의료서비스 관점에서의 성과 측정]이 부족하다는 점이었다. 의대생 학문적 경험이 [다른 이해관계자들에게 미치는 영향]과 [어떤 메커니즘이 부정적인 결과를 유발하는지]를 탐구하기 위해 추가 연구가 필요하다.

In many medical specialties, continuing registration is dependent upon the clinician undertaking quality assurance and improvement activities of their own practice and of the system within which they work.48 From a medical training perspective therefore, scholarly experiences that train students in quality assurance or improvement methodologies and lead to improvements in clinical practice, or activities that lead to educational improvements, should be valued just as highly as traditional research outputs. It was also not clear whether participation in those sorts of experiences created an increased desire to be involved in quality improvement/educational activities in a similar way that the research experiences increased the desire for engagement in future research. We recommend that future evaluations of scholarly experiences include a separate analysis of the outcomes from those activities. The other notable gap in the literature that would have been valuable in our review was a lack of negative outcomes and measurement of outcomes for supervisors, medical schools and the health services where the students are undertaking these experiences. Further research is needed to explore the impact of medical student scholarly experiences on these other stakeholders and what mechanism trigger negative outcomes.

이 연구의 강점은 체계적인 문헌 탐색입니다. 포함된 연구는 대부분 단면적이고, 편의성 샘플링을 사용하고, 결과를 자체 보고했으며, 맥락과 메커니즘에 대한 제한된 설명 깊이를 포함하고, 중간 범위 이론이 부족하여 잠재적으로 학문적 결과를 산출하기 위한 인과 경로에 대한 더 깊은 이해를 방해했다. 중간 범위 이론(예: 경험 학습 이론 또는 변혁 학습 이론)의 사용은 이러한 [초기 프로그램 이론]을 강화하고, 합성을 더욱 뒷받침했을 수 있다. 학문적 경험과 관련된 부정적인 결과에 대한 데이터가 제한적이거나 없는 연구에서 긍정적인 결과에 초점을 맞추는 것도 한계이다. 이 검토에서 개발된 프로그램 이론을 테스트하기 위해서는 [의대생 학문적 경험에 대한 현실주의적 평가]가 필요하다.
The strengths of this study include the systematic literature search. The included studies were mostly cross-sectional, used convenience sampling, self-reported outcomes, contained limited depth of description about the contexts and mechanisms, and lacked mid-range theory, potentially preventing a more in-depth understanding of the causal pathways to produce scholarly outcomes. The use of mid-range theory (for example, experiential learning theory or transformative learning theory) may have strengthened this initial programme theory and supported the synthesis further. The focus on positive outcomes in the studies, with limited or no data on negative outcomes associated with scholarly experiences, is also a limitation. A realist evaluation of medical student scholarly experiences is needed to test the programme theory developed in this review.

5 결론
5 CONCLUSIONS

의대생들을 위한 학문적 경험이 깊이 있는 지식과 연구능력을 키우고, 연구성과를 내고, 향후 연구진로에 대한 관심을 지원하는 수단으로 작용할 수 있다. 학생들이 경험을 중시하는 연구 문화를 가진 조직 내에서 경험에 참여할 자율성과 보호된 시간을 가질 때, 이러한 결과는 실현된다. 학생들이 연구를 관련성 있고 가치 있는 것으로 간주하고 학생의 자기 효능을 기르는 양질의 감독, 구조 및 지원에 대한 접근은 이러한 결과의 성취를 창출한다. 학문적 경험의 성과를 평가하는 향후 연구는 부정적인 성과와 긍정적인 성과에 대해 보고해야 하며, 비전통적인 연구 경험의 성과(예: 그것이 제공되는 품질 개선 경험)와 임상적 실천과 교육에 미치는 영향을 평가해야 한다. 감독관, 의과대학 및 보건 서비스 기관에 대한 성과도 평가되어야 합니다. 이것이 실현된다면, 학문적 경험에 의해 달성되는 결과에 대한 훨씬 더 전체적인 이해가 이루어질 것입니다.

Scholarly experiences for medical students can act as a means to develop in-depth knowledge and research skills, research outputs and support future research career interests. When students have autonomy and protected time to engage in the experience within an organisation with research culture that values the experience, these outcomes are realised. Access to quality supervision, structure and support where students see research as relevant and valuable and build student's self-efficacy generate achievement of these outcomes. Future research evaluating the outcomes of scholarly experiences should report on negative and positive outcomes, evaluate the outcomes from non-traditional research experiences (like quality improvement experiences, where they are offered) and the impact on clinical practice and education. The outcomes for supervisors, medical schools and health services should also be evaluated. If this is realised, a much more holistic understanding of the outcomes that are achieved by scholarly experiences will be achieved.

 

---

 

 

 

Med Educ. 2021 Feb;55(2):159-166.

 

 doi: 10.1111/medu.14362. Epub 2020 Sep 22.

 

A realist review of scholarly experiences in medical education

Marian Cornett 1, Claire Palermo 1, Megan J Wallace 2 3, Basia Diug 4, Bernadette Ward 5

Affiliations collapse

Affiliations

1Monash Centre for Scholarship in Health Education, Faculty of Medicine, Nursing and Health Sciences, Monash University, Melbourne, VIC, Australia.

2The Ritchie Centre, Hudson Institute of Medical Research, Melbourne, VIC, Australia.

3Department of Obstetrics and Gynaecology, Faculty of Medicine, Nursing and Health Sciences, Monash University, Melbourne, VIC, Australia.

4School of Public Health and Preventive Medicine, Faculty of Medicine, Nursing and Health Sciences, Monash University, Melbourne, VIC, Australia.

5School of Rural Health, Faculty of Medicine, Nursing and Health Sciences, Monash University, Bendigo, VIC, Australia.

PMID: 32888210

DOI: 10.1111/medu.14362

Abstract

Context: Scholarly experiences have been increasingly employed to support the development of scholarly skills for medical students. How the characteristics of the various scholarly experiences contributes to scholarly outcomes or the complexities of how the experiences build skills warrants further exploration.

Objectives: To identify how medical students' scholarly experiences lead to scholarly outcomes under what circumstances.

Methods: A realist review was conducted with a search of Ovid MEDLINE, CINAHL, Scopus and ERIC databases using the terms "medical student" and "scholarly experience" and related synonyms. Studies involving the engagement of medical students in a range of compulsory scholarly experiences including quality improvement projects, literature reviews and research projects were included. Key data were extracted from studies, and realist analysis was used to identify how contexts and mechanisms led to different outcomes.

Results: From an initial 4590 titles, 28 studies of 22 scholarly experiences were identified. All were primarily focused on research-related scholarly experiences. Organisational research culture that valued research, dedicated time, autonomy and choice of experience were found to be key contexts. Adequately supported and structured experiences where students can see the value of research and quality supervision that builds student's self-efficacy were identified as mechanisms leading to outcomes. Outcomes included increased research skills and attitudes, scholarly outputs (eg publications) and future interest in research or other scholarly endeavours.

Conclusions: The design of scholarly experiences for medical students needs to ensure protected time, adequate supervision and autonomy, to achieve scholarly outcomes. Much of the focus is on research and traditional outcomes with little known about the role or outcomes associated with other scholarly work.

© 2020 Association for the Study of Medical Education and John Wiley & Sons Ltd.