의학교육연구에서 사실주의적 방법: 무엇이고, 어떻게 기여하나? (Med Educ, 2012)
Realist methods in medical education research: what are they and what can they contribute?
Geoff Wong,1 Trisha Greenhalgh,1 Gill Westhorp2 & Ray Pawson3
도입
INTRODUCTION
이 논문은 교육 중재가 연구되는 방식의 변화를 촉구하는 것입니다. 무작위 통제 연구 (RCT)에 대해서 다음의 의문이 있다.
(i) 중재여부에 따른 비교는 교육 연구에서 중요한 질문들 중 일부에 대해서만 답을 줄 수 있다.
(ii) 그러한 실험적 비교는 때로는 비 실용적, 비 윤리적, 부적절하거나 합당하지 못하다.
(iii) 사람들은 trial에 참여할 때 다르게 행동한다.
교육 연구지들은 '어떻게'과 '왜'문제를 다루는 더 많은 연구가 필요하다고 강조했다.
This paper is a response to calls for changes in the way educational interventions are researched. the randomised controlled trial (RCT) is under question because: (i) intervention-on⁄ intervention-off comparisons answer only some of the important questions in education research; (ii) such experimental comparisons are sometimes impractical, unethical, inappropriate or unaffordable, and (iii) people behave differently when they are participating in trials. Education researchers have highlighted a need for more research addressing ‘how’ and ‘why’ questions
이 기사에서 우리는 교육 연구에서 '어떻게'와 '왜'문제를 탐구하는 데 적합한 사실주의적 평가 (그리고 2 차적 연구 동등성, 현실 주의적 검토)를 한 가지 방법으로 설명합니다. 그러나 그것이 유일하다고 주장하는 것은 아니다.
In this article we outline one approach, realist evaluation (and the secondary research equivalent, realist review), which is suited to exploring ‘how’ and ‘why’ questions in education research, although we do not claim that it is uniquely so.
의학교육에서 개입의 성격
THE NATURE OF INTERVENTIONS IN MEDICAL EDUCATION
의학 연구 협의회 (Medical Research Council)의 언어로 볼 때, 교육은 '독립적으로 또는 상호의존적으로 작용할 수있는 많은 구성 요소들로 구성되어있는' 복잡한 개입이다. 의학 교육 개입의 결과는 문맥에 따라 매우 다르다. '동일한'개입의 영향도 상당히 다양하다
In the language of the Medical Research Council,5 education is a complex intervention in that it is ‘built up from a number of components, which may act both independently and inter-dependently’. Outcomes of medical education interventions are highly context-dependent – the impact of the ‘same’ intervention will vary considerably
학부 강의만큼 단순한 것조차도 영향에 영향을 미치는 여러 요인으로 세분 될 수 있습니다. 여기에는 다음과 같은 것들이 포함됩니다 : 학습 목표 (그리고 이들이 어떻게 평가 방법에 연결되는지) 강사의 지식, 경험 및 개인적 자질; 학생에게 주어진 준비 작업 (있는 경우); 보여지는 슬라이드의 내용; 초청 된 상호 작용의 수준; 유인물이나 학습 노트, '숙제'세트 (강의실의 음향, 휴대 전화에 대한 대학의 정책), 학생의 배경과 동기 부여 등.
Even something as seemingly simple as an undergraduate lecture can be subdivided into multiple factors that influence its impact. These include:
the learning objectives (and how these are linked, if at all, to the assessment method);
the knowledge, experience and personal qualities of the lecturer; the preparatory work (if any) given to students;
the content of the slides shown;
the level of interactivity invited;
the handouts or study notes, and
the ‘homework’ set (not to mention the acoustics of the lecture theatre, the university’s policy on mobile phones) and
the background and motivation of the students involved).
복잡성, 상호 의존성, 비선형성은 교사로서의 우리의 경험으로는 충분히 친숙하지만 교육 연구자에게는 어려운 과제가됩니다.
Although complexity, interdependency and non-linearity are familiar enough from our own experience as teachers, they pose challenges for the education researcher.
어떤 경우에는 X와 Y 사이의 연결 고리가 너무 강해 예측이 불필요한 경우도 있다.
in some cases the link between X and Y is so strong and so predictable that a trial may be unnec- essary
그러나 대부분의 경우 개입과 결과 사이의 연관성은 예측하기가 쉽지 않습니다. 한 리뷰에서는 이렇게 기술했다.
"[PBL]은 40 년 전에 소개 된 이래 의학 교육의 세계를 휩쓸 었으며, 그 혜택에 대해 대답하지 않거나 부분적으로 대답하는 흔적을 남겼습니다. 문헌은 체계적인 리뷰와 메타 분석으로 가득 차 있으며, 이들 모두는 몇 가지 공통된 주제를 밝혀 냈습니다. 그러나 '문제 중심 학습 커리큘럼'의 정의와 전달, 결과 측정에 대한 이질성은 다양한 의견 차이를 야기했다. '8
In most cases, however, the link between intervention and outcome is less predictable, As a review commented:
‘[PBL] has swept the world of medical education since its introduction 40 years ago, leaving a trail of unanswered or partially answered questions about its benefits. The literature is replete with systematic reviews and meta-analyses, all of which have identified some common themes; however, heterogeneity in the definition of a ‘‘problem-based learning curriculum’’ and its delivery, coupled with different outcome measurements, has produced divergent opinions.’8
대부분의 의학 교육자에게 'PBL은 효과가 있습니까?'에서 '누가 PBL을 제공해야합니까? 그리고 그 혜택을 극대화 할 수있는 방법은 무엇입니까?'라는 질문으로 문제가 진행되었습니다. 학습자가 교육적 접근 X에 노출된다면, 결과 Y는 A, B, C, D 등의 모든 우발적 인 우발적 사고가 제공 될 가능성이 높습니다. 연구의 핵심 목표는 A, B, C와 D 사이의 관계와 상호 의존성을 탐색하는 것입니다.
For most medical educators, the issue in question has progressed from that of ‘Does PBL work?’ to ‘When and for whom should we offer PBL, and how might we maximise its benefits?’ We suggest that a more nuanced chain of causation of the general format exists, whereby if learners are exposed to educational approach X, outcome Y is more likely provided a whole range of contingencies A, B, C, D, etc. are in place. A key goal of research is, then, to explore the relationships and interdependencies between A, B, C and D.
질적 데이터가 핵심 프로세스를 기술 할 수는 있지만, 일반화에 어려움을 겪습니다.
양적 데이터는 결과 패턴과 원인 변수 간의 관계를 기술 할 수 있지만, 이러한 패턴을 생성하는 기본 프로세스를 설명 할 수는 없습니다.
연구자에게있어 엄청난 도전은이 두 가지 유형의 데이터의 장점을 결합하여 블랙 박스의 내용을 일관성 있고 그럴듯하게 설명 할 수있는 방법을 이용하는 것입니다.
Although qualitative data can describe key processes, such methodologies struggle with generalisation.
Conversely, quantitative data can describe outcome patterns and the relationship between causal variables, but cannot elucidate the underlying processes that generate these patterns.
The formidable challenge for the researcher is to utilise a method that is able to combine the strengths of these two types of data to produce a coherent and plausible explanation of the contents of the black box.
사실주의란?
WHAT IS REALISM?
이러한 맥락에서, '리얼리즘'은
실증주의 ( '관찰을 통해 직접 이해할 수있는 실제 세계가있다')와
구성주의 ('우리가 알 수있는 모든 것이 인간의 감각과 인간의 두뇌를 통해 해석되었다는 것을 감안할 때, 우리는 현실의 본질이 무엇인지 확실히 알 수 없다.)
...의 사이에 위치해있다.
In this context, ‘realism’ refers to a philosophy of science which sits, broadly speaking, between posi- tivism(‘there is a real world which we can apprehend directly through observation’) and constructivism (‘given that all we can know has been interpreted through human senses and the human brain, we cannot know for sure what the nature of reality is’).
사실주의는 현실 세계가 있고, 우리의 지식이 인간의 감각, 두뇌, 언어 및 문화를 통해 처리된다는 데 동의합니다. 그러나 사실주의는 '현실 세계'로 인하여 우리가 할 수있는 해석이 상당부분 제약되기 때문에, 현실에 대한 우리의 이해가 향상될 수 있다고 주장한다.
Realism agrees that there is a real world and that our knowledge of it is processed through human senses, brains, language and culture. However, realism also argues that we can improve our understandings of reality because the ‘real world’ constrains the inter- pretations we can reasonably make of it.
예를 들어, 서로 다른 철학적 입장을 가진 3 명의 교사가 에세이에 부여한 점수를 생각해보십시오.
실증주의자 교사의 경우, 점수는 에세이의 속성을 나타내는 객관적인 것을 나타냅니다.
구성주의자 교사는 에세이의 주관적인 속성을 나타내는 것으로 표시합니다 (에세이의 가치 또는 품질은 보는 사람의 눈에 달려 있습니다).
현실주의자 교사는 부여 된 점수가 에세이의 객관적인 특성을 나타내지만, 점수가 어떻게 도달했는지와 그것이 의미하는 바가 무엇인지는 외부 사회적 현실의 영향을 받는다고 본다.
For example, consider the marks awarded to an essay by three tutors who hold different philosophical stances.
For the positivist tutor, the mark represents an objective given property of the essay.
The construc- tivist tutor sees the mark as representing a subjective property of the essay (the value or quality of the essay lies in the eye of the beholder).
The realist tutor accepts that the mark awarded represents some objective property of the essay, but considers that how the mark is arrived at and what it means are influenced by an external social reality.
- 지배적 신념 (예 : 여왕 영어 사용이 장학금의 관련 지표 또는 사회적 특권의 무관 한 반영으로 간주되는지 여부)
- 사회적 및 문화적 규범 (예 : 임상 사례에 대한 에세이가 '제시된 불만 사항의 역사'로 시작하는 특정 부제목을 사용하여 제시되어야하는지 또는 환자 자신의 단어에 충실한 방식으로 더 설득력있게 제시되어야하는지)
- 규정 (직관적 인 개요에 의해 또는 구조화 된 표식에 따라 표시가 할당되었는지 여부 포함) 및
- 경제적 힘 (예 : 고등 교육의 자금 조달 상황, 교사의 시간 할당 및 에세이가 다른 교사에 의해 표시되는지 여부에 영향을 미침).
This reality forms the context in which the essay is marked and includes, for instance,
prevailing beliefs (e.g. whether use of the Queen’s English is viewed as a relevant indicator of scholarship or an irrelevant reflection of social privilege),
social and cultural norms (e.g. whether an essay about a clinical case should be presented using a particular set of subheadings starting with ‘history of the presenting complaint’ or presented more narratively in a way that is faithful to the patient’s own words),
regula- tions (including whether marks are allocated by an intuitive overview or according to a structured marking scheme) and
economic forces (e.g. the funding situation of higher education, which will influence how much time the tutor allots and whether the essay is second-marked by another tutor).
맥락과 결과 사이의 관계를 이해하기 위해, 리얼리즘은 '메카니즘'의 개념을 도입한다. 메커니즘은 다음과 같이 유용하게 정의 될 수있다. '... 관심있는 결과를 창출하기 위해 특정 맥락에서 작동하는 근원적 인 실체, 프로세스 또는 [사회적] 구조'로 정의 될 수있다 .9 우리 주변의 사회 세계에서 어떤 맥락은 결과 (때로는 C-M-O로 약칭 됨)를 생성하는 메커니즘을 촉발시킨다. 사회 과학의 메커니즘은 자연 과학의 메커니즘과 비슷하지만 동일하지는 않습니다 (예 : 중력 메커니즘이 창에서 떨어지는 물체가 땅에 떨어지는 이유를 설명). 자연 과학의 메커니즘과 마찬가지로, 그들은 많은 특징을 가지고있다 : 그들은 '가시적'이 아니지만, 관찰 가능한 데이터로부터 추론되어야한다; 맥락에 민감하고, 결과를 생성합니다.
To understand the relationship between context and outcome, realism introduces the concept of ‘mecha- nism’. A mechanismmay be usefully defined as: ‘…underlying entities, processes, or [social] structures which operate in particular contexts to generate outcomes of interest.’9 Certain contexts in the social world around us ‘trigger’ mechanisms to generate outcomes (sometimes abbreviated to C–M–O). Mechanisms in social science are comparable but not identical to mechanisms in natural science (e.g. the mechanism of gravity accounts for why an object dropped from a window falls to the ground). Like the mechanisms in natural sciences, they possess a number of features: they are not ‘visible’, but must be inferred from the observable data; they are context- sensitive, and they generate outcomes.
소셜 프로그램은 참여자가 이용할 수있는 자원이나 기회를 바꾸며, 그러한 의미에서 참가자의 상황을 바꿉니다. 그런 다음 새로운 컨텍스트가 새로운 메커니즘을 트리거합니다. 따라서 프로그램 메커니즘은 변화를 일으키는 프로그램에 대해 묻는 것으로 식별 할 수 있습니다. 개입 자체가 참가자를 직접 변경하지는 않습니다. 프로그램이 제공 한 기회에 대한 참가자들의 반응이 변화를 유발하는 것입니다 (아래 예 참조). 그러므로 리얼리즘 접근법은 참여자의 개입과 추론 또는 응답에 의해 제공되는 기회 또는 자원 간의 상호 작용을 찾는다. 메커니즘을 확인하는 한 가지 방법은 사고 실험을하는 것입니다. 프로그램이 그에게 어떤 영향을 주 었는지 묻는 질문에 '참가자는 X를 숙고하고, 대안 Y를보고, 기회 Z를 깨닫게합니다.'라고 말할 수 있습니다.
Social programmes change the resources or oppor- tunities available to participants and, in that sense, change the context for those participants. The new context then triggers new mechanisms. Thus, pro- gramme mechanisms can be identified by asking what it is about a programme that generates change. An intervention itself does not directly change its participants; it is the participants’ reaction to the opportunities provided by the programme that trig- gers the change (see examples below). A realist approach therefore looks for interactions among the opportunities or resources provided by the interven- tion and the reasoning or responses of the partici- pants. One route to identifying mechanisms is to conduct a thought experiment: when asked how the programme influenced him, a participant might say, ‘It makes me ponder X, see alternative Y, realise opportunity Z, etc.’
예를 들어, 학습자가 의학에 대한 widening- access course에서 '이 과정의 결과로 어떤 변화가 있었습니까?'라는 질문에 대한 자유 텍스트 응답을 작성하도록 요청하는 경우를 상상해보십시오. 학생들은 다음과 같이 다양한 답변을 할 수 있습니다.
과학적 문제에 대해 깊이 생각하고있다. '
'나는 진짜 의대생을 만났고 의학을 배우는 동안 너는 여전히 즐겁게 지낼 수 있음을 알았다.
'나는 자신의 능력을 믿기 시작했다.'또는
'나는 친구를 사귀었고 UKCAT 시험을 준비하면서 Facebook에 계속 연락 할 계획이다.'10
Imagine, for example, asking learners on a widening- access course for medicine to write free text responses to the question: ‘How have you changed as a result of coming on this course?’ Students might variously respond:
‘I started to think more deeply about scientific problems’;
‘I met real medical students and saw that you could still have fun whilst learning medicine’;
‘I started to believe in my own ability’, or
‘I made some friends and we are planning to keep in touch on Facebook as we prepare for the UKCAT test’.10
이러한 반응은 복잡한 결과가 나타날 수도 있음을 암시합니다. 과정에 의해 제공되는 기회가 학생들이 의대에 입학 할 가능성과 장소에 대한 경쟁력을 향상시켜 액세스를 확대 할 수있는 잠재적 메카니즘을 제시합니다. 약간 더 높은 수준의 추상화로 표현하면 이러한 메커니즘은
'반사와 깊은 학습을 촉진',
'대리 경험을 통한 동기 부여 증가',
'신뢰 구축'과
'상호 지원 제공'으로 묘사 될 수 있습니다.
These responses give an inkling of the complex outcomes that might be generated by a widening-access course and also suggest potential mechanisms by which the opportunities provided by the course might improve students’ likelihood of applying to medical school and their competitiveness for places, thereby widening access. Expressed at a slightly higher level of abstraction, these mechanisms might be described as
‘promoting reflection and deep learning’,
‘increasing motivation through vicarious experience’,
‘building confidence’ and
‘providing mutual support’.
이 예는 교육 개입의 '작업'이 종종 여러 개이고, 메커니즘이 분명하고 코스 설계자가 의도 한 메커니즘과 일치하며, 일부는 덜 분명하고 디자이너가 예기치 못한 메커니즘이라는 것을 보여줍니다. 또한 메커니즘은 개입에 고유 한 것이 아니라 참여자와 맥락의 함수라고 설명한다. 지속적인 전문 개발 과정을 밟고있는 기술이없는 의사는 기본 코스 설계 (소그룹 프로젝트 작업)가 유사하더라도 확장 액세스 코스의 16 세보다 페이스 북 그룹으로 조직 할 가능성이 적습니다. . 또한 동일한 교육 기회 (문맥)가 다른 학습자들에게서 서로 다른 반응 (따라서 다른 메커니즘)을 야기 할 수 있음을 주목하십시오. 예를 들어 확장 액세스 과정에서 두 명의 다른 학생들이 동료 학생들에게 사례 사례를 제시하는 작업을 수행 할 때 성과 (성과)가 좋을 수 있습니다. 그 이유는 '학업 성취도를 높이 평가하는 도전적인 학업 과제로 인식하기 때문입니다. 그녀가 '내 수줍음'(메커니즘)을 극복하기를 원한다는 실행 과제로 인식하기 때문에 열심히 공부하기 위해 도서관으로 갑니다.
This example illustrates that the mechanisms by which educational interventions ‘work’ are often multiple, that some mechanisms are obvious and correspond to those intended by the course design- ers, and that some are less obvious and are unantic- ipated by the designers. It also illustrates that a mechanism is not inherent to the intervention, but is a function of the participants and the context. Technology-naı¨ve clinicians on a continuing profes- sional development course are less likely to organise themselves into Facebook groups than are 16-year-olds on a widening-access course, even if the underlying course design – small-group project work – is similar. Note also that the same educational opportunity (context) may provoke different reactions (and therefore different mechanisms) in different learners. In a widening-access course, for example, two different students may perform well (outcome) when they are set the task of presenting a case example to their peers, one because he perceives it as a challenging academic task that ‘makes me get my finger out and go to the library’ (mechanism) and the other because she perceives it as a performative task that ‘makes me want to overcome my shyness’ (mechanism).
리얼리즘의 중요한 원리는 (약물 - 수용체 상호 작용과 달리) 결과의 '원인'이 단순하거나, 선형적이거나 결정론적이지 않다는 것이다. 명확한 학습 목표, 사용 가능한 독서 자료, 비판적인 질문 문화 및 대화식 토론 (교육 개입의 모든 부분)이 학생들을 자극-반응 방식으로 시험에 합격하게 만들지는 않지만, 그렇게 될 가능성을 더 높여준다. 이 예제의 생성 메커니즘은 사람들의 머리에서 발생하기 때문에 직접 보거나 측정 할 수 없습니다. 메커니즘은...
직접 보거나 측정 할 수 없습니다 (사람들의 머리에서 발생하기 때문에).
맥락에 민감합니다 (예를 들어, 학생들은 깊은 학습이 평가된다는 것을 학생들이 알 때 우선적으로 촉발 될 수 있습니다).
여러 개입니다 (따라서, 연구에서, unpicked되고, 정의되고 우선 순위를 매길 필요가 있습니다).
- 특정인, 장소 또는 사물에 불필요하게 고정되어있지 않으며, 다소 추상적인 수준에서 가장 잘 표현됩니다
An important principle of realism is that, by contrast with, say, a drug–receptor interaction, the ‘causes’ of outcomes are not simple, linear and deterministic. Clear learning objectives, available reading materials,a culture of critical questioning and interactive discussions (all part of an educational intervention) will not cause students to pass their examinations in astimulus–response manner, but they make this outcome more likely.
The generative mechanisms in this example
cannot be seen or measured directly (because they happen in people’s heads);
they are context-sensitive (reflection, for instance, may be preferentially triggered when stu- dents know that deep learning will be assessed);
they are multiple (hence, when researched, they need to be unpicked, defined and prioritised), and
they are best expressed at a somewhat abstracted level so that they are not tied unnecessarily to particular people, places or things.
교육자들은 다양한 결과가 발생한다는 관찰에 익숙합니다. 이 variability에 대한 현실주의자의 설명은 메커니즘과 다른 메커니즘 및 상황과의 상호 작용을 중심으로 이루어집니다. 맥락과 메커니즘 사이의 상호 작용과 메커니즘들 사이의 무한한 조합이 관찰 가능한 패턴을 만들지 않을 것으로 예상되지만, 사실 이것은 메커니즘의 중요한 특징을 지적한다. 패턴이 발생한다면, 사실주의는 그러한 발생이 부분적으로는 유사한 메커니즘의 작동에 의한 것으로 설명 될 수 있다고 가정한다. 따라서 성공적인 widening-access courses는 공통점이 있습니다. 일반적으로 각 코스는 맥락적 영향의 '올바른 혼합'이 원하는 결과를 얻기에 가장 관련성이 높은 메커니즘을 생성 할 가능성을 높이는 방식으로 설계되었습니다.
Educators will be familiar with the observation that varying outcomes occur. The realist explanation for this variability revolves around mechanisms and their interactions with other mechanisms and context. Although the endless permutations and combinations of interactions among context and mechanisms, and among mechanisms themselves, might be expected to produce no observable patterns, the fact that they do points to a particularly important feature of mechanisms. Where patterns do occur, realism postulates that this occurrence may be in part explained by the notion that similar mechanisms are being triggered. Thus, it is likely that successful widening-access courses have something in common: broadly speaking, each course has been designed in such a way as to increase the chances that the ‘right mixture’ of contextual influences will trigger the most relevant mechanisms to generate the desired outcomes.
간단히 말해, 사실주의는 메커니즘이 성과를 창출하기 때문에 메커니즘이 중요하며, 개입이 결과를 낳는 프로세스를 (때로는 극적으로) 변화시키기 때문에 맥락이 중요하다는 것을 주장한다. 따라서 컨텍스트와 메커니즘 모두 개입과 결과와 함께 체계적으로 연구되어야합니다. 함축적으로, 개입의 '순수한'효과를 드러내는 관점에서 문맥을 뺏어 가거나 '통제'하는 연구 또는 평가 설계는 개입이 언제, 어떻게 그리고 누구에게 효과적인지 이해하는 능력을 제한합니다.
In short, realism holds that mechanisms matter a great deal because they generate outcomes, and that context matters a great deal because it changes (sometimes very dramatically) the processes by which an intervention produces an outcome. Both context and mechanism must therefore be systematically researched along with intervention and outcome. By implication, research or evaluation designs that strip away or ‘control for’ context with a view to exposing the ‘pure’ effect of the intervention limit our ability to understand how, when and for whom the intervention will be effective.
사실주의적 연구란?
WHAT IS REALIST RESEARCH?
현실주의적 연구는 맥락, 메커니즘 및 결과 사이의 연결을 탐구한다. '무엇이 효과적이며, 어떤 상황에서, 어떤면에서, 그리고 왜 그런가?'라는 질문을 한다. 더 구체적으로 설명하자면 다음과 같다: 교육 개입은 어떤 종류의 학습자, 어떤 종류의 맥락에서, 어느 정도까지, 그리고 그러한 패턴을 설명하는 데 효과가있을 것인가? '이런 종류의 이론적 설명은 '중범위 이론'이라고 불린다. (즉, 그것들은 ... 추상적 인 것을 포함하지만, 관측 데이터가 경험적 검증을 허용하는 명제에 포함되기에 충분하다 "11).
Realist research explores the link between context, mechanism and outcome by asking the question: ‘What works, for whom, in what circumstances, in what respects and why?’ We can put this more accurately and specifically for this readership: ‘What kinds of educational interventions will tend to work, for what kinds of learners, in what kinds of contexts, to what degree, and what explains such patterns?’ Theoretical explanations of this kind are referred to as ‘middle-range theories’ (i.e. they ‘…involve abstraction… but [are] close enough to observed data to be incorporated in propositions that permit empirical testing’11).
현실주의적 중거리 이론 (realist middle-range theory) (realist synthesis나 realist evaluation의 일부로 구성된 이론)은 하나 이상의 메커니즘을 중심으로 구축 될 것이지만, 단순한 메커니즘 (C와 O도 포함)보다는 많은 것을 포함 할 것입니다. 현실주의 연구는 특정 중거리 이론을 증명하거나 반증하지 않습니다. 오히려, 그것은
(i) 데이터에서 관측 된 패턴을 그럴듯하게 설명한다;
(ii) 발견 된 우연한 사건과 예외의 범위를 가능한 한 수용하고,
(iii) 현장에 대한 최선의 이해를 토대로한다.
좋은 현실 주의자 이론은 경험적 데이터에 대한 추가 테스트와 반복적 인 개선을 위해 열려 있습니다.
Realist middle-range theories (i.e. theories that are constructed as part of a realist synthesis or realist evaluation) will be built around one or more mechanisms, but will involve more than just the mechanisms (i.e. they will also involve C and O). Realist research does not prove or disprove particular middle-range theories. Rather, it produces explanations which:
(i) plausibly account for observed patterns in the data;
(ii) accommodate (as far as possible) the range of contingencies and exceptions found, and
(iii) fit closely and build on current best understandings of the field.
A good realist theory is open for further testing and iterative refinement against empirical data.
현실 주의적 평가는 현실주의적 과학철학에 확고하게 기초하고 적용되는 주요 연구입니다. 현실 주의적 평가를 어떻게 수행 할 것인가는 기술적 또는 순차적 인 용어로 간단히 표현할 수 없습니다 (먼저 X를하고, 이와 같이 Y 다음으로 이동). 오히려 의학 교육 중재에 대한 현실 주의적 평가는 반복적 인 설명 - 구축 과정이며, 현명하고, 유연하고, 조합 적으로 사용하는 다음의 현실 주의적 접근법 중 하나에서 끌어낼 수 있습니다.
Realist evaluation is primary research that is firmly grounded in and applies the realist philosophy of science. How one undertakes a realist evaluation cannot be expressed simply in technical or sequential terms (first do X, like this, then move on and do Y, like this). Rather, a realist evaluation of a medical education intervention is an iterative explanation- building process and might draw from any of the following realist approaches, using them judiciously, flexibly and in combination:
1 가설 된 상황, 메커니즘 및 결과를 고려하여 평가를 설계한다.
1 designing the evaluation to take account of hypothesised contexts, mechanisms and out- comes;
2 과정 설계자와 교사로부터 정량적으로 (예 : 구조화 된 설문지를 사용하여) 또는 질적으로 (예 : 인터뷰, 포커스 그룹, 게시판 토론을 사용하여) 학습 성과를 창출하는 방법 (예 : 프로그램 이론 작성)에 대한 데이터 수집 , 오픈 응답 질문지 항목, 코스 문서 및 자료 검토);
2 collecting data from course designers and tutors on how the course is intended to produce learning outcomes (i.e. building ‘programme theories’), either quantitatively (e.g. using structured questionnaires) or qualitatively (e.g. using interviews, focus groups, bulletin board discussions, open-response questionnaire items, review of course documentation and materials);
3 설계자가 의도한 것은 아니지만, 의도된 (또는 의도되지 않은) 결과를 지원하거나 방해하는 추가 메커니즘을 식별하기 위해 유사한 방법을 통해 학생들로부터 데이터를 수집합니다.
3 collecting data from students through similar methods to identify additional mechanisms, unintended by the designers, which support or interfere with intended (or unintended) out- comes;
4 연구가 진행됨에 따라 데이터를 분석하고 신흥 프로그램 이론을 확인, 반박 또는 수정하는 데 도움이되는 추가 데이터 수집을 조정합니다 (그룹 간 및 그룹 내에서의 비교는 C-M-O 관계에 대한 질문을 제기하는 강력한 도구로 작용할 수 있음).
4 analysing data as the study unfolds and tailoring further data collection to help confirm, refute or refine emerging programme theories (comparisons between and within groups can act as powerful tools with which to raise questions about C–M–O relationships);
5 메커니즘이 신중하게 정의되고 우선 순위가 정해지는 결과의 예비 주제별 요약을 작성하고, 팀원 들간의 토론과 다른 사람들 (조종 그룹, 직원, 학생)에 대한 발표를 통해이를 더욱 상세화한다.
5 producing preliminary thematic summaries of findings, in which mechanisms are carefully defined and prioritised, and refining these further through discussion amongst team members and presentation to others (steering group, staff, students);
6 disconfirming 또는 모순 된 자료와 대안적인 설명을 명시 적으로 추구함으로써 검사를 해석한다 (해석상의 불일치는 서로 다른 맥락에서 발사되는 다른 메커니즘을 강조 할 수있다);
6 testing interpretations further by explicitly seeking disconfirming or contradictory data and alternative explanations (disagreements in interpretation may highlight different mechanisms firing in different contexts);
7 전반적인 분석 문서에서 주로 작업하고, 서술 형식을 합성 장치로 사용하여 포괄적인 설명 계정 작성 및 정제
(즉, '쓰기'는 일찍 시작되며 연구 과정에서 없어서는 안될 부분입니다.)
7 writing and refining an overarching explanatory account, working mainly from interim analysis documents and using the narrative form as a synthesising device (i.e. ‘writing up’ begins early and is an integral part of the research process), and
8. 가능하다면 전체 연구 프로그램 내에서 다른 환경에서 또는 다른 직원 또는 학생 코호트와 함께 프로세스를 반복합니다. 이것은 문맥 전반에 걸친 비교를 지원하므로 현실 주의적 노력의 본질을 나타낸다.
8 if possible within an overall research programme, repeating the process in a different setting or with a different staff or student cohort. This supports comparisons across contexts and thus represents the essence of the realist endeavour.
현실 주의자 검토 (현실 주의자 합성이라고도 함)는 현실 주의자 평가에 해당하는 2 차 연구입니다. 현실 주의적 리뷰는 하나의 연구 문제와 관련이있는 1 차 연구 결과의 종합에 현실 주의적 철학을 적용하는 해석 적 이론 중심의 서술 적 요약이다. 상호간의 사례 비교를 통해 리뷰에 포함 된 연구에서 관찰 된 결과가 어떻게, 왜 발생했는지 이해하고 설명합니다. 현실 주의자 검토 뒤에있는 실제 가정은 특정 개입 (또는 개입 클래스)이 다른 상황에서 다소 다른 메커니즘을 유발한다는 것이다. 현실주의에서는 개입 그 자체보다는 변화를 촉발하는 메커니즘이며 따라서 현실주의 검토는 '개입 패밀리'보다는 '메커니즘 패밀리'에 초점을 맞추고있다 .12 맥락, 메커니즘 및 결과 간의 상호 작용에 대한 설명과 이해가 추구된다 . 리뷰어는 결과를 설명하기 위해 하나 이상의 중간 범위 이론을 구성합니다.
Realist review (also known as realist synthesis) is the secondary research equivalent to realist evaluation. A realist review is an interpretive theory-driven narrative summary which applies realist philosophy to the synthesis of findings from primary studies that have a bearing on a single research question. It uses inter- pretive cross-case comparison to understand and explain how and why observed outcomes have occurred in the studies included in a review. The working assumption behind realist review is that a particular intervention (or class of interventions) will trigger particular mechanisms somewhat differently in different contexts. In realism, it is mechanisms that trigger change rather than interventions themselves and thus realist reviews focus on ‘families of mech- anisms’ rather than on ‘families of interventions’.12 An explanation and understanding of the interplay between context, mechanism and outcomes are then sought. The reviewer constructs one or more middle- range theories to account for the findings.
일반적으로 초기 탐색 독서는 잠재적이거나 후보 이론인 중범위 이론을 확인하고, 그 각각은 결과에 대한 패턴을 얼마나 잘 설명 하는지를보기 위해 데이터 (즉, 검토에 포함 된 연구)에 대해 테스트합니다. 현실주의자 리뷰어는 특정 예제의 분석, 중요한 프로그램 이론의 새롭게 떠오르는 그림, 특정 이론이나 하위 이론을 테스트하기 위한 추가 예제 탐색 사이에서 반복적으로 움직입니다. 이러한 이유로 현실주의 리뷰는 확고한 검색 전략이나 프로토콜로 시작하지 않습니다.
Typically, early exploratory reading identifies a num- ber of potential or ‘candidate’ middle-range theories, each of which is then tested against the data (i.e. the studies included in the review) to see how well it is able to explain the pattern of findings. The realist reviewer moves iteratively between the analysis of particular examples, an emerging picture of the overarching programme theory, and an exploratory search for further examples to test particular theories or sub-theories. For this reason, a realist review does not begin with a firm search strategy or protocol.
현실주의적 연구에서의 엄격함 추구는 질적 연구에서 볼 수있는 원칙을 반영하지만, 질적, 양적 또는 혼합 방법을 사용합니다. 많은 것들이 immersion를 이루는 데 (즉, 진행되는 것을 실제로 이해하기 위해 연구에 충분한 시간을 들여야합니다.) 데이터를 세 심하게 수집하고 체계적으로 분석하고, 결과에 대해 반사적으로 생각하고, 신흥 데이터가 분석 될 때 반복적으로 이론을 개발하고, disconfirming cases 및 대안 설명을 찾습니다. (위 참조), 자신의 팀 내부와 외부의 연구자들에 대한 해석을 옹호해야한다.
The pursuit of rigour in realist research reflects principles usually seen in qualitative research, although it may draw on qualitative, quantitative or mixed methods. Much rests on achieving immersion (i.e. spending enough time in the study to really understand what is going on), collecting data meticulously and analysing them systematically, thinking reflexively about findings, developing theory iteratively as emerging data are analysed, seeking disconfirming cases and alternative explanations (see above), and defending one’s interpretations to researchers within and outside one’s own team.16
의학교육에서 사실주의 연구는 어떻게 사용될 수 있는가?
WHERE MIGHT REALIST RESEARCH BE USED IN MEDICAL EDUCATION?
그림 1은 현실적인 리뷰를 사용하여 의료 전자 학습에서 어떤 상황에서 누가 작동하는지에 대한 예를 보여줍니다 .4
Figure 1 illustrates an example of how realist review was used to elucidate the issue of what works for whom in what circum- stances in medical e-learning.4
그러나 의학 교육의 모든 연구 문제가 현실주의 접근법에 적합하지는 않습니다. 이 방법은 6 가지 상황에서 특별한 강점을 가질 수 있습니다.
However, not all research questions in medical education are suited to realist approaches. We suggest that this method is likely to have particular strengths in six circumstances:
1 특정 중재의 RCT (또는 비 - 무작위 비교 비교)가 효력의 일관되지 않은 추정치를 산출했을 때, 그리고 이러한 중재를 언제, 어떻게, 그리고 누구와 함께 사용할 것인가에 대한 합의가 없다.
1 when RCTs (or non-randomised comparative trials) of particular interventions have produced inconsistent estimates of efficacy and there is no consensus on when, how and with whom to use these interventions;
2 개입이 특정 목적을 위해 적절하고 효과적이라고 널리 받아 들여 지지만 교육자들은 그것이 특정 하위 그룹에 최적화되거나 목표로 삼을 수 있다고 생각할 때;
2 when an intervention is broadly accepted as appropriate and effective for a particular purpose, but educators feel that it could be optimised or targeted at particular subgroups;
3 특정 개입에 관한 기존의 연구가 주로 통계적 합성에 적합하지 않지만 풍부한 질적 자료를 제공하는 서로 다른 질적 연구와 '회색 문학'계정 (예 : 내부 평가, 박사 학위 논문)으로 구성되는 경우;
3 when the existing research on a particular intervention consists mainly of disparate qualitative studies and ‘grey literature’ accounts (e.g. internal evaluations, PhD theses) that do not lend themselves to statistical synthesis but provide a rich source of qualitative data;
4 새로운 중재가 어떻게 그리고 누구에게 효과적인지를 확인하기 위해 시도 중일 때;
4 when new interventions are being trialled in order to identify how and for whom they are effective;
5 교육 개입을 지원하는 시스템이나 구조에 변화가 생길 때. 왜냐하면 이것들은 (심지어 간접적 인 경우 라 할지라도) 전달에 영향을 주어 문맥, 메커니즘 및 결과 구성의 패턴을 변경시킬 수 있기 때문이다.
5 when changes are being introduced to the systems or structures that support educational interventions because these are likely to affect delivery (even if indirectly) which may, in turn, alter the pattern of the context, mechanism and outcome configurations generated, and
6 일상적으로 학습자 결과 또는 프로그램 영향에 대한 데이터를 수집하면 설명이 필요한 이러한 패턴에서 설명되지 않는 변화가 나타납니다.
6 when routinely collected data on learner outcomes or programme impacts reveal unexplained changes in these patterns that require explanation.
Figure 1 An example of the use of realist review to elucidate why, for whom and in what circumstances a particular intervention works4
Cook et al.’s systematic review and meta-analysis highlighted the limitations of this method of review as despite undertaking a number of sub-group analyses “…exploring variations in learning setting, instructional design, study design, and study quality.” they were able to only partially explain the “…inconsistent (heterogeneous) results…” found (3).
Using realist synthesis we were able to make further inroads into explaining the fortunes of e-learning interventions by deliberately setting out to explain why certain outcomes occurred under specific contexts and which mechanism(s) might be relevant (13). For example, we identified that an important process that had a bearing on outcomes was that of engaging learners. This can be conceptualised as being comparable to the
face-to face teaching issue of getting learners to turn up to a teaching session. A middle-range theory that was able to provide a useful explanatory lens was Rogers’ Diffusion of Innovation theory (adapted by Moore and Benbasat) (23;24).This theory consisted of seven mechanisms and our data indicated that three were of particular importance – namely ‘relative advantage’, ‘ease of use’ and ‘compatibility’.
As an illustration, a common type of Internet based resource used is the electronic textbook (where text and often multimedia are made available online). Jao et al. offered just such a resource with the goal of increasing medical students’ knowledge of neurology on a two week compulsory placement (25). They provided a free electronic neurology textbook (students previously had to purchase one of their choice) and based all their teaching and end of placement assessments exclusively on the contents of their electronic textbook. They reported that students’ knowledge of neurology increased and the electronic textbook was well received and used. In contrast many other interventions using electronic textbooks frequently do not achieve their set goal(s).
The apparent success of the example above can be explained by the relative advantage mechanism of the Diffusion of Innovation theory. The reported data indicated that students used this electronic textbook because it was free, covered all that they were expected to learn about neurology (during their brief placement) and their end of placement assessment was based exclusively on its contents.
결론
CONCLUSIONS
현실주의 평가 및 현실주의 검토는 실천과 정책에 특별한 이점을 제공합니다. 교육 연구는 오랫동안 특정 중재가 한 그룹의 학생들이 효과적으로 배우는 데 도움이되지만 다른 그룹에게는 효과가 덜한 이유를 풀고 이해하고 설명하려고 오랫동안 노력해 왔습니다. 그러나 최근까지도 교육 개입의 복잡성에 대한 적절한 대응 방법이 없었습니다. 리얼리즘 접근법은 실세계 개입의 지저분한 점을 인정하고 수용하며, 그리고 다른 유형의 질문 ('어떻게' 및 '누구에게')을 묻기 때문에 중재 및 정책을 특정 목적, 특정 대상 그룹, 특정 상황 집합에 맞게 조정할 수 있습니다.
Realist evaluation and realist review offers particular advantages for practice and policy. Education research has long sought to unpick, understand and explain why particular interventions help one group of students learn effectively, but are less effective with another group. However, until recently, appropriate methods of grappling with the complexity of educa- tional interventions have not been available. Because realist approaches acknowledge and accommodate the messiness of real-world interventions, and because they ask different questions (not just ‘whether’ but ‘how’ and ‘for whom’), they can inform the tailoring of interventions and policy to particular purposes (such as for particular kinds of learning), particular target groups and particular sets of circumstances.
2 Rees C, Monrouxe L. Theory in medical education research: how do we get there? Med Educ 2010;44 (4):334–9.
Realist methods in medical education research: what are they and what can they contribute?
Author information
- 1
- Centre for Primary Care and Public Health, Blizard Institute, Queen Mary University of London, London, UK. grckwong@gmail.com
Abstract
CONTEXT:
METHODS:
DISCUSSION:
© Blackwell Publishing Ltd 2012.
Comment in
- To every complex problem there is a simple solution... [Med Educ. 2012]
- PMID:
- 22150200
- DOI:
- 10.1111/j.1365-2923.2011.04045.x
- [Indexed for MEDLINE]
'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글
| 의학교육연구의 평판: 준실험연구와 타당도 위협(Teach Learn Med, 2008) (0) | 2017.07.25 |
|---|---|
| 무작위 대조군 연구 = 교란되고 사소한 연구결과: 대(grand) 교육실험의 위험성(Med Educ, 2003) (0) | 2017.07.25 |
| 의학교육연구는 '경성' 연구인가 '연성' 연구인가? (Adv in Health Sci Educ, 2008) (0) | 2017.07.25 |
| 의학교육에서 실험연구에 대한 성찰(Adv in Health Sci Educ, 2010) (0) | 2017.07.21 |
| 초점을 좁히고 지평을 넓히기: 체계적, 비체계적 고찰의 보완적 역할(Adv in Health Sci Educ, 2008) (0) | 2017.07.21 |