우리는 같은 패러다임을 말하고 있는가? 리뷰문헌에서 방법론의 선택 (Med Teach, 2016)

우리는 같은 패러다임을 말하고 있는가? 리뷰문헌에서 방법론의 선택 (Med Teach, 2016)

Are we talking the same paradigm? Considering methodological choices in health education systematic review

Morris Gordona,b

배경

Background

지난 20년 동안 의학 교육이 좀 더 근거기반이 되어야 한다는 주장이 있었다(Bligh & Anderson 2000; Carline 2004; Chen et al. 2005; Gordon et al. 2014b).

For the past two decades, there have been calls for medical education to become more evidence-based (Bligh & Anderson 2000; Carline 2004; Chen et al. 2005; Gordon et al. 2014b).

어떤 연구자들은 (결론에 영향을 미치고 잠재적으로 제한을 주는) [교란 변수 때문에 1차 증거 기반이 열악하다]고 생각하는 반면, 다른 연구자들은 이것을 [사회과학 방법론과 결과에 대한 이해 부족]이라고 해석했다(Dornan et al. 2008).

There are researchers in the field who believe that the primary evidence base is poor due to the confounding variables that impact and potentially limit conclusions, whilst others have interpreted this as a lack of understanding of social science methodology and outcomes (Dornan et al. 2008).

BEME 2015는 이러한 요구를 해결하고 의료에서 보이는 혁명을 반영하기 위해 1999년 설립된 개인, 대학 및 전문 기관들의 국제 그룹이다.

The BEST EVIDENCE MEDICAL EDUCATION Collaboration (BEME 2015) is an international group of individuals, universities and professional organizations established in 1999 (Harden et al. 1999) to address these needs and mirroring the revolution seen in healthcare.

작업을 시작하기 전에 설계되고 따라서 투명하며 명확하게 재현 가능한 방식으로 제시되는 방법론 BEME는 이것이 [명성에 기반한 검토]에서 [증거에 기반한 검토]로 옮겨갈 수 있는 열쇠라고 믿는다.

a methodology that is designed prior to works beginning and therefore is transparent and presented in a manner that is clearly reproducible. BEME believe this is the key to move from eminence based reviews to evidence based reviews.

현장에서 체계적인 검토를 완료하는 사람들이 겪는 주된 어려움 중 하나는 연구의 '만화경적' 특성이다. 주어진 문제를 조사하는 다양한 연구 질문과 양식이 있기 때문이다. 쿡 등은 (2008a) 정당성(여부), 설명(무엇) 및 설명(방법 및 이유)에 초점을 맞춘 연구를 고려함으로써 이 문제를 우아하게 조명했다. 앞서, 프레임워크를 활용하여 보다 목적적합한 체계적 검토를 생성하는 핵심이 될 수 있음이 제안되었다(Gordon et al. 2014b).

One of the key challenges for those completing systematic reviews in the field is the kaleidoscopic nature of research in any given area, with a range of research questions and modalities investigating any given issue. Cook et al. (2008a) illumined this issue elegantly by considering studies as focusing on justification (whether), descriptive (what) and clarification (how and why). Previously, it has been proposed that considering this framework is the key in producing more relevant systematic reviews (Gordon et al. 2014b).

그러나 이러한 검토 질문과 목표의 범위가 증가함에 따라 분야 내 synthesis 방식이 기하급수적으로 증가하게 되었다. 그 예로는 내용 분석, 사례 조사, 주제 분석, 메타 분석, 메타 데이터 분석 및 현실주의 검토뿐만 아니라 메타 분석과 같은 보다 전통적인 정량적 건강 합성 기법의 사용이 있다(Sharma et al. 2015). 이것들은 부록 1에서 간략하게 설명되었다.

However, this increased range of review questions and objectives have resulted in an exponential increase in synthesis modalities within the field. Examples include the use of content analysis, case survey, thematic analysis, meta-narrative, metaethnography and realist review, as well as more traditional quantitative health synthesis techniques such as meta-analysis (Sharma et al. 2015). These briefly explained in Appendix 1.

체계적 검토 프레임워크

Systematic review frameworks

증거를 종합하기 위해 데이터 집합에 많은 방법을 적용할 수 있지만, 그러한 작업이 내부에서 고려되고 있는 가장 중요한 맥락은 체계적인 검토다. 이러한 내용은 저자에 의해 "특정 문제와 관련된 모든 고품질 연구 증거를 식별, 선택, 평가, 추출 및 종합"하는 검토로 정의된다.

Whilst many methods can be applied to a dataset to synthesize evidence, the overarching context that such works are being considered within is systematic review. These are defined by the author as reviews that ‘‘identify, select, appraise, extract and synthesize all high-quality research evidence relevant to a given question’’

본 저자는 [체계적인 방법론만이 증거 기반의 건강 교육 모델과 가장 잘 부합할 수 있다]는 BEME의 입장을 전적으로 지지한다. 그러나, 이것은 독자들이 또한 이 alignment 자체가 실증주의 연구 패러다임에서 나온다는 것을 인식하게 된다는 것을 의미한다. 그러한 패러다임에서 권위 있는 진리의 형태의 지식은 경험적 증거에서 파생된다.

This author fully supports the position of BEME that only a systematic methodology can best align with an evidence based health education model. However, this means that readers will also recognize that this alignment itself draws from a positivist research paradigm. In such a paradigm, knowledge in the form of an authoritative truth is derived from empirical evidence.

그러한 검토에는 여러 가지 다른 프레임워크가 있지만, 모아서 보면 그들은 유사성이 뚜렷하다. 이는 최근 발표된 건강교육 체계적 검토를 위한 간행물 표준인 STORIES 성명(Gordon & Gibbs 2014c) 제작 과정에서 강조되었다.

There are a number of different frameworks for such reviews, but when they are considered together they are stark in their similarities. This was emphasized during the production of the recently published publication standards for health education systematic review, the STORIES statement (Gordon & Gibbs 2014c).

이 과정에서 보건교육 검토에 포함시키기 위한 여러 가지 새로운 요소들이 확인되었지만, 이전에 확인된 건강체계적 검토 체계(항목의 70%) 간에 공유된 모든 방대한 수의 요소들이 더 극명하게 나타났다. 이러한 (체계적 문헌고찰의) 동질성은 데이터 식별, 추출 및 품질 평가 요소, 즉 검토 과정에서 암묵적으로 '체계적' 실증주의적 요소에 집중되었다.

During this process, a number of novel elements for inclusion within health education reviews were identified, but starker were the all vast number of elements that were shared between previously identified health systematic review frameworks (70% of items). This homogeneity was focused on the data identification, extraction and quality assessment elements, the implicitly ‘systematic’ positivist elements in the review process.

합성 방법론의 연구 패러다임

Research paradigms of synthesis methodologies

체계적 검토 방법이 정의되면 근거종합evidence synthesis 방법을 선택해야 한다.

Once the method of systematic review has been defined, the method of evidence synthesis must be selected.

내용 분석 및 메타 분석(Bearman & Dawson 2013)과 같은 방법들은 코크란 양적 및 실증주의적 정렬alignment에서 라우팅된 검증 또는 변조 패러다임을 고려한다. 이러한 방법들은 현실주의realism라는 존재론적 렌즈를 통해 가르치는 의학 교육 관점의 맥락에서 (realism에서 이론은 그들 주위의 세계들 내의 실제 특징과 현상을 말한다) 검토에 대한 서술적이고 정당화된 결과, 즉 소위 '무엇what'과 '여부whether' 질문에 답하는 것을 목적으로 한다(Cook et al. 2008a). 이와 같이, 교육적 진리는 관찰 가능하고 측정가능하며, 따라서 (리뷰 결과가) 필요한 다른 곳에서, 다른 사람들에 의해 재생산되어, 교육에 영향을 미칠 수 있는 것으로 보인다.

Methods such as content analysis and meta-analysis (Bearman & Dawson 2013) consider a verification or falsification paradigm, routed in their Cochrane quantitative and positivist alignment. These methods in the context of medical education view teaching through the ontological lens of realism (theories refer to real features and phenomena within the world around them) achieving descriptive and justification outcomes for the review—the so called ‘what’ and ‘whether’ questions (Cook et al. 2008a). As such, educational truth is seen as something that is observable, measurable and therefore hopefully can be reproduced by others where there is a need, achieving impact for the education.

이것은 일부 사람들이 부적절하다고 느낄 수 있는 객관주의와 실증주의적인 입장을 시사한다. 그러나, 이 발견이 그러한 형태의 교육의 효과를 어떤 식으로든 다루지 않기 때문에, 현재의 증거 기반은 교육자들이 고용하는 더 넓은 조직을 제안하는 '무엇'을 정의하는 데 초점을 맞추고 있기 때문에, 이러한 유형의 문헌고찰이 가지는 역할이 분명히 있다.

This suggests an objectivism and positivist standpoint that some may feel is inappropriate. However, as this finding does not in any way address the effectiveness of such a form of education, rather focusing on defining ‘what’ the current evidence base suggests the wider body of educators employ, there is clearly a role for such works.

정당화justification에 초점을 두는 검토가 있으며, 이는 일종의 시뮬레이션 교육이 소생 기술에서 요구되는 역량을 달성할 수 있는 추가 단계로 이어질 수 있다. 이 진술은 이 패러다임과 함께 존재하는 문제와 그러한 패러다임에 맞춰 존재하는 많은 일의 약점을 동시에 강조하기 위한 것이다. 그러한 연구 패러다임을 차지하고 있는 의료교육의 체계적 검토의 문제점은 엄밀히 현실주의적인 관점이 다른 맥락에서 일하는 독자들에게 그러한 연구의 광범위한 사용을 내재적으로 제한한다는 것이다. 이러한 맥락 안에서 (객관주의와 실증주의 입장의) 검토는 내용 및 교육학 분야 내에서 [극단적으로 잘 정의되고 구체적인 범위]에서 활용될 수 있다. 

There are some reviews that will align with a justification focus and this may lead to a further step that a form of simulation education will achieve required competence in resuscitation skills. This statement is intended to simultaneously highlight both the problems that exist with this paradigm and the weakness of much work that exists aligned to such a paradigm. The issue with systematic reviews in medical education that occupy such a research paradigm is that a strictly realist viewpoint innately limits the wider use of such work for readers working in other contexts. It is possible within this context that such a review could occupy an extremely well defined and specific area of scope within a content and pedagogical field. 

이러한 형태의 리뷰에서는, 객관적이고 정의 가능한 기준들이 있다고, 이것은 결과와 연결될 수 있다고 주장할 수 있다. 그러나 많은 리뷰의 초점은 그렇게 맞추어져 있지 않으며, 엄청난 주제와 광범위한 검토가 공통적이다(Cook et al. 2008b). 그러한 검토 내에서 어떤 결과를 얻기 위한 최선의 증거인 보충이나 교육학에 관한 어떤 의미 있는 발견이 이루어질 수 있다고 주장하는 것은 극히 논쟁적인 것이라고 제안된다. 이것은 의학교육의 체계적 검토에 있어서 그러한 많은 정당화연구justification work의 약점과 연결된다. 교육적이든 방법론적이든, (연구의) 이질성은 상당한 장애물이다. 이와 같이, 이는 코크란 방법론에 예시된 메타분석은 매우 조심스럽게 사용되어야 하며, 사용할 경우에는 그 사용이 충분히 정당화되어야 한다는 점을 강조한다.

In this situation, it could be argued that there is an objective and definable set of criteria that can then be linked to an outcome. But this is not the focus for many such reviews, with huge topics and widely scoped reviews common (Cook et al. 2008b). It is proposed that within such reviews it is extremely contentious to argue that any meaningful findings about the make up or pedagogy that are best evidence to achieve a certain outcome can be made. This links to the weaknesses of many such justification works in medical education systematic review. Heterogeneity, both educational and methodological (Sharma et al. 2015) are a significant barrier. As such, this further cements the view that meta-analysis as exemplified within Cochrane methodology should be used sparingly and well justified when used.

메타민족지학 및 주제 분석과 같은 기법은 상호작용 방법론과 일치하며, 종종 명확화clarification을 위한 체계적 검토의 맥락 안에서, 지식 생성에 대한 귀납적 접근을 취한다(Cook et al. 2008a). 이러한 검토는 [연구자의 이해가 이러한 진실에 대한 맥락적 해석을 가능하게 한다는 것]을 수용하면서, 증거기반의 본질을 탐구하고 이 증거기반을 통해 탐구되고 있는 교육적 진리를 보려는 것이다. 

Techniques such as meta-ethnography and thematic analysis are aligned with an interaction methodology, taking an inductive approach to knowledge generation (Bearman & Dawson 2013) often within the context of clarification systematic reviews (Cook et al. 2008a). These reviews seek to explore the nature of the evidence base and view the educational truth that is being explored through this evidence base, accepting that the understanding of the researchers allows a contextual interpretation of this truth. 

체계적 검토의 맥락에서 이러한 발견은 방법론적 객관성의 요소를 보장하면서 명확하게 기술되고 투명한 방법론을 가진 체계적 프로세스에서 도출되었지만, 발견된 증거 기반에 의해 명백하게 기초하고 아마도 제한될 수 있다. 이것은 앞서 강조되었던 것과는 반대되는 연구 전통을 보여준다. 체계적 검토의 실증주의적 경향은 이러한 특정한 합성 방법의 본성과 병행juxtaposed되었다(세상은 인간의 마음으로부터 독립되어 있지만, 세계에 대한 지식은 언제나 인간적이고 사회적인 구성이다).

In the context of a systematic review these findings have been derived from a systematic process with a clearly described and transparent methodology, ensuring an element of methodological objectivity, but obviously grounded in and possibly limited by the evidence base that is discovered. This exemplifies the opposing research traditions previously highlighted. The positivist tendencies of systematic review juxtaposed with the overarching constructivist (the world is independent of human minds, but knowledge of the world is always a human and social constructs) nature of these particular synthesis methods.

증거 기반에서 서로 다른 요소들의 내용과 맥락은 그 자체도 다양하고 실로 다양할 수 있다. 이러한 차이를 수용하고 [상대론적 존재론적 관점]과 일치하면서 다른 설명 체계에 초점을 맞춘 방식으로 그러한 방법론을 적용할 가능성이 존재한다(Green & Britten 1998). 이것은 실증주의적 코크란 형식 체계적 검토에서 민감성과 부분군 분석의 역할에 비견되는 측면도 있지만, (실증주의에 반대되는) 구성주의적 연구 패러다임에서 탄생한 것이다.

The content and context of different elements of the evidence base may themselves be diverse and indeed divergent. There exists a possibility to apply such methodologies in a manner that focuses on different explanatory frameworks, embracing this divergence and aligning with a relativist ontological perspective (Green & Britten 1998). This is in some ways comparable to the role of sensitivity and subgroup analysis in a positivist Cochrane format systematic review, but born out of an opposing constructivist research paradigm.

예를 들면 CPR 기술을 향상시키는 시뮬레이션에 대한 연구를 예로 들어볼 수 있다. 연구는 두 개의 다른 그룹으로 나뉜다는 것이 밝혀질지도 모른다. 첫째는 동질적 학습자 그룹이며, 둘째는 서로 다른 보건 전문가들로 이루어진 이질적 그룹이다. 특정한 교육 테크닉이 효과적이냐, 아니면 그것이 '어떻게' 효과가 있느냐 하는 문제는 이 두 가지 서로 다른 맥락 안에서 완전히 다를 수 있으며 다양한 '진실'이 존재하게 할 수도 있다. 이러한 차이는 연구자와 임상 교사 모두에게 빛을 발하고 있다.

An example would allow us to return to our form of simulation that enhances resuscitation skills. It may be found that studies fall into two different groups. The first involves homogenous groups of learners and the second heterogeneous groups of different health professionals. The question of whether this technique is effective or ‘how’ it is affective may be completely different within these two different contexts and allow diverse ‘truth’ to exist. This divergence is illuminating to both researchers and clinical teachers.

의학 교육 내에서 '어떻게'와 '왜' 질문을 탐구하기 위한 명확화 검토의 목표를 고려할 때, 이러한 방법은 교육을 설계하고 수정하고자 하는 사람뿐만 아니라 인식론적 관점에서 '영향'을 보다 완전하게 이해하고자 하는 사람들에게 깊은 의미 있는 결과를 산출할 수 있는 잠재력을 가지고 있다. 그러한 영향의 관점은 공존할 수 있는 현존하는 최상의 증거와 여러 가지 다른 결과를 고려할 수 있다. 그러나, 그러한 연구들이 반드시 '무엇'을 사용하고, '효과가 있을지 여부'를 정의하지는 않을 수 있으며, 저자들로 하여금 이러한 방법을 사용할 적절한 맥락을 결정하게 남겨놓을 것이다.

When considering the goal of clarification reviews to explore the ‘how’ and ‘why’ questions within medical education, these methods have the potential to yield deeply meaningful results for those looking to design and amend education, as well as those wishing to more fully understand ‘impact’ from an epistemological perspective. Such a view of impact can consider multiple diverging outcomes with co-existing best evidence that can all co-exist. However, such works will not necessarily define ‘‘what’’ to use and ‘‘whether’’ it works, leaving authors to decide on the appropriate context to deploy these methods.

이쯤 되면 현실주의적인realist 평가를 언급할 가치가 있다. 이 요약 안에서 현실주의가 상세하게 논의되었지만, 리얼리스트 리뷰는 본질적으로 실증주의 패러다임인 현실주의의 존재론적 입장과 직접적으로 일치하지는 않는다. 현실주의 리뷰는 (우리 두뇌, 언어, 문화 등을 통해 처리되기 때문에) 직접 측정할 수는 없지만 간접적으로 알 수 있는 [사회적] 현실이 있다고 가정한다. 이와 같이 현실주의적인 현실 세계의 리뷰가 [실증주의('관찰을 통해 직접적으로 파악할 수 있는 것'이 있다)와 구성주의('우리가 알 수 있는 모든 것은 인간의 감각과 인간의 뇌를 통해 해석되었다는 것을 감안할 때, 우리는 현실의 본질이 무엇인지 확실히 알 수 없다') 사이에 존재한다]고 주장한다(원 외. 2013).

At this point, it is worth mentioning realist reviews. Whilst realism has been discussed in detail within this digest, realist reviews are not aligned directly with the ontological stance of realism, which is essentially a positivist paradigm. Realist reviews assumes there is a [social] reality that cannot be measured directly (because it is processed through our brains, language, culture and so on), but can be known indirectly. As such, it is argued that realist real world reviews exist between positivism (‘‘there is a which we can apprehend directly through observation’’) and constructivism (‘‘given that all we can know has been interpreted through human senses and the human brain, we cannot know for sure what the nature of reality is’’) (Wong et al. 2013).

따라서 이 증거 합성 방법이 다른 연구 패러다임을 명확하게 연결하기 때문에 최근 몇 년 동안 현장에서 일하는 사람들로부터 많은 관심을 가져왔다는 것은 충분히 이해할 수 있다. 그러나 일부 상황에서는 특히 이미 논의된 바와 같이 서로 다른 이론적 해결책을 고려할 가능성을 고려할 때 선험적 이론의 사용과 맥락과 메커니즘에 대한 집중이 제한적일 수 있다. 이것은 다시 한 번 잠재적인 작가들에게 그러한 형식성을 정확하고 가장 유용하게 배치해야 하는지의 여부가 아니라 언제가 되어야 하는지에 대한 의문을 남긴다. 본 논문에서 논의된 주요 특성과 논의된 양식의 범위는 그림 1에 설명되어 있다.

It is therefore quite understandable that this evidence synthesis method has had much interest from those working in the field in recent years as it clearly bridges different research paradigms. However, the use of a priori theory and the focus on context and mechanism could be limiting in some situations, particularly when considering the potential to consider divergent theoretical solutions as already discussed. This once again leaves potential authors with the question of not whether but when to correctly and most usefully deploy such a modality. The range of modalities discussed, as well as the key characteristics discussed within this paper are illustrated within Figure 1.

고찰

Discussion

어떤 체계적 문헌고찰 방법을 선택할지에 대해 영향을 주는 핵심 특징은 '어떤 질문을 다룰 것인가'이다. 질문과 기대되는 결과outcome을 명확히 정의한다면, 

• 이 결과를 받을 교육자들에게 alignment가 명백해질 것이다. 

• 그러면 이것은 목적에 맞는 적절한 방법론의 배치를 가능하게 할 것이며, 

• 체계적인 검토를 완료하는 데 필요한 중요한 작업과 그러한 작품을 읽는 데 필요한 상당한 노력을 정당화할 것이다. 

The key characteristic of a systematic review that should impact this choice is the question being addressed. By clearly defining this and the related outcome expected from the review and for educators who will receive this outcome, the alignment will become apparent. This will then allow deployment of an appropriate methodology that is fit for purpose and will indeed justify the significant work needed to complete a systematic review and the significant effort needed to read such a piece. 

또한, 체계적 문헌고찰 연구의 저자들은 그들의 연구 정렬과 선택된 질문, 정렬 및 증거 합성 방법의 연관성을 기술해야 한다. 이로서 독자가 연구결과를 더 잘 이해할 수 있도록 도와주며, 상호 배타적인 질문과 발견이 존재할 수도 있는 동일영역의 중복되는 연구들과 작품을 구별할 수 있게 해준다.

Additionally, it is proposed that authors of such work should describe their research alignment and the link between question, alignment and evidence synthesis method selected. This supports understanding within readers and also differentiates the work from pieces overlapping in the same area that may have mutually exclusive questions and findings.

Modalities의 범위를 탐구하는 과정과 그 정렬은 연구자의 무기고의 차이를 강조한다. 이는 특히 [현실주의 검토만이 현재 존재하는 것으로 보이는] 연구 패러다임의 '중간지대'에서 관련이 있는 것으로 보인다. Realist review는 특히 2차 연구가 [복수의 진리가 존재할 수 있다는 구성주의적 관점]을 수용하면서 [절대적 진리에 대한 실증주의적 관점]의 요소를 둘 다 수용할 수 있는 흥미로운 영역으로 보인다. 이것은 특히 의학교육에서 더 많은 1차 연구들이 특정한 존재론적 입장을 분명히 차지하지 않는 방식으로 검토될 필요가 있는 관련 이론과 체계를 정의하기 시작함에 따라 관련될 수 있다. 이러한 철학적 중심지는 의료교육의 체계적 검토의 미래가 놓여있어야 하는 곳일 수 있으며, 따라서 이 분야에 대한 학문적 의견과 토론이 초대된다.

The process of exploring the range of modalities and their alignment highlights gaps in the researcher’s arsenal. This seems particularly relevant in the research paradigm ‘middle ground’, where only realist review seem to currently reside. This appears to be a particularly interesting area where secondary research can accept an element of both a positivist view of absolute truth, whilst accepting a constructivist perspective that multiple truths may exist. This may be particularly relevant as more primary research works in medical education begin to define relevant theory and frameworks that may themselves need to be reviewed in a manner that will not clearly occupy a specific ontological stance. This philosophical center ground may be where the future of systematic review in medical education must lie and so scholarly input and debate in this area is invited.

---

. 2016 Jul;38(7):746-50.

 doi: 10.3109/0142159X.2016.1147536. Epub 2016 Mar 23.

Are We Talking the Same Paradigm? Considering Methodological Choices in Health Education Systematic Review

Morris Gordon 1 2

Affiliations 

Affiliations

• 1a School of Medicine , University of Central Lancashire , Preston , UK ;
• 2b Blackpool Victoria Hospital , Blackpool , UK.

• PMID: 27007488
 
• PMCID: PMC4973145
 
• DOI: 10.3109/0142159X.2016.1147536

Abstract

For the past two decades, there have been calls for medical education to become more evidence-based. Whilst previous works have described how to use such methods, there are no works discussing when or why to select different methods from either a conceptual or pragmatic perspective. This question is not to suggest the superiority of such methods, but that having a clear rationale to underpin such choices is key and should be communicated to the reader of such works. Our goal within this manuscript is to consider the philosophical alignment of these different review and synthesis modalities and how this impacts on their suitability to answer different systematic review questions within health education. The key characteristic of a systematic review that should impact the synthesis choice is discussed in detail. By clearly defining this and the related outcome expected from the review and for educators who will receive this outcome, the alignment will become apparent. This will then allow deployment of an appropriate methodology that is fit for purpose and will indeed justify the significant work needed to complete a systematic. Key items discussed are the positivist synthesis methods meta-analysis and content analysis to address questions in the form of 'whether and what' education is effective. These can be juxtaposed with the constructivist aligned thematic analysis and meta-ethnography to address questions in the form of 'why'. The concept of the realist review is also considered. It is proposed that authors of such work should describe their research alignment and the link between question, alignment and evidence synthesis method selected. The process of exploring the range of modalities and their alignment highlights gaps in the researcher's arsenal. Future works are needed to explore the impact of such changes in writing from authors of medical education systematic review.