초점을 좁히고 지평을 넓히기: 체계적, 비체계적 고찰의 보완적 역할(Adv in Health Sci Educ, 2008)

초점을 좁히고 지평을 넓히기: 체계적, 비체계적 고찰의 보완적 역할(Adv in Health Sci Educ, 2008)

Narrowing the focus and broadening horizons: Complementary roles for systematic and nonsystematic reviews

David A. Cook

최근 사설에서 Eva는 '체계성의 한계'에 대해 논의했습니다 (Eva 2008). 그의 의견은 체계적인 검토의 타당성과 유용성에 관한 여러 가지 정당한 우려를 강조한다. 그는 편향 - "하나의 결과 나 대답을 선택하거나 장려함으로써 샘플링이나 테스트에 도입 된 체계적인 오류"(Merriam-Webster)는 불가피한 것이라고 지적합니다. 이 점을 감안할 때 그는 편견을 받아들이고, 체계성인 척 하지 말고, 대신 비 체계적 합성에 초점을 맞추어야한다고 주장한다.

In a recent editorial, Eva discussed the ‘‘limits of systematicity’’ (Eva 2008). His comments highlight a number of legitimate concerns regarding the validity and usefulness of systematic reviews. He notes that bias—‘‘systematic error introduced into sampling or testing by selecting or encouraging one outcome or answer over others’’ (Merriam-Webster)—is unavoidable. Given this, he posits that we ought to embrace our biases, avoid the pretence of systematicity altogether, and focus instead on nonsystematic syntheses.

체계성의 한계

The limits of systematicity

체계적인 검토의 목적은, 편향과 무작위 오차를 제한하는 방법을 사용하여, 특정 연구 질문에 대한 모든 연구를 확인하고 요약하는 것이다 (Cook et al. 1997). 체계적인 검토는 

• 특정 질문을 명확히 진술하는 것으로 시작하고 

• 잠재적으로 관련성이 높은 논문을 찾아내는 포괄적인 문헌 검색, 

• 관련없는 논문을 제외하기 위한 사전에 정의 된 기준의 적용, 

• 주요 정보의 추상화 

• 간결하고 쉽게 이해할 수 있는 형태로의 정보 요약으로 마무리된다. 

일부 체계적인 검토에는 메타 분석이 포함됩니다. 그러나 모든 체계적인 검토가 메타 분석을 시도하는 것은 아닙니다.

The purpose of a systematic review is to identify and summarize all research germane to a focused research question using methods that limit bias and random error (Cook et al. 1997). A systematic review 

• begins with a clear statement of a focused question, 

• followed by a comprehensive literature search to identify potentially relevant articles, 

• application of predefined criteria to exclude irrelevant articles, 

• abstraction of key information, and 

• summarization of that information in a succinct and easily understood format. 

Some systematic reviews include a meta-analysis However, not all systematic reviews attempt meta-analyses.

실제로 연구가 다양하다면 결과를 pooling하는 것이 부적절하며, 체계적으로 확인 된 증거에 대한 내러티브 리뷰가 수행됩니다.

Indeed, if studies vary widely then pooling of results is inappropriate, and a narrative review of the systematically identified evidence is conducted.

엄격한 체계적인 검토에서 편견을 최소화하려는 여러 시도가 있지만 Eva가 지적한 바와 같이 불가피한 편견도 있습니다. 

• 첫째, 문헌고찰에 포함된 각 연구가 어느 정도 편향 되어 있을 것입니다. 최근 연구에 따르면 이러한 편향 요소는 무작위로 분포하지 않으며, (종종 그렇듯이) 그 결과 메타분석으로 pooled된 추정치도 이러한 편향을 반영하므로 부정확 할 것이라는 사실이 입증되었습니다 (Colliver et al., 2008). 

• 둘째, 통계적으로 유의미하지 않거나 예상치 못한 결과를 가진 연구보다, 통계적으로 유의미한 결과 또는 결과를보고 한 연구가 발표될 가능성이 높다. 출판 된 연구는 부정확한 (편향된) 관점을 반영한다 (Montori 외 2000).

While every attempt is made to minimize bias in a rigorous systematic review, bias is, as Eva notes, unavoidable. 

• First, each included study will be biased (i.e., favor one intervention over the other) to some degree. A recent study demonstrated that if these biases are not randomly distributed among the included studies (as is often the case) then a meta-analytic pooled estimate will reflect this bias and thus will be inaccurate (Colliver et al. 2008). 

• Second, studies that report statistically significant results or results that favor accepted practices are often easier to publish than studies with results that are not statistically significant or that are unexpected. When this occurs published studies reflect an inaccurate (biased) perspective (Montori et al. 2000).

문헌에 내재되어있는 편견과 더불어, 평론가는 자신의 편견을 피할 수 없다. 이러한 선입관 개념은 검토를 위해 설정된 기준에도 나타날 수 있는데, 예컨대, 그러한 기준이 적용되는 방식, 추상화를 위해 선택된 데이터, 추상화 프로세스 자체 및 결과의 표현, 논의 등에서 나타난다. Eva (2008)가 '체계적'을 덜 강조하고 '서술적'에 더 중점을 두는 것은 이러한 이유이다.

In addition to the biases inherent in the literature, reviewers cannot avoid introducing their own biases. These preconceived notions may manifest in the criteria established for review, the manner in which such criteria are applied, the data selected for abstraction, the abstraction process itself, and the presentation and discussion of results. It is these limitations that prompted Eva (2008) to ‘‘place less emphasis on the ‘systematic’ and more emphasis on the ‘narrative’ [review].’’

체계성의 장점

The merits of systematicity

모든 것을 제쳐 두더라도, 체계적인 리뷰는 연구 질문과 관련된 포괄적인 연구의 목록을 제공합니다(비록 위와 같은 한계가 있지만). 그러한 목록은 합성 (서술 또는 다른 방식)이 없는 경우 라 할지라도 현장의 다른 연구자들과 주제에 관한 정보를 찾는 교육자들에게 큰 이익이 될 수 있습니다. 그러한 검토는 또한 evidence gap을 보여준다.

If nothing else, systematic reviews provide a comprehensive (within the limitations noted above) list of articles relevant to the focused research question. Such lists—even without the accompanying synthesis (narrative or otherwise)—can be of great benefit to other researchers in the field and to educators seeking information on the topic. Such reviews also highlight gaps in the evidence,

그러나 더 중요한 것은 모든 결점에도 불구하고 어떤 대안보다도 systematicity가 더 좋은 경우가 많이 있습니다. 체계적인 리뷰를 위한 문헌 선택 과정은 bias에 취약하지만, 비-체계적 리뷰에서는 이 bias가 더 복잡해지기도 한다.

More importantly, however, there are many instances in which systematicity—even with all its flaws—is better than the alternative. While systematic reviews are susceptible to bias in study selection, this effect is compounded (sometimes egregiously so) in non- systematic reviews.

저자가 이미 파일 캐비닛에있는 연구에만 초점을 둔다면, 생각을 바꿔줄 수 있는 반대 결과는 물론, 이를 강화시킬 수있는 연구도 실수로 놓칠 수 있습니다.

if an author focuses on studies already in his or her file cabinet he or she may inadvertently miss important studies showing contrary results that might mitigate the recommendation, or supportive studies that might strengthen it.

균형잡힌 접근법

A balanced approach

사실, 체계적인 검토의 엄격성을 강화하는 바로 그 규칙이 연구 질문과 검색 전략 바깥을 보는 연구자의 눈을 어둡게 한다. 의대생의 전문직업성에 초점을 둔 체계적인 검토는 레지던트와 관련된 연구, 경험적 자료가 없는 관련 저서, 의학 전문 분야 외부의 증거를 모두 배제 할 것이다. 이것은 분명 장점이자 단점이다.

Indeed, the very rules that enhance the systematic review’s rigor blind the researcher to ideas outside the scope of the focused question and resultant search strategy. A systematic review focused on original research on professionalism involving medical students will, by definition, exclude studies involving residents, relevant writings without empiric data, and evidence from outside the medical profession. Such focus is clearly both a strength and a liability.

비-체계적이고 비판적인 합성의 예는 의학 교육에 풍부합니다. 도발적이고 때로는 패러다임 전환을 유발하는 이 연구들이 많다. 임상 성과 평가 (Williams 외 2003), 자기 평가 (Eva and Regehr 2005), 임상 적 추론 (Eva et al. 1998, Norman and Schmidt 1992), 컴퓨터 보조 교육 (Cook 2005)에 대한 연구 등이있다.

Examples of nonsystematic, critical syntheses abound in medical education. These articles, often provocative and occasionally paradigm-shifting, have broadened our horizons and changed the way we look at clinical performance assessment (Williams et al. 2003), self-assessment (Eva and Regehr 2005), clinical reasoning (Eva et al. 1998; Nor- man and Schmidt 1992), and research in computer-assisted instruction (Cook 2005)to name a few.

분명히 체계적이고 비 체계적인 접근법 모두 장점이있다. 

이러한 양극화는 양적 및 질적 연구 패러다임의 장점에 관한 논쟁을 상기시킨다.

Clearly, both systematic and nonsystematic approaches have merit. This polarization reminds me of the either-or debate regarding the merits of quantitative and qualitative research paradigms.

(표 1 참조).

질적연구와 양적연구, 체계적 분석과 비체계적 분석은 공통의 목적을 공유합니다. 

• 체계적인 검토와 양적 연구는 대개의 선험적 가설을 평가하기 위해 대용량의 데이터를 요약합니다.

• 비 체계적 검토와 질적 연구는 새로운 통찰력을 창출하고 가설 생성 경향이있다.

Each pair of approaches also shares a common purpose. Systematic reviews and quantitative research seek to summarize large amounts of data, typically to evaluate a priori hypotheses. Nonsystematic reviews and qualitative research, on the other hand, seek to produce novel insights and tend to be hypothesis-generating.

체계적인 검토와 메타 분석에서 갖추어야 할 기준은 잘 정리되어있다 (Moher et al., 1999; Stroup et al., 2000). 그러나 비 체계적 검토에 대해서는 비슷한 표준이 존재하지 않는다. 다행스럽게도 질적 연구에 대해서는 엄격하고 방어 가능하며 신뢰할 수 있는 결과를 도출하기 위한 기준이 개발되어 있다 (Cote' and Turgeon 2005, Devers 1999, Elliott et al. 1999, Malterud 2001). 

• 질문이나 목적의 명확성, 

• 반사성 (연구자의 가정과 관점의 확인), 

• 다른 연구자와의 협력, 

• 다양한 데이터 소스의 의도적 샘플링, 

• 예, 반례, 증거의 삼각 측량을 포함하는 귀납적 비판적 분석, 

• 대체적인 관점을 고려하려는 의식적인 노력

...은 마찬가지로 엄격한 비 체계적 검토를 용이하게 할 수 있습니다.

Standards for rigor in systematic reviews and meta-analyses are well-codified (Moher et al. 1999; Stroup et al. 2000). However, I am not aware of similar standards for non- systematic reviews. Fortunately, standards for qualitative research have been developed to facilitate rigorous, defensible, trustworthy results (Coˆte´ and Turgeon 2005; Devers 1999; Elliott et al. 1999; Malterud 2001). Attention to principles of qualitative research such as 

• clarification of the question or purpose, 

• reflexivity (identifying researcher assumptions and perspectives), 

• collaboration with other researchers, 

• purposeful sampling of diverse data sources, and 

• inductive critical analysis including examples, counterexamples (i.e., evi- dence that does not fit with the rest), triangulation of evidence, and 

• a conscious effort to consider alternate perspectives 

may likewise facilitate rigorous nonsystematic reviews.

편향을 인정하고 다양성을 포용하기

Acknowledging bias and embracing diversity

유사한 주제에 대해 체계적이거나 비-체계적인 검토를 수행하는 저자는 서로 다른 결론에 도달 할 가능성이 높으므로 두 가지 접근 방식 모두 독창적 인 토론을 자극 할 수 있습니다. 저자가 연구를 다르게 해석하도록 유도하는 요소를 편견이라고 부른다면, 창조적 인 논쟁은 사고를 선명하게하고 추가 증거를 찾도록 자극하는 경향이 있기 때문에, 이 편견은 포용되어야 한다. 그러나 다양한 해석을 유도하는 반성적이고 합리적이며 의도적인 인지 과정에 대해서 덜 비방적인 명칭을 사용하는 것이 좋습니다. 포용해야 할 것은 이 다양성이며, 편향 그 자체가 아니다.

Authors conducting systematic and nonsystematic reviews on a similar topic are likely to arrive at different conclusions, and thus both approaches can stimulate creative debate. If the factors that lead authors to interpret research differently are labeled bias then I agree that this should be embraced, since creative debates tend to sharpen thinking and stimulate the search for additional evidence. However, perhaps the reflective, rational, and intentional cognitive processes that drive divergent interpretations merit a less disparaging label. It is this diversity, and not the bias per se, that warrants embracing.

---

Adv Health Sci Educ Theory Pract. 2008 Nov;13(4):391-5. doi: 10.1007/s10459-008-9140-4. Epub 2008 Oct 11.

Narrowing the focus and broadening horizons: complementary roles for systematic and nonsystematic reviews.

Cook DA.

PMID:

 

18850297

 

DOI:

 

10.1007/s10459-008-9140-4

[Indexed for MEDLINE]