체계성의 한계에 대하여 (Med Educ, 2008)

체계성의 한계에 대하여 (Med Educ, 2008)

On the limits of systematicity

Kevin W Eva

당신은 편견을 갖고 있습니다.

You are biased.

이것은 세 단어 이하의 단순한 표현 중 가장 사실에 가까운 주장일 것이다.

It is a simple enough assertion that is as close to fact as anything one might express in three words or less.

이것은 절대적으로도 좋고 절대적으로 나쁘지도 않습니다. 우리 모두가 새로운 정보를 이해하고 해석하는 데 자신의 과거 경험을 가져 오는 것은 피할 수없는 현실입니다.

This is neither absolutely good nor absolutely bad. It is merely an unavoidable reality that we all bring our own past experiences to bear on our understanding and inter- pretation of new information.

경험 심리학자로서의 나는 어느 정도 우리의 편견이 생물학적이라고 믿는다. (즉, 우리가 이미 유지하고있는 기억과 새로운 내용을 관련시킬 수 있을 때 더 이해하기 쉽고 기억에 남는 방식으로 wire된다. ) .1 그러나 여전히 편향되었다는 것은, 일반적으로 항상 객관적이며 따라서 자신의 신념, 의심, 희망을 근원적인 '실제'에 덧씌우기보다는 자료가 스스로 이야기 하도록 해야 하는 훌륭한 과학자의 원형에 어긋난다. 

My training as an exper- imental psychologist would lead me to believe that to some extent our biases are biological (i.e. that we are wired in such a way that new material is more understandable and more memorable when we can relate it to memories we already maintain).1 Still being biased runs counter to the archetype of the good scientist, who is generally perceived as someone who is objective at all times and, therefore, is expected to allow the data to tell the story rather than overlaying his or her own beliefs, suspicions and wishes onto some underlying ‘reality’.

질적 인 전통에 깊이 빠져있는 연구자은, 질적연구의 위대함은 세계가 복잡한 곳이라는 그들의 인식과, 연구자의 개인 렌즈를 통해 수집한 세계와 데이터를 활용하여, 필연적으로 세계에 복잡성을 더하는 것이라고 주장한다.

Researchers steeped in qualitative traditions will argue that a great strength of their methodologies is their recognition that the world is a complex place and that researchers themselves inevitably add to that complexity by viewing the world and the data they have collected from it through their own personal lenses.

많은 양적 방법론 및 분석 전략에서 우리가 가장 큰 현상을 가장 정확히 반영하는 '숫자'를 분리하려고 노력하고 있음을 암시합니다. 최근, 특정 연구 문제를 해결할 수있는 최선의 증거로서 체계적인 리뷰를 생성하는 것을 강조하는 것은 이러한 노력을 가장 잘 보여준다.

it is implied in many quanti- tative methodological and analytic strategies that we are striving to isolate ‘the number’ that most accurately reflects some greater phenomenon. Nowhere is this ten- dency more apparent than in the relatively recent emphasis on generating systematic reviews as the best evidence one can muster to address a particular research question.

스미스 앤 글래스 (Smith and Glass) (1977)의 정신 요법 결과 연구에 대한 메타 분석은 연구자가 모든 관련 데이터를 식별하고 이들을 하나의 포괄적 인 (메타) 분석으로 결합하는 최초의 진정한 체계적 검토로서 인용된다. 이 때 다수의 연구가 결합되어, 결과적으로 개별 연구의 고유 한 bias가 희석 될 것을 기대한다.2 이 개념은 매우 간단한데, 다양한 연구들은 다양한 방식으로 편향 될 것이기 때문에, 체계적으로 (편견없이) 최소한의 품질 및 관련성 기준을 충족시키는 연구 결과 수집함으로써, 우리는 관심의 영향의 크기에 대한 최선의 추정치를 도출 할 수 있습니다 (즉, 우리는 무언가가 '다른 것보다 더 잘 혹은 덜 잘 작동하는 정도'에 대한 추정치를 unbiased하게 전달할 수 있습니다). 이 주장의 강점은 편향의 근원 (그리고 그 영향의 방향)이 자연적으로 무작위적이라는 것에 근거한다.

The meta-analysis of psychotherapy outcome studies by Smith and Glass(1977) is usually cited as the first truly systematic review in which the researchers went to great lengths to identify all relevant data and combine them into one over-arching (meta-)analysis that, as a result of their having been combined, would dilute the biases inherent in any of the individual studies.2 The notion,quite simply, is that different studies will be biased in different ways and that if we systematically (i.e. without bias) collect the outcomes of studies that satisfy at least minimal standards of quality and relevance, we will be able to derive the best estimate of the magnitude of the effect of interest (i.e. we can deliver as unbiased an estimate of the extent to which something ‘works’ better or less well than something else). The strength of this argument relies upon the extent to which the sources of bias(and the direction of their impact)are random in nature.

이것이 합리적인 것 같지만, 만약 편향이 무작위 적이 지 않으면 어떻게 될까? Colliver et al. 준 실험적 연구에 대한 메타 분석 수행에 내재 한 어려움을 탐구한다 .3) 교육 문헌에서 널리 퍼져있는 준 실험적 설계에서 많은 편견의 소스는 '균일'하다 (즉, Bias가 모두 한 방향을 가리키고 있다. 따라서 오류가 누적되어 서로를 상쇄하지 않는다). 그 결과, 그들은 수학적 메타분석 기법이 교육 문헌의 상태에 비추어 볼 때 종종 부적절하다고 주장한다. 결과적으로 '의학 교육 분야는 대부분의 경우에 체계적인 내러티브 검토를 기술하고 비판적으로 평가하는 방식이 더 적절하며, 개별적인 연구와 결과의 평균치를 내어 bias와 confound를 없애려는 접근은 부적절하다. 나는 논쟁을 한 걸음 더 나아가 '체계적인'을 덜 강조하고 '내러티브'를 더 강조할 것이다.

That all sounds reasonable enough, but what if the biases are not random? In this issue of Medical Education, Colliver et al. explore the challenges inherent in performing meta-analyses on quasi-experimen- tal research.3 They argue that many sources of bias in the quasi-experi- mental designs that are prevalent within the education literature are ‘constant’ (i.e. they point the same way – typically in favour of the intervention – and thus preclude the accumulated errors from can- celling one another out). In doing so, they argue that mathematical meta-analytic techniques are often inappropriate given the state of the education literature and that, as a result, ‘the medical education field might be better served in most instances by systematic narrative reviews that describe and critically evaluate individual studies and their results, rather than obscure biases and confounds by averaging’. I would take the argument a step further and place less emphasis on the ‘systematic’ and more on the ‘narrative’.

훌륭한 교육 연구 문헌 검토는 다양한 문헌을 비판적으로 종합하고, 잘 정립 된 지식을 파악하고, 이해의 격차를 강조하고, 이해해야 할 부분에 대한 지침을 제공해야 한다.

A good education research litera- ture review, in my opinion, is one that 

• presents a critical synthesis of a variety of literatures, 

• identifies knowledge that is well established, 

• highlights gaps in understanding, and 

• provides some guidance regarding what remains to be understood.

비판적 검토의 저자는 여러 문헌(및 그 안의 다양한 견해)을 공정하게 표현하려고 시도하는 도덕적 규범에 묶여 있어야하지만 절대적인 systematicity를 취할 필요는 없다. 나는 '위장'이라고 표현하는데, 왜냐하면 너무도 흔하게 리뷰의 질은 (부분적으로) '수천개의' 초록을 식별함으로써 정의되는 체계성에 기초하여 판단되지만, 연구자의 모든 포함 및 제외 기준을 충족시키는 것은 단지 세 개에 불과하기 때문이다.

The author of the critical review should feel bound by a moral code to try to represent the literature (and the various per- spectives therein) fairly, but need not adopt a guise of absolute syste- maticity. I say ‘guise’ because far too commonly the quality of a review is judged (in part) on the basis of its systematicity, defined by its identification of ‘x-thousand’ abstracts, even though only three papers are ultimately found to have a sufficiently narrow focus to meet all the researchers’ inclusion and exclusion criteria (which them- selves will vary in the hands of different individuals).

실제로 체계적인 검토자가 검토중인 연구의 질을 나타내는 척도로 채택한 체크리스트 자체가 편향의 원천이다. 또한 Bordage의 결론에 따르면 체크리스트는 연구 논문의 품질에 대한 학자들의 의견을 적절히 포착하지 못한다.

Indeed, the checklists adopted by systematic reviewers as indicators of the quality of the research under review are themselves a source of bias (and an important one, given Bordage’s findings that checklists do not adequately capture scholars’ opinions of a research paper’s quality).4

그러나 체계성이 없으면 논문들은 편향 될 것입니다! 그래서, 결국 우리는 편향과 같이 살아가야 한다. 한발 더 나아가자면, 그것을 받아들여라. 체계성을 갖춘다고 할지라도, 실제로는 교육 문헌이 매우 다양하여 모든 해석과 합성은 어느 정도 idiosyncratic하여 편향 될 것이다. 그러나 bias를 최소화하는 방법이 있습니다 : 다른 사람들과 협력하십시오 (특히 다른 배경을 가진 사람들); 피어리뷰를 인정하십시오. 자기가 읽은 것에 대한 다양한 가능한 해석을 고려하도록 노력하십시오.

But without systematicity the paper will be biased! Yep. Live with it. Better still, embrace it. Even with systematicity the paper will be biased as in practice the education literature is so diverse that all interpretation and synthesis will be somewhat idiosyncratic anyway. There are ways of minimising overt bias: collaborate with others (espe- cially those with different back- grounds); submit to peer review; strive to generate and consider other possible interpretations of one’s readings.

---

Med Educ. 2008 Sep;42(9):852-3. doi: 10.1111/j.1365-2923.2008.03140.x.

On the limits of systematicity.

Eva KW.

Comment on

• Meta-analysis of quasi-experimental research: are systematic narrative reviews indicated? [Med Educ. 2008]

PMID:

 

18715479

 

DOI:

 

10.1111/j.1365-2923.2008.03140.x

[Indexed for MEDLINE]