과학: 축적되는 근거의 느린 행진(Perspect Med Educ, 2016)

과학: 축적되는 근거의 느린 행진(Perspect Med Educ, 2016)

Science: the slow march of accumulating evidence

Katherine Picho1 · Lauren A. Maggio1 · Anthony R. Artino Jr1

과학은 진화하고 있으며, 새로운 발견들이 끊임없이 세상이 어떻게 돌아가는지에 대한 '우리가 알고 있는 것'의 경계를 밀어내고 있다. 그러나 무작위성은 자연에 대해 관찰되는 것에 영향을 줄 수 있기 때문에, 새로운 발견이 '진짜'가 아니라 단지 잘못된 긍정에 불과할 가능성이 항상 있다.

Science is ever evolving, with new discoveries constantly pushing the boundaries of ‘what we know’ about how the world works. However, because randomness can influence what is observed about nature, there is always a chance that new findings, rather than being ‘true,’ are merely false positives.

진정한 발견은 이론적으로 복제될 수 있어야 한다. 따라서, 새로운 발견의 결과가 몇 번의 반복 실험에서 재현될 때, 그 결과는 이론[1]을 위한 다소 견고한 경험적 기초를 제공한다. 복제replication는 과학자들이 작동 이론의 핵심 원리를 시험하고 확인하거나, 새롭고 상반되는 발견을 발견할 수 있게 해주기 때문에 과학적인 성장과 이론 발전의 중심이다. 이렇게 해서 복제는 과학자들이 속담 밀(진정한 효과)을 쐐기풀(허위 양성 또는 우연한 기회에 기초한 발견)과 구분할 수 있게 한다.

True findings should, theoretically, be replicable. Thus, when results from a new discovery are reproduced in several repeated experiments, the findings provide a more or less robust empirical foundation for a theory [1]. Replication is central to scientific growth and theory development because it allows scientists to test and confirm core principles of working theories, or discover new, conflicting findings. In so doing, replication allows scientists to separate the proverbial wheat (true effects) from the chaff (false positives or findings based on chance).

과학적인 발견과 이론 발달에 그것이 중요함에도 불구하고, replication은 연구라는 enterprise에서 주변적인 역할로 밀려났으며, 이는 혁신에 상을 주는prize 출판 준비와 같은 시스템 요소에 기인할 수 있다. 또는 통계적으로 유의하지 않은 결과는 그다지 흥미롭지 않고 따라서 발표될 가능성이 낮다는, 아무도 대놓고 말하지는 않지만, 너무 실제적인 개념 때문일 수 있다. 따라서의 publish or perish의 압력은 연구자들은 출판 시스템에 내재된 규칙에 따라 행동하든, 아니면 사지로 나가 시장성이 떨어지는 복제 시도를 출판하려고 시도하든 해야 한다는 결정을 하게 만든다. 결과적으로, 복제는 종종 뒷전으로 밀리고 과학은 결국 어려움을 겪는다.

Despite its importance for scientific discovery and theory development, replication has been relegated to a peripheral role within the research enterprise, which could be attributed to systems factors such as publication arrangements that prize innovation; or the unspoken, but all-too-real notion that non statistically significant results are not very interesting and are, thus, unlikely to be published. Therefore, the pressure to publish or perish leaves researchers with the decision of having to play by the rules inherent in the publication system or go out on a limb and attempt to publish a perhaps less marketable replication attempt. As a result, replication often takes a back seat and science ultimately suffers.

복제를 통해 과학적 정당성을 입증하려는 노력이 예상보다 덜 성공했기 때문에 최근 몇 년 동안 과학 연구의 신뢰성에 대한 도전을 받고 있다[2, 3]. 예를 들어, 100개 이상의 발표된 심리학 연구를 복제하려는 재현성 프로젝트의 시도는 주요 연구 결과의 65%가 재현 불가능한 것으로 보고되었다[3].

The credibility of scientific research has been challenged in recent years as efforts to demonstrate scientific legitimacy through replication have been less successful than expected [2, 3]. For example, attempts by the Reproducibility Project to replicate over 100 published psychology studies reported that 65 % of key findings were not reproducible [3].

이전 연구에서는 바이오의학과 심리학 연구에서 복제의 문제를 부각시켰지만, 의학 교육을 포함한 다른 분야도 똑같이 잘못된 긍정의 위험에 처해 있기 때문에 이와 유사한 정밀조사가 필요하다고 본다.

Although previous work has highlighted the issue of replication in biomedical and psychology research, we believe that other fields, including medical education, are equally at risk of false positives and thus warrant similar scrutiny.

복제: 직접 대 개념

Replication: direct versus conceptual

이론을 개발하기 위해서는 발견과 복제가 필요하다. 견실한 이론은 시간의 시험을 견디며 광범위한 조건에서 반복적으로 시험했을 때 얼마나 잘 버텨내느냐에 따라 측정된다. 복제는 몇 가지 결과 중 하나를 가질 수 있다: 이론이 확인, 수정, 확장 또는 거부된다.

Theory development requires discovery and replication. Robust theories stand the test of time and are gauged by how well they hold up when repeatedly tested under a wide array of conditions. Replication can have one of several outcomes: either the theory is confirmed, revised, extended, or rejected.

복제를 고려할 때, 연구자들은 먼저 과학자가 연구의 모든 요소를 정확하게 복제하려고 노력하는 [직접 복제]를 생각할 수 있다. 직접복제는 가능한 한 실험적인 절차를 가깝게 반복함으로써 과학적 소견의 진실성을 측정하기 위한 연구를 의미한다[4]. 반면에 [개념 복제]는 특정 결과의 기초가 되는 이론을 시험하기 위한 시도다[1].

When considering replication, researchers may first think of direct replication in which a scientist endeavours to precisely replicate all elements of a study. Direct replication refers to research intended to gauge the veracity of scientific findings by repeating, as closely as possible, an experimental procedure [4]. Conceptual replication, on the other hand, is an attempt to test the theory underlying a particular result [1].

[직접 복제]는 주로 특정 연구[1]의 특정 결과를 검증하는 데 초점을 두기 때문에, 직접 복제 연구를 수행하는 과학자는 가능한 한 모든 조건을 원래 연구와 유사하게 유지하려고 시도한다.

Because direct replication focuses primarily on validating a specific finding from a particular study [1], a scientist conducting a direct replication study attempts to keep all conditions as similar to the original study as possible.

직접 복제는 우연한 결과나 위양성 [4, 6] 및 연구 결과(내적 타당도 결여)를 통제하기 때문에 유용하다[4]. 비록 가치가 있지만, 이론 개발에서 직접적인 복제의 역할은 여러 가지 이유로 제한된다. 

• 첫째, 직접 복제는 findings을 복제하거나 사실을 확인하는 데 초점을 맞춘다[4]. 소견 복제에 대한 이러한 초점은 특정 결과의 기초가 되는 이론의 신뢰성에 대해 거의 조명하지 않으며, 결과적으로 일반성을 확립하는 데 직접적인 복제의 역할을 제한한다[1]. 

• 둘째, 직접 복제는 원래 연구의 조건과 밀접하게 일치하는 연구 조건을 요구하기 때문에 (특정 소견에 기여했을 수 있는) 원래 연구 설계의 방법론적 또는 설계상의 결함은 특정 현상의 후속 직접 복제 연구에서 그대로일perpetuated 가능성이 높다. 

따라서, 설계 결함design flaws의 경우, 직접 복제 연구를 통해 false original finding이 확인될 수 있다[1]. 이와 같이, 원본 연구의 설계 결함이 후속 직접 복제 연구에서 영구적으로 발생할 경우 시간이 지남에 따라 스스로 교정할 수 있는 문헌의 능력은 상당한 영향을 받을 수 있다.

Direct replications are useful because they control for chance results or false positives [4, 6], and study artifacts (lack of internal validity) [4]. Although valuable, the role of direct replication in theory development is limited for a number of reasons. 

• First, direct replications focus on replicating findings or confirming facts [4]. This focus on findings replication sheds little light on the credibility of the theory underlying a particular result, which consequently limits the role of direct replication in establishing generality [1]. 

• Second, because direct replication requires that study conditions closely match those of the original study, any methodological or design flaws in the original study design (that might have contributed to a particular finding) will likely be perpetuated in subsequent direct replication studies of a given phenomenon. 

Therefore, in the case of design flaws, it is possible for false original findings to be confirmed through direct replication studies [1]. In this way, the ability of the literature to self-correct over time can be significantly impacted when design flaws in the original study are perpetuated in subsequent direct replication studies.

반면에 [개념적 복제]는 주어진 결과에 기초하는 이론의 검증에 초점을 맞춘다[4, 7]. 따라서 개념 복제는 이론 검증theory testing과 거의 비슷하다. 즉, 주어진 이론이나 가설이 다양한 조건에서 유지되는지(또는 유지하지 않는지)를 결정하는 것이다. 예를 들어 위에서 언급한 시험 강화 학습 효과는 교육 심리학에 그 뿌리를 두고 있지만 의학 교육에서는 개념적으로 복제되었다. 이러한 복제 연구는 이론에 대한 확고한 증거를 구축하기 위해 다양한 설정(실험실 대 교실), 모집단(성인 대 아동 학습자) 및 내용 영역(단어 쌍 대 일반 내용 지식)에서 수행되었다.

Conceptual replications, on the other hand, focus on validating the theory underlying a given result [4, 7]. Thus, conceptual replication is much like theory testing; that is, determining whether a given theory or hypothesis holds (or not) under a variety of conditions. For example, the test-enhanced learning effect referenced above has its roots in educational psychology but has been conceptually replicated in medical education. These replication studies have been conducted in a variety of settings (laboratories vs. classrooms), populations (adult vs. child learners) and content areas (word pairs vs. general content knowledge) to build a robust body of evidence for the theory.

직접 복제와 달리, [개념 복제]의 몇 가지 요소는 주어진 이론이나 가설이 다양한 조건에서 유지되는지 여부를 측정하기 위해 다양할 수 있으며, 대개는 '필수 조건'을 일정하게 유지하는 것이다. 본질적인 조건들은 이론에 의해 지시되고 그 현상이 일어나기 위해 반드시 갖춰져야 하는 조건들을 구성한다. 개념적 복제에서는 복제 연구의 필수 조건들이 원본 [8]의 조건들과 [근접하게 일치하도록만 요구]하는 반면, 유연성이 있어서, 연구의 다른 비필수 조건들을 변화시킬 수 있다.

Unlike direct replication, several elements of conceptual replications can be, and usually are, varied to gauge whether or not a given theory or hypothesis will hold under a variety of conditions, while at the same time holding ‘essential conditions’ constant. Essential conditions are dictated by the theory and constitute those conditions that must be in place for the phenomenon to occur. Conceptual replications only require that the essential conditions of the replication study closely match those in the original [8], while allowing for flexibility to vary other non-essential conditions of a study.

예를 들어, 원래 연구와 다른 다양한 측정, 독립 변수, 방법, 컨텍스트 및 모집단을 개념 복제에 사용하여 주어진 결과에 기초하는 이론적 가정을 삼각측량할 수 있다. 앞에서 언급한 비필수적 요소를 변화시키면 개념 복제 연구를 통해 관찰된 결과가 [수요 특성, 표본 특성 또는 현상의 좁은 정의 때문일 수 있는 가능성]을 배제할 수 있다[6].

For instance, a variety of measures, independent variables, methods, contexts and populations that differ from the original study can be used in conceptual replications to triangulate theoretical postulates that underlie a given result. Varying the aforementioned nonessential elements enables conceptual replication studies to rule out the possibility that observed findings could be due to demand characteristics, sample characteristics, or narrow definitions of a phenomenon [6].

개념적 복제는 또한 반증falsification을 용이하게 한다. 성공적인 개념적 복제는 기존 이론에 신빙성을 부여하지만, 성공하지 못한 개념적 복제(예: 특정 조건 하에서 어떤 이론이 상정된 것처럼 운영되지 않는 경우)는 해당 이론의 한계에 대한 수정을 요구할 수 있다[3]. 개념적 복제는 이론에 대한 이해를 증진시키기 때문에, 우리와 다른 이들은 이론 개발과 궁극적으로는 과학적 진보에 대한 직접적인 복제 상대보다 그것들이 더 가치 있다고 믿는다[1].

Conceptual replication also facilitates falsification. Successful conceptual replications lend credence to extant theories, while unsuccessful ones (such as when a given theory does not operate as posited under certain conditions) might call for revisions to the bounds of said theory [3]. Because conceptual replications further our understanding of theory, we and others believe they are more valuable than their direct replication counterpart to theory development and, ultimately, to scientific progress [1].

개념복제에 대한 한 가지 비판은 종속변수와 독립변수의 운영방식에 유연성이 있을 뿐만 아니라 다른 방법의 수정방식에 유연성이 있기 때문에 개념복제가 성공하지 못할 때 복제 실패의 원인을 확인하기 어려운 경우가 많다[1]. 질문은 다음과 같다. 복제 실패가 우연 및/또는 아티팩트로 인한 것이었는가, 아니면 결과에 영향을 미칠 수 있는 다른 감지되지 않은 진행자 때문이었는가? 이러한 이유로, 여러 학자들은 직접 복제가 항상 개념 복제[7–9]보다 선행되어야 하며, [결과의 검증]이 [이론의 확장]보다 선행되어야 한다고 제안했다.

One criticism of conceptual replication is that because there is flexibility in how dependent and independent variables are operationalized, as well as flexibility in how other methods are modified, when conceptual replications are unsuccessful, the source of replication failure is often difficult to ascertain [1]. The question becomes: Was the failure to replicate due to chance and/or artifacts, or was it due to other undetected moderators that might have influenced the results? For this reason, several scholars have suggested that direct replications should always precede conceptual replications [7–9], as verification of findings should precede extension of theory.

• 특정 결과를 검증하고 내부 타당성과 관련된 다른 요인뿐만 아니라, 발견 결과가 우연, 유물 또는 사기의 결과일 가능성이 낮다는 것을 확인하는 것이 목표라면 직접 복제를 선호한다. 

• 연구자의 목표가 이론을 확장하거나 개발하는 것이라면, 강력한 이론 프레임워크를 점진적으로 테스트하고 구축하는 데 도움이 되는 일련의 임시 서열화, 계층 구조화 및 점점 더 복잡한 개념 복제 연구를 권고한다.

• If the goal is to verify a specific finding and ascertain that findings are less likely to be a result of chance, artifacts, or fraud, as well as other factors related to internal validity, then a direct replication is preferred. 

• If the researcher’s goal is to extend or develop theory, then a series of temporally sequenced, hierarchically structured, and increasingly complex conceptual replication studies that help to progressively test and build robust theoretical frameworks is recommended

의료 교육에서의 복제

Replication in medical education

비록 실험 연구가 우세한 인지 심리학과 같은 영역에서 유용하지만, [직접 복제는 종종 비실용적이며, 일부에서는 맥락 특수성과 관련된 요소들이 가장 지배적인 의료 교육 맥락에서 관련이 없다]고 주장할 수 있다.

Although useful in domains such as cognitive psychology where experimental research prevails, direct replication is often impractical – and some might argue, irrelevant – in medical education contexts where factors associated with context specificity reign supreme.

의학 교육에서 직접 복제를 사용할 수 있는 경우는 제한적이지만, 개념적 복제는 (지난 20년 동안 반복적으로 비판 받아온) 의학교육 연구의 질을 향상시킬 수 있는 잠재력을 가지고 있다고 생각한다[5].

Although direct replication may have limited use in medical education, we believe that conceptual replication has the potential to enhance the quality of medical education research, the methods of which have been criticized repeatedly over the past two decades [5].

실제로 다른 학자들은 연구자가 이론을 실험하고 실증적으로 뒷받침되지 않는 이론을 폐기할 수 있는 방법을 사용하여 지식의 점진적 축적과 현상에 대한 이해의 진보로서 다시 개념화함으로써 의학 교육 연구가 개선될 수 있다고 제안했다[11].

Indeed, other scholars have proposed that medical education research can be improved by re-conceptualizing research quality as progressive accumulation of knowledge and advances in understanding of phenomena using methods that allow researchers to test theories and discard those that are weak and empirically unsupported [11].

또한, 의학 교육 연구자들은 교육, 심리학, 사회학을 포함하되 이에 국한되지는 않는 다른 분야의 이론을 채택하는 경우가 많다. 그러나 의학교육 연구자들은 기초 이론이 시험한 의학교육의 구체적인 맥락에 적용되는지 여부를 검증하는 것과 관련하여 '루프 닫기'를 하지 않는 경우가 많다. 개념 복제는 의학 교육 연구자들에게 의학 교육 맥락에서 채택된 이론을 시험하고, 그 이후의 연구 결과를 사용하여 이론 개발뿐만 아니라 그 분야의 실용적인 응용에 유용한 정보를 제공할 수 있는 수단을 제공한다.

Further, medical education researchers often adopt theories from other disciplines including, but not limited to, education, psychology, and sociology. However, medical education researchers often do not ‘close the loop’ with respect to verifying whether or not the underlying theory applies to the specific context of medical education that was tested. Conceptual replication offers medical education researchers a means to test adopted theories within a medical education context and use subsequent findings to inform theory development, as well as practical applications in the field.

의학 교육 연구가 교육 실무에 중대하고 긍정적인 영향을 미치기 위해서는 연구자들이 복제의 복잡성, 특히 개념적 복제에 유창해야 한다고 생각한다.

For medical education research to have a significant, positive impact on educational practice, we believe researchers must become fluent in the intricacies of replication – in particular, conceptual replication.

---

. 2016 Dec;5(6):350-353.

 doi: 10.1007/s40037-016-0305-1.

Science: the slow march of accumulating evidence

Katherine Picho 1, Lauren A Maggio 2, Anthony R Artino Jr 2

Affiliations 

Affiliations

• 1Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA. Katherine.picho.ctr@usuhs.edu.
• 2Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 27766575
 
• PMCID: PMC5122514
 
• DOI: 10.1007/s40037-016-0305-1

Free PMC article

Abstract

Recent crises over the credibility of research in psychology and the biomedical sciences have highlighted the need for researchers to view and treat replication research as essential to the accumulation of knowledge. In this article, the authors make the case for the utility of replication in medical education research. Specifically, the authors contend that because research in medical education often adopts theories from other disciplines, replication is necessary to gauge the applicability of those theories to the specific medical education context. This article introduces readers to the two major types of replication - direct and conceptual - and provides a primer on conceptual replication. In particular, the article presents key elements of conceptual replication and considers how it can be used to strengthen approaches to knowledge generation, theory testing, and theory development in medical education research.

Keywords: Medical education; Replication; Reproducibility.