다양한 학술통합연구: 왜 근거, 준거, 기준의 규칙이 중요한가 (Acad Med, 2015)

다양한 학술통합연구: 왜 근거, 준거, 기준의 규칙이 중요한가 (Acad Med, 2015)

Varieties of Integrative Scholarship: Why Rules of Evidence, Criteria, and Standards Matter

William C. McGaghie, PhD

학계는 수십 년 동안 학술연구가 많은 형태를 띤다는 것을 인정해 왔다. 어니스트 보이어1은 1990년 단문집 '장학 재고: 교수의 우선순위'에서 장학금을 위한 활자를 제안했다. 보이어 유형학은 4가지 종류의 학문적 연구와 표현을 확인했다. 그것들은 

• 발견 - 독창적인 연구의 발견; 

• 통합 - 지적 종합을 수반하는 통합; 

• 적용 - 실질적인 문제를 해결하기 위한 지식의 책임 있는 사용; 

• 교육 - 연구산물을 다른 사람들에게 가르치고 교육하고 미래의 학자들을 유혹한다.

The academic community has acknowledged for decades that scholarship takes many forms. Ernest Boyer1 proposed a typology for scholarship in a 1990 monograph, Scholarship Reconsidered: Priorities of the Professoriate. The Boyer typology identified four varieties of scholarly work and expression. They are 

• the scholarship of discovery or original research; 

• integration, which involves intellectual synthesis; 

• application, the responsible use of knowledge to address practical problems; and 

• teaching, educating others about the products of scholarship and enticing future scholars.

이 글에서 나는 의료교육과 다른 보건직 교육에 있어서의 통합의 학술활동scholarship of integration을 다루고 증폭시킬 것이다.

In this article, I will address and amplify the scholarship of integration in medical education and education for other health professions.

방법의 복수성과 글쓰기는 실용적이고 인식론적인 이유에서 중요하다. 

• 실용적인 이유로 우리는 의학교육이 어떻게 그리고 왜, 그 많은 형태로 작동하는지 알 필요가 있다. 

• 인식론적 이유로 우리는 또한 우리의 지식 기반을 구체화하고 교육 실무를 알리는 증거와 증거 종합의 보완적 규칙에 대해 알 필요가 있다.

Plurality of methods and writing is important on practical and epistemological grounds. 

• For practical reasons we need to know how and why medical education works in its many forms. 

• For epistemic reasons we also need to know about complementary rules of evidence and evidence synthesis that embody our knowledge base and inform educational practice.

통합적 학술연구를 읽고 성찰해보면, [이러한 학문적 표현방식이 19세기 초의 오랜 역사를 가지고 있을 뿐만 아니라 서로 다른 증거, 기준, 품질 기준을 사용하는 여러 형태를 취할 수 있다는 것]을 보여준다.2

Reading and reflection about integrative scholarship reveal that this approach to academic expression not only has a long history dating from the early 19th century but also can take several forms that use different rules of evidence, criteria, and quality standards.2

학자들은 또한 하나의 연구만으로 확정적인 답을 얻을 수 없으며, 과학과 학술연구가 가지는 [진실에 대한 근사치]는 시간이 지남에 따라 누적되며, 근거의 무게와 질에 달려있다는 것을 인정해야 한다.8 과학적 발전은 이론 기반, 주제 기반, 지속적 및 누적적 검토를 포함하는 연구 프로그램에서 비롯된다.9

Scholars should also acknowledge that single publications are rarely definitive and that approximations to truth in science and scholarship rest on the weight and quality of evidence assembled and judged over time.8 Scientific advancement stems from research programs—which include integrative reviews—that are theory based, thematic, sustained, and cumulative.9

통합적 학술활동이란 무엇인가? 어니스트 보이어1은 통합적 학술활동이란 

"고립된 사실들에 의미를 부여하고, 그것들을 특정한 관점에 배치한다. 전문 분야를 연결하고, 전문 분야를 더 큰 맥락에 배치하며, 무언가를 드러내는revealing 방식으로 데이터를 조명하며, 비전문가를 교육에 필요한 경우도 종종 있다. 통합적 학술활동의 의미는, [해석을 위하여, 한데 모으기 위하여, 원저에서 새로운 통찰을 가져오기 위하여] 수행하는 진지하고 단련된 작업이다."

What is integrative scholarship? Ernest Boyer1 argues that integrative scholarship 

“give[s] meaning to isolated facts, putting them in perspective … making connections across the disciplines, placing the specialties in larger context, illuminating data in a revealing way, often educating nonspecialists, too…. What we mean is serious, disciplined work that seeks to interpret, draw together, and bring new insight to bear on original research.”

Harris Cooper는 다음과 같이 주장한다. "연구 합성은 경험적 연구에 초점을 맞추고, 과거의 연구를 요약하여 관련되거나 동일한 가설을 다루는 많은 개별적인 조사로부터 전반적인 결론을 이끌어내고자 한다. 연구 합성가의 목표는 관심대상들의 관계에 관한 지식의 현재 상태를 제시하고, 연구로 해결되지 않은 중요한 문제를 부각시키는 것이다." 쿠퍼는 또한 "연구 합성자들은 1차 연구자들에게 적용되는 것과 같은 엄격한 방법론적 기준을 충족시키기 위해 요구되어야 한다."고 말한다.

Harris Cooper asserts: “Research syntheses focus on empirical studies and seek to summarize past research by drawing overall conclusions from many separate investigations that address related or identical hypotheses. The research synthesist’s goal is to present the state of the knowledge concerning the relation(s) of interest and to highlight important issues that research has left unresolved.”10 Cooper also states that “research synthesists must be required to meet the same rigorous methodological standards that are applied to primary researchers.”10

통합형 또는 합성형 학술활동은 폭이 다양할 수 있다. 그것은 학문 분야 내에서 수행될 수 있고, 여러 학문에 걸쳐서도 수행될 수 있다.

Integrative or synthetic scholarship can vary in breadth. It can be conducted within academic disciplines or, after Boyer,1 across academic disciplines.

보건직 교육의 통합적 학술작업물을 발행하는 저널은 일반적으로 합법적인 합성 작업에 대한 다양하고 포괄적인 정책을 가지고 있다. 저널들은 저자에 대한 지침은 말하고 있다. 예를 들어 학술의학에서는 "일반 학술 논문… 학술 의학에 대한 폭넓은 관심사를 다루는 논문들… [어디서] 연구와 서술의 요소를 결합한 글로서, 연구가 충분히 견고하지 않거나 중심이 되어 완전한 연구 보고서를 구성하지 못하는 경우"를 구한다고 발표한다.15 비슷한 편집 정책 성명들이 다른 많은 잡지들에 의해 발표되었다.

Journals that publish integrative scholarship in health professions education typically have eclectic and inclusive policies about legitimate synthetic work. Journals’ instructions to authors are telling. Academic Medicine, for example, announces that it seeks “General scholarly articles … [that] cover topics of broad concern to academic medicine… [where] The article combines elements of research and description, where the research is not sufficiently robust or central enough to the article’s message to constitute a full-fledged research report.”15 Similar editorial policy statements have been expressed by many other journals

메시지는 분명하다. 많은 저널들이 중요한 문제를 해결하고 품질 기준에 부합하는 건강직업 교육의 통합적 학술물을 제시하는 원고를 환영하고 있다.

The message is clear. Many journals welcome manuscripts that present integrative scholarship in health professions education that addresses important issues and meets quality standards.

쿠퍼10과 쿠퍼와 코엔카25는 구조를 프레이밍하고 조직하는 연구 통합 과정의 7단계 접근법을 제안한다. 일곱 가지 단계는 다음과 같다.

Cooper10 and Cooper and Koenka25 propose a seven-step approach to frame the structure and organize the process of research integration. The seven steps are:

1. 문제를 공식화한다. 

2. 문헌을 검색한다. 

3. 연구로부터 정보를 수집한다. 

4. 연구의 품질을 평가한다. 

5. 연구의 결과를 분석하고 통합한다. 

6. 증거를 해석한다. 

7. 결과를 발표한다.

1. Formulate the problem; 

2. Search the literature; 

3. Gather information from studies; 

4. Evaluate the quality of studies; 

5. Analyze and integrate the outcomes of studies; 

6. Interpret the evidence; and 

7. Present the results.

7단계 접근법 10,25(5 × 7 = 35 cell)에서 연구 합성에 이르는 5가지 연구 검토 전통의 요약을 표 1에서 선행 주관자로 제시한다.

A summary of the five research review traditions crossed by the seven-step approach10,25 (5 × 7 = 35 cells) to research synthesis is presented as an advance organizer in Table 1.

다섯 가지 연구 검토 전통

Five Research Review Traditions

네러티브 Narrative

네러티브 리뷰는 학문 분야에 걸친 광범위하고 깊은 학문적 종합의 역사를 가지고 있다. 예로는 인문계, 행동과학 28개, 건강직업 교육 29개 등이 있다.30 최근까지 서술적 리뷰는 과학과 인문학을 아우르는 연구 통합에 대한 가장 보편적이고 영향력 있고 널리 인정된 접근 방식이었다.

Narrative reviews have a broad and deep history of scholarly synthesis across the academic disciplines. Examples include the humanities,28 behavioral sciences,29 and health professions education.30 Until recently, narrative reviews were the most common, influential, and widely endorsed approach to research integration across the sciences and humanities.

조작적으로, 서사를 수행하는 개별 작가 또는 학자 팀은 출판된 글의 영역을 "획득stake out"하고, 전문가 의견이나 판단에 기초하여 정성적으로 이멜의 31개 암묵적 3단계를 사용하여 증거를 취합한다. 이 단계에는 쿠퍼10과 쿠퍼, 코엔카25 7단계 모델이 포함된다.

Operationally, individual authors or scholarly teams who conduct narrative reviews “stake out” a domain of published writing and qualitatively, based on expert opinion or judgment, aggregate the evidence using Imel’s31 three tacit steps, which incorporate the Cooper10 and Cooper and Koenka25 seven-step model:

1. 통합적 학술작업을 제시할 원고의 경계, 내용 및 구조를 규정한다.

2. 증거의 의미에 대한 그럴듯한 주장을 만들기 위해 증거를 정성적으로 조립, 분석, 해석, 평가 및 종합한다.

3. 동료 청중에게 증거와 주장을 설득력 있게 통합한 보고서를 작성한다.

1. Define the boundaries, contents, and structure of a manuscript that presents integrative scholarship;

2. Qualitatively assemble, analyze, interpret, evaluate, and synthesize evidence to create plausible arguments about what the evidence means; and

3. Write a report that integrates evidence and argument in a convincing way to an audience of one’s peers.

내러티브 검토는 전형적으로 동일한 질적 준거와 기준을 사용하여 평가된다.32 교육연구의 검토(RER)33는 예를 들어 통합적, 이론적, 방법론적, 역사적 4가지 범주로 종합적 학술연구를 분류한다. 또한 RER33은 원고 검토자에게 저널에 게재할 원고를 평가할 때 8가지 기준과 기준을 사용하도록 지시한다.

Narrative reviews are typically judged using equally qualitative criteria and standards.32 To illustrate, the Review of Educational Research (RER)33 classifies synthetic scholarship in four categories: integrative, theoretical, methodological, and historical. RER33 also instructs manuscript reviewers to use eight standards and criteria when evaluating manuscripts for publication in the journal:

1. 문헌의 질 

2. 분석의 질 

3. 주제의 중요성 

4. 기사의 영향 

5. 현장의 선진화 

6. 스타일; 

7. 균형과 공정성 

8. 목적.

1. Quality of the literature; 

2. Quality of analysis; 

3. Significance of the topic; 

4. Impact of the article; 

5. Advancement of the field; 

6. Style; 

7. Balance and fairness; and 

8. Purpose.

8가지 RER 기준과 표준은 정교함이나 조작적 정의 없이 제시된다. 검토자는 경계와 의미를 "그들 스스로"해석해야 한다.31

The eight RER criteria and standards are given without elaboration or operational definition. Reviewers are “on their own” to interpret boundaries and meaning.31

Cooper10은 연구 통합에 대한 내러티브 접근법에 대해 매우 비판적이다. 쿠퍼는 

"전통적인 내러티브 방식으로 진행된 연구 합성은 많은 비판을 받아왔다. 전통적인 연구 합성에 반대하는 사람들은 이 방법과 그 결과적인 결론은 과정과 결과 모두에서 부정확하다고 제안했다. 특히 전통적인 내러티브 연구는 명확한 입증 기준standards of proof이 결여되어 있다. 이러한 합성의 독자와 사용자는 일련의 연구가 그 결론을 뒷받침하는지 여부를 결정하기 위해 어떤 표준의 증거를 사용했는지 모른다.34 전통적인 합성론자들이 사용하는 결합 법칙은 비록 그들이 추론을 인도하고 있는 것을 의식적으로 알고 있더라도 합성론자 자신 외에 다른 사람에게는 거의 알려져 있지 않다."10

Cooper10 is very critical of the narrative approach to research integration. Cooper asserts: 

“Research syntheses conducted in the traditional narrative manner have been much criticized. Opponents of the traditional research synthesis have suggested that this method—and its resulting conclusions—is imprecise in both process and outcome. In particular, traditional narrative research syntheses lack explicit standards of proof. Readers and users of these syntheses do not know what standard of evidence was used to decide whether a set of studies supported its conclusion.34 The combining rules used by traditional synthesists are rarely known to anyone but the synthesists themselves, if even they are consciously aware of what is guiding their inferences.”10

Cooper10은 또한 전통적인 [내러티브] 연구 합성에는 세 가지 다른 단점이 있다고 주장한다.

Cooper10 also argues that there are three other disadvantages to traditional [narrative] research synthesis:

• 첫째, 전통적 연구 합성은 다음에 필요한 체계적인 기법이 거의 없다

⑴ 모든 관련 연구가 종합에 위치located하여 포함하는 것

⑵ 각 연구의 정보가 정확하게 수집되었는지 확인하는 것

“First, traditional research syntheses rarely involve systematic techniques to ensure that 

(a) all relevant research was located and included in the synthesis and 

(b) information from each study was gathered accurately.”

• 둘째, 전통적인 서술형 합성은 개별 연구가 방법론적 품질의 허용 임계값을 충족하는지 여부를 결정하기 위해 사후 기준을 사용하는 경향이 있었다.

“Second, traditional narrative syntheses were prone to use post hoc criteria to decide whether individual studies met an acceptable threshold of methodological quality.”

"결국 전통적인 내러티브 합성은 본질적으로 연구 대상이 되는 관계의 전체적인 규모에 대한 진술을 이끌어내지 못한다."10

“Finally, traditional narrative syntheses, by their very nature, fail to result in statements regarding the overall magnitude of the relationship under investigation.”10

이러한 현실적이고 잠재적인 결함에도 불구하고, 내러티브 리뷰는 의학 및 보건 전문직 교육에서 통합적 학술적 문학에 중요한 기여를 하고 있으며, 지속적으로 그 역할을 하고 있다. 예를 들면 K가 지은 서술평론이다. 2004년 학술의학(Academic Medicine)에 발표된 안데르스 에릭슨(35)의 '의학과 관련 분야 전문가 성과 획득 및 유지'가 큰 영향을 미쳤다.

Despite these real and potential flaws, narrative reviews have been and continue to represent important contributions to the integrative scholarly literature in medical and health professions education. To illustrate, a narrative review authored by K. Anders Ericsson,35 “Deliberate practice and the acquisition and maintenance of expert performance in medicine and related domains,” published in Academic Medicine in 2004, has had a major impact.

체계적

Systematic

[호주] 국립보건의료연구위원회(NHMRC)는 체계적인 문헌 검토의 목적을 다음과 같이 밝히고 있다. 

"체계적인 문헌 검토의 목적은 특정 문제와 관련된 모든 가용한 연구 증거를 평가하고 해석하는 것이다. 이는 이전 작업이 설명되지만 체계적으로 식별되지 않고 품질에 대해 평가 및 종합되는 전통적인 검토와는 다르다."37 

The [Australian] National Health and Medical Research Council (NHMRC) states the aim of a systematic literature review: 

“The purpose of a systematic literature review is to evaluate and interpret all available research evidence relevant to a particular question…. This differs from a traditional review in which previous work is described but not systematically identified, assessed for quality and synthesized.”37 

NHMRC 설명은 알바네즈와 노르시니,38에 의해 증폭되었다. 체계적 검토는 

"검토 과정을 투명하게 하고 일반적으로 합의된 방법으로 증거의 규칙을 정의하기 위한 노력"이다. 미리 정해진 품질 기준에 대한 검토를 실시하는 것도 하나의 접근법이라고 말했다.

The NHMRC description is amplified by Albanese and Norcini,38 who assert that a systematic review 

“is an effort to make the review process transparent and to define the rules of evidence in generally agreed upon ways. It is also an approach that holds reviews to predetermined standards of quality.”

Lang39는 과학적 방법의 확장으로서 체계적 검토의 특성을 설명하고 그들의 행동에 대한 9단계 접근법을 제시한다. 랭의 9단계는 다음과 같다.

Lang39 describes the characteristics of systematic reviews as an extension of the scientific method and presents a nine- step approach for their conduct. Lang’s nine steps are:

1. 생물학적 또는 인간적 문제에 관심을 갖게 된다. 

2. 문제에 대해 알려진 내용을 학습한다. 

3. 문제에 대한 연구 질문을 작성한다. 

4. 질문에 대한 하나 이상의 가능한 답을 시험하기 위한 실험을 설계한다. 

5. 연구할 표본을 선택한다. 

6. 질문에 답변하는 데 필요한 데이터를 수집한다. 

7. 데이터를 분석하고 해석한다(아마도 통계적으로). 

8. 데이터에 기초하여 결론을 도출한다. 

9. 연구 결과를 발표한다.

1. Become interested in a biological or human problem; 

2. Learn what is known about the problem; 

3. Formulate a research question about the problem; 

4. Design an experiment to test one or more possible answers to the question; 

5. Select a sample to study; 

6. Collect the data needed to answer the question; 

7. Analyze and interpret the data, perhaps statistically; 

8. Derive conclusions on the basis of the data; and 

9. Publish the results of the study.

학술지의 전문 스태프들은 재현성과 연구 질문, 검색과 선택 과정, 분석, 해석의 네 가지 특징을 근거로 서술적 리뷰와 체계적 리뷰를 비교하는 비공식 자료를 만들었다.40 이러한 구분은 그림 1에 나타나 있다. 

• 요컨대, 체계적 검토는 신중한 행동 계획을 따르고, 체계적이고, 지배되고, 그리고 (아마도) 정량적으로 된다. 

• 이는 대개 [증거와 데이터 종합의 암묵적 규칙을 사용하는, 특이하고 질적인 절차에 기초하는] 내러티브 리뷰와 대비된다. 

Professional staff members for the journal Academic Medicine created an informal resource comparing narrative reviews and systematic reviews on grounds of four features: reproducibility and research question, search and selection process, analysis, and interpretation.40 These distinctions are shown in Figure 1. 

• In short, a systematic review follows a careful plan of action, is organized, rule governed, and (perhaps) quantitative; 

• in contrast with a narrative review, which is usually based on idiosyncratic, qualitative procedures that use tacit rules of evidence and data synthesis. 

3개의 공동 연구 그룹은 의료 및 보건 과학 교육자에게 관심에 대한 체계적인 검토를 후원하고 수행한다: 

Three collaborative research groups sponsor and conduct systematic reviews of interest to medical and health science educators: 

• the Best Evidence Medical and Health Professional (BEME) Collaboration,41 

• the Campbell Collaboration,42 and 

• the Cochrane Collaboration.43

• BEME Collaboration 체계적 검토는 의료 및 보건 직업에 대한 증거에 대한 교육을 개선하는 것을 목표로 한다. 

• 캠벨 콜라보레이션의 체계적 리뷰는 연구 합성 대상으로 행동 과학, 공공 정책, 보건 서비스의 질문을 다룬다. 

• Cochrane Collaboration은 건강 관리, 건강 정책, 질병 예방, 치료 및 재활에 대한 개입의 영향, 진단 테스트 정확도를 다룬다.

• BEME Collaboration systematic reviews aim to improve evidence-informed education in medicine and the health professions. 

• Campbell Collaboration systematic reviews address questions in the behavioral sciences, public policy, and health services as research synthesis targets. By contrast, 

• Cochrane Collaboration systematic reviews address health care; health policy; effects of interventions for disease prevention, treatment, and rehabilitation; and diagnostic test accuracy.

BEME Collaboration, Campbell Collaboration, Cochrane Collaboration의 후원으로 수행되는 체계적인 리뷰는 엄격한 동료 검토를 거친다.

Systematic reviews performed under auspices of the BEME Collaboration, the Campbell Collaboration, and the Cochrane Collaboration undergo rigorous peer review

체계적 검토의 맥락에서 데이터 분석은 양적 또는 질적으로 이루어질 수 있다. 체계적 검토에서 정량적 데이터 분석을 메타분석이라고 하는데, 여기서 개별 연구의 데이터를 취합하여 효과 크기와 신뢰구간을 계산하고, 포레스트 플롯 등 확립된 규약에 따라 데이터 표시와 해석을 한다.48–50

Data analysis in the context of a systematic review can be either quantitative or qualitative. Quantitative data analysis in systematic reviews is called meta-analysis, where data from individual studies are aggregated, effect sizes and confidence intervals are calculated, and data presentation and interpretation are done according to established conventions such as forest plots.48–50

체계적 검토의 맥락에서 [질적 데이터 합성]은 선택된 연구의 특징들이 메타분석을 이용한 양적 합성을 배제하는 이질적인 연구 설계, 교육 개입, 결과 측정, 시간 프레임을 포함할 때 수행된다.51

Qualitative data synthesis in the context of a systematic review is performed when features of selected studies include heterogeneous research designs, educational interventions, outcome measures, and time frames that rule out quantitative synthesis using meta-analysis.51

체계적 검토를 위한 연구 보고 규약은 [통합적 연구 보고서의 요소와 그 표시 순서를 명시한 규칙]에 따른다. 랭과 세이크52는 의학 문헌에서 체계적인 검토 보고에 대한 기본적인 기대를 지적한다. Moher와 동료 53은 PRISMA 선언으로 알려진 "체계적인 검토와 메타 분석을 위해 선호되는 보고 항목"에 대한 상세한 설명을 제시한다.

Research reporting conventions for systematic reviews are governed by rules that specify the elements of an integrative research report and their order of presentation. Lang and Seic52 point out basic expectations for reporting a systematic review in the medical literature. Moher and colleagues53 present a detailed account of the “preferred reporting items for systematic reviews and meta-analyses,” known as the PRISMA Statement.

일부 비평가들은 방법론이 너무 구체적이고 엄격하기 때문에 체계적인 검토의 결과가 항상 신뢰할 수 있는 것은 아니라고 주장한다. 이들과 다른 학자들은 통합적 학술연구에 대한 체계적인 검토 접근방식은 탈맥락화acontextual 되어있다고 말한다. 즉, 그것은 원래의 연구가 수행된 조건을 설명하지 못한다. 따라서 데이터의 메타분석을 포함하거나 포함하지 않은 체계적인 검토는 [(원래 연구가 수행된 맥락과) 다른 설정과 환경에서] 교육 개입이 효과가 있을지(혹은 없을지)에 영향을 미치는 [복잡하고 변화무쌍한 조건으로부터 분리된 무균sterile 상태]로 간주된다. 

Some critics contend that results from systematic reviews are not always trustworthy because the methodology is too specific and rigid.57,58 These and other scholars argue that the systematic review approach to integrative scholarship is acontextual. It fails to account for the conditions under which the original research was performed. Thus, systematic reviews with or without meta-analysis of data are considered by some scholars to be sterile, detached from the complex, ever-changing conditions that affect the way educational interventions work (or do not work) in different settings and circumstances. 

셋째, 범위 지정, 넷째, 비판적 현실주의는 이 문제를 해결하고자 한다.

The third, scoping, and fourth, critical-realist, approaches to integrative scholarship aim to address this deficit.

범위 지정

Scoping

범위 지정scoping 연구는 통합적 학술연구 방법의 family에는 상대적으로 새로운 것이다. 범위 지정 연구의 목적은 연구 영역(범위, 한계 및 특징)에 포함된 주요 개념과 이용 가능한 증거의 주요 출처 및 유형을 매핑하는 것이다. 그 목적은 핵심 연구 문제를 다루는 현재 문헌의 범위에 대한 빠르고 서술적이며 기술적인 설명을 만드는 것이다. 범위 지정 연구에서 관련 문헌을 식별하는 데 사용되는 전략은 [폭넓은, 경계-설정boundary-setting 결과 달성]을 목표로 한다.59–61

Scoping studies are a relatively new addition to the family of integrative scholarship methods. The aim of a scoping study is to map the key concepts contained in a research domain—their breadth, limits, and features—and the primary sources and types of available evidence. The intent is to produce a quick, narrative, descriptive account of the scope of current literature addressing a key research question. The strategy used to identify relevant literature in a scoping study aims to achieve broad, boundary- setting results.59–61

Arcsey와 O'Malley62는 범위 지정 연구를 수행해야 하는 네 가지 이유를 기술한다: 

• 연구 활동의 범위, 다양성, 성격을 조사하기 위한 것, 

• 완전한 체계적 검토full systematic review를 수행하는 것의 가치 결정, 

• 연구 결과를 요약하고 보급하기 위한 것, 그리고 

• 현재 문헌에서 연구 격차를 식별하기 위한 것이다. 

Arksey and O’Malley62 state four reasons to perform a scoping study: 

• to examine the extent, range, and nature of research activity; 

• determine the value of undertaking a full systematic review; 

• summarize and disseminate research findings; and 

• identify research gaps in the current literature. 

범위 연구는 체계적인 검토와 같이 엄격한 방법론적 규칙(예: 특정 연구 설계, 측정 방법)에 의해 관리되지 않는다. 대신, "범위 지정 연구 방법은 [연구 설계와 상관없이 모든 관련 문헌을 식별]하는 요건에 의해 안내된다." 또한, "이 과정은 선형적이 아니라 상호작용적이어서 연구자들이 반사적으로 각 [점수 검토] 단계에 관여해야 하며, 필요한 경우 문헌이 포괄적으로 다루어지도록 하기 위한 단계를 반복해야 한다."62.

A scoping study is not governed by strict methodological rules (e.g., specific research design, measurement methods) like a systematic review. Instead, “the scoping study method is guided by a requirement to identify all relevant literature regardless of study design.” In addition, “The process is not linear but interactive, requiring researchers to engage with each [scoping review] stage in a reflexive way and, where necessary, repeat steps to ensure that the literature is covered in a comprehensive way.”62

Arcsey와 O'Malley62는 범위 지정 연구의 다섯 가지 필수 단계가 있다고 말한다.

Arksey and O’Malley62 state that there are five required stages of a scoping study:

1. 연구 질문을 확인한다. 

2. 관련 연구를 식별한다. 

3. 연구를 선택한다. 

4. 데이터를 도표로 작성한다. 

5. 결과를 취합, 요약, 보고한다.

1. Identify the research question; 

2. Identify relevant studies; 

3. Select studies; 

4. Chart the data; and 

5. Collate, summarize, and report results.

범위 지정 연구의 여섯 번째 선택적 단계는 통합 장학금에 기득권을 가진 이해관계자, 개인 및 그룹과 협의하여 그러한 작업의 가치와 영향에 대한 견해를 평가하는 것이다.

A sixth, optional stage in a scoping study is to consult with stakeholders, individuals, and groups who have a vested interest in the integrative scholarship, to assess their views about the value and impact of such work.

범위 지정 연구의 목표는 광범위하고 유연하다. 포괄적 목표는 연구 발표의 설계, 측정, 통계적 방법 또는 품질과 관계없이 잠재적으로 관련이 있는 다양한 연구를 식별하는 것이다. 역학 용어로는, [특이도가 높은 문헌 검색보다는 민감도가 높은 문헌 검색]을 실시하자는 취지다. 증거의 무게나 품질을 평가할 요건이 없고, 그 폭과 세부사항breadth and detail만 있을 뿐이다. 범위 연구 목적에 대한 개별 연구 연구의 목적적합성 또는 효용성은 일반 기준을 설정한 후 임시로 판단한다.

Scoping study goals are broad and flexible. The inclusive goal is to identify a wide variety of potentially relevant research studies without regard to design, measurement, statistical methods, or qualities of the research presentation. In epidemiological terms, the intent is to conduct a sensitive rather than a specific literature search. There is no requirement to assess the weight or quality of evidence, just its breadth and detail. The relevance or utility of individual research studies to the purpose of a scoping study is judged post hoc, after general criteria are set.

4단계(데이터 차트) 및 5단계(모으기, 요약 및 보고서 결과)는 범위 지정 연구에 특히 고유하다. 

Step four (chart the data) and step five (collate, summarize, and report results) are especially unique to scoping studies. 

• 차트 작성은 검토 문제와 [관련된 문헌의 범위와 특징을 파악]하기 위해 전문가와 초기 검색 및 토론을 바탕으로 문헌 "맵"을 작성하는 것을 포함한다. "이 지도는 (지질 지도처럼) 여러 층으로 이루어져 있을 가능성이 높다. 왜냐하면, 과학과 이론적 지향이 다른 연구자들은 같은 현상을 다른 방법으로 연구했을 것으로 예상할 수 있기 때문이다."

• 범위 보고서 작성, 5단계는 규칙이 없다. 대신 관련 문헌의 분량에 따라 원고의 구조, 내용, 길이가 결정된다. 범위 지정 연구 방법론에 대한 자세한 내용은 Levac과 동료들을 통해 확인할 수 있다.

• Charting involves creating a literature “map” based on early searching and discussion with experts to identify the range and features of literature relevant to the review question. “The map is likely to be multi-layered (like a geological map), since researchers from different . . . sciences and with differing theoretical orientations can be expected to have studied the same phenomenon in different ways.”63 

• Writing the scoping report, step five, is not rule governed. Instead, the structure, content, and length of the manuscript are determined by the volume of relevant literature.64 More details about scoping study methodology are available from Levac and colleagues.65

비판현실주의

Critical-realist

통합적 학문에 대한 비판적 현실주의 전통은 서술적, 체계적, 범위적 검토 방법이 혼합된 것이다. 비판적 현실주의 접근법은 [전문적인 판단과 엄격한 방법론]에 동시에 의존한다. Rycroft-Malone과 동료 66은 "현실주의 검토는 [개입이 작용하는 메커니즘을 이해하고 푸는 데 초점]을 맞추고 있으며, 따라서 개입이 어떻게 작용하는지에 대한 판단과는 달리 설명을 제공한다. 현실주의적 접근방식은 근본적으로 이론 개발과 정교함에 관련 문헌을 체계적이고 투명하게 합성하는 과정에서 [결과뿐만 아니라 맥락도 고려]한다." 더욱이 "현실주의적 접근법은 특히 복잡한 구현 개입에 대한 증거의 종합에 적합하다."

A critical-realist tradition for integrative scholarship is a hybrid of the narrative, systematic, and scoping review methods. The critical-realist approach relies simultaneously on both professional judgment and rigorous methodology. Rycroft-Malone and colleagues66 teach that “A realist review focuses on understanding and unpacking the mechanisms by which an intervention works (or fails to work), thereby providing an explanation, as opposed to a judgment about how it works. The realist approach is fundamentally concerned with theory development and refinement, accounting for context as well as outcomes in the process of systematically and transparently synthesizing relevant literature.” Moreover, “the realist approach is particularly suited to the synthesis of evidence about complex implementation interventions.”

비판적 현실주의 틀 안에서 수행되는 통합적 학술연구는 "개입은 이론(적)이다; 중재는 우리가 X를 이런 식으로 하면 결과를 가져올 것이다"라는 생각에 근거를 두고 있다. 또한, "실제론적 합성은 다른 상황적 구성 내에서 '무엇이 작용하는지'를 밝혀내는 것과 관련이 있기 때문에, 결과 모델은 결과에 초점을 맞추어야outcome focused 한다."66

Integrative scholarship performed within a critical-realist framework is grounded in the idea that “an intervention is a theory; because interventions are implemented on a hypothesis of if we do X in this way, then it will bring about an outcome.” In addition, “the resultant model must be outcome focused because a realist synthesis is concerned with uncovering ‘what works’ within differing contextual configurations.”66

비판적 현실주의 연구 합성을 수행하는 데 사용되는 방법은 계획적이고 단계적이며, 체계적 검토에 필요한 단계와 유사하지만 동일하지는 않다. 비판적 현실주의자 검토의 방법론적 절차는 4단계, 즉 Rycroft-Malone과 동료 66 및 Pawson.67에 의해 설명되는 보조 조치를 갖는 2단계와 같은 4단계와 관련이 있다.

The methods used to conduct a critical- realist research synthesis are planful and stepwise, similar but not identical to the steps needed for a systematic review. The methodological procedures for a critical- realist review involve four steps, two having subsidiary actions as articulated by Rycroft-Malone and colleagues66 and Pawson.67 The four steps are:

1. 검토의 범위 정의: 

• 질문을 식별한다. 

• 검토 목적을 명확히 한다. 

• 프로그램 이론을 찾고 명확하게 표현한다. 

1. Define the scope of the review: 

• identify the question, 

• clarify the review purpose(s), 

• find and articulate program theories; 

2. 증거를 찾고 평가한다. 

• 증거를 찾아라, 

• 시험 관련성; 

2. Search for and appraise the evidence: 

• search for evidence, 

• test relevance; 

3. 소견 추출 및 합성 

3. Extract and synthesize findings; and 

4. 서사를 전개하다.

4. Develop a narrative.

통합적 학술활동으로서, 비판적 현실주의 및 체계적 접근방식의 한 가지 중요한 차이점은 [비판적 현실주의 전통에서의 데이터 합성이 반복적이고 질적]이라는 점이다. "네 가지 차원에 관한 연구: 

• 이론의 진실성integrity에 의문을 제기하고 

• 경쟁하는 이론들 사이에서 판단을 내리고,

• 동등한 환경에서 동일한 이론을 고려하거나, 

• '공식적' 이론과 '실제' 실천을 비교하는 것

One key distinction between the critical- realist and systematic approaches to integrative scholarship is that data synthesis in the critical-realist tradition is iterative and qualitative, “focus[ing] on four dimensions: 

• questioning the integrity of a theory, 

• adjudicating between competing theories, 

• considering the same theory in comparative settings, or 

• comparing the ‘official’ theory with actual practice.”66 

비판적 현실주의 모드에서 정량적 데이터 분석은 통합적 학술연구의 특징이 아니다.

Quantitative data analysis is not a feature of integrative scholarship in the critical-realist mode.

이러한 생각들은 포슨과 동료들이 지지하는 "현실주의 검토" 전술tactic과 함께 문헌 합성에 대한 노만과 에바의 "비판적 검토" 접근법에 부합한다. Eva는 다음과 같이 말한다. 

"좋은 교육 연구 문헌 리뷰는 다양한 문헌의 중요한 종합을 제시하고, 잘 확립된 지식을 파악하며, 이해의 격차를 강조하고, 이해해야 할 부분에 대한 지침을 제공하는 것이다. 그 결과는 오래된 문제에 대한 새로운 관점을 제시해야 한다. 저자는 문학(그리고 그 안의 다양한 관점)을 공정하게 대표하려고 노력하는 도덕적 규범에 따른다는 생각을 해야 하지만, 절대적인 체계성을 가장할guise 필요는 없다." 

Pawson 등은 그 주장에 동의한다. 

"검토review 질문은 어떤 측면의 개입이 검토될 것인지 우선순위를 정할 수 있도록 주의 깊게 설명되어야 한다."

These ideas conform with Norman and Eva’s68 “critical review” approach to literature synthesis along with the “realist review” tactic espoused by Pawson and colleagues.57,67 Eva69 states: 

“A good educational research literature review … is one that presents a critical synthesis of a variety of literatures, identifies knowledge that is well established, highlights gaps in understanding, and provides some guidance regarding what remains to be understood. The result should give a new perspective of an old problem…. The author … should feel bound by a moral code to try to represent the literature (and the various perspectives therein) fairly, but need not adopt a guise of absolute systematicity.” 

Pawson et al57 agree with the assertion, 

“the review question must be carefully articulated so as to prioritise which aspects of which interventions will be examined.”

공개 피어 해설

Open peer commentary

통합적 학술연구의 수단으로서의 공개 동료 해설 형식은 보건직 교육에서 참신하다. 일반적인 접근방식은 저널 편집자(또는 편집위원)가 자극적이거나, 논란이 있거나, 학술 분야의 과학이나 연구분야를 선도하는 "표적 기사"를 요청하거나 위촉하는 것이다. 타겟 기사는 동료 검토, 아마도 수정을 거쳐 출판된다. 대상 기사는 그 방법, 내용 또는 결론을 승인, 반박, 증폭 또는 세분화할 수 있는 광범위한 공개 동료 논평(또한 비판적 검토)이 뒤따른다. 이어 대상 기사의 작성자는 반박, 요약 발언, 논평 등의 형태로 최종 발언권을 갖는다. 그 결과는 포화, 다양한 관점, 활발한 분열을 통한 통합적 학술물이다. 그것은 때로는 아이러니나 유머로 가득 찬 위대한 작업물에 기여한다.

The open peer commentary format as a means of integrative scholarship is novel in health professions education. The general approach is for a journal editor (or editorial board) to solicit or commission a “target article” that is provocative, controversial, or at the leading edge of science or scholarship in an academic field. The target article undergoes peer review, perhaps revision, and is published. The target article is followed by a wide-ranging series of open peer commentaries (also critically reviewed) that may endorse, refute, amplify, or refine its methods, substance, or conclusions. The author of the target article then has final say in the form of rebuttal, summary remarks, and comments. The result is integrative scholarship via saturation, diverse perspectives, and spirited disputation. It also contributes to great reading, sometimes spiked with irony or humor.

행동 및 뇌과학(BBS)은 다른 학술지(예: American Journal of Biothics, Sychical Bulletin)가 가끔 사용하지만 개방형 동료 논평 형식을 특징으로 가장 잘 알려진 학술지다.

Behavioral and Brain Sciences (BBS) is the scholarly journal best known for featuring the open peer commentary format, although other journals (e.g., American Journal of Bioethics, Psychological Bulletin) use it occasionally.

통합 장학금 심사

Judging Integrative Scholarship

통합 장학금 수행에 대한 다섯 가지 보완적 접근방식은 본 연구의 품질, 유용성 및 가치를 판단하는 데 사용되는 기준도 달라야 한다고 제안한다. 중점 평가 지침은 표 1의 행과 셀에 제시되어 있다.

The five complementary approaches to the conduct of integrative scholarship suggest that criteria used to judge the quality, utility, and value of this work should also vary. Focused evaluation guidelines are given in the rows and cells of Table 1.

Rows은 현대 학자들이 제안한 3개 항목에서 27개 항목으로 표현되는 통합 장학금에 대한 평가 기준과 보고 규약을 증류한 것이다. 이러한 평가 지침은 글래틱 등이 제안한 장학금 평가의 일반적 기준을 보완하지만 중복하지는 않는다.74: 명확한 목표, 적절한 준비, 적절한 방법, 중요한 결과, 효과적인 발표 및 성찰적 비평.

The rows10,25 are a distillate of evaluation criteria and reporting conventions for integrative scholarship expressed as lists ranging from 3 to 27 items proposed by contemporary scholars.31,33,39,48,53,62,66,72 These evaluation guidelines complement but do not duplicate the six generic criteria for evaluating scholarship proposed by Glassick et al74: 

• clear goals, 

• adequate preparation, 

• appropriate methods, 

• significant results, 

• effective presentation, and 

• reflective critique.

표 1에서 앞서 설명한 요약본은 통합적 학술물을 판단하는 것은 [체계적 검토나 비판적-현실주의 검토]의 경우처럼, 연구 종합에 대한 접근방식이 단계적이고, 규칙기반rule governed인 경우 비교적 간단하며 아마도 공식적일 수 있음을 시사한다. 이러한 검토를 위해 통합 장학금의 질과 효용성에 대한 판단은 체크리스트를 통해 원고가 선행 기준과 보고 기준을 충족하는지 여부를 판단할 수 있다. 예를 들어 PRISMA 체크리스트 또는 RAMESES의 비판적 현실주의자 합성을 위한 간행물 표준과 같은 것.

The summary advanced by Table 1 suggests that judging integrative scholarship is relatively straightforward, perhaps formulaic, when the approach to research synthesis is stepwise and rule governed, as is the case for systematic and critical-realist reviews. For these reviews, judgments about the quality and utility of integrative scholarship can be guided by checklists to gauge whether a manuscript fulfills a priori criteria and reporting standards such as the PRISMA checklist53 or the RAMESES (Realist and Meta- narrative Evidence Syntheses: Evolving Standards) publication standards for critical-realist syntheses.75

[서술형, 범위형, 개방형 동료 해설] 프레임워크를 사용하여 수행되는 통합형 학술연구의 질과 효용성에 대한 판단은 증거, 기준, 보고 표준의 규칙이 자주 불투명하기 때문에 더욱 어렵다. 평가자 또는 저널 심판은 이러한 작업을 평가할 때 전문가적 판단을 내릴 것으로 예상되며, 교육적 감식자 역할을 할 것으로 예상된다.76 이러한 상황에서 통합적 장학금에 대한 평가는 평가 대상 작업과 유사하게 특이하고 표준화되지 않을 가능성이 높다.

Judgments about the quality and utility of integrative scholarship performed using the narrative, scoping, and open peer commentary frameworks are more difficult to render because the rules of evidence, criteria, and reporting standards are frequently opaque. The evaluator or journal referee is expected to exercise expert judgment when evaluating such work, to act as an educational connoisseur.76 Evaluations of integrative scholarship under these circumstances will likely be idiosyncratic and unstandardized, similar to the work being judged.

의료 및 보건 전문직 교육의 통합적 학술연구는 고정된static "쿠키 커터" 사고방식을 사용하여 수행되어서는 안 되며, 그 퀄리티와 효용성에 대한 평가도 해서는 안 된다. 통합형 학술연구의 가치를 판단하는 것은 그 질과 효용을 평가하는 것과는 매우 다르다. 가치에 대한 판단은 개인적, 직업적, 국가적 우선 순위에 의해 좌우된다. 가치판단은 종종 암묵적이거나 묵시적이고tacit or occult, 거의 인정받지 못하더라도 항상 과학과 학문의 핵심에 있다. 학자들의 공동체로서 우리는 동료들을 초대하여 그들의 원고에 보고된 독창적이고 통합적인 장학금의 행위의 기초가 되는 가치를 표현하기를 원할 것이다.

Integrative scholarship in medical and health professions education must not be performed using a static, “cookie cutter” mentality, and neither should evaluations of its quality and utility. Judging the value of integrative scholarship is very different than evaluating its quality and utility. Judgments about value are governed by personal, professional, and national priorities. Value judgments, often tacit or occult, are always at the heart of science and scholarship even though they are rarely acknowledged. As a community of scholars we may wish to invite colleagues to express the values that underlie the conduct of original and integrative scholarship reported in their manuscripts.

---

. 2015 Mar;90(3):294-302.

 doi: 10.1097/ACM.0000000000000585.

Varieties of integrative scholarship: why rules of evidence, criteria, and standards matter

William C McGaghie 1

Affiliations 

Affiliation

• 1Dr. McGaghie is director, Ralph P. Leischner Jr., MD Institute for Medical Education, vice chair, Department of Medical Education, and professor of medical education, Loyola University Chicago Stritch School of Medicine, Maywood, Illinois.

• PMID: 25494401
 
• DOI: 10.1097/ACM.0000000000000585

Abstract

Integrative scholarship involves the aggregation of data and evidence in a way that allows the research community to comprehend and value the connections and perspectives that unite isolated facts and research studies. Integrative scholarship summarizes data, enlightens and informs readers broadly, and sets the stage for subsequent research. This article describes five approaches to integrative scholarship--narrative, systematic, scoping, critical-realist, open peer commentary--and argues that each approach uses different methods and rules of evidence to combine data and report their meaning. Different forms of integrative scholarship use methods, criteria, and standards that are matched to the integrative approach and data being evaluated. There is no one best strategy to conduct or judge integrative scholarship. Researchers who perform integrative scholarship should openly express the values that underlie their work.