질적연구결과를 보고하는 스탠다드: 권고사항 통합 (Acad Med, 2014)

질적연구결과를 보고하는 스탠다드: 권고사항 통합 (Acad Med, 2014)

Standards for Reporting Qualitative Research: A Synthesis of Recommendations

Bridget C. O’Brien, PhD, Ilene B. Harris, PhD, Thomas J. Beckman, MD,

Darcy A. Reed, MD, MPH, and David A. Cook, MD, MHPE

질적연구는 여러 분야의 논문에서 실험적 상황이 아닌 자연발생적 상황, 즉 사회적 상호작용과 개인의 경험을 묘사하고 해석하고 그에 대하여 이론을 생성하기 위한 수단으로 널리 사용된다. 질적연구의 목적은 개인 또는 집단의 관점/경험을 이해하는 것이며, 이러한 관점과 경험이 놓여진 상황의 맥락을 이해하는 것이다.

Qualitative research contributes to the literature in many disciplines by describ- ing, interpreting, and generating theories about social interactions and individual experiences as they occur in natural, rather than experimental, situations.1–3 The purpose of qualitative research is to un- derstand the perspectives/experiences of individuals or groups and the contexts in which these perspectives or experiences are situated.1,2,10

질적연구는 점차 의학과 의학교육문헌에서 널리 사용되어지고 있다. 그러나 그러한 연구의 퀄리티를 평가하는 것은 어려운데, 왜냐하면 핵심 요소들이 불완전하게 기술report되고 있기 때문이다. 퀄리티는 다양한 측면을 고려해야 평가할 수 있고, 여기에는 연구질문의 중요성, 연구방법의 rigor, 추론의 적절성과 요점, 그리고 보고의 완전성 등이 포함된다.

Qualitative research is increasingly common and valued in the medical and medical education literature.1,10–13 However, the quality of such research can be difficult to evaluate because of incomplete reporting of key elements.14,15 Quality is multifaceted and includes consideration of the importance of the research question, the rigor of the research methods, the appropriateness and salience of the inferences, and the clarity and completeness of reporting.16,17 

방법

Method

우리는 40개의 출처를 모두 고려하였다.

We report the full set of the 40 sources reviewed in Supplemental Digital Appendix 1, found at http://links.lww. com/ACADMED/A218.

두 명의 연구자가 초기 샘플을 리뷰하여 질적연구를 보고할 때 중요한 항목들의 포괄적 리스트를 정리하였다(초안 A). 이후 모든 연구진이 짝을 이뤄서 모든 원문을 리뷰하고, 각각에 대해서 항목의 존재 여부를 체크해였다. 초안 A로부터 우리는 보다 짧아진 리스트 (초안 B)를 추출하였다. 이 때는 핵심 개념을 identify하고 관련된 항목을 묶고, 논문 출처들에 몇 차례나 존재했는지 등을 고려하였다. 그리고나서 초안 B를 original source와 비교하여 놓친 개념이 있는지 체크하고, 그에 따라 수정하고, 최종 리스트인 초안 C와 항목의 설명을 추가하였다.

Two of us (B.O., I.H.) reviewed an initial sample of sources to generate a comprehensive list of items that were potentially important in reporting qualitative research (Draft A). All of us then worked in pairs to review all sources and code the presence or absence of each item in a given source. From Draft A, we then distilled a shorter list (Draft B) by identifying core concepts and combining related items, taking into account the number of times each item appeared in these sources. We then compared the items in Draft B with material in the original sources to check for missing concepts, modify accordingly, and add explanatory definitions to create a prefinal list of items (Draft C).

결과

Results

제목, 초록, 도입부

Titles, abstracts, and introductory material.

질적연구에서의 제목, 초록, 도입부(문제 서술, 연구 질문)는 양적연구와 매우 유사한데, 다만 초록에서 제시하는 결과가 수치가 아니라 서사적narrative하다는 점이 다르고, 저자들이 특정한 가설을 제시하는 경우가 거의 드물다는 점이 다르다.

Reporting standards for titles, abstracts, and introductory material (problem formulation, research question) in qualitative research are very similar to those for quantitative research, except that the results reported in the abstract are narrative rather than numerical, and authors rarely present a specific hypothesis.29,30

연구 설계와 방법

Research design and methods.

연구 설계와 자료수집 방법과 분석에서는 질적연구의 몇 가지 특징이 두드러진다. 많은 준거들이 방법의 모든 측면을 밝히고 묘사했을 뿐만 아니라(접근법, 연구자 특성과 역할, 표집 전략, 맥락, 자료 수집, 자료 분석) 각 방법을 정당화하는 기술이 포함되어 있었다. 이는 저자들이 자신들이 세운 가정과 내린 결론을 독자들에게 명확하게 밝히는 것이다. 이러한 기준은 양적연구에서는 보다 덜 흔한데, 아마 이는 대부분의 양적 연구에서는 실증주의적 가정을 하고 있고, 일반적으로 다양한 연구설계의 방법이나 표집 테크닉의 기준standard에 대해 동의하고 있기 때문일 것으로 생각된다.

Reporting on research design and methods of data collection and analysis highlights several distinctive features of qualitative research. Many of the criteria we reviewed focus not only on identifying and describing all aspects of the methods (e.g., approach, researcher characteristics and role, sampling strategy, context, data collection and analysis) but also on justifying each choice.13,14 This ensures that authors make their assumptions and decisions transparent to readers. This standard is less commonly expected in quantitative research, perhaps because most quantitative researchers share positivist assumptions and generally agree about standards for rigor of various study designs and sampling techniques.14

 

양적연구를 보고하는 기준standard에서도 저자들에게 어떤 방법(무작위, 타당도 측정)을 사용하였는지 기술하게끔 하는 것과 같이, 여러 질적연구를 평가하는 준거에서도 저자들에게 어떻게 그 연구에 있어서 단순히 연구 테크닉을 언급하기보다, 짐작건대 익숙한 방법을 사용하였는지 설명하게끔 권고하고 있다. 예를 들어 저자들은 종종 자료가 'saturation'에 도달할 때까지 수집하였다고 묘사하곤 하나, 어떻게 'saturation'을 정의하고 인지하였는지에 대한 언급은 적다. 유사하게, 저자들은 종종 '반복적 과정iterative process'라고 언급하곤 하나, 그 '반복'이 어떤 식이었는지에 대한 묘사는 매우 적다. SRQR에서는 이러한 중요한 프로세스를 자세히 설명하는 것이 중요함을 강조한다. 또한 많은 문헌에서 연구자의 특성과 역할(reflexivit)을 기술하게끔 권고하였다. 연구팀의 구성원들은 종종 참여자와 관계를 맺곤 하는데, 대부분의 질적연구에서 분석프로세스는 고도로 해석적interpretive이다. 따라서 리뷰어와 독자는 반드시 어떻게 연구자와 연구대상과의 관계, 연구자의 관점, 연구자의 가정이 자료 수집과 해석에 영향을 주었는지 이해할 수 있어야 한다.

Just as quantitative reporting standards encourage authors to describe how they implemented methods such as randomization and measurement validity, several qualitative reporting criteria recommend that authors describe how they implemented a presumably familiar technique in their study rather than simply mentioning the technique.10,14,32 For example, authors often state that data collection occurred until saturation, with no mention of how they defined and recognized saturation. Similarly, authors often mention an “iterative process,” with minimal description of the nature of the iterations. The SRQR emphasizes the importance of explaining and elaborating on these important processes. Nearly all of the original sources recommended describing the characteristics and role of the researcher (i.e., reflexivity). Members of the research team often form relationships with participants, and analytic processes are highly interpretive in most qualitative research. Therefore, reviewers and readers must understand how these relationships and the researchers’ perspectives and assumptions influenced data collection and interpretation.15,23,26,34

결과

Results.

질적연구의 결과를 보고할 때는 주요 분석 결과를 밝혀야 한다. 종종, 이 findings는 해석과 맥락화interpretation and contextualization을 포하하게 되며, 이는 전통적인 양적연구에서 '객관적으로 결과를 기술한다'와는 다른 것이다. 결과를 보고하는 것은 종종 구체적인 질적연구의 접근법이나 방법론에 따라 다양할 수 있다. 따라서 질적연구 보고에 관한 엄격한 규칙rigid rule은 부적절하다. 그러나 연구자들은 반드시 근거(사례, 인용문, 발췌문)를 사용하여 주요 분석 결과를 입증해야 한다.

Reporting of qualitative research results should identify the main analytic findings. Often, these findings involve in- terpretation and contextualization, which represent a departure from the tradition in quantitative studies of objectively reporting results. The presentation of results often varies with the specific quali- tative approach and methodology; thus, rigid rules for reporting qualitative find- ings are inappropriate. However, authors should provide evidence (e.g., examples, quotes, or text excerpts) to substantiate the main analytic findings.20,29

고찰

Discussion.

질적연구의 고찰 부분은 일반적으로 기존 연구와의 연관성, 기존의 이론 혹은 개념 프레임워크와의 관련성을 설명하게 되며, 연구결과의 범위와 경계(transferability)를 포함하고 연구 한계점을 기술한다. 일부 질적연구의 전통에서는 결론과 고찰이 명확한 경계를 가지지 않기도 한다. 우리는 저자들에게 어느 파트에서 언급하는지와 무관하게 각 항목item의 내용substance를 다룰 것을 권고한다.

The discussion of quali- tative results will generally include connections to existing literature and/ or theoretical or conceptual frame- works, the scope and boundaries of the results (transferability), and study limitations.10–12,28 In some qualitative traditions, the results and discussion may not have distinct boundaries; we recommend that authors include the substance of each item regardless of the section in which it appears.

고찰

Discussion

질적연구는 사회적 혹은 인간적 문제와 현상에 대해서 '어떻게?', '왜?'질문에 대한 탐색을 하는 것이다. 질적연구의 목적은

Qualitative studies explore “how?” and “why?” questions related to social or hu- man problems or phenomena.10,38 Pur- poses of qualitative studies include

• 참가자의 관점에서 의미를 이해 (어떻게 그들은 사건/상황/행동을 해석하고 이해하는가?)
  un- derstanding meaning from participants’ perspectives (How do they interpret or make sense of an event, situation, or action?);
• 사건이나 행동을 둘러싼 맥락의 특성과 영향을 이해
  understanding the nature and influence of the context surrounding events or actions;
• 잘 이해되어있지 않은 사건/상황/행동에 대한 이론 형성
  generating theories about new or poorly understood events, situations, or actions; and
• 바람직한(바람직하지 않은) 결과가 도출된 프로세스의 이해
  understand- ing the processes that led to a desired (or undesired) outcome.38

 

여러가지 서로 다른 접근법들(e.g., ethnography, phenomenology, discourse analysis, case study, grounded theory)과 방법론들(e.g., interviews, focus groups, observation, analysis of documents) 이 사용될 수 있으며, 각각은 나름의 가정과 전통이 있다. 질적연구 접근법 또는 방법론의 강점은 자료 수집과 자료 분석 프로세스에 걸쳐 flexibility와 adaptability가 있다는 것이다. 우리는 의도적으로 항목을 정의할 때 한 가지 접근법이나 방법론이 다른 접근법이나 방법론에 비해 우위가 있다는 식을 지양하기 위해서 flexibility를 유지하였다. 마찬가지로 우리는 SRQR이 질적연구의 보고방식을 보다 explicit하고 투명하게 만들어서 모든 접근법과 방법론을 지지해줄 것이라고 생각하며, 동시에 연구자들이 연구 설계와 보고 형식을 각자의 연구에 맞게 할 수 있는 flexibility를 제공해줄 것이라고 믿는다 미래에 SRQR의 접근법-특이적 확장편을 만드는데 도움이 될 수도 이을 것이다.

Many dif- ferent approaches (e.g., ethnography, phenomenology, discourse analysis, case study, grounded theory) and method- ologies (e.g., interviews, focus groups, observation, analysis of documents) may be used in qualitative research, each with its own assumptions and traditions.1,2 A strength of many quali- tative approaches and methodolo- gies is the opportunity for flexibility and adaptability throughout the data collection and analysis process. We endeavored to maintain that flexibility by intentionally defining items to avoid favoring one approach or method over others. As such, we trust that the SRQR will support all approaches and meth- ods of qualitative research by making reports more explicit and transparent, while still allowing investigators the flexibility to use the study design and reporting format most appropriate to their study. It may be helpful, in the future, to develop approach-specific ex- tensions of the SRQR, as has been done for guidelines in quantitative research (e.g., the CONSORT extensions).37

한계, 강점, 경계

Limitations, strengths, and boundaries

종종 우리는 문헌에서 상충하는 권고를 보았다 (예: 구체적인 테크닉을 권하는 경우(다수의 coder, 혹은 신뢰성trustworthiness를 위한 member checking)) 우리는 이러한 상충하는 권고를 가장 흔히 권고되는 것을 채택하거나 연구진 사이의 컨센서스를 이룸으로서 정리하였다.

Occasionally, we found conflicting recommendations in the literature (e.g., recommending specific techniques such as multiple coders or member checking to demonstrate trustworthiness); we resolved these conflicting recommen- dations through selection of the most frequent recommendations and by consensus among ourselves.

함의와 적용

Implications and application

Supplemental Digital Appendix 2

The elaborations offered in Supplemental Digital Appendix 2 (seehttp://links.lww.com/ACADMED/ A218) should provide sufficient  description and examples to enable both novice and experienced researchersto use these standards

논문의 단어 제한은 각 항목을 완전히 다 제시하는데 한계로 작용할 수 있고, 그럴 경우 각 항목간 상대적 중요도가 연구마다 다를 것이다. 따라서 모든 21개의 기준이 이상적으로는 모두 반영되어야 하겠지만, 저자는  그 중 어떤 것을 우선시할 것인지 연구/결과/맥락/독자에 따라 달리할 수 있다.

Journal word restrictions may prevent a full exposition of each item, and the relative importance of a given item will vary by study. Thus, although all 21 standards would ideally be reflected in any given report, authors should prioritize attention to those items that are most relevant to the given study, findings, context, and readership.

이러한 권고를 초반에 고려함으로써, 연구자들은 패러다임을 identify할 가능성이 높아지며, 가장 적절한 연구방법을 찾을 가능성도 높아진다. 또한 연구의 trustworthiness를 높여줄 수 있고, 절차와 결과를 keep track할 수 있다.

By considering these recom- mendations early on, researchers may be more likely to identify the paradigm and approach most appropriate to their research, consider and use strategies for ensuring trustworthiness, and keep track of procedures and decisions.

1 Lingard L, Kennedy TJ. Qualitative research in medical education. In: Swanwick T, ed. Understanding Medical Education: Evidence, Theory and Practice. Oxford, UK: Wiley- Blackwell; 2010:323–335.

2 Harris IB. Qualitative methods. In: Norman GR, van der Vleuten CPM, Newble DI, eds. International Handbook of Research in Medical Education. Dordrecht, Netherlands: Kluwer Academic Publishers; 2002:45–95.

---

Acad Med. 2014 Sep;89(9):1245-51. doi: 10.1097/ACM.0000000000000388.

Standards for reporting qualitative research: a synthesis of recommendations.

O'Brien BC1, Harris IB, Beckman TJ, Reed DA, Cook DA.

Author information

• 1Dr. O'Brien is assistant professor, Department of Medicine and Office of Research and Development in Medical Education, University of California, San Francisco, School of Medicine, San Francisco, California. Dr. Harris is professor and head, Department of Medical Education, University of Illinois at Chicago College of Medicine, Chicago, Illinois. Dr. Beckman is professor of medicine and medical education, Department of Medicine, Mayo Clinic College of Medicine, Rochester, Minnesota. Dr. Reed is associate professor of medicine and medical education, Department of Medicine, Mayo Clinic College of Medicine, Rochester, Minnesota. Dr. Cook is associate director, Mayo Clinic Online Learning, research chair, Mayo Multidisciplinary Simulation Center, and professor of medicine and medical education, Mayo Clinic College of Medicine, Rochester, Minnesota.

Abstract

PURPOSE:

Standards for reporting exist for many types of quantitative research, but currently none exist for the broad spectrum of qualitative research. The purpose of the present study was to formulate and define standards for reporting qualitative research while preserving the requisite flexibility to accommodate various paradigms, approaches, and methods.

METHOD:

The authors identified guidelines, reporting standards, and critical appraisal criteria for qualitative research by searching PubMed, Web of Science, and Google through July 2013; reviewing the reference lists of retrieved sources; and contacting experts. Specifically, two authors reviewed a sample of sources to generate an initial set of items that were potentially important in reporting qualitative research. Through an iterative process of reviewing sources, modifying the set of items, and coding all sources for items, the authors prepared a near-final list of items and descriptions and sent this list to five external reviewers for feedback. The final items and descriptions included in the reporting standards reflect this feedback.

RESULTS:

The Standards for Reporting Qualitative Research (SRQR) consists of 21 items. The authors define and explain key elements of each item and provide examples from recently published articles to illustrate ways in which the standards can be met.

CONCLUSIONS:

The SRQR aims to improve the transparency of all aspects of qualitative research by providing clear standards for reportingqualitative research. These standards will assist authors during manuscript preparation, editors and reviewers in evaluating a manuscript for potential publication, and readers when critically appraising, applying, and synthesizing study findings.

PMID:

 

24979285

 

[PubMed - indexed for MEDLINE] 

Free full text