비판적으로 질적연구 평가하기(BMJ, 2008)

비판적으로 질적연구 평가하기(BMJ, 2008)

QUALITATIVE RESEARCH

Critically appraising qualitative research

Ayelet Kuper,1 Lorelei Lingard,2 Wendy Levinson3

이 논문에서는 질적 연구를 읽을 때 질문 할 여섯 가지 핵심 질문을 제공함으로써 질적 연구 방법을 사용하는 연구를 평가하는 방법에 대한 독자를위한 지침을 제공합니다 (상자 1). 그러나 질적 연구에 대한 철저한 평가는 해석적인 행위이며 채점 시스템의 단순한 적용보다는 정보에 입각 한 반성적 사고가 필요합니다.

In this article we offer guidance for readers on how to assess a study that uses qualitative research methods by providing six key questions to ask when reading qualitative research (box 1). However, the thorough assessment of qualitative research is an interpretive act and requires informed reflective thought rather than the simple application of a scoring system. 

연구에 사용 된 표본이 연구 질문에 적합 했습니까?

Was the sample used in the study appropriate to its research question?

질적 연구에서 중요한 결정 중 하나는 표본에 포함시킬 대상 또는 대상 (인터뷰 대상, 관찰 대상, 분석 할 텍스트)입니다. 질적 연구가 경험과 의미 구축에 기초하고 있으며, 특정 연구 문제와 결합되어 있다는 것을 이해하고 샘플링 과정을 진행해야 한다.

One of the critical decisions in a qualitative study is whom or what to include in the sample—whom to interview, whom to observe, what texts to analyse. An understanding that qualitative research is based in experience and in the construction of meaning, combined with the specific research question, should guide the sampling process.

표본은 현상의 여러면을 포착 할 수있을 정도로 충분히 넓어야하며 표본에 대한 제한은 명확하게 정당화되어야한다. 경험과 의미에 대한 질문에 대한 답변은 사람들의 사회적 소속 (문화, 종교, 사회 경제적 그룹, 직업, 연구자가 연구 표본을 선택할 때 이러한 맥락을 인정하는 것도 중요하다.

The sample should be broad enough to capture the many facets of a phenomenon,and limitations to the sample should be clearly justified.Since the answers to questions of experience and meaning also relate to people’s social affiliations(culture, religion, socioeconomic group, profession,etc), it is also important that the researcher acknowl-edges these contexts in the selection of a study sample

정량적 접근법과는 대조적으로, 정성적 연구는 일반적으로 미리 결정된 표본 크기를 가지고 있지 않습니다. 샘플링은 연구중인 현상에 대한 철저한 이해가 끝나면 끝납니다.이 시점은 종종 포화라고합니다.

In contrast with quantitative approaches, qualitative studies do not usually have predetermined sample sizes. Sampling stops when a thorough understanding of the phenomenon under study has been reached, an end point that is often called saturation. 

따라서 포화 상태로 샘플링하려면 새로운 데이터가 수집되는 동안 데이터 분석이 이루어져야합니다. 여러 샘플링 방법을 사용하여 연구에서 얻은 이해를 넓힐 수 있습니다 (상자 2).

Thus, to sample to saturation, data analysis has to happen while new data are still being collected. Multiple sampling methods may be used to broaden the understanding achieved in a study (box 2).

데이터가 적절하게 수집 되었습니까?

Were the data collected appropriately?

특정 연구 문제에 사용하기로 선택한 방법의 적합성은, 이상적으로는 연구 문헌을 참고하여 정당화되어야 합니다. 방법이 체계적으로 체계적으로 사용 되었음이 분명해야합니다. 호손 효과 (Hawthorne effect)와 같은 특정한 방법 론적 문제에주의를 기울여야한다. 관찰자의 존재가 참가자의 행동에 영향을 줄 수있다.

The appropriateness of the method(s) selected to use for the specific research question should be justified, ideally with reference to the research literature. It should be clear that methods were used systematically and in an organised manner. Attention should be paid to specific methodological challenges such as the Hawthorne effect,1 whereby the presence of an observer may influence participants’ behaviours.

두터운 기술 (thick description)이라는 기술을 사용함으로써 질적 연구는 종종 독자가 마치 연구 환경에 있었던 것과 같은 감각을 가질 수 있을 만큼의 자세한 문맥 정보를 포함시키는 것을 목표로합니다.

By using a techni- que called thick description, qualitative studies often aim to include enough contextual information to provide readers with a sense of what it was like to have been in the research setting.

자주 사용되는 또 다른 기법은 포괄적인 결과 집합을 생성하기 위하여 다양한 연구방법이나 관점을 사용하는 삼각 측량입니다. 다양한 상황에서 현상을 검사하기 위해 다양한 데이터 소스를 사용하여 데이터를 삼각 측량 할 수 있습니다. 또한 연구 방법을 삼각측량함으로써 다양한 유형의 데이터 (예 : 인터뷰, 포커스 그룹, 관찰)를 수집하여 현상에 대한 통찰력을 높일 수 있습니다.

Another technique that is often used is triangulation, with which a researcher uses multiple methods or perspectives to help produce a more comprehensive set of findings. A study can triangulate data, using different sources of data to examine a phenomenon in different contexts ; it can also triangulate methods, collecting different types of data (for example, interviews, focus groups, observations) to increase insight into a phenomenon.

또 다른 흔히 사용되는 기술은 iterative process의 사용으로, 데이터 분석을 데이터 수집과 동시적으로 진행하여, 데이터 수집에 inform하는 것입니다. 예를 들어, 특정 사회적 집단 간의 약물 고착에 대한 인터뷰 연구의 동시 분석은 조기 참여자가 지역 약사의 노력을 배척하는 것처럼 보일 수 있습니다. 인터뷰 스크립트는이 현상을 탐구하는 것을 포함하도록 변경 될 수 있습니다. 정량적 연구에서 안정된 (자료수집)과정과 측정을 중요시하는 전통과는 달리, 질적연구에서의 iterative process는 독특한 질적 전통을 구성한다.

Another common technique is the use of an iterative process, whereby concurrent data analysis is used to inform data collection. For example, concurrent analysis of an interview study about lack of adherence to medications among a particular social group might show that early participants seem to be dismissive of the efforts of their local pharmacists; the interview script might then be changed to include an exploration of this phenomenon. The iterative process constitutes a distinctive qualitative tradition, in contrast to the tradition of stable processes and measures in quantita- tive studies.

데이터가 적절하게 분석 되었습니까?

Were the data analysed appropriately?

정 성적 연구에는 체계적인 형태의 데이터 분석에 대한 명확한 설명이 포함되어야합니다. 많은 legitimate한 분석 접근법이 존재합니다. 어떤 방법이 사용되었는지에 관계없이 연구는 무엇을 하였고, 어떻게, 누구에 의해서 하였는가를 보고해야 한다. 

• 반복적인 프로세스가 사용 되었다면 명확하게 기술되어야한다. 

• 한 명 이상의 연구원이 데이터를 분석 한 경우 (사용 된 방법에 따라) 분석자 간 차이를 어떻게 조율하였는지가 분명해야합니다. 

• 많은 연구에서 member check이라는 기술을 사용합니다. 연구원은 연구 결과의 전부 또는 일부를 참가자에게 보여주고 경험과 일치하는지 확인합니다 .2 

• 연구에서는 audit trail을 설명 할 수도 있습니다. audit trail에는 연구원 분석 노트, 연구자 회의록 및 연구 프로세스를 수행하는 데 사용할 수있는 기타 자료가 포함됩니다.

Qualitative studies should include a clear description of a systematic form of data analysis. Many legitimate analytical approaches exist; regardless of which is used, the study should report what was done, how, and by whom. If an iterative process was used, it should be clearly delineated. If more than one researcher analysed the data (which depends on the methodology used) it should be clear how differences between analyses were negotiated. Many studies make refer- ence to a technique called member checking, wherein the researcher shows all or part of the study’s findings to participants to determine if they are in accord with their experiences.2 Studies may also describe an audit trail, which might include researchers’ analysis notes, minutes of researchers’ meetings, and other materials that could be used to follow the research process.

이 연구 결과를 내 자신의 상황으로 옮길 수 있습니까?

Can I transfer the results of this study to my own setting?

연구 결과가 기존 문헌과 얼마나 resonance하는지를 논의해야하지만, transferability를 평가하는 책임은 독자들에게 맡겨져 있습니다. 독자는 연구의 setting이 자신의 상황에 transferable할 수있을 정도로 충분히 유사한지 결정해야합니다 문맥. 그렇게함으로써 독자는 연구 결과가 독자에게 의미가있는 범위 내에서 resonance을 찾습니다.

Though the study should discuss the extent of the findings’ resonance with the published literature,3 muchof the onus of assessing transferability is left to readers, who must decide if the setting of the study is sufficiently similar for its results to be transferable to their own context. In doing so, the reader looks for resonance—the extent that research findings have meaning for the reader.

Transferability은 연구의 고찰 부분에서 여러 상황과 관련된 이론적 이해를 어떻게 발전시키는지를 기술함으로써 향상될 수 있다. 우리는 이 시리즈에서 질적 연구에서의 이론의 중요성에 대해 설명해 왔으며, 질적 연구의 퀄리티를 보여주는 중요 지표에는 지식적 유용성 뿐만 아니라 이론적 이해를 발전 시키는데 기여하는 것에 있다고 믿는 사람들이 많습니다. 이에 대한 논쟁이 계속되고 있지만, 실용 주의적 관점에서 보건 전문 분야의 대부분의 질적연구저널은 practice와 관련된 결과를 강조한다. 이론적 토론은 다른 분야의 저널에서 발표되는 경향이있다.

Transferability may be helped by the study’s discussion of how its results advance theoretical understandings that are relevant to multiple situations. We have explained else- where in this series the importance of theory in qualitative research, and there are many who believe that a key indicator of quality in qualitative research is its contribution to advancing theoretical understanding as well as useful knowledge. This debate continues in the literature,4 but from a pragmatic perspective most qualitative studies in health professions journals emphasise results that relate to practice; theoretical discussions tend to be published elsewhere.

이 연구가 반사성Reflexivity을 포함하여 잠재적 인 윤리적 문제를 적절하게 다루고 있습니까?

Does the study adequately address potential ethical issues, including reflexivity?

반사성Reflexivity은 질적 패러다임에서 특히 중요합니다. 반사성이란 연구원이 연구 과정에 미치는 영향을 인식하는 것을 의미합니다. 특히 연구원이 보건의료전문가 또는 교육자이고 참가자가 환자, 고객 또는 학생 인 경우 연구원과 연구 참가자 간의 잠재적 인 권력 관계가 있을 수 있다 .5 또한 연구원의 성별, 인종, 직업 및 사회적 지위는 연구 질문 자체 및 데이터 수집 방법과 같은 연구 내에서의 선택에 영향을 미친다.

Reflexivity is particularly important within the quali- tative paradigm. Reflexivity refers to recognition of the influence a researcher brings to the research process. It highlights potential power relationships between the researcher and research participants that might shape the data being collected, particularly when the researcher is a healthcare professional or educator and the participant is a patient, client, or student.5 It also acknowledges howa researcher’s gender, ethnic back- ground, profession, and social status influence the choices made within the study, such as the research question itself and the methods of data collection.67

질적 연구의 윤리는 단순히 규범적 가이드라인이나 연구 윤리위원회에 그치지 않는다. 연구참여자의 경험을 수집하고 그러한 경험을 public scrutiny에 개방하는 것에 따르는 윤리적인 결과의 탐구까지 확장되어야합니다 (그러나 연구보고서 작성시 이에 대한 자세한 논의는 저널의 단어 수 제한에 영향을 받을 수도 있다) .8 데이터가 경험이나 인식에 대한 개인적인 보고서를 구성 할 때 기밀성과 익명성의 문제는 상당히 복잡해 질 수 있습니다. 참가자들을 external scrutiny로부터 보호해야 할 뿐만 아니라 참가자들이 개인적인 이야기를 공유하는 잠재적인 어려움을 경감시키는 메커니즘까지를 포함하여 harm을 최소화 할 필요가 있다

Ethics in qualitative research should extend beyond prescriptive guidelines and research ethics boards into a thorough exploration of the ethical consequences of collecting personal experiences and opening those experiences to public scrutiny (a detailed discussion of this problem within a research report may, however, be limited by the practicalities of word count limitations).8 Issues of confidentiality and anonymity can become quite complex when data constitute personal reports of experience or perception; the need to minimise harm may involve not only protection from external scrutiny but also mechanisms to mitigate potential distress to participants from sharing their personal stories.

결론 : 연구자들이 분명히 한 것은 무엇입니까?

In conclusion: is what the researchers did clear?

질적 연구 기사 (box1 참조)를 읽을 때 독자들에게 질문하게하는 핵심 질문 목록은 finite checklist가 아니라 초보자를 위한 복잡한 주제에 대한 안내서이다.

The list of key questions for beginning readers to ask when reading qualitative research articles (see box1) is intended not as a finite checklist, but rather as a beginner’s guide to a complex topic.

---

BMJ. 2008 Aug 7;337:a1035. doi: 10.1136/bmj.a1035.

Critically appraising qualitative research.

Kuper A1, Lingard L, Levinson W.

Author information

1

Department of Medicine, Sunnybrook Health Sciences Centre, and Wilson Centre for Research in Education, University of Toronto, 2075 Bayview Avenue, Room HG 08, Toronto, ON, Canada M4N 3M5. ayelet94@post.harvard.edu

PMID:

 

18687726