질적연구 실행가이드 파트4. Trustworthiness와 출판(Eur J Gen Pract, 2018)

질적연구 실행가이드 파트4. Trustworthiness와 출판(Eur J Gen Pract, 2018)

Series: Practical guidance to qualitative research. Part 4: Trustworthiness and publishing

Irene Korstjensa and Albine Moserb,c

도입

Introduction

신뢰성

Trustworthiness

질적 연구의 품질 기준은 무엇인가?

What are the quality criteria for qualitative research?

동일한 품질 기준이 '빅3' 접근방식을 포함한 모든 정성적 설계에 적용된다. 정량적 연구에 사용되는 품질 기준(예: 내부 타당성, 일반성, 신뢰성, 객관성)은 정성적 연구의 품질을 판단하기에 적합하지 않다. 질적 연구자들은 신뢰성trustworthiness에 대해 말하는데, 이것은 '결과가 신뢰할 수 있을까?'라는 질문을 제기하는 것이다[4].

The same quality criteria apply to all qualitative designs, including the ‘big three’ approaches. Quality criteria used in quantitative research, e.g. internal validity, generalizability, reliability, and objectivity, are not suitable to judge the quality of qualitative research. Qualitative researchers speak of trustworthiness, which simply poses the question ‘Can the findings to be trusted?’ [4].

가장 잘 알려진 기준은 링컨과 구바가 정의한 신뢰도, 이전 가능성, 신뢰성 및 확인성이다 [4].

the best-known criteria are credibility, transferability, dependability, and confirmability as defined by Lincoln and Guba [4].

신뢰성이란 무엇이며 그것을 보장하기 위해 어떤 전략을 사용할 수 있는가?

What is credibility and what strategies can be used to ensure it?

신뢰성은 양적 연구에서 내부 타당성에 상당하며 진리-가치 측면과 관련이 있다[4]. 장기적 관여, 지속적인 관찰, 삼각 측량 및 구성원 확인(상자 2)을 통한 신뢰성 확보 전략.

Credibility is the equivalent of internal validity in quantitative research and is concerned with the aspect of truth-value [4]. Strategies to ensure credibility are prolonged engagement, persistent observation, triangulation and member check (Box 2).

모든 전략이 적절하지는 않을 것이다. 예를 들어, 읽고 쓸 수 있는 수준이 낮은 연구 참여자에게는 서면 조사 결과의 멤버체킹이 불가능할 수 있다.

not all strategies might be suitable. For example, a member check of written findings might not be possible for study participants with a low level of literacy.

장기 결속.

Prolonged engagement.

숙달과 관련된 주제에 대해 몇 가지 분명한 질문이 있었다. 참가자들에게 예를 들어 그들의 진술을 지지하도록 격려했고, 인터뷰 진행자는 후속 질문들을 했다. 연구자들은 연구중인 현상의 범위를 제공하기 위한 이론이 나올 때까지 그들의 인터뷰 원자료에서 나온 자료를 연구했다. 

Several distinct questions were asked regarding topics related to mastery. Participants were encouraged to support their statements with examples, and the interviewer asked follow-up questions. The researchers studied the data from their raw interview material until a theory emerged to provide them with the scope of the phenomenon under study. 

삼각측량.

Triangulation.

삼각측량법은 복수의 접근법을 이용하여 질적 연구 과정을 향상시키는 것을 목표로 한다[7]. 

• 방법론적 삼각측량은 심층면접, 포커스그룹토론, 현장노트 등 서로 다른 데이터 수집 방법으로 데이터를 수집해 활용했다. 

• 조사자 삼각측량은 연구팀 구성원과 마찬가지로 여러 연구자를 참여시키고, 연구의 조직적인 측면과 분석 과정을 다루는 방식으로 적용되었다.

Triangulation aims to enhance the process of qualitative research by using multiple approaches [7]. Methodological triangulation was used by gathering data by means of different data collection methods such as in-depth interviews, focus group discussions and field notes. Investigator triangulation was applied by involving several researchers as in research team members, and involving them addressing the organizational aspects of the study and the process of analysis.

지속적인 관찰.

Persistent observation.

코드, 개념 및 핵심 범주를 개발하는 것은 데이터의 특성을 조사하는 데 도움이 되었다. 연구자들은 끊임없이 데이터를 읽고 다시 읽고, 분석하고, 그에 대한 이론을 세우고, 그에 따라 개념을 수정했다. 그들은 코드, 개념, 그리고 핵심 범주를 리코딩하고 다시 라벨을 붙였다. 연구원들은 최종 이론이 의도한 통찰력의 깊이를 제공할 때까지 이 자료를 연구했다. 

Developing the codes, the concepts and the core category helped to examine the characteristics of the data. The researchers constantly read and reread the data, analysed them, theorized about them and revised the concepts accordingly. They recoded and relabelled codes, concepts and the core category. The researchers studied the data until the final theory provided the intended depth of insight. 

회원 체크.

Member check.

인터뷰와 포커스 그룹 토론의 모든 녹취록은 참가자들에게 보내져 피드백을 받았다. 또한, 학습 기간 중 중간쯤에는 인터뷰나 포커스 그룹 토론에 참여한 경험이 있는 사람들과의 미팅이 진행되어 해석을 수정하고 '잘못된' 해석에 도전할 수 있었다. 마지막으로, 그 발견은 이론을 확인하기 위해 다른 회의의 참가자들에게 제시되었다. 

All transcripts of the interviews and focus group discussions were sent to the participants for feedback. In addition, halfway through the study period, a meeting was held with those who had participated in either the interviews or the focus group discussions, enabling them to correct the interpretation and challenge what they perceived to be ‘wrong’ interpretations. Finally, the findings were presented to the participants in another meeting to confirm the theory. 

전이가능성은 무엇을 의미하며 누가 '전이가능성 판단'을 하는가? 

What does transferability mean and who makes a ‘transferability judgement’? 

이전가능성은 적용가능성의 측면과 관련이 있다[4].연구자로서 당신의 책임은 참가자와 연구 과정에 대한 '두터운 설명'을 제공하여 독자가 당신의 연구 결과가 자신의 설정으로 이전될 수 있는지 평가할 수 있도록 하는 것이다. 이것이 소위 전이가능성 판단이다. 이것은 (독자의 구체적인 상황을 모르는) 당신이 아닌 독자가 전달가능성을 판단한다는 것을 의미한다.

Transferability concerns the aspect of applicability [4].Your responsibility as a researcher is to provide a ‘thick description’ of the participants and the research process, to enable the reader to assess whether your findings are transferable to their own setting; this is the that so-called transferability judgement. This implies the reader, not you, makes the transferability judgment because you do not know their specific settings.

연구가 수행된 상황, 그 설정, 표본 크기, 표본 전략, 인구통계학적, 사회경제적, 임상적 특성, 포함 및 배제 기준, 인터뷰 절차 및 주제, 반복 연구 과정에 기초한 인터뷰 질문의 변경, 인터뷰 가이드의 발췌 등. 

such as the context in which the research was carried out, its setting, sample, sample size, sample strategy, demographic, socio-economic,and clinical characteristics, inclusion and exclusion criteria, interview procedure and topics, changes in inter-view questions based on the iterative research process, and excerpts from the interview guide. 

신뢰성과 확인성의 차이점과 감사 추적이 필요한 이유는 무엇인가? 

What is the difference between dependability and confirmability and why is an audit trail needed? 

신뢰성에는 일관성의 측면이 포함된다[4].분석 프로세스가 특정 설계에 대해 승인된 표준과 부합in line with되는지 여부를 확인해야 한다.

Dependability includes the aspect of consistency [4].You need to check whether the analysis process is in line with the accepted standards for a particular design.

확인가능성은 중립[4]의 측면과 관련이 있다. 데이터의 상호-주관성을 확보해야 한다. 해석은 당신 자신의 특정한 선호와 관점이 아니라, 데이터에 근거할 필요가 있다. 여기서 초점은 분석 과정에 내재된 해석 과정에 있다.

Confirmability concerns the aspect of neutrality[4]. You need to secure the inter-subjectivity of the data. The interpretation should not be based on your own particular preferences and viewpoints but needs to be grounded in the data. Here, the focus is on the interpretation process embedded in the process of analysis.

신뢰성 및 확인성을 확보하기 위해 필요한 전략은 감사 추적으로 알려져 있다. 귀하는 연구 과정, 연구팀 회의, 성찰적 생각, 샘플링, 채택된 연구 자료, 조사 결과의 출현 및 데이터 관리에 대한 정보에 대한 완전한 일련의 결정을 제공할 책임이 있다. 이를 통해 감사인은 연구경로의 투명성을 연구할 수 있다.

The strategy needed to ensure dependability and confirmability is known as an audit trail. You are responsible for providing a complete set of notes on decisions made during the research process, research team meetings, reflective thoughts, sampling, research materials adopted, emergence of the findings and information about the data management. This enables the auditor to study the transparency of the research path.

앞서 언급한 당뇨병 자기관리 연구에서는 대학 기반의 감사인이 정확성을 위해 분석 과정, 기록, 회의록 등을 조사하여 근거 이론 방법론의 모든 분석 기법이 그에 따라 사용되었는지 여부를 평가하였다. 또한 이 감사자는 분석(즉, 서술적, 축적 및 선택적 코드)을 검토하여 데이터(원시 데이터, 분석 노트, 코딩 노트, 프로세스 노트, 보고서)에서 추적하고 데이터에 근거하는지 여부를 검토하였다. 신뢰성 및 확인성 감사를 수행한 감사관은 연구팀의 일부가 아니라 근거 이론 전문가였다. 감사 보고서는 연구팀의 모든 구성원들과 공유되었다.

In the aforementioned study of diabetes self-management, a university-based auditor examined the analytical process, the records and the minutes of meetings for accuracy, and assessed whether all analytical techniques of the grounded theory methodology had been used accordingly. This auditor also reviewed the analysis, i.e. the descriptive, axial and selective codes, to see whether they followed from the data (raw data, analysis notes, coding notes, process notes, and report) and grounded in the data. The auditor who performed the dependability and confirmability audit was not part of the research team but an expert in grounded theory. The audit report was shared with all members of the research team.

왜 성찰성이 중요한 품질 기준인가?

Why is reflexivity an important quality criterion?

질적 연구자로서, 데이터를 수집, 분석, 해석하는 과정에서, 그리고 (연구에 들어설 때) 이미 가지고 있던 가정assumption에 대한 자신의 역할에 대해 자각적이고 성찰적인 것이 중요하다는 것을 인정해야 한다.[8]. 그러므로, 당신의 인터뷰, 관찰, 집중 그룹 토론과 모든 분석 데이터는 당신의 성찰노트로 보충될 필요가 있다. 

As a qualitative researcher, you have to acknowledge the importance of being self-aware and reflexive about your own role in the process of collecting, analysing and interpreting the data, and in the pre-conceived assumptions, you bring to your research [8]. Therefore, your interviews, observations, focus group discussions and all analytical data need to be supplemented with your reflexive notes. 

앞서 언급한 당뇨병 자가 관리에 대한 연구에서, 인터뷰에 대한 반사적 메모는 인터뷰 자체와 오디오 테이프를 옮겨 적으며 대본을 분석하는 동안 언급된 인터뷰의 설정과 측면을 기술했다. 성찰주석에는 또한 설정과 인터뷰 대상자와의 관계에 대한 연구자의 주관적 반응도 포함되었다.

In the aforementioned study of diabetes self-management, the reflexive notes for an interview described the setting and aspects of the interview that were noted during the interview itself and while transcribing the audio tape and analysing the transcript. Reflexive notes also included the researcher’s subjective responses to the setting and the relationship with the interviewees.

출판

Publishing

질적 연구를 어떻게 보고해야 하는가?

How do I report my qualitative study?

당신의 질적연구 글쓰기를 하는과정은 [질적 연구를 수행하는 반복적인 과정]을 반영한다. 연구를 시작하면서 디자인에 대한 선택을 하게 되고, 연구가 진행되면서 디자인을 더욱 발전시킨다. 원고를 쓸 때도 마찬가지다. 첫째, 당신은 그것의 구조를 결정하고, 글 쓰는 과정에서 특정한 측면들을 적응시킨다. 게다가, 글을 쓰는 동안 여러분은 여전히 여러분의 연구 결과를 분석하고 미세하게 조정하고 있다. 기사의 일반적인 구조는 부제목이 있는 구조화된 추상적이며, 그 뒤에 본문이 있고, 소개-방법-결과-토론이라는 섹션으로 구성된다. 예를 들어 Results를 Findings(소견으로 이름 변경)와 같이 이 구조를 느슨하게 적용할 수 있지만, 때로는 특정 스터디 설계에 다른 구조가 필요한 경우도 있다.

The process of writing up your qualitative study reflects the iterative process of performing qualitative research. As you start your study, you make choices about the design, and as your study proceeds, you develop your design further. The same applies to writing your manuscript. First, you decide its structure, and during the process of writing, you adapt certain aspects. Moreover, while writing you are still analysing and fine-tuning your findings. The usual structure of articles is a structured abstract with subheadings, followed by the main text, structured in sections labelled Introduction-Methods-Results-Discussion. You might apply this structure loosely, for example renaming Results as Findings, but sometimes your specific study design requires a different structure.

질적인 기사는 대개 양적인 기사보다 훨씬 길다(5000~7000단어). 이 기사들은 종종 그 결과를 표로 제시한다. 당신은 테이블이나 실행 중인 텍스트에 참가자의 수량화된 특성을 나타낼 수 있으며, 당신은 당신의 인터뷰 가이드나 질문 경로 또는 카테고리, 테마의 주요 발견에 대한 개요를 제시하기 위해 상자를 사용할 가능성이 있다. (질적연구) 글쓰기는 대부분 running text이고, 균형 잡힌 프레젠테이션을 제공하고 있다. 참가자와 맥락에 대한 두꺼운 설명을 제공하고, 자신의 방법을 투명하게 기술하고 반성하며, 보고, 해석 및 토론에서 질적 발견의 풍부함을 정당화한다. 따라서 방법 및 결과findings 섹션은 정량적 논문에서보다 훨씬 더 길 것이다.

A qualitative article is usually much longer (5000–7000 words) than quantitative articles, which often present their results in tables. You might present quantified characteristics of your participants in tables or running text, and you are likely to use boxes to present your interview guide or questioning route, or an overview of the main findings in categories, subcategories and themes. Most of your article is running text, providing a balanced presentation. You provide a thick description of the participants and the context, transparently describe and reflect on your methods, and do justice to the richness of your qualitative findings in reporting, interpreting and discussing them. Thus, the Methods and Findings sections will be much longer than in a quantitative paper.

보고 양적 연구와 질적 연구 사이의 차이는 결과 섹션에서 가장 잘 나타난다. 정량 기사는 증거를 제시하는 결과 섹션과 토론 섹션 사이에 엄격한 구분이 있다. 이와는 대조적으로, 질적 논문의 소견 섹션은 대부분 종합과 해석으로 구성되며, 종종 경험적 데이터에 대한 링크와 함께 구성된다.

The difference between reporting quantitative and qualitative research becomes most visible in the Results section. Quantitative articles have a strict division between the Results section, which presents the evidence, and the Discussion section. In contrast, the Findings section in qualitative papers consists mostly of synthesis and interpretation, often with links to empirical data.

분석 결과를 입증할 수 있는 증거를 제시하십시오. 당신은 발견의 다양성과 풍부함을 보여주고 시각화하기 위해 텍스트, 필드 노트, 텍스트 발췌 또는 사진들을 상자 안에 있는 인용문이나 인용문을 사용한다.

You present evidence to substantiate your analytic findings. You use quotes or citations in the text, or field notes, text excerpts or photographs in boxes to illustrate and visualize the variety and richness of the findings.

연구 결과를 게시할 잠재적인 저널을 선택하는 방법

How do I select a potential journal for publishing my research?

질적 기사 출판을 위한 잠재적 저널 선정은 양적 기사 출판에 사용되는 절차와 크게 다르지 않다.

Selecting a potential journal for publishing qualitative articles is not much different from the procedure used for quantitative articles.

질적인 원고를 받아들일 때 저널 편집자들이 고려할 사항은 무엇인가? 

What are the journal editors’ considerations in accepting a qualitative manuscript? 

당신의 논문은 수준 높은 연구를 효과적으로 제시해야 하며 저널의 지침을 준수해야 한다. 편집자는 질적 기사에 대해 양적 기사와 동일한 기준을 기본적으로 사용한다. 새로운 것인가, 사실인가, 관련이 있는가? 그러나 편집자들은 (명시적이든 명시적이든) 증거 수준 피라미드를 사용할 수 있으며, 질적 연구는 하위 계층에 위치한다. 게다가, 많은 의학 저널 편집자들은 질적인 일보다 양적인 디자인에 더 익숙할 것이다. 

Your article should effectively present high-quality research and should adhere to the journal’s guidelines.Editors essentially use the same criteria for qualitative articles as for quantitative articles: Is it new, it is true,is it relevant? However, editors may use—implicitly or explicitly—the level-of-evidence pyramid, with qualitative research positioned in the lower ranks. Moreover,many medical journal editors will be more familiar with quantitative designs than with qualitative work. 

그러므로 편집자에게 보내는 커버레터에는 새로운 것, 진실성, 목적적합성, 그리고 당신의 작품의 질에 대한 그들의 신뢰를 높이기 위해 당신은 약간의 추가적인 노력을 기울일 필요가 있다.

Therefore, you need to put some extra effort in your cover letter to the editor, to enhance their confidence in the newness, trueness and relevance, and the quality of your work

작품의 질에 대한 자신감을 높이기 위해서는 품질 기준을 어떻게 적용했는지 설명하거나 사용한 체크리스트(상자 2와 3)를 참고해야 한다.

To enhance confidence in the quality of your work, you should explain how you applied quality criteria or refer to the checklist you used (Boxes 2 and 3). 

[1] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 1: Introduction. Eur J GenPract. 2017;23:271–273. 

[2] Korstjens I, Moser A. Series: practical guidance to qualitative research. Part 2: Context, research questions and designs. Eur J Gen Pract. 2017;23:274–279. 

[3] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. Eur J Gen Pract. 2018;24. DOI:10.1080/13814788.2017.1375091 

---

. 2018 Dec;24(1):120-124.

 doi: 10.1080/13814788.2017.1375092. Epub 2017 Dec 5.

Series: Practical Guidance to Qualitative Research. Part 4: Trustworthiness and Publishing

Irene Korstjens 1, Albine Moser 2 3

Affiliations 

Affiliations

• 1a Faculty of Health Care, Research Centre for Midwifery Science , Zuyd University of Applied Sciences , Maastricht , The Netherlands.
• 2b Faculty of Health Care, Research Centre Autonomy and Participation of Chronically Ill People , Zuyd University of Applied Sciences , Heerlen , The Netherlands.
• 3c Faculty of Health, Medicine and Life Sciences, Department of Family Medicine , Maastricht University , Maastricht , The Netherlands.

• PMID: 29202616
 
• DOI: 10.1080/13814788.2017.1375092

Abstract

In the course of our supervisory work over the years we have noticed that qualitative research tends to evoke a lot of questions and worries, so-called frequently asked questions (FAQs). This series of four articles intends to provide novice researchers with practical guidance for conducting high-quality qualitative research in primary care. By 'novice' we mean Master's students and junior researchers, as well as experienced quantitative researchers who are engaging in qualitative research for the first time. This series addresses their questions and provides researchers, readers, reviewers and editors with references to criteria and tools for judging the quality of qualitative research papers. The first article provides an introduction to this series. The second article focused on context, research questions and designs. The third article focused on sampling, data collection and analysis. This fourth article addresses FAQs about trustworthiness and publishing. Quality criteria for all qualitative research are credibility, transferability, dependability, and confirmability. Reflexivity is an integral part of ensuring the transparency and quality of qualitative research. Writing a qualitative research article reflects the iterative nature of the qualitative research process: data analysis continues while writing. A qualitative research article is mostly narrative and tends to be longer than a quantitative paper, and sometimes requires a different structure. Editors essentially use the criteria: is it new, is it true, is it relevant? An effective cover letter enhances confidence in the newness, trueness and relevance, and explains why your study required a qualitative design. It provides information about the way you applied quality criteria or a checklist, and you can attach the checklist to the manuscript.

Keywords: General practice/family medicine; general; publishing; qualitative designs and methods; reflexivity; trustworthiness.