질적 내용분석: Trustwothiness에 초점을 두고(SAGE Open, 2014)

질적 내용분석: Trustwothiness에 초점을 두고(SAGE Open, 2014)
Qualitative Content Analysis: A Focus on Trustworthiness 
Satu Elo1, Maria Kääriäinen1,2, Outi Kanste3, Tarja Pölkki1, Kati Utriainen1, and Helvi Kyngäs1,2

 

질적 내용 분석은 간호과학 연구에서 일반적으로 사용되지만, 그 사용의 신뢰성은 아직 체계적으로 평가되지 않았다. 콘텐츠 분석 연구를 평가하기 위한 효과적이고 간단한 전략에 대한 지속적인 요구가 있다. 특히 질적 내용분석보다 정량적 내용분석의 타당성과 신뢰성에 대한 여러 논문이 발표된 만큼 질적 내용분석 결과의 질에 대한 보다 집중적인 논의도 필요하다. 정량적 내용분석을 수행하기 위해 표준화된 절차를 많이 이용할 수 있지만(Baxter, 2009) 질적 내용분석은 그렇지 않다.
Although qualitative content analysis is commonly used in nursing science research, the trustworthiness of its use has not yet been systematically evaluated. There is an ongoing demand for effective and straightforward strategies for evaluating content analysis studies. A more focused discussion about the quality of qualitative content analysis findings is also needed, particularly as several articles have been published on the validity and reliability of quantitative content analysis (Neuendorf, 2011; Potter & Levine-Donnerstein, 1999; Rourke & Anderson, 2004) than qualitative content analysis. Whereas many standardized procedures are available for performing quantitative content analysis (Baxter, 2009), this is not the case for qualitative content analysis.

질적 내용분석은 현재 데이터를 분석하고 의미를 해석하기 위해 사용할 수 있는 몇 가지 질적 방법 중 하나이다(Schreier, 2012). 연구 방법으로서, 그것은 현상을 설명하고 수량화하는 체계적이고 객관적인 수단을 나타낸다(Downe-Wamboldt, 1992; Schreier, 2012). 성공적인 내용분석을 위한 전제조건은 범주, 개념, 모델, 개념 시스템 또는 개념 맵을 만듦으로써 데이터가 연구 현상을 설명하는 개념으로 축소될 수 있다는 것이다(Elo & Kyngäs, 2008; Morgan, 1993; Weber, 1990). 연구 질문은 무엇을 분석하고 무엇을 만들 것인지를 명시한다. 질적 내용분석에서 추상화 과정은 개념이 생성되는 단계이다. 일반적으로 과정의 일부 측면은 쉽게 설명될 수 있지만, 부분적으로 연구자의 통찰력이나 직관적인 행동에 의존하며, 이는 다른 사람들에게 설명하기가 매우 어려울 수 있다(Elo & Kyngäs, 2008; Graneheim & Lundman, 2004). 타당성 관점에서 결과가 어떻게 만들어졌는지 보고하는 것이 중요하다. 독자는 분석과 결과적 결론을 명확하게 따를 수 있어야 한다(슈라이어, 2012). 
Qualitative content analysis is one of the several qualitative methods currently available for analyzing data and interpreting its meaning (Schreier, 2012). As a research method, it represents a systematic and objective means of describing and quantifying phenomena (Downe-Wamboldt, 1992; Schreier, 2012). A prerequisite for successful content analysis is that data can be reduced to concepts that describe the research phenomenon (Cavanagh, 1997; Elo & Kyngäs, 2008; Hsieh & Shannon, 2005) by creating categories, concepts, a model, conceptual system, or conceptual map (Elo & Kyngäs, 2008; Morgan, 1993; Weber, 1990). The research question specifies what to analyze and what to create (Elo & Kyngäs, 2008; Schreier, 2012). In qualitative content analysis, the abstraction process is the stage during which concepts are created. Usually, some aspects of the process can be readily described, but it also partially depends on the researcher’s insight or intuitive action, which may be very difficult to describe to others (Elo & Kyngäs, 2008; Graneheim & Lundman, 2004). From the perspective of validity, it is important to report how the results were created. Readers should be able to clearly follow the analysis and resulting conclusions (Schreier, 2012).

질적 내용분석은 귀납적 또는 연역적 방법으로 사용될 수 있습니다. 귀납적 및 연역적 내용분석 프로세스에는 세 가지 주요 단계가 포함됩니다: 결과의 준비, 구성, 보고. 

• 준비 단계는 콘텐츠 분석에 적합한 데이터를 수집하고 데이터를 이해하며 분석 단위를 선택하는 것으로 구성된다. 
• 귀납적 접근법에서 조직 단계는 개방형 코딩, 범주 생성, 추상화를 포함한다. 
• 연역적 접근법에서 조직 단계는 범주 매트릭스 개발을 포함하며, 여기서 모든 데이터는 내용에 대해 검토되고 식별된 범주에 대한 대응 또는 예시를 위해 코딩된다(Political & Beck, 2012). 범주 매트릭스은 범주가 개념을 적절하게 표현하고, 타당성의 관점에서 범주화 행렬이 의도한 바를 정확하게 포착한다면 유효한 것으로 간주할 수 있다(Schreier, 2012). 
• 보고 단계에서 결과는 선택된 접근법(연역적 또는 귀납적)을 사용하여 현상을 설명하는 범주의 내용에 의해 설명된다.

Qualitative content analysis can be used in either an inductive or a deductive way. Both inductive and deductive content analysis processes involve three main phases: preparation, organization, and reporting of results.

• The preparation phase consists of collecting suitable data for content analysis, making sense of the data, and selecting the unit of analysis.
• In the inductive approach, the organization phase includes open coding, creating categories, and abstraction (Elo & Kyngäs, 2008).
• In deductive content analysis, the organization phase involves categorization matrix development, whereby all the data are reviewed for content and coded for correspondence to or exemplification of the identified categories (Polit & Beck, 2012). The categorization matrix can be regarded as valid if the categories adequately represent the concepts, and from the viewpoint of validity, the categorization matrix accurately captures what was intended (Schreier, 2012).
• In the reporting phase, results are described by the content of the categories describing the phenomenon using a selected approach (either deductive or inductive).

질적 연구 타당성을 평가하기에 가장 적합한 용어(강성, 타당성, 신뢰성, 신뢰도)에 대해 많은 논쟁이 있었다(Koch & Harrington, 1998). 신뢰성과 타당성 기준은 신뢰도를 평가할 때 양적 연구와 질적 연구에서 모두 사용됩니다. 그러한 용어들은 주로 연구의 실증적 개념에 뿌리를 두고 있다. 슈라이어(2012)에 따르면 [질적 내용 분석]과 [양적 내용 분석] 사이에 명확한 구분선이 없고, 신뢰성과 타당성에 대한 유사한 용어와 기준이 자주 사용된다.

There has been much debate about the most appropriate terms (rigor, validity, reliability, trustworthiness) for assessing qualitative research validity (Koch & Harrington, 1998). Criteria for reliability and validity are used in both quantitative and qualitative studies when assessing the credibility (Emden & Sandelowski, 1999; Koch & Harrington, 1998; Ryan-Nicholls & Will, 2009). Such terms are mainly rooted in a positivist conception of research. According to Schreier (2012), there is no clear dividing line between qualitative and quantitative content analysis, and similar terms and criteria for reliability and validity are often used. 

연구자들은 내용분석에서 타당성 측면을 평가할 때 주로 질적 기준을 사용해 왔다(Kyngás 등, 2011). 질적 내용분석을 평가하기 위해 가장 널리 사용되는 기준은 링컨과 구바(1985)가 개발한 기준이다. 그들은 신뢰성trustworthiness라는 용어를 사용했다. 질적 조사에서 신뢰성trustworthiness의 목적은 조사의 발견이 "주의할 가치가 있다"는 주장을 뒷받침하는 것이다(Lincoln & Guba, 1985). 이론 기반 범주화 매트릭스 없이 원시 데이터에서 범주가 생성되기 때문에 귀납적 내용 분석을 사용할 때 특히 중요하다. 따라서, 우리는 데이터 수집, 분석, 콘텐츠 분석 결과의 발표의 신뢰성trustworthiness에 영향을 미치는 요소를 파악할 때 이러한 전통적인 질적 연구 용어를 사용하기로 결정했습니다.

Researchers have mainly used qualitative criteria when evaluating aspects of validity in content analysis (Kyngäs et al., 2011). The most widely used criteria for evaluating qualitative content analysis are those developed by Lincoln and Guba (1985). They used the term trustworthiness. The aim of trustworthiness in a qualitative inquiry is to support the argument that the inquiry’s findings are “worth paying attention to” (Lincoln & Guba, 1985). This is especially important when using inductive content analysis as categories are created from the raw data without a theory-based categorization matrix. Thus, we decided to use such traditional qualitative research terms when identifying factors affecting the trustworthiness of data collection, analysis, and presentation of the results of content analysis.

질적 연구를 위해 몇 가지 신뢰도 평가 기준이 제안되었다. 그러나 이러한 기준의 공통점은 내용분석 과정을 정확하게 보고함으로써 신뢰도를 지원하고자 한다는 것이다. 링컨과 구바는 credibility, dependability, conformability, and transferability라는 질적연구에서 trustworthiness 평가를 위한 네 가지 대안을 제안해 왔다. 1994년에서 저자들은 5기준에 진정성authenticity을 덧붙였다.

• Credibility의 확립을 위한 관점에서, 연구원들은 연구에 참여하고 정확하게 묘사했다 확인되도록 해야 합니다.
• Dependability 데이터의 시간과 다른 조건에 따라 안정성을 말한다.
• Conformability 그것이 객관성을 말한다, 일치에 대한 데이터의 정확성, 타당성, 또는 의미에 대해 두 이상의 독립적인 사람들의 가능성.
• Transferability 추정에 대한 가능성에 말한다. 그것은 논거는 발견이나 다른 설정 또는 그룹에 편입이 개괄될 수 있는에 의존하고 있다.
• 마지막 기준, authenticity는, 연구자들 공정하고 충실히, 현실의 범위(링컨&Guba, 1985;Polit&벡, 2012년)을 보여 주는 정도로 말한다.

Several other trustworthiness evaluation criteria have been proposed for qualitative studies (Emden, Hancock, Schubert, & Darbyshire, 2001; Lincoln & Guba, 1985; Neuendorf, 2002; Polit & Beck, 2012; Schreier, 2012). However, a common feature of these criteria is that they aspire to support the trustworthiness by reporting the process of content analysis accurately. Lincoln and Guba (1985) have proposed four alternatives for assessing the trustworthiness of qualitative research, that is, credibility, dependability, conformability, and transferability. In 1994, the authors added a fifth criterion referred to as authenticity.

• From the perspective of establishing credibility, researchers must ensure that those participating in research are identified and described accurately.
• Dependability refers to the stability of data over time and under different conditions.
• Conformability refers to the objectivity, that is, the potential for congruence between two or more independent people about the data’s accuracy, relevance, or meaning.
• Transferability refers to the potential for extrapolation. It relies on the reasoning that findings can be generalized or transferred to other settings or groups.
• The last criterion, authenticity, refers to the extent to which researchers, fairly and faithfully, show a range of realities (Lincoln & Guba, 1985; Polit & Beck, 2012)

 

연구자들은 종종 질적 연구 결과의 신뢰도를 손상시키는 문제와 씨름한다. 본 기사에서 설명하는 연구의 목적은 주요 질적 콘텐츠 분석 단계를 기반으로 신뢰도를 설명하고 콘텐츠 분석 연구의 신뢰도를 평가하기 위한 체크리스트를 작성하는 것이었다. 가장 중요한 연구 질문은 "각 단계에서 콘텐츠 분석 연구의 신뢰도를 향상시키기 위해 노력하는 연구자들에게 필수적인 것은 무엇인가?" 제시된 지식은 초기 연구의 서술적 문헌 검토, 우리 자신의 경험, 방법론적 교과서를 통해 확인되었다. 다음과 같은 키워드를 사용하여 Medline(Ovid)과 CINAHL(EBSCO)의 복합 검색이 수행되었다. 신뢰성, 엄격함 또는 타당성, 질적 컨텐츠 분석.
Researchers often struggle with problems that compromise the trustworthiness of qualitative research findings (de Casterlé, Gastmans, Bryon, & Denier, 2012). The aim of the study described in this article was to describe trustworthiness based on the main qualitative content analysis phases, and to compile a checklist for evaluating trustworthiness of content analysis study. The primary research question was, “What is essential for researchers attempting to improve the trustworthiness of a content analysis study in each phase?” The knowledge presented was identified from a narrative literature review of earlier studies, our own experiences, and methodological textbooks. A combined search of Medline (Ovid) and CINAHL (EBSCO) was conducted, using the following key words: trustworthiness, rigor OR validity, AND qualitative content analysis.

다음은 포함 기준으로 사용되었다: 영어로 출판된 건강과학 분야의 질적 내용 분석에 초점을 맞춘 방법론적 논문이며 연도에 제한이 없다. 이 검색에서는 데이터베이스와 참조 목록 검사에서 12개의 방법론적 내용 분석 기사가 확인되었다. 선정된 논문의 참고목록도 확인했고, 검토 종합서 작성 시 질적 연구방법론 교재가 활용됐다. 이 글의 논의는 내용 분석을 유효하고 이해할 수 있는 방식으로 보고하는 방법을 명확히 하는 데 도움이 되며, 이는 과학 논문 검토자에게 특히 도움이 될 것으로 예상한다.

The following were used as inclusion criteria: methodological articles focused on qualitative content analysis in the area of health sciences published in English and with no restrictions on year. The search identified 12 methodological content analysis articles from databases and reference list checks (Cavanagh, 1997; Downe-Wamboldt, 1992; Elo & Kyngäs, 2008; Graneheim & Lundman, 2004; Guthrie, Yongvanich, & Ricceri, 2004; Harwood & Garry, 2003; Holdford, 2008; Hsieh & Shannon, 2005; Morgan, 1993; Potter & Levine-Donnerstein, 1999; Rourke & Anderson, 2004; Vaismoradi, Bondas, & Turunen, 2013). The reference list of selected papers was also checked, and qualitative research methodology textbooks were used when writing the synthesis of the review. The discussion in this article helps to clarify how content analysis should be reported in a valid and understandable manner, which, we expect, will be of particular benefit to reviewers of scientific articles.

콘텐츠 분석 연구 준비단계에서의 신뢰도
Trustworthiness in the Preparation Phase in Content Analysis Study

문헌 검색 결과를 바탕으로 작성 단계의 주요 신뢰도 이슈는 데이터 수집 방법의 신뢰도, 샘플링 전략, 적절한 분석 단위 선정으로 파악되었다. 연구 결과를 바탕으로 각 단계에서 콘텐츠 분석 연구의 신뢰도 향상을 시도하는 연구자를 위한 점검표를 작성했다(표 1).

Based on the results of the literature search, the main trustworthiness issues in the preparation phases were identified as trustworthiness of the data collection method, sampling strategy, and the selection of a suitable unit of analysis. Based on the findings, we have compiled a checklist for researchers attempting to improve the trustworthiness of a content analysis study in each phase (Table 1).

 

데이터 수집 방법
Data Collection Method

데이터 수집의 신뢰성trustworthiness에 대한 입증은 연구의 신뢰성에 관한 연구자의 궁극적인 주장을 뒷받침하는 한 측면이다(Rourke & Anderson, 2004). 내용분석의 신뢰성을 보장하기 위해서는 가장 적절한 데이터 수집 방법의 선택이 필수적이다(Graneheim & Lundman, 2004). 신뢰성credibility은 연구의 초점을 다루며 [데이터가 의도한 초점을 얼마나 잘 설명하는지address]에 대한 자신감를 의미한다(Political & Beck, 2012). 따라서 연구자는 내용분석에 가장 적합한 데이터를 수집하는 방법에 대해 많은 고민을 해야 합니다. 내용분석의 신뢰성을 보장하기 위한 전략은 관심 있는 연구 질문에 답할 수 있는 [최선의 데이터 수집 방법]을 선택하는 것에서부터 시작된다. 내용 분석이 사용되는 대부분의 연구에서 수집된 데이터는 비구조적이며, 인터뷰, 관찰, 일기, 기타 서면 문서 또는 다른 방법의 조합과 같은 방법으로 수집된다. 그러나 연구의 목적에 따라 수집된 데이터는 개방적이고 반구조적일 수 있다. 귀납적 내용분석을 사용하는 경우 데이터가 가능한 한 구조화되지 않은 것이 중요하다(Dey, 1993; Neuendorf, 2002).
Demonstration of the trustworthiness of data collection is one aspect that supports a researcher’s ultimate argument concerning the trustworthiness of a study (Rourke & Anderson, 2004). Selection of the most appropriate method of data collection is essential for ensuring the credibility of content analysis (Graneheim & Lundman, 2004). Credibility deals with the focus of the research and refers to the confidence in how well the data address the intended focus (Polit & Beck, 2012). Thus, the researcher should put a lot of thought into how to collect the most suitable data for content analysis. The strategy to ensure trustworthiness of content analysis starts by choosing the best data collection method to answer the research questions of interest. In most studies where content analysis is used, the collected data are unstructured (Elo & Kyngäs, 2008; Neuendorf, 2002; Sandelowski, 1995b), gathered by methods such as interviews, observations, diaries, other written documents, or a combination of different methods. However, depending on the aim of the study, the collected data may be open and semi-structured. If inductive content analysis is used, it is important that the data are as unstructured as possible (Dey, 1993; Neuendorf, 2002).

신뢰성trustworthiness의 관점에서 핵심 질문은 "사전 구성과 데이터 수집 방법의 관계는 무엇인가, 즉 연구자가 서술형 또는 반구조형 질문을 사용해야 하는가"이다. 오늘날 질적 내용분석은 면담 전사본과 같은 구두 데이터에 가장 자주 적용된다(Schreier, 2012). 서술적 데이터 수집을 하는 경우, 경험의 다양성을 통제하는 것이나, 면접관의 편향과 한 가지 유형의 정보 또는 분석적 관점의 특권을 방지하는 것은 종종 어려울 수 있다(Warr & Pyett, 1999). 예를 들어 "당신은 어떻게 자신을 돌볼 수 있는지 말씀해 주시겠습니까?"와 같은 서술형 질문을 사용할 때, 연구자는 데이터 수집의 목적을 고려하고 이를 위해 데이터를 추출하려고 노력해야 합니다. 다만 연구자가 반구조적 데이터 수집 방식을 선택할 경우 참여자의 답변을 지나치게 조종해 귀납적 데이터를 얻지 않도록 주의해야 한다. 면담 질문을 "비판적 참조 그룹critical reference group"과 연계하여 개발하는 것이 유용할 수 있다. 비판적 참조 그룹은 참여적 행동 연구에 사용되며 연구 및 평가가 주로 이익을 얻기 위한 그룹을 총칭하는 용어이다(Wadsworth, 1998). 면담질문을 이런 집단의 평가에 붙이는 것은 '올바른 방식으로 올바른 질문'을 함으로써 공부한 현상을 더 잘 이해할 수 있는 질문을 구성하는 데 도움이 될 수 있다.

From the perspective of trustworthiness, a key question is, “What is the relationship between prefiguration and the data collection method, that is, should the researcher use descriptive or semi-structured questions?” Nowadays, qualitative content analysis is most often applied to verbal data such as interview transcripts (Schreier, 2012). With descriptive data collection, it can often be challenging to control the diversity of experiences and prevent interviewer bias and the privileging of one type of information or analytical perspective (Warr & Pyett, 1999). For example, when using a descriptive question such as “Could you please tell me, how do you take care of yourself?” the researcher has to consider the aim of data collection and try to extract data for that purpose. However, if the researcher opts for a semi-structured data collection method, they should be careful not to steer the participant’s answers too much to obtain inductive data. It may be useful for the interview questions to be developed in association with a “critical reference group” (Pyett, 2003). Critical reference groups are used in participatory action research and is a generic term for those the research and evaluation is intended primarily to benefit (http://www.aral.com.au/ari/p-ywadsworth98.html" data-mce-href="https://journals.sagepub.com/doi/full/10.1177/2158244014522633#">Wadsworth, 1998). Subjecting the interview questions to evaluation by this kind of group may help to construct understandable questions that make better sense of the studied phenomenon by asking the “right questions in the right way.”

신뢰성credibility의 관점에서 연구자의 자기 인식은 필수적이다(Koch, 1994). 사전 면담은 면접 질문이 제안된 연구 질문에 답하는 풍부한 데이터를 얻는 데 적합한지 판단하는 데 도움이 될 수 있다. 예를 들어, "내가 참가자를 조작하거나 이끌었는가?", "너무 광범위하거나 구조적인 질문을 했는가?"와 같은 질문이 연구자 자신의 행동을 비판적으로 평가하기 위해 면밀하게 검토되어야 한다. 이러한 평가는 연구를 시작할 때 시작할 뿐만 아니라 콘텐츠 분석의 신뢰성을 보장하기 위해 지속적인 성찰이 뒷받침되어야 한다.
From the viewpoint of credibility, self-awareness of the researcher is essential (Koch, 1994). Pre-interviews may help to determine whether the interview questions are suitable for obtaining rich data that answer the proposed research questions. Interview tapes, videos, and transcribed text should be examined carefully to critically assess the researcher’s own actions For instance, questions should be asked such as “Did I manipulate or lead the participant?” and “Did I ask too broad or structured questions?” Such evaluation should not only begin at the start of the study but also be supported by continuous reflection to ensure the trustworthiness of content analysis.

데이터를 관리하기 위해서는 정량적 연구 못지않게 정성적 연구에서도 분석방법의 사전검사가 중요하다. 연역적 내용분석 접근 방식을 사용할 경우, 파일럿 단계에서 분류 매트릭스도 사전 테스트해야 한다(Schreier, 2012). 이것은 특히 두 명 이상의 연구원이 코딩에 관여할 때 필수적이다. 시험 코딩에서 연구자들은 독립적으로 새로 개발된 행렬의 코딩(Schreier, 2012)을 시도하고 행렬을 사용하는 데 있어 명백한 어려움과 그들이 다르게 해석한 코딩 단위를 논의한다(Schreier, 2012). 그들의 논의에 기초하여, 필요한 경우 분류 매트릭스가 수정된다.
To manage the data, pre-testing of the analysis method is as important in qualitative as in quantitative research. When using a deductive content analysis approach, the categorization matrix also needs to be pretested in a pilot phase (Schreier, 2012). This is essential, especially when two or more researchers are involved in the coding. In trial coding, researchers independently try out the coding of the newly developed matrix (Schreier, 2012) and then discuss any apparent difficulties in using the matrix (Kyngäs et. al., 2011) and the units of coding they have interpreted differently (Schreier, 2012). Based on their discussion, the categorization matrix is modified, if needed.

 

샘플링 전략
Sampling Strategy

표본 추출 전략의 관점에서 다음과 같은 질문을 하는 것이 필수적이다.

• 내 연구를 위한 가장 좋은 표본 추출 방법은 무엇인가요?
• 내 연구에 가장 적합한 정보원은 누구이며, 참가자를 선정할 때 어떤 기준을 사용해야 합니까?
• 제 샘플이 적절한가요?
• 내 데이터가 잘 포화되었습니까?

타당성 기준으로서의 철저성Thoroughness 은 [데이터의 적정성]을 나타내며, 건전한 샘플링과 포화에 의존하기도 한다(Whittemore, Chase, & Mandle, 2001). 정성 연구에 사용되는 샘플링 방법을 고려하는 것이 중요하다(Creswell, 2013). 우리의 연구에 따르면, 표본 추출 방법은 질적 내용 분석 연구에서 거의 언급되지 않는다. 질적 연구에서 표본 추출 전략은 보통 연구 결과의 일반화 필요성에 의해가 아니라 방법론과 주제에 기초하여 선택된다(Higginbottom, 2004). 질적 샘플링은 편의적, 목적적, 이론적, 선택적, 사례 내 및 눈덩이 샘플링을 포함한다. 그러나 표본은 적절해야 하며 연구 주제를 가장 잘 대표하거나 알고 있는 참가자로 구성되어야 한다.

From the viewpoint of sampling strategy, it is essential to ask questions such as the following:

• What is the best sampling method for my study?
• Who are the best informants for my study and what criteria to use for selecting the participants?
• Is my sample appropriate?
• Are my data well saturated?

Thoroughness as a criterion of validity refers to the adequacy of the data and also depends on sound sampling and saturation (Whittemore, Chase, & Mandle, 2001). It is important to consider the sampling method used in qualitative studies (Creswell, 2013). Based on our research, the sampling method is rarely mentioned in qualitative content analysis studies (Kyngäs et. al., 2011). In qualitative research, the sampling strategy is usually chosen based on the methodology and topic, and not by the need for generalizability of the findings (Higginbottom, 2004). Types of qualitative sampling include convenience, purposive, theoretical, selective, within-case and snowball sampling (Creswell, 2013; Higginbottom, 2004; Polit & Beck, 2012). However, the sample must be appropriate and comprise participants who best represent or have knowledge of the research topic.

내용분석 연구에서 가장 일반적으로 사용되는 방법은 목적적 샘플링이다. 의도적 샘플링은 연구자가 연구 주제에 관한 최고의 지식을 가진 정보 제공자에게 관심이 있는 질적 연구에 적합하다. 목적적 샘플링을 사용할 경우, 샘플링을 누가 또는 무엇이 샘플링되는지, 어떤 형태를 취해야 하는지, 그리고 얼마나 많은 사람이나 사이트를 샘플링해야 하는지에 대한 결정을 내려야 한다(Creswell, 2013). 그러나 목적적 표본 추출의 단점은 완전한 세부사항이 제공되지 않을 경우 독자가 표본 추출의 신뢰도를 판단하기 어려울 수 있다는 것이다. 연구자는 어떤 유형의 목적적 샘플링을 사용하는 것이 가장 적합한지 결정해야 하며(Creswell, 2013) 표본 추출 방법에 대한 간략한 설명이 제공되어야 한다.

The most commonly used method in content analysis studies is purposive sampling (Kyngäs, Elo, Pölkki, Kääriäinen, & Kanste, 2011): purposive sampling is suitable for qualitative studies where the researcher is interested in informants who have the best knowledge concerning the research topic. When using purposeful sampling, decisions need to be made about who or what is sampled, what form the sampling should take, and how many people or sites need to be sampled (Creswell, 2013). However, a disadvantage of purposive sampling is that it can be difficult for the reader to judge the trustworthiness of sampling if full details are not provided. The researcher needs to determine which type of purposeful sampling would be best to use (Creswell, 2013), and a brief description of the sampling method should be provided.

Dependability 데이터의 시간과 다른 조건에 따라 안정성을 말한다. 따라서 다른 맥락으로의 결과 전이가능성transferability을 평가할 수 있도록 [참가자를 선정할 때 사용하는 원칙과 기준을 명시]하고, [참가자의 주요 특성을 상세히 기술]하는 것이 중요하다. 곧, "동일하거나 유사한 참여자와 같은 맥락에서 조사 결과가 복제된다면 반복될 것인가"라는 것이 주된 질문이다. 신뢰성을 확립하기 위한 링컨과 구바의 1985년 기준에 따르면, 연구자들은 연구에 참여하는 사람들이 정확하게 식별되고 설명되도록 해야 한다. 신뢰할 수 있는 데이터를 수집하기 위해 다양한 연구에서 다른 샘플링 방법이 필요할 수 있다.
Dependability refers to the stability of data over time and under different conditions. Therefore, it is important to state the principles and criteria used to select participants and detail the participants’ main characteristics so that the transferability of the results to other contexts can be assessed (e.g., see Moretti et al., 2011). The main question is then, “Would the findings of an inquiry be repeated if it were replicated with the same or similar participants in the same context (Lincoln & Guba, 1985; Polit & Beck, 2012)?” According to Lincoln and Guba’s (1985) criteria for establishing credibility, researchers must ensure that those participating in research are identified and described accurately. To gather credible data, different sampling methods may be required in different studies.

내용물 분석 연구의 신뢰성credibility을 보장하기 위해 가장 [적절한 표본 크기]를 선택하는 것이 중요하다(Graneheim & Lundman, 2004). 표본이 적절한지 평가할 때 표본 크기에 대한 정보는 필수적이다. 최적의 표본은 연구의 목적, 연구 질문 및 데이터의 풍부함에 따라 달라지기 때문에 질적 연구에 일반적으로 허용되는 표본 크기는 없다. 질적 내용 분석에서는 연구 참가자의 동질성 또는 그룹 간에 예상되는 차이를 평가한다. 예를 들어, 주택 거주 노인의 웰빙과 부양적 신체환경 특성에 대한 연구는 상당히 이질적인 데이터를 생성할 가능성이 높으며 예를 들어 85세 이상의 노인이나 농촌에 거주하는 노인만 연구하는 것보다 더 많은 참여자가 필요할 수 있다.
Selection of the most appropriate sample size is important for ensuring the credibility of content analysis study (Graneheim & Lundman, 2004). Information on the sample size is essential when evaluating whether the sample is appropriate. There is no commonly accepted sample size for qualitative studies because the optimal sample depends on the purpose of the study, research questions, and richness of the data. In qualitative content analysis, the homogeneity of the study participants or differences expected between groups are evaluated (Burmeister, 2012; Sandelowski, 1995a). For example, a study on the well-being and the supportive physical environment characteristics of home-dwelling elderly is likely to generate fairly heterogeneous data and may need more participants than if restrictions are applied, for example, studying only elderly aged above 85 years or those living in rural areas.

데이터의 포화도가 최적의 표본 크기를 나타낼 수 있다고 제안되었다(Guthrie 등, 2004; Sandelowski, 1995a). 정의에 따라, 포화된 데이터는 범주 내 복제를 보장하며, 이는 다시 이해와 완전성을 검증하고 보장합니다. 데이터의 포화가 불완전하면 데이터 분석에 문제를 일으킬 수 있고 항목 간 연동을 방해할 수 있다(Cavanagh, 1997). 잘 포화된 데이터는 분류와 추상화를 용이하게 한다. 데이터가 최소한 사전 수집과 분석이 동시에 이뤄지면 포화 상태를 인지하기가 더 쉽다. 모든 데이터가 먼저 수집되고 나중에 분석되는 것이 일반적이다. 우리는 예를 들어 몇 번의 인터뷰 후에 예비 분석을 시작할 것을 권고한다. 포화도가 달성되지 않으면 데이터를 그룹화하고 개념을 만드는 것이 종종 어려워 완전한 분석을 방해하고 단순화된 결과를 생성한다(Harwood & Garry, 2003; Weber, 1990).

It has been suggested that saturation of data may indicate the optimal sample size (Guthrie et al., 2004; Sandelowski, 1995a). By definition, saturated data ensure replication in categories, which in turn verifies and ensures comprehension and completeness (Morse, Barrett, Mayan, Olson, & Spiers, 2002). If the saturation of data is incomplete, it may cause problems in data analysis and prevent items being linked together (Cavanagh, 1997). Well-saturated data facilitates its categorization and abstraction. It is easier to recognize when saturation is achieved if data are at least preliminarily collected and analyzed at the same time (Guthrie et al., 2004; Sandelowski, 1995a, 2001). It is common that all data are first collected and then analyzed later. We recommend that preliminary analysis should start, for example, after a few interviews. When saturation is not achieved, it is often difficult to group the data and create concepts (Elo & Kyngäs, 2008; Guthrie et al., 2004; Harwood & Garry, 2003), preventing a complete analysis and generating simplified results (Harwood & Garry, 2003; Weber, 1990).

 

적합한 분석 단위 선정
Selection of a Suitable Unit of Analysis

데이터 수집의 성공 여부는 [특정 연구 질문 및 연구 목적]과 관련하여 평가되어야 합니다. 준비 단계에는 [적절한 분석 단위 선정]도 수반되는데, 이는 내용분석의 신뢰성을 확보하는 데도 중요하다. 예를 들어, [의미 단위]는 글자, 단어, 페이지의 문장 부분 또는 단어가 될 수 있다(롭슨, 1993) 분석 단위가 너무 넓으면 관리가 어렵고 다양한 의미를 가질 수 있다. 의미 단위를 너무 좁히면 조각화될 수 있습니다. 가장 적합한 분석 단위는 [전체라고 보기에 충분히 크지만, 분석 과정 동안 관련 의미 단위가 될 수 있을 만큼 충분히 작은 것]이다. 분석 프로세스를 보고할 때 의미 단위를 충분히 기술하여 독자들이 분석의 신뢰도를 평가할 수 있도록 하는 것이 중요하다(Graaneheim & Lundman, 2004). 그러나 이전 과학 논문에서 분석 단위는 종종 부적절하게 설명되어 사용된 의미 단위가 얼마나 성공적이었는지 평가하기 어려웠다(Kyngás 등, 2011).
The success of data collection should be assessed in relation to the specific research questions and study aim. The preparation phase also involves the selection of a suitable unit of analysis, which is also important for ensuring the credibility of content analysis. The meaning unit can, for example, be a letter, word, sentence portion of pages, or words (Robson, 1993). Too broad a unit of analysis will be difficult to manage and may have various meanings. Too narrow a meaning unit may result in fragmentation. The most suitable unit of analysis will be sufficiently large to be considered as a whole but small enough to be a relevant meaning unit during the analysis process. It is important to fully describe the meaning unit when reporting the analysis process so that readers can evaluate the trustworthiness of the analysis (Graneheim & Lundman, 2004). However, in previous scientific articles, the unit of analysis has often been inadequately described, making it difficult to evaluate how successful was the meaning unit used (Kyngäs et al., 2011).

내용분석 연구에서의 조직 단계의 신뢰도
Trustworthiness of Organization Phase in Content Analysis Study

모레티 외 연구진(2011)에 따르면, 질적 연구의 장점은 수집된 데이터가 풍부하다는 것이며, 그러한 데이터는 타당하고 신뢰할 수 있는 방식으로 해석되고 코딩되어야 한다. 다음 섹션에서는 조직organization 단계와 관련된 신뢰도 문제에 대해 논의합니다. 이 단계에서는 범주가 잘 만들어졌는지, 해석 수준은 어느 정도인지, 분석의 신뢰도는 어떻게 점검할 것인지 등을 고려하는 것이 필수적이다.

According to Moretti et al. (2011), the advantage of qualitative research is the richness of the collected data and such data need to be interpreted and coded in a valid and reliable way. In the following sections, we discuss trustworthiness issues associated with the organization phase. In this phase, it is essential to consider whether the categories are well created, what the level of interpretation is, and how to check the trustworthiness of the analysis.

조직 단계의 일환으로 [개념이나 범주가 어떻게 만들어지는지]에 대한 설명이 제공되어 연구의 신뢰도를 나타내야 한다. 특히 연구자가 데이터를 추출하지 않았거나 너무 많은 유형의 항목이 함께 분류된 경우 개념과 개념의 생성 방법을 설명하는 것은 종종 어려울 수 있다. 또한 [지나치게 많은 수의 개념]은 일반적으로 연구자가 데이터를 그룹화하지 못했음을 의미한다. 즉, 추상화 과정이 불완전하고 범주도 겹칠 수 있다(Kyngäs 등, 2011). 이 경우, 연구자들은 범주 내에서의 유사성과 범주 간의 차이를 식별하기 위해 그룹화를 계속해야 합니다. 

As part of the organization phase, an explanation of how the concepts or categories are created should be provided to indicate the trustworthiness of study. Describing the concepts and how they have been created can often be challenging, which may hinder a complete analysis, particularly if the researcher has not abstracted the data, or too many different types of items have been grouped together (Dey, 1993; Hickey & Kipping, 1996). In addition, a large number of concepts usually indicates that the researcher has been unable to group the data, that is, the abstraction process is incomplete, and categories may also overlap (Kyngäs et al., 2011). In this case, the researcher must continue the grouping to identify any similarities within and differences between categories.

Graneheim과 Lundman(2004)에 따르면, 질적 내용 분석 결과의 신뢰성에 대해 논의할 때 필수적인 고려사항은 텍스트에 접근할 때 어느 정도의 해석이 항상 있다는 것이다. 모든 연구자는 조직 단계의 신뢰성credibility과 적합성Conformability을 확인하는 방법을 고려해야 합니다. 조사 결과의 적합성Conformability은 데이터가 참여자가 제공한 정보를 정확하게 나타내는 것이며, 연구자에 의해서 발명invented 된 것이 아님을 의미한다(Political & Beck, 2012). 이는 연구자가 명백한manifest 내용에 추가하여 잠재된latent 내용(침묵, 한숨, 웃음, 자세 등)을 분석하기로 결정한 경우 특히 중요하다(Elo & Kyngäs, 2008). 데이터의 포괄성을 높이고 건전한 해석을 제공하기 위해 한 명 이상이 분석을 수행하는 것이 좋습니다. 그러나 연역적 데이터 분석에 둘 이상의 코더가 관여하는 경우 높은 인터코더 신뢰성(ICR)이 필요하다. Burla, Knierim, Barth, Duetz 및 Abel(2008)은 질적 내용 분석에서 코드화를 개선하기 위해 ICR 평가를 사용하는 방법을 보여주었다. 이것은 분류 행렬이나 코딩 방식에 기반한 연역적 내용 분석을 사용할 때 유용합니다.

According to Graneheim and Lundman (2004), an essential consideration when discussing the trustworthiness of findings from a qualitative content analysis is that there is always some degree of interpretation when approaching a text. All researchers have to consider how to confirm the credibility and conformability of the organization phase. Conformability of findings means that the data accurately represent the information that the participants provided and the interpretations of those data are not invented by the inquirer (Polit & Beck, 2012). This is particularly important if the researcher decides to analyze the latent content (noticing silence, sighs, laughter, posture etc.) in addition to manifest content (Catanzaro, 1988; Robson, 1993) as it may result in over interpretation (Elo & Kyngäs, 2008). It is recommended that the analysis be performed by more than one person to increase the comprehensivity and provide sound interpretation of the data (Burla et al., 2008; Schreier, 2012). However, high intercoder reliability (ICR) is required when more than one coder is involved in deductive data analysis (Vaismoradi et al., 2013). Burla, Knierim, Barth, Duetz, and Abel (2008) have demonstrated how ICR assessment can be used to improve coding in qualitative content analysis. This is useful when using deductive content analysis, which is based on a categorization matrix or coding scheme.

다만 두 명 이상의 연구자가 [귀납적 내용 분석]을 할 경우 신뢰도를 어떻게 점검해야 하는지에 대한 권고안은 아직 발표되지 않았다. 우리는 한 명의 연구원이 분석을 담당하고 다른 연구원들이 전체 분석 과정과 분류를 세심하게 추적하는 것을 제안한다. 이후에 모든 연구자들이 모여 앞에서 언급한 시범 단계와 같이 분류와 관련된 다양한 의견을 논의해야 한다. 예를 들어, 우리의 연구에서는, 두 명의 연구원이 분석의 적절성을 확인하고 가능한 보완을 요청했다(Kyngás 등, 2011).
However, there are no published recommendations on how the trustworthiness should be checked if the inductive content analysis is conducted by two or more researcher. Our suggestion is that one researcher is responsible for the analysis and others carefully follow-up on the whole analysis process and categorization. All the researchers should subsequently get together and discuss any divergent opinions concerning the categorization, like in the pilot phase mentioned earlier. For example, in one of our studies, two research team members checked the adequacy of the analysis and asked for possible complements (Kyngäs et al., 2011).

한 연구(Kyngäs 등, 2011)는 특히 [귀납적 내용분석]을 사용할 때 가장 흔히 데이터가 한 명의 연구자에 의해 분석된다고 제안했다. 이 경우 데이터 전체의 대표성representativeness을 확인함으로써 분석의 신뢰성을 확인할 수 있다(Thomas & Magilvy, 2011). Pyett(2003)에 따르면, 우수한 질적 연구자는 해석이 데이터에 사실인지와 식별된 특징들이 다른 인터뷰를 통해 입증되는지 확인하기 위해 [계속해서 데이터로 돌아가게 되며], 이렇게 시간이 많이 걸리는 작업을 피할 수 없다. 안면 타당도는 연구의 신뢰도를 추정하는 데에도 사용되어 왔다. 이 경우, 결과는 연구 주제에 익숙한 사람들에게 제시되고, 그들은 그 결과가 현실과 일치하는지 평가한다. 연역적 접근법을 사용하는 경우, 이중 코딩은 종종 분류 매트릭스의 품질을 평가하는 데 도움이 된다. 슈라이어(2012)에 따르면, 코드 정의가 명확하고 하위 범주가 겹치지 않는 경우, 두 라운드의 독립성 코딩은 대략적으로 동일한 결과를 생성해야 한다.

One study (Kyngäs et al., 2011) has suggested that data are most often analyzed by one researcher, especially when using inductive content analysis. In such a case, the credibility of the analysis can be confirmed by checking for the representativeness of the data as a whole (Thomas & Magilvy, 2011). According to Pyett (2003), a good qualitative researcher cannot avoid the time-consuming work of returning again and again to the data, to check whether the interpretation is true to the data and the features identified are corroborated by other interviews. Face validity has also been used to estimate the trustworthiness of studies (Cavanagh, 1997; Downe-Wamboldt, 1992; Hickey & Kipping, 1996). In this case, the results are presented to people familiar with the research topic, who then evaluate whether the results match reality. If the deductive approach is used, double-coding often helps to assess the quality of categorization matrix. According to Schreier (2012), if the code definitions are clear and subcategories do not overlap, then two rounds of independence coding should produce approximately the same results.

공동 연구자들 사이의 대화의 가치는 종종 강조되어 왔으며, [참여자의 연구 결과]에 대한 인식은 신뢰도 또는 적합성credibility or conformability을 나타내는 데 사용될 수 있다고 제안되어 왔다. 그러나 이 작업은 주의하여 수행하도록 권고되었다(Ryan-Nicholls & Will, 2009). 일부 연구는 참가자들이 자신의 경험에 충실하기 위해 연구 결과를 확인하는 [멤버 체크]를 사용한다. 비록 링컨과 구바(1985)가 멤버 체크를 데이터 분석 동안 연속적인 과정으로 설명했지만(예: 참가자들에게 가상의 상황에 대해 질문함으로써), 연구자들은 대체로 멤버 체크를 참가자들과 전체적인 결과를 검증하기 위해 사용해 왔다. 결과를 원래 참석자에게 돌려 검증하는 것이 매력적으로 보일 수 있지만, 확립된 검증 전략은 아니다. 여러 방법론자들은 연구의 [독자, 참여자 또는 잠재적 사용자가 분석이 정확하다고 판단하는지의 여부에 기초하는 검증]을 하지 말라고 경고했다. 이것이 오히려 타당도 위협으로 작용하기 때문이다.(Morse 등, 2002). Pyett (2003)은 연구 참가자들이 자신의 행동과 동기를 항상 이해하는 것은 아니며, 연구자들은 논증에 비판적 이해를 적용해야 할 더 많은 역량과 학문적 의무가 있다고 주장했다.
The value of dialogue among co-researchers has often been highlighted and it has been suggested that the participant’s recognition of the findings can also be used to indicate the credibility or conformability (Graneheim & Lundman, 2004; Saldaña, 2011). However, it has been recommended that this be undertaken with caution (Ryan-Nicholls & Will, 2009). Some studies have used member checks, whereby participants check the research findings to make sure that they are true to their experiences (Holloway & Wheeler, 2010; Koch, 1994; Saldaña, 2011; Thomas & Magilvy, 2011). Although Lincoln and Guba (1985) have described member checks as a continuous process during data analysis (e.g., by asking participants about hypothetical situations), it has largely been interpreted and used by researchers for verification of the overall results with participants. Although it may seem attractive to return the results to the original participants for verification, it is not an established verification strategy. Several methodologists have warned against basing verification on whether readers, participants, or potential users of the research judge the analysis to be correct, stating that it is actually more often a threat to validity (Morse et al., 2002). Pyett (2003) has argued that the study participants do not always understand their own actions and motives, whereas researchers have more capacity and academic obligation to apply critical understanding to accounts.

내용분석 신뢰도 관점에서 보고 단계
Reporting Phase From the Viewpoint of Content Analysis Trustworthiness

글쓰기는 어떤 것을 사라지게 했다가 다시 단어에 나타나게 합니다. 이것은 간호과학에서와 같이 풍부한 데이터 집합에서 항상 달성하기 쉬운 것은 아니다. 글쓰기의 문제는 모든 표현을 벗어날 수 있는 현상을 정확하게 단어로 표현할 필요가 있다는 것이다(van Manen, 2006). Holdford(2008)에 따르면, 내용분석의 분석 및 보고 구성요소는 [의미 있고 유용한 방법으로 독자가 발견을 이해하도록 만드는 것]을 목표로 해야 한다. 그러나 정성 연구의 가장 중요한 요소인 보고서에 연구 결과를 제시하는 것에는 거의 주의를 기울이지 않았다(Sandelowski & Leeman, 2011). 다음 섹션에서는 보고 결과, 방법 및 분석 프로세스와 관련된 신뢰도 문제에 대해 논의한다.
Writing makes something disappear and then reappear in words. This is not always easy to achieve with rich data sets, as encountered in nursing science. The problem with writing is that phenomena that may escape all representation need to be accurately represented in words (van Manen, 2006) According to Holdford (2008), the analysis and reporting component of content analysis should aim to make sense of the findings for readers in a meaningful and useful way. However, little attention has been paid to the most important element of qualitative studies: the presentation of findings in the reports (Sandelowski & Leeman, 2011). In the next sections, we discuss trustworthiness issues associated with the reporting results, methods, and analysis process.

결과 보고
Reporting Results

내용분석 결과 보고는 특히 전이가능성, 적합성 및 신뢰성transferability, conformability, and credibility과 관련이 있습니다. 결과는 체계적이고 신중하게 보고되어야 하며, 데이터와 결과 사이의 연관성이 보고되는 방법에 특히 주의를 기울여야 한다. 그러나 결과를 체계적으로 보고하는 것은 종종 어려울 수 있다(Kyngäs 등, 2011). 보고 결과의 문제는 분석 실패의 결과일 수도 있고, 추상화 과정을 설명하는 데 어려움이 있을 수도 있있다. 왜냐하면, 추상화 과정이란 부분적으로 연구자의 통찰력이나 직관에 달려 있기 때문이다.
Reporting results of content analysis is particularly linked to transferability, conformability, and credibility. Results should be reported systematically and carefully, with particular attention paid to how connections between the data and results are reported. However, the reporting of results systematically can often be challenging (Kyngäs et al., 2011). Problems with reporting results can be a consequence of unsuccessful analysis (Dey, 1993; Elo & Kyngäs, 2008) or difficulties in describing the process of abstraction because it in part depends on the researcher’s insight or intuitive action, which may be difficult to describe to others (Elo & Kyngäs, 2008; Graneheim & Lundman, 2004).

내용분석에 의해 만들어진 개념의 내용과 구조는 명확하고 이해하기 쉬운 방식으로 제시되어야 한다. 전체 결과의 개요를 제공하기 위해 수치를 제공하는 것이 종종 유용합니다. 이 연구의 목적은 분석 과정을 통해 어떤 연구 현상들이 개념화되는지 지시한다. 그러나 개념conception은 목적이 다양할 수 있다.

• 예를 들어, 이 연구의 목적은 단지 개념을 식별하는 것일 수 있다.
• 반대로, 모델을 구성하는 것이 목표라면, 결과는 개념, 계층 구조 및 가능한 연결의 개요를 설명하는 모델로 제시되어야 한다.

내용 분석 그 자체에는 개념을 연결하는 기술이 포함되어 있지 않습니다. 결과의 구조가 동등하고 목표와 연구 질문에 답하도록 하는 것이 주요 고려사항이다.
The content and structure of concepts created by content analysis should be presented in a clear and understandable way. It is often useful to provide a figure to give an overview of the whole result. The aim of the study dictates what research phenomena are conceptualized through the analysis process. However, conception may have different objectives. For example, the aim of the study may be merely to identify concepts. In contrast, if the aim is to construct a model, the results should be presented as a model outlining the concepts, their hierarchy, and possible connections. Content analysis per se does not include a technique to connect concepts (Elo & Kyngäs, 2008; Harwood & Garry, 2003). The main consideration is to ensure that the structure of results is equivalent and answers the aim and research questions.

신뢰성trustworthiness의 관점에서, 주요 질문은 "독자가 결과의 전이가능성transferability을 어떻게 평가할 수 있는가?"이다. 전이가능성은 연구 결과가 다른 설정이나 그룹으로 전달될 수 있는 정도를 의미합니다. (코치, 1994; 폴리티 & 벡, 2012). 저자들은 전이가능성에 대한 제안을 할 수도 있지만, 보고된 결과가 다른 맥락으로 전달될 수 있는지 여부에 대해서는 궁극적으로 독자의 판단에 달려 있다(그래인하임 & 런드먼, 2004). 이는 고품질 결과를 보장하고 분석 프로세스를 보고하는 것의 중요성을 강조한다. 참가자들의 문화, 맥락, 선정, 특징 등을 명쾌하게 서술하는 것도 가치가 있다. 독자가 대체 해석을 찾을 수 있는 방식으로 결과가 제시되면 신뢰성이 높아진다(그래인하임 & 룬드먼, 2004). 우리는 질적 방법이 민감한 해석 능력과 연구자의 창의적인 재능을 필요로 한다는 반 마넨(2006)의 의견에 전적으로 동의한다. 따라서 과학적인 글쓰기는 다른 사람의 분석 결과를 쓰고 비교함으로써 향상되어야 하는 기술입니다.

From the perspective of trustworthiness, the main question is, “How can the reader evaluate the transferability of the results?” Transferability refers to the extent to which the findings can be transferred to other settings or groups. (Koch, 1994; Polit & Beck, 2012). Authors may offer suggestions about transferability, but it is ultimately down to the reader’s judgment as to whether or not the reported results are transferable to another context (Graneheim & Lundman, 2004). Again, this highlights the importance of ensuring high quality results and reporting of the analysis process. It is also valuable to give clear descriptions of the culture, context, selection, and characteristics of participants. Trustworthiness is increased if the results are presented in a way that allows the reader to look for alternative interpretations (Graneheim & Lundman, 2004). We fully agree with van Manen (2006) that qualitative methods require sensitive interpretive skills and creative talents from the researcher. Thus, scientific writing is a skill that needs to be enhanced by writing and comparing others’ analysis results.

결과의 신뢰도를 나타내기 위해 인용문의 사용이 필요하다는 주장이 제기됐다. 적합성Conformability 은 [객관성]을 가리키며, [참가자들이 제공한 정보와 그 데이터에 대한 해석이 질문자에 의해 발명된 것이 아니라는 것]을 의미한다. 연구 결과는 [연구자의 편견, 동기 또는 관점]이 아닌 [참여자의 목소리와 연구 조건]을 반영해야 한다. 저자들이 특히 데이터와 결과 사이의 연관성을 보여주기 위해 대표적인 인용구를 자주 제시하는 한 가지 이유가 바로 이것이다 (Graneheim & Lundman, 2004). 예를 들어, 각각의 주요 개념은 인용문에 의해 데이터에 연결되어야 합니다. 가능한 한 많은 참여자들이 인용한 예들은 데이터의 풍부함뿐만 아니라 결과와 데이터 사이의 연관성을 확인하는 데 도움이 된다. 다만 인용문의 체계적 사용은 세심한 주의가 필요하다. 이상적으로, 인용문은 최소한 모든 주요 개념과 연결되어 있고 표본의 광범위한 대표성을 갖는 것을 선택해야 한다. 다만 인용구가 과도하게 사용돼 분석을 약화시킬 위험이 있다. 예를 들어, 결과 섹션에서 따옴표가 너무 많이 사용된 경우 분석 결과가 불분명할 수 있습니다.
It has been argued that the use of quotations is necessary to indicate the trustworthiness of results (Polit & Beck, 2012; Sandelowski, 1995a). Conformability refers to objectivity and implies that the data accurately represent the information that the participants provided and interpretations of those data are not invented by the inquirer. The findings must reflect the participants’ voice and conditions of the inquiry, and not the researcher’s biases, motivations, or perspectives (Lincoln & Guba, 1985; Polit & Beck, 2012) This is one reason why authors often present representative quotations from transcribed text (Graneheim & Lundman, 2004), particularly to show a connection between the data and results. For example, each main concept should be linked to the data by a quotation. Examples of quotations from as many participants as possible help confirm the connection between the results and data as well as the richness of data. However, the systematic use of quotations needs careful attention. Ideally, quotations should be selected that are at least connected to all main concepts and widely representative of the sample. However, there is a risk that quotations may be overused, thus weakening the analysis (Downe-Wamboldt, 1992; Graneheim & Lundman, 2004, Kyngäs et. al., 2011). For example, if quotations are overused in the Results section, the results of the analysis may be unclear.

Sheh와 Shannon(2005)에 따르면, 중요한 문제는 [맥락을 완전히 이해하지 못해 주요 범주를 식별하는 데 실패하는 것]이다. 이러한 경우, findings은 데이터를 정확하게 나타내지 못한다. 신뢰성trustworthiness과 특히 결과의 신뢰성credibility을 보장하기 위해서는 [범주가 데이터를 얼마나 잘 다루는지] 평가하고, [범주 내 유사성과 차이점이 있는지 ]확인하는 것이 중요하다. 또한 분석 추상화 과정을 완료하지 못하는 것은 개념이 상호 배타적이지 않은 결과로 제시되어 지나치게 단순한 결론으로 이어진다는 것을 의미할 수 있다(Harwood & Garry, 2003; Weber, 1990). 불완전한 분석은 분석 결과를 보고하기보다는 일상적인 표현이나 응답자의 진술 및 그들의 의견의 반복을 포함할 수 있다(Kyngás et al., 2011).
According to Hsieh and Shannon (2005), an important problem is failure to develop a complete understanding of the context, resulting in failure to identify the key categories. In such a case, findings do not accurately represent the data. To ensure the trustworthiness and especially credibility of the results, it is important to evaluate how well categories cover the data and identify whether there are similarities within and differences between categories. In addition, failure to complete the analysis abstraction process may mean that concepts are presented as results that are not mutually exclusive, leading to oversimplistic conclusions (Harwood & Garry, 2003; Weber, 1990). An incomplete analysis may involve the use of everyday expressions or repetition of respondents’ statements and/or their opinions rather than reporting the results of the analysis (Kyngäs et al., 2011).

분석 프로세스 보고
Reporting the Analysis Process

[분석에 대한 완전한 설명]과 [개념의 논리적 사용에 대한 설명] 없이는 결과가 어떻게 생성되었는지와 그 신뢰도를 평가하는 것이 불가능하다(Guthrie 등, 2004). [분석에 대한 정확한 설명]과 [결과와 원본 데이터 간의 관계]를 통해 독자는 결과의 신뢰성에 관한 결론을 내릴 수 있다. 간호과학에서는 지난 10년 동안 책과 과학 기사에 게재된 내용 분석과 관련된 방법들이 상당히 증가했다. 이것은 내용 분석 과정에 대한 보고서의 품질을 향상시켰을 수 있다. 이제 연구의 분석, 결과 및 신뢰도를 평가하는 방법에 대한 설명에 더 많은 관심이 쏠리고 있다. 결과적으로, 이것은 독자들이 연구의 신뢰도를 더 쉽게 평가할 수 있게 한다.
Without a full description of the analysis and logical use of concepts, it is impossible to evaluate how the results have been created and their trustworthiness (Guthrie et al., 2004). An accurate description of the analysis and the relationship between the results and original data allow readers to draw their own conclusions regarding the trustworthiness of the results. In nursing science, the number of methods concerning content analysis published in books and scientific articles has increased considerably over the last decade (Elo & Kyngäs, 2008; Harwood & Garry, 2003; Hsieh & Shannon, 2005; Neuendorf, 2002; Schreier, 2012). This may have led to improvements in the quality of reports on the process of content analysis. More attention is now paid to descriptions of the analysis, results, and how to evaluate the trustworthiness of studies. Consequently, this makes it easier for readers to evaluate the trustworthiness of studies.

최초 연구자가 사용한 [의사결정 흔적을 다른 연구자가 쉽게 따라갈 수 있다면] 연구의 신뢰성dependability이 높다(Thomas & Magilvy, 2011). 휘트모어 외 연구진(2001)은 생생함vividness는 데이터에서 두드러진 주제를 강조하는 풍부하고, 생생하고, 충실하고, 기교적인 묘사의 제시를 수반한다고 주장했다. 분석 프로세스는 조사 결과를 제시하는 데 사용되는 방법에 관계없이, 적절한 방식으로 보고되어야 한다. 내용 분석의 신뢰성trustworthiness을 보장하기 위해 연구 보고서에 신뢰성credibility을 입증하는 조치를 취해야 한다. 모노그래프 연구 보고서는 분석 과정에 대한 상세한 설명과 분류 과정을 설명하기 위한 수치, 표 및 첨부의 사용을 용이하게 한다. 우리의 경험에 따르면, 분석 과정에 대한 설명이 불충분하기 때문에 독자로서 결과의 신뢰성에 대한 평가는 종종 어려울 수 있다. 저널 기사는 일반적으로 내용 분석 과정을 설명하기 보다는 결과에 초점을 맞춘다. 질적 내용분석의 활용은 방법론 부분에서 간략하게 언급될 뿐이어서 독자들이 그 과정을 평가하기가 쉽지 않은 경우가 많다. 중요한 질문은, "연구논문에서 신뢰성은 얼마나 자세히 제시되어야 하는가?"—특히 단어 제한이 적용되는 경우가 많습니다.

The dependability of a study is high if another researcher can readily follow the decision trail used by the initial researcher (Thomas & Magilvy, 2011). Whittemore et al. (2001) have argued that vividness involves the presentation of rich, vivid, faithful, and artful descriptions that highlight the salient themes in the data. The analysis process should be reported in an adequate manner regardless of the methods used to present the findings (see Moretti et al., 2011). Steps should be taken to demonstrate credibility in research reports to ensure the trustworthiness of the content analysis. Monograph research reports facilitate detailed descriptions of the analysis process and the use of figures, tables, and attachments to explain the categorization process. Based on our experiences, evaluation of the trustworthiness of results as a reader can often be difficult because of insufficient description of the analysis process (Kyngäs et. al., 2011). Journal articles generally focus on the results rather than describing the content analysis process. All too often, the use of qualitative content analysis is only briefly mentioned in the methodology section, making it hard for readers to evaluate the process. A key question is, “In what detail should trustworthiness be presented in scientific articles?”—particularly as word limits often apply.

내용분석 결과를 보고할 때 사진이 말보다 더 명확하게 결과를 전달할 수 있다는 점을 염두에 둬야 한다. 특히 개념 분석의 목적과 과정을 설명할 때, 콘텐츠 분석 결과를 보고할 때 수치를 사용하는 것이 매우 효과적일 수 있다. 예를 들어, [개념이나 범주의 계층 구조를 보여주는 다이어그램]은 분석 과정에 대한 통찰력을 제공할 수 있다. 결과를 보고한 후 분석의 신뢰성에 대한 논의를 제공해야 한다. 그것은 각 질적 내용 분석 단계에 대해 논리적으로 따르는 일련의 정의된 기준에 근거해야 합니다.

The fact that pictures may convey results more clearly than words should be borne in mind when reporting content analysis findings. The use of figures can be highly effective when reporting content analysis findings, especially when explaining the purpose and process of the analysis and structure of concepts. Very often, these aspects can be shown in the same figure, for example, a diagram that illustrates the hierarchy of concepts or categories may also give an insight into the analysis process (see, for example, Timlin, Riala, & Kyngäs, 2013). After reporting the results, a discussion of the trustworthiness of the analysis should be provided. It should be based on a defined set of criteria that are followed logically for each qualitative content analysis phase.

논의
Discussion

이 글의 주요 목적은 질적 콘텐츠 분석 연구의 신뢰도에 영향을 미치는 요소를 논의하고 강조하는 것이었다. 여기서 사용된 문헌평은 체계적인 평론이 아니어서 몇 가지 제약이 있다. 첫째, 우리는 이것이 신뢰성에 대한 완전한 설명이 아니며 일부 요점이 누락되었을 수 있다는 것을 인식한다. 예를 들어, 언어 제한이 연구 결과에 영향을 미쳤을 수 있습니다. 
다른 언어의 연구들은 우리의 설명에 새로운 정보를 더했을지도 모른다. 과학저널의 내용분석 보고를 체계적으로 평가하기 위해, 즉 연구자들이 질적 콘텐츠 분석 연구의 신뢰도를 보고할 때 강조했던 것과 신뢰도 기준이 이러한 연구에 의해 어떻게 해석되어 왔는지를 검토하기 위해 추가 연구가 필요하다. 이는 질적 내용분석에서 신뢰성에 대한 보다 완전한 설명을 개발하는 데 도움이 될 수 있다. 그러나 이번 방법론 논문은 내용분석법을 사용한 경험이 풍부한 여러 저자들이 작성한 것이다. 여기에 석박사 학생들의 연구자, 교사, 감독자로서의 저자들의 경험도 우리의 논의에 힘을 실어준다.

The main purpose of this article was to discuss and highlight factors affecting trustworthiness of qualitative content analysis studies. The literature review used here was not a systematic review, so there are some limitations. First, we recognize that this is not a full description of trustworthiness and some points may be missing. For example, the language restrictions may have influenced the findings; research studies in other languages might have added new information to our description. Further studies are needed to systematically evaluate the reporting of content analysis in scientific journals, that is, to examine what researchers have emphasized when reporting the trustworthiness of their qualitative content analysis study, and how criteria of trustworthiness have been interpreted by those studies. This may help to develop a more complete description of trustworthiness in qualitative content analysis. However, the present methodological article was written by several authors who have extensive experience in using the content analysis method. In addition, the authors’ experience as researchers, teachers, and supervisors of master’s and doctoral students lends weight to our discussion.

Holloway와 Wheeler(2010)는 연구자들이 종종 질적 연구의 신뢰도를 판단하는 방법에 대해 합의하는 데 어려움을 겪는다고 말했다. 이 글의 목적은 데이터 수집과 결과 보고의 관점에서 질적 내용분석 신뢰성에 영향을 미치는 요인을 파악하는 것이었다. 질적 연구자들은 연구의 신뢰도를 높이기 위해 체계적이고 잘 조직되어야 한다(Saldana, 2011). 슈라이어(2012)에 따르면, 내용 분석은 다음과 같아야 체계적이다.

• 모든 관련 소재가 고려할 경우
• 분석 과정에서 일련의 단계를 따를 경우
• 연구자는 코딩의 일관성을 확인할 경우

본 논문에서 제시된 정보는 내용분석의 사용 및 개발에 대한 중요한 문제를 제기합니다. 프로세스의 모든 단계(준비, 조직, 보고)에 대해 철저히 문서화되면 신뢰도 기준의 모든 측면이 향상된다.

Holloway and Wheeler (2010) have stated that researchers often have difficulty in agreeing on how to judge the trustworthiness of their qualitative study. The aim of this article was to identify factors affecting qualitative content analysis trustworthiness from the viewpoint of data collection and reporting of results. Qualitative researchers are advised to be systematic and well organized to enhance the trustworthiness of their study (Saldaña, 2011). According to Schreier (2012), content analysis is systematic because

• all relevant material is taken into account,
• a sequence of steps is followed during the analysis, and
• the researcher has to check the coding for consistency.

The information presented here raises important issues about the use and development of content analysis. If the method is thoroughly documented for all phases of the process (preparation, organization, and reporting), all aspects of the trustworthiness criteria are increased.

분석 방법을 선택하기에 앞서 연구자는 대상 연구 질문에 가장 적합한 방법을 선택하고, 내용분석을 활용하기에 [데이터 풍부성이 충분한지] 고려해야 한다. 그 방법을 사용하기 전에, 연구자는 질문을 해야 한다. "이 방법이 목표 연구 질문에 가장 잘 대답할 수 있는 방법입니까?" 어떤 분석 방법에도 단점이 없지만, 각각은 특정한 목적을 위해 좋을 수 있다. 강력한 분석 절차를 사용하면 연구의 신뢰성이 증가하기 때문에 데이터 분석을 시작하기 전에 내용 분석을 수행하기 위해 사용할 접근방식을 설명하는 것이 중요하다(Hsieh & Shannon, 2005).

Before choosing an analysis method, the researcher should select the most suitable method for answering the target research question and consider whether the data richness is sufficient for using content analysis. Prior to using the method, the researcher should ask the question, “Is this method the best available to answer the target research question?” No analysis method is without drawbacks, but each may be good for a certain purpose. It is essential for researchers to delineate the approach they are going to use to perform content analysis before beginning the data analysis because the use of a robust analytic procedure will increase the trustworthiness of the study (Hsieh & Shannon, 2005).

질적 내용 분석은 문서 자료를 분석하는 데 널리 사용되는 방법이다. 이것은 그 방법을 사용하여 광범위한 품질에 걸친 결과를 얻었음을 의미한다. 내용분석은 이를 이용하는 연구자들이 데이터의 신뢰성에 대한 강력한 근거를 만들어야 하는 방법론이다. 모든 finding은 가능한 한 신뢰할 수 있어야 하며, 연구는 소견을 생성하는 데 사용된 절차와 관련하여 평가되어야 한다(Graneheim & Lundman, 2004). 많은 연구에서 내용 분석은 [설문지의 개방형 질문에 대한 답변]을 분석하는 데 사용되어 왔다(Kyngäs 등, 2011). 그러나 이러한 답변은 종종 너무 간단하여 콘텐츠 분석을 효과적으로 사용하기 어렵다. 환원reduction, 그룹화, 추상화에는 풍부한 데이터가 필요하다. 또한 그동안 논문은 연구에서 얻은 질적 데이터보다는 정량적 데이터의 분석을 주로 보도하는 데 초점을 맞췄기 때문에 신뢰도를 평가하기 어려운 경우가 많았다. 이것이 결과의 신뢰성에 영향을 미치는지 여부는 추측만 할 수 있다. 다만 연구자가 내용 분석을 통해 개방형 질문에 대한 답을 분석할 경우 독자가 쉽게 신뢰도를 평가할 수 있도록 적절한 설명을 제공해야 한다. 내용 분석은 또한 개방형 질문에 대한 답을 분석하기 위해 정량적 연구에서 일반적으로 사용되어 왔다.

Qualitative content analysis is a popular method for analyzing written material. This means that results spanning a wide range of qualities have been obtained using the method. Content analysis is a methodology that requires researchers who use it to make a strong case for the trustworthiness of their data (Potter & Levine-Donnerstein, 1999; Sandelowski, 1995a). Every finding should be as trustworthy as possible, and the study must be evaluated in relation to the procedures used to generate the findings (Graneheim & Lundman, 2004). In many studies, content analysis has been used to analyze answers to open-ended questions in questionnaires (Kyngäs et al., 2011). However, such answers are often so brief that it is difficult to use content analysis effectively; reduction, grouping, and abstraction require rich data. In addition, trustworthiness has often been difficult to evaluate because articles have mainly focused on reporting the analysis of quantitative rather than qualitative data obtained in the study. Whether this affects the trustworthiness of the results can only be speculated upon. However, if researchers use content analysis to analyze answers to open-ended questions, they should provide an adequate description so that readers are able to readily evaluate its trustworthiness. Content analysis has also been commonly used in quantitative studies to analyze answers to open-ended questions.

질적 내용분석을 할 때 자기비판과 좋은 분석력이 필요하다. 질적 분석은 연구의 시작부터 [연구자의 지속적인 성찰과 자기 비판]을 포함해야 한다(Pyett, 2003; Thomas & Magilvy, 2011). 연구자의 개별적인 속성과 관점은 분석 과정에 중요한 영향을 미칠 수 있습니다. 분석 능력이 부족해도 어떤 방법을 사용해도 간단한 결과를 얻을 수 있다(Weber, 1990). Neuendorf(2002)에 따르면 내용분석 방법은 딱 연구자가 허용하는 만큼 한 쉬울 수도, 어려울 수도 있다. 많은 연구자들은 여전히 이것을 단순한 방법으로 인식하고 있으며, 따라서 널리 사용되고 있습니다. 그러나 경험이 부족한 연구자는 필요한 지식과 기술을 가지고 있지 않기 때문에 정확한 분석을 수행하지 못할 수도 있습니다. 이는 연구자들이 연구의 [진정성authenticity]에 영향을 미칠 것이며, 진정성이란 공정하고 충실하게 다양한 현실을 보여주는 정도를 가리킨다. 연구자가 그 결과를 올바르게 사용하고 보고할 수 없는 경우에는 단순화된simplified 결과밖에 얻지 못할 것이다.

There is a need for a self-criticism and good analysis skills when conducting qualitative content analysis. Any qualitative analysis should include continuous reflection and self-criticism by the researcher (Pyett, 2003; Thomas & Magilvy, 2011) from the beginning of the study. The researcher’s individual attributes and perspectives can have an important influence on the analysis process (Whittemore et al., 2001). It is possible to obtain simplistic results using any method even when analysis skills are lacking (Weber, 1990). According to Neuendorf (2002), the content analysis method can be as easy or as difficult as the researcher allows. Many researchers still perceive it as a simple method, and hence, it is widely used. However, inexperienced researchers may be unable to perform an accurate analysis because they do not have the knowledge and skills required. This can affect the authenticity (Lincoln & Guba, 1985; Whittemore et al., 2001) of the study, which refers to the extent to which researchers fairly and faithfully show a range of realities. A simplified result may be obtained if the researcher is unable to use and report the results correctly.

또한, 내용 분석 프로세스의 보고는 분석의 각 단계에서의 자기 비판적 사고를 기반으로 해야 합니다. Whittemore 외 연구진(2001)은 해석이 타당하고 데이터에 근거한다는 것을 보장하려면, [지속적인 자기반성과 자기검열에 의해 무결성이 입증된다]고 주장했다. 데이터 검증에 도움이 되는 분석에 대한 충분한 설명이 제공되어야 할 뿐만 아니라, 연구자는 [연구의 한계]에 대해서도 공개적으로 논의해야 한다. 질적연구에서 validation은 [연구원과 참가자가 가장 잘 설명한 결과의 정확성을 평가하기 위한 시도]라는 Creswell(2013)의 의견에 동의한다. 이것은 모든 연구 보고서는 저자의 표상represenstaion이라는 것을 의미한다. 연구의 신뢰성에 대한 논의는 논리적으로 따르는 일련의 정의된 기준에 기초해야 한다. 질적 연구의 신뢰도를 평가하기 위해 많은 기준이 제안되었지만 거의 지켜지지 않았다. 예를 들어 신뢰성, 검증 및 진정성과 같은 많은 유형의 질적 validation 용어가 있으므로 저자들은 검증 용어를 명확하게 정의할 것을 권고한다(Creswell, 2013).
Furthermore, the reporting of the content analysis process should be based on self-critical thinking at each phase of the analysis. Whittemore et al. (2001) have argued that integrity is demonstrated by ongoing self-reflection and self-scrutiny to ensure that interpretations are valid and grounded in the data. Not only should a sufficient description of the analysis be provided to help validate the data, but the researcher should also openly discuss the limitations of the study. We agree with Creswell’s (2013) comment that validation in a qualitative study is an attempt to assess the accuracy of the findings, as best described by the researcher and the participants. This means that any report of research is a representation by the author. Discussion of the trustworthiness of a study should be based on a defined set of criteria that are followed logically. Although many criteria have been proposed to evaluate the trustworthiness of qualitative studies, they have rarely been followed. It is recommended that authors clearly define their validation terms (see example from Tucker, van Zandvoort, Burke, & Irwin, 2011) because there are many types of qualitative validation terms in use, for example, trustworthiness, verification, and authenticity (Creswell, 2013).

결론
Conclusion

내용분석 결과의 신뢰성은 풍부하고 적절하며 잘 포화된 데이터의 가용성에 따라 달라진다. 따라서 데이터 수집, 분석 및 결과 보고는 모두 서로 밀접하게 관련되어 있다. 콘텐츠 분석의 신뢰도 향상은 연구에 앞서 철저한 준비에서 시작되며 데이터 수집, 콘텐츠 분석, 신뢰도 토론, 결과 보고 등의 고급 기술이 필요하다. 데이터 수집의 신뢰성은 샘플링 방법과 참가자의 설명에 대한 정확한 세부사항을 제공함으로써 검증할 수 있다. 여기서는 내용 분석을 유효하고 이해할 수 있는 방식으로 보고할 수 있는 방법을 보여 주었는데, 이는 과학 기사의 작성자와 검토자 모두에게 도움이 될 것으로 예상한다. 중요한 질적 연구 결과가 모노그래프 보고서로 보도되는 경우가 많은 만큼, 콘텐츠 분석이 활용되는 출판된 기사를 분석하기 위한 추가 연구가 필요하다. 이것은 내용 분석 작성자들이 더 효과적인 방법으로 그들의 연구를 발표하는 데 도움이 되는 추가 정보를 생산할 수 있다.

The trustworthiness of content analysis results depends on the availability of rich, appropriate, and well-saturated data. Therefore, data collection, analysis, and result reporting go hand in hand. Improving the trustworthiness of content analysis begins with thorough preparation prior to the study and requires advanced skills in data gathering, content analysis, trustworthiness discussion, and result reporting. The trustworthiness of data collection can be verified by providing precise details of the sampling method and participants’ descriptions. Here, we showed how content analysis can be reported in a valid and understandable manner, which we anticipate will be of benefit to both writers and reviewers of scientific articles. As important qualitative research results are often reported as monograph reports, there is a need for further study to analyze published articles where content analysis is used. This may produce further information that helps content analysis writers present their studies in a more effective way.

 

---

Article Information

Volume: 4 issue: 1,

Article first published online: February 11, 2014; Issue published: January 1, 2014

This article is part of the following special collection(s): Behavioral Sciences , Data Processing and Interpretation , Reliability and Validity , Nursing

Satu Elo1, Maria Kääriäinen1, 2, Outi Kanste3, Tarja Pölkki1, Kati Utriainen1, Helvi Kyngäs1, 2

1University of Oulu, Finland

2Medical Research Center, Oulu University Hospital, Finland

3National Institute of Health and Welfare, Oulu, Finland

Corresponding Author:

Satu Elo, Senior University Lecturer, Institute of Health Sciences, Medical Research Center Oulu, Oulu University Hospital and University of Oulu, Box 5000, 90014, Finland. Email: satu.elo@oulu.fi

This article is distributed under the terms of the Creative Commons Attribution 3.0 License (http://www.creativecommons.org/licenses/by/3.0/) which permits any use, reproduction and distribution of the work without further permission provided the original work is attributed as specified on the SAGE and Open Access page (http://www.uk.sagepub.com/aboutus/openaccess.htm).

Abstract

Qualitative content analysis is commonly used for analyzing qualitative data. However, few articles have examined the trustworthiness of its use in nursing science studies. The trustworthiness of qualitative content analysis is often presented by using terms such as credibility, dependability, conformability, transferability, and authenticity. This article focuses on trustworthiness based on a review of previous studies, our own experiences, and methodological textbooks. Trustworthiness was described for the main qualitative content analysis phases from data collection to reporting of the results. We concluded that it is important to scrutinize the trustworthiness of every phase of the analysis process, including the preparation, organization, and reporting of results. Together, these phases should give a reader a clear indication of the overall trustworthiness of the study. Based on our findings, we compiled a checklist for researchers attempting to improve the trustworthiness of a content analysis study. The discussion in this article helps to clarify how content analysis should be reported in a valid and understandable manner, which would be of particular benefit to reviewers of scientific articles. Furthermore, we discuss that it is often difficult to evaluate the trustworthiness of qualitative content analysis studies because of defective data collection method description and/or analysis description.