포화할 것인가 포화하지 않을 것인가? 주제분석과 샘플크기에 관한 의문(Qualitative Research in Sport, Exercise and Health, 2019)

포화할 것인가 포화하지 않을 것인가? 주제분석과 샘플크기에 관한 의문(Qualitative Research in Sport, Exercise and Health, 2019)

To saturate or not to saturate? Questioning data saturation as a useful concept for thematic analysis and sample-size rationales

Virginia Braun a and Victoria Clarke b

"물론 포화상태는 되겠지만..."

“Of course we saturate, but . . .”

이 인용문은 한 대학원생이 질적 건강 연구에 대한 '무엇이든 물어봐' 세션에서 우리 중 한 명에게 물어본 표본 크기 결정에 대한 질문의 시작이었다.

This quotation was the start of a question about determining sample size that a postgraduate student asked one of us in an ‘ask me anything’ session on qualitative health research.

우리는 질적 연구에서 포화 개념에 대한 비판적 논의에 기여하는 것을 목표로 하고 있으며, 특히 우리가 개략적으로 설명한 반사적 TA 접근법을 인용한 연구를 포함하여 주제 분석(TA) 연구에 종종 채택되는 코드, 데이터 또는 주제 포화 개념에 대한 비판적 논의에 기여하는 것을 목표로 하고 있다(Braun and Clarke 2006, 2019).

We aim to contribute to critical discussions of the saturation concept in qualitative research, and particularly the notions of code-, data- or thematic-saturation often employed in thematic analysis (TA) research, including research citing the reflexive TA approach we have outlined (Braun and Clarke 2006, 2019).

우리는 이 논문에서 '표본 크기'라는 단어를 계속 사용하고 있는데, 이것, 그 자체가 우리가 의문을 제기하고 있는 바로 그 신 실증주의-제국주의자들의 논쟁을 불러일으킬 위험이 있다는 느낌에도 불구하고 말이다.

We continue to use the language of ‘sample size’ in this paper, despite feeling that this, itself, risks evoking the very neo-positivist-empiricist framings we are calling into question.

정보 중복성으로서의 포화 상태

Saturation as information redundancy

포화 개념은 [데이터로부터 새로운 정보, 코드 또는 테마가 산출되지 않는 정보 중복성 지점(Lincoln and Guba 1985)]으로 종종 광범위하고 느슨하게 정의되며, 근거 이론에서 이론적 포화 개념에서 진화했다.

The concept of saturation, often broadly and loosely defined as information redundancy (Lincoln and Guba 1985), the point at which no new information, codes or themes are yielded from data, evolved from the more tightly conceived notion of theoretical saturation in grounded theory.

이론적 포화는 [범주의 특성과 범주 간의 관계를 포괄적으로 설명하여 이론이 발생할 수 있는 지점]으로 정의되었다(Morse 2015). 이론적 포화상태는 [이론적 샘플링]과 근거 이론에서의 [데이터 수집 및 분석의 동시 실행]과 불가분의 관계에 있다(Hennink, Kaiser, Marconi 2017; Morse 2015;O'Reilly 및 Parker 2012; Saunders et al. 2017; Vasileiou et al. 2018). 데이터 수집 및 (최소한 일부) 데이터 분석 전에 이론적 포화도를 결정할 수 없음을 의미한다.

Theoretical saturation has been defined as the point at which the properties of categories and the relationships between categories are comprehensively explained so that a theory can arise (Morse 2015). Theoretical saturation is inextricably linked to the practice of theoretical sampling and concurrent practices of data collection and analysis in grounded theory (Hennink, Kaiser, and Marconi 2017; Morse 2015;O’Reilly and Parker 2012; Saunders et al. 2017; Vasileiou et al. 2018), meaning that theoretical saturation cannot be determined in advance of data collection and (at least some) data analysis.

데이(1999, 257)는 포화 상태를 '잘 못된 은유'라고 표현했다. 그것은 완전한 이해와 데이터 수집을 멈추기 위한 결정 가능하고 고정된 지점을 암시한다. 일부에서는 이것이 원래 근거 이론 지지자인 글레이저와 스트라우스(1967; 넬슨 2016; 손더스 외 2017 참조)의 의도가 아니었다고 주장해왔다.

Dey (1999, 257) described saturation as an ‘unfortunate metaphor’; it suggests complete- ness of understanding and a determinable, fixed point for stopping data collection. Some have argued that this was never the intention of the original grounded theory proponents, Glaser and Strauss (1967; see Nelson 2016; Saunders et al. 2017),

그러나, [반복과 중복에 대한 명확한 근거 이론가들의 진술] - '추가 데이터는 없다' (Glaser and Strauss 1967, 61)와 '새로운 속성 없음'(Charmaz 2006, 189)은 [정보 중복성]으로서 포화의 광범위한 개념화를 이루었다(Low 2019).

However, it is clear grounded theorists’ statements around repetition and redundancy –‘no additional data’ (Glaser and Strauss 1967, 61) and ‘no new properties’ (Charmaz 2006, 189) – have informed the widespread conceptualisation of saturation as information redundancy (Low 2019).

Dey는 포화상태에 대한 대안으로 [이론적 충분성]이라는 문구를 제시했는데, 이는 연구자가 이론을 구축하기에 충분하거나 적절한 기초 깊이에 도달했을 때 데이터 수집이 중단된다는 개념을 포착하기 위해서였다. 넬슨(2016년)도 마찬가지로 [개념 밀도]나 [개념 깊이]를 제시했다. 이러한 관점에서 이론적 포화상태는 수집된 데이터의 양에 대한 것과 마찬가지로 수집된 데이터의 품질(부유성, 깊이, 다양성 및 복잡성, 데이터 또는 샘플링 적정성)에 대한 것이다(Fusch와 Ness 2015).

Dey suggested the phrase theoretical sufficiency as an alternative to saturation, to capture the notion that data collection stops when the researcher has reached a sufficient or adequate depth of under- standing to build a theory. Nelson (2016) similarly suggested conceptual density or conceptual depth. From this perspective, theoretical saturation is as much, or even more, about the quality of data collected – their richness, depth, diversity and complexity, what can be glossed as data or sampling adequacy – as it is about simply the quantity of data collected (Fusch and Ness 2015).

그러나 훨씬 더 광범위한 질적 논의에서 ('새로운 정보 없음'으로 명시되거나 암시적으로 개념화된) 포화상태는 표본 크기를 단순하게 합리화하고 검증하기 위한 약칭shorthand으로 나타나는 경우가 많다. 우리는 이 논문에서 데이터 포화라는 용어를 사용하여 포화의 개념화(예: 코드 개념과 주제 포화에 반영됨)를 광범위하게 사용하는 정보 중복 개념을 포착한다.

However, in much wider qualitative discussion, saturation–explicitly or implicitly conceptualised as ‘no new information’– appears often as a shorthand simply to rationalise and validate the sample size. We use the term data saturation in this paper to capture such widely used information redundancy conceptualisations of saturation (e.g. reflected in notions of code and thematic saturation).

데이터 포화 – 질적인 연구 요구 사항?

Data saturation – a qualitative research requirement?

데이터 포화(특히 타당성에 관한 또는 타당성을 위한) 개념은 (확실한) 질적 연구 로직 내에 확고히 내재되어 있다. 콘스탄티누, 게오르기우, 페르디코기아니(2017년)에게 있어 데이터 포화란 '질적 연구에서 타당성의 플래그쉽' (p. 585)으로서 '질적 연구의 존재론적, 인식론적 토대를 충족한다'(p. 583)는 기준이다.

The concept of data saturation (especially as or for validity) is firmly embedded within (certain) qualitative research logics. For Constantinou, Georgiou, and Perdikogianni (2017), data saturation is ‘the flagship of validity for qualitative research’ (p. 585), a criterion that ‘meets with the ontological and epistemological foundations of qualitative research’ (p. 583).

건강영역에서도 (데이터) 포화는 질적 연구에서 샘플 크기에 대해 가장 일반적으로 유발되는 정당성으로 확인되었다(Vasileiou et al. 2018). 질적 건강 및 응용 연구(예: 챔버lain 2010; Morrow 2005; Morse 1995, 2015; Sandelowski 1995)에 대해 널리 인정된 많은 '거인titans'들은 포화의 지지자로, 그리고 (모든) 질적 연구에 대한 개념의 관련성에 대한 증거로 자주 인용된다. (우리가 그러한 말을 하지 않았음에도), '데이터 포화 상태에 도달하기 위해' 최소 12번의 인터뷰가 필요하다고 권고하는 것으로까지 인용되고 있다(Picariello et al., 2017, 386).

(Data) saturation has also been identified as the most commonly evoked justification for sample size in qualitative research in the health domain (Vasileiou et al. 2018). Many widely acknowledged ‘titans’ of qualitative health and applied research (e.g. Chamberlain 2010; Morrow 2005; Morse 1995, 2015; Sandelowski 1995) are frequently cited as proponents of saturation, and as evidence for the relevance of the concept for (all) qualitative research. We are even cited as recommending that a minimum of 12 interviews is required ‘to reach data saturation’ (Picariello et al. 2017, 386) – though we do not say anything like this in the source cited (Braun and Clarke 2013).

• (데이터) 품질 기준으로서의 포화상태는 면접 및 포커스 그룹 연구를 위한 32개 항목 통합 정성 연구 기준(COREQ) 체크리스트(Tong, Sainsbury, Craig 2007)와 같은 '품질 검사 목록'에도 수록되어 있으며, 22개 체크리스트에서 편찬되어 있으며, 건강 연구에 널리 이용되고 있다. 항목 22는 '데이터 포화. . 데이터 포화가 논의되었는가?'이다. 

• 마찬가지로, 질적 연구를 위한 중요 평가 기술 프로그램 10항목 점검표(CASP, 2018)는 독자들에게 연구자가 데이터의 포화 상태에 대해 논의했는지 여부를 고려할 것을 제안한다. 

• 미국심리학회 간행물 및 커뮤니케이션 위원회 작업 그룹 저널 기사 정성 연구 보고 표준(JARS-Qual)은 저자들에게 데이터 수집 중단의 근거를 논의하고 포화도를 모범 사례로 제시할 것을 권고한다(Levitt et al. 2018).

(Data) saturation as criteria for quality also features in ‘quality checklists,’ such as the 32-item Consolidated Criteria for Reporting Qualitative Research (COREQ) checklist for interview and focus group research (Tong, Sainsbury, and Craig 2007), compiled from 22 checklists, and widely used in health research. Item 22 is ‘data saturation . . . Was data saturation discussed?’ Similarly, the Critical Appraisal Skills Programme 10-item checklist for qualitative research (CASP, 2018) suggests readers consider if the researcher has discussed saturation of data. The American Psychological Association Publications and Communications Board Working Group’s Journal Article Reporting Standards for Qualitative Research (JARS-Qual) recommend authors discuss the rationale for stopping data collec- tion and offer saturation as an exemplar (Levitt et al. 2018).

이와 같이, 포화도는 종종 정의되지 않은 상태로 [질적 연구를 위한 개념적 도구이자, 좋은 관행의 암묵적 증거로 표준화]된다.

In this way, saturation – often not defined – becomes normalised as conceptual tool and implicit evidence of good practice, for qualitative researching.

TA 연구를 위한 '진화' 데이터 포화 상태

‘Evidencing’ data saturation for TA research

데이터 포화는 TA와도 밀접하게 연관되어 있다. TA에 대한 한 가지 접근 방식을 지지하는 Greg Guest는 질적 건강 연구(Guest, Bunce, Johnson 2006: 60; Guest, MacQueen, Namey 2012 참조)에서 데이터 포화를 '질적 건강 연구에서 목적적 표본의 표본 크기를 결정하는 황금률'으로 묘사했다(사람들은 이것을 늘 고민한다). 그러나 데이터 포화가 황금표준인 이유를 설명하지 못했다. 게스트, 번스, 존슨(2006)과 콘스탄틴루, 게오르기우, 퍼디코기아니(2017)는 데이터 수집에 앞서 표본 크기를 추정하는 실용적인 지침을 제공하기 위해 (그리고 그 근친 사촌 정성적 콘텐츠 분석) TA의 데이터 포화 개념을 어느 정도 '조작화'하고자 했던 다수의 저자에 속한다.

Data saturation has also become closely linked to TA. Greg Guest, a proponent of one type of approach to TA, has described data saturation as the ‘gold standard’ for determining sample size in purposive samples in qualitative health research (Guest, Bunce, and Johnson 2006: 60; see Guest, MacQueen, and Namey 2012). Setting aside for now a failure to explain why data saturation is the gold standard – something we are troubled by – Guest, Bunce, and Johnson (2006) and Constantinou, Georgiou, and Perdikogianni (2017) are among a number of authors who have sought to (to some extent) ‘operationalise’ the concept of data saturation in TA (and its close cousin qualitative content analysis), to provide practical guidance on estimating sample size in advance of data collection

더 넓은 방법론적 맥락에서 '데이터 포화'에 기초한 '몇 명이면 충분한가'에 대한 구체적인 표본 지침은 특히 숫자가 상대적으로 적어서 특히 시간과 자원이 빠듯할 때 매력적이다.

In the wider methodological context, concrete sample guidance around ‘how many is enough’–based on ‘data saturation’–is seductive, especially when the number is relatively small and therefore eminently achievable, particularly when time and resources are tight.

Guest, Bunce 및 Johnson(2006)은 다음과 같이 포화 상태를 정의했다. 

• 1) 데이터 포화 – '새로운 정보가 코드북에 거의 또는 전혀 변화를 일으키지 않을 때' (p. 65) 데이터 수집 및 분석의 포인트, 이 때 변화란 새로운 코드의 추가 및 코드 정의의 세분화로 구성된 변경 사항을 의미함.

• 2) '테마적 소진'(p. 65) – 데이터로부터 새로운 테마가 '떠오르지emerge' 되지 않는 지점. 이 정의는 정보 중복성으로서의 포화성의 개념화와 일치한다.

Guest, Bunce, and Johnson (2006)defined saturation as: 

• 1) data saturation –‘the point in data collection and analysis when new information produces little or no change to the codebook’ (p. 65), with changes consisting of the addition of new codes and refinements of code definitions; and 

• 2) as ‘thematic exhaustion’ (p. 65) – the point at which no new themes ‘emerge’ from data. This definition is consistent with the conceptualisation of saturation as information redundancy.

Guest 외 연구진은 인터뷰 연구 데이터를 사용하여 많은 인터뷰 기록에 적용되는 코드인 고빈도 코드 중 94%가 처음 6번의 인터뷰와 12번의 인터뷰 후에 97%가 확인됨을 알아냈다. (그들은 매 6회 인터뷰 후 주제 개발과 코드북을 검토했고, 따라서 6의 배수를 검토했다. 이에 대한 근거는 제시되지 않았다.) 따라서 '12번의 인터뷰를 분석할 때 대부분의 경우 데이터 포화 상태가 발생했다'(74쪽). 게스트, 번스 및 존슨(2006)은 상당히 좁은 연구목표, 상대적으로 균질한 인구 및 인터뷰에 대한 구조 정도(모든 참가자에게 유사한 질문을 던짐)와 관련하여 이 주장을 맥락화하여 설명하였으며, 조사 결과의 '일반성'에 대해 의문을 제기했다.

Using data from an interview study, Guest et al. found that 94% of what they call high frequency codes, codes applied to many interview transcripts, were identified within the first 6 interviews and 97%after 12 interviews (they reviewed theme development and their codebook after every sixth interview, hence the multiples of six; no rationale was given for this). Thus, ‘data saturation had for the most part occurred by the time we had analysed twelve interviews’ (p.74).Guest, Bunce, and Johnson(2006) contextualised this claim, in relation to the fairly narrow objectives of their study, the relatively homogenous population and the degree of structure to the interviews (similar questions were asked of all participants), and queried the ‘generalisability’ of their findings.

불행하게도, 그들의 논문이 우리의 접근법을 인용한 연구를 포함하여 TA 연구에서 12개 또는 심지어 6개의 인터뷰(또는 다른 데이터 항목)에서 포화 상태를 달성할 수 있다는 증거로 언급될 때 이들이 제기한 '의문'은 종종 사라지고 만다.

Unfortunately, their nuancing is often lost when their paper is referenced as evidence that it is possible to achieve (data) saturation in 12 or even 6 interviews (or other data items) in TA research, including research citing our approach

또 다른 예로 슈바이처, 반 와이크 및 머레이(2015)는 포화를 사용하기로 결정했으며, 새로운 정보가 나타나지 않음을 지칭하기 위해 '이론적 포화'라는 용어를 사용했으며, 이것으로 데이터 수집 중 샘플 크기를 결정하였다.

In another example, Schweitzer, van Wyk, and Murray (2015)seemed to use saturation – they used the term ‘theoretical saturation’ to refer to no new information – to determine sample size during data collection:

그리고, 연습 연구 분야에서, 녹취록에 '새롭게 떠오른 테마는 없다'는 포화도를 중심으로 정의되어, 아이언, 도넬, 윌리엄스(2018, 1479)는 다음과 같이 보고했다.

And, from the field of exercise research, with saturation defined around ‘no new emergent themes’ in transcripts, Eynon, Donnell, and Williams (2018, 1479) reported:

일부 연구자는 [데이터 포화 상태에 연결된 [동시 데이터 수집 및 분석]에 관여한다]고 보고한다.

Some researchers report engaging in simultaneous data collection and analysis, connected to data saturation:

여기서 [새로운 코드가 없는 것]으로 정의되는 데이터 포화는 데이터 수집 및 데이터 분석 중에 결정된다. 다른 연구자들은 데이터 수집 중 또는 수집 후 데이터에 대한 인상을 바탕으로 데이터 포화도를 결정하는 것으로 보인다.

Data saturation, here defined as no new codes, was determined during data collection and from data analysis. Other researchers seem to determine data saturation on the basis of their impressions of the data during or after data collection.

이러한 예는 TA 프로세스의 다양한 지점에서 표본 크기를 결정하는 데 데이터 포화도가 사용된 방법을 설명한다. 

데이터 포화는 새로운 정보, 코드 또는 테마가 없는 것으로 다양하게 정의된다 (코드와 테마에 대해서 더 세분화하는 경우는 훨씬 적다) 데이터 포화를 사용한 방법으로는 데이터 수집/분석 진행 중, 데이터 친숙화라고 할 수 있는 후속 작업 및 데이터 분석 자체 중 등이 있다 (이것들은 데이터 수집과 독립적일 수도 있고 아닐 수도 있다.).

These examples illustrate the ways data saturation – variously defined as no new information, codes or themes (mentions of no further code and theme refinements are far less common) – has been used to determine sample size at various points in the TA process: during data collection/prior to analysis, following what might be called data familiarisation, and during data analysis itself (which may or may not be independent of data collection).

그러한 주장 안에서 (데이터) 포화상태가 실제로 정확히 어떻게 정의되고 결정되었는가를 불분명하게 만든다. (보웬 2008; 말테루드, 시에르마, 과소라 2016). 마치 self-explanatory하다는 듯 하다 (광범하게 사용되는 '데이터는 포화상태였다', 또는 '포화지점이 달성되었다'는 식으로 남기는 것이 일반적이다[마스홀, 도노반홀, 2012년, 랴솔]]). 이것은 우리에게 데이터 포화 개념이, 적어도 부분적으로는, 깊이 고민한 방법론적 실천이 아니라, (아마도 어떤 경우에는 전적으로) 수사적 장치로 사용된 것처럼 보인다. (포화는) 종종 샘플 크기의 적절성에 대한 구체적이고 결정적인 보증자 역할을 하기에, 그것을 보여주고자 배치한 개념인 것이다. 

Within such claims, (data) saturation is commonly referenced a way that leaves unclear how exactly it was defined and indeed determined (Bowen 2008; Malterud, Siersma, and Guassora 2016), as if it is self-explanatory (as in the widely used ‘the data were saturated,’ or ‘a point of saturation was achieved’ [Marshall, Donovan-Hall, and Ryall 2012, 19]). This suggests to us that the concept of data saturation is used, at least partly, and perhaps wholly in some instances, as a rhetorical device, rather than a considered methodological practice,an orientation to and deployment of a concept often perceived to act as a concrete and definitive guarantor of the appropriateness of sample size (Morse 2015).

TA에 대한 또는 TA에 대한 다른 데이터 포화 '실험'은 유사한 (더) 작은 표본(면접/초점 그룹)에서 데이터 포화를 달성할 수 있다고 결론지었다. 예를 들어 콘스탄틴루, 게오르기우, 페르디코기아니(2017, 582)는 '모든 가능한 주제'가 일고 번째 인터뷰 이전에 발견되었다고 주장했다. Francis 외 연구진(2010년)은 Guest, Bunce, Johnson(2006년)과 일치했다. 이들은 이론 기반 분석에서 표본 크기에 대해 10 + 3 인터뷰가 ' 상당히 효과적인 가이드' (p. 1241)라는 것을 주장하며, 이 수치를 이를 양적연구의 0.05 유의 기준과 비교한다. +3은 추가의 자료가 얻어지지 않는 인터뷰 횟수로 언급했고, 정지 기준을 확인하기 위해 필요하다고 주장했다.

Other data saturation ‘experiments’ for or with TA have concluded that data saturation can be achieved in similarly small(er) samples (of interviews/focus groups). For example, Constantinou, Georgiou, and Perdikogianni (2017, 582) claimed that ‘all possible themes’ were found after inter- view 7. Francis et al. (2010) aligned with Guest, Bunce, and Johnson (2006) in claiming that 10 + 3 interviews was ‘a fairly effective guide’ (p. 1241) for sample size in theory-based analysis, comparing this to the 0.05 significance criterion in quantitative research. The +3 referred to the number of interviews without any additional material, they claimed as needed to confirmthe stopping criteria.

따라서, '메타주제'(Hagaman and Wutich 2017, 26)를 제외하고, TA 내에서 데이터 포화 달성을 위한 권장 표본 크기는 연구의 특정 특성과 요구되는 데이터 포화 정도에 따라 6~16회 면접까지 다양해졌다. 그리고 실제로, 데이터 포화도가 어디에서 어떻게 증명되는지. 그러나 이러한 논문에 의해 제공되는 구체적인 지침은 종종 데이터 포화라고 간주되는 것에 대해 다소 자의적이고 대부분 설명되지 않은 기준에 의존하는 것처럼 보인다. - 아이러니하게도 이러한 '실험'에서 '포화 상태'의 '조작'은 매우 미흡했다.

So, with the exception of ‘metathemes’ (Hagaman and Wutich 2017, 26), recommended sample sizes to achieve data saturation within TA have ranged from 6 to 16 interviews, depending on the specific characteristics of the research and the degree of data saturation required. And, indeed, with where and how data saturation is evidenced. But the concrete guidance provided by these papers often seems to rely on rather arbitrary and largely unexplained criteria, for what counts as data saturation – saturation is, ironically, rather poorly ‘operationalised’ in these ‘experiments’.

Hennink, Kaiser, 그리고 Marconi의 (2017, 2019)는 코드포화와 의미포화를 구분할 필요가 있다고 생각했다.

Hennink, Kaiser, and Marconi's (2017, 2019) sug- gested the necessity of distinguishing between code- and meaning-saturation,

Hennink, Kaiser, Marconi(2017년)는 코드 포화 상태를 '추가적인 문제가 식별되지 않고 코드북이 안정화되기 시작하는 시점'으로 정의했으며, 이는 기존 코드의 정교화와 새로운 코드 추가를 모두 포괄했다. 그들은 네 가지 코드 유형으로 구분했다: 

• 1) 귀납적 (참여자에 의해 주도되고 제기되는 내용); 

• 2) 연역적(조사자가 주도하고 인터뷰 가이드에서 개발); 

• 3) 구체적(명확하고 확정적인 이슈 포착) 그리고 

• 4) 개념적(추상적 구조체 포착).

Hennink, Kaiser, and Marconi (2017)defined code saturation as ‘the point when no additional issues are identified and the codebook begins to stabilise’ (p. 594), which encompassed both the refinement of existing codes and the addition of new codes. They distinguished between four types of codes: 

• 1) inductive (content- driven and raised by participants); 

• 2) deductive (researcher-driven and developed fromthe interview guide); 

• 3) concrete (capturing explicit, definitive issues); and 

• 4) conceptual (capturing abstract con- structs).

의미 포화는 '문제를 완전히 이해했을 때, 그리고 더 이상의 차원, 뉘앙스 또는 이슈의 통찰력을 찾을 수 없을 때'로 정의되었다(594페이지).

Meaning saturation was defined as ‘the point when we fully understood issues, and when no further dimensions, nuances, or insights of issues can be found’ (p. 594).

그들은 코드포화가 9번의 인터뷰 후에 도달했다고 보고했다: 첫 번째 인터뷰는 코드의 53%와 높은 유병 코드의 75%를 기여했다. '9번의 인터뷰에 의해, 일반적인 주제 문제의 범위가 확인되었고, 코드북이 안정화되었다.' (p. 598). 고빈도의 구체적 코드는 9회 이하의 인터뷰에서 확인되었고, 포화상태에 이른다는 의미에 도달했다. 그러나 저빈도 개념 코드는 나중에 확인되었으며, 16~24번의 인터뷰가 필요하여 포화 의미에 도달하거나 포화 의미에 도달하지 못했다.

they reported that code saturation was reache dafter nine interviews: the first interview contributed 53% of codes and 75% of high prevalence codes, ‘thus, by nine interviews, the range of common thematic issues was identified, and the codebook had stabilized’ (p. 598). High prevalence concrete codes were identified and reached meaning saturation earlier, in nine interviews or fewer. However, low prevalence conceptual codes were identified later, and required between 16 and 24 interviews to reach meaning saturation, or did not reach meaning saturation.

Hennink, Kaiser, Marconi(2017년)의 연구는 25개의 인터뷰 표본에서 다양한 (의미) 포화도가 가능하다는 것을 여전히 제시했는데, 이는 우연히 여러 리뷰에서 확인된 인터뷰 연구의 평균 표본 크기(예: N = 21-23, N = 2010년 3월 31)에 해당된다.1

Despite their more nuanced take, Hennink, Kaiser, and Marconi's (2017) study still suggested that various degrees of (meaning) saturation are possible in a sample of 25 interviews, which incidentally is around the mean sample size for interview studies identified in several reviews (e.g. N = 21-23 in Clarke and Braun 2019; N = 31 in Mason 2010).1

이러한 '실험'에 걸친 (데이터) 포화 기준은 코드와 테마를 다음의 성격을 갖는 실체로서 이해하는 데 의존하는 것으로 보인다. 

• 분석 전에 존재하며(어느 정도까지는), 

• 데이터 안에 존재하고

• 코드와 테마는 고정적이고 불변하며 

• 테마의 instance들은 서로 교환할 수 있다. 

The criteria for (data) saturation across these ‘experiments’ appear to rely on an understanding of codes and themes as entities 

• that pre-exist analysis (to some extent), 

• that reside in data, 

• that codes and themes are fixed and unchanging, and 

• that instances of a theme are interchangeable, 

여기서 테마는 분석의 산물 또는 산출물이 아니며, 데이터에 대한 위치 및 상황별 해석이 아니다(Simet al. 2018a). 그러나 바로 이러한 것이 반사적 TA(Braun and Clarke 2019)에서 테마를 개념화하는 방법이다.

rather than being the product or output of analysis and representing situated and contextual interpretations of data (Simet al. 2018a) – the latter being how we conceptualise themes in reflexive TA (Braun and Clarke 2019).

이러한 (데이터) 포화 '실험'에서 코드는 [비교적 가벼운 관찰 또는 명확하거나 구체적인 것에 대한 통찰]로서 – 어느 정도 쉽사리 '근거를 찾을 수 있는 것들' 이다. 그러나, 우리가 나중에 논쟁할 것처럼, 그것은 그것보다 더 복잡할 수 있다(그리고 아마도 그래야 할 것이다.

in these (data) saturation ‘experiments,’ codes capture relatively slight observations, or insights about the obvious or concrete – things that are somewhat ‘easily’ evidenced. But, as we will argue later, it can (and maybe should) be more complex than that.

포화의 정의를 무엇으로 사용했든, 이러한 연구들은 집단적으로 (데이터) 포화를 TA 연구에서 면접 표본 크기를 결정하기 위한 황금률로서, 암묵적이고 명시적으로 칭송하며, 열망해야 할 어떤 것이라고 주장한다.

Regardless of the particular definition of saturation used, these studies collectively demonstrate an implicit and explicit lauding of (data) saturation as a gold standard for determining interview sample size in TA research, and something to be aspired to.

질문 포화

Questioning saturation

동시에, 포화도의 부정확한 사용(예: Bowen 2008; Fusch and Ness 2015; Ker, Nixon 및 Wild 2010; Mason 2010; Saunders et al. 2017; Vasileiou et al. 2018)과 관련된 비판적 논의가 늘어나고 있다. 또한 질적연구에서 포화가 황금기준이라는 것을 의심하지 않고 받아들여온 것에 대한 비판이 늘어나고 있다.

There is, concurrently, increasing critical discussion related to both the imprecise use of saturation (e.g. Bowen 2008; Fusch and Ness 2015; Kerr, Nixon, and Wild 2010; Mason 2010; Saunders et al. 2017; Vasileiou et al. 2018) and its often-unquestioned acceptance as a gold standard for qualitative inquiry.

로우(2019)는 더 나아가 [더 이상 새로운 정보가 없는 것]으로 정의되는 포화상태는 '(데이터를 수집하고 분석하는 한 새로운 이론적 통찰이 항상 이루어지기 때문에) 논리적인 오류'라고 주장했다(p. 131). 우리는 그러한 비평에 동의한다.

Low(2019) went further, arguing that saturation defined as no new information ‘is a logical fallacy, as there are always new theoretical insights to be made as long as data continues to be collected and analysed’ (p. 131). We concur with such critique.

그러나 그러한 비평은 gold standard로서 데이터 포화를 보다 폭넓게 개념화하고 품질 점검 목록에 대한 일상적인 항목이며 다양한 TA 지지자와 질적 연구 거장titans에 의해 옹호되는 것으로 종종 얼룩진다. 실제로, 우리는 우리의 반사적인 TA 접근법(예: Braun and Clarke 2006; Braun et al. 2019)을 사용하는 연구자들로부터 듣는데, 리뷰어와 편집자들이 종종 COREQ나 CASP와 같은 체크리스트를 인용하면서 데이터를 참조하거나 주제 포화상태에 대해 그들의 출판물에 언급하라고 요구했기 때문이다. 그리고 연구자들은 (데이터) 포화 상태에 대한 비판이나 의문을 가지고 있음에도 불구하고 검토자와 편집자의 요구를 현실적 이유로 묵인하는 경우가 많다.

However, such critique sits surrounded – often smothered – by the wider conceptualisation of data saturation as the gold standard, a routine item on quality checklists, and championed by various TA proponents and qualitative research titans. Indeed, we hear from researchers who use our reflexive TA approach (e.g. Braun and Clarke 2006; Braun et al. 2019) but reference data or thematic saturation in their publications, because reviewers and editors required it, often citing checklists like COREQ or CASP. And researchers often pragmatically acquiesce to reviewers’ and editors’ demands, even though they hold some critique or question of (data) saturation.

이러한 연구자들에게 (데이터) 포화 개념은 앞에서 말한 수사적 장치로서, 지식의 문지기들에 의해 '통과'되는 '품질 보증' 메커니즘이다.

For these researchers, the concept of (data) saturation is deployed as the rhetorical device we mentioned earlier, a ‘quality assurance’ mechanism to get ‘passed’ by the gatekeepers of knowledge.

이 품질 점검표 기준은 연구자들이 뛰어 넘어야 할 후프가 될 수 있으며, 실제로 많은 연구자들이 '질적 연구의 보고 품질을 향상'시키기 보다는 나쁜 관행으로 간주할 수 있는 것을 권장한다는 것이 잘 알려져있다(통, 세인즈베리 및 크레이그 2007, 356). 그러나 COREQ 점검표저자는 '질적연구의 퀄리티 향상'을 기대했다.

That quality checklist criteria can become hoops for researchers to jump through, and actually encourage what many would consider to be bad practice – rather than ‘improv[ing] the quality of reporting of qualitative research’ (Tong, Sainsbury and Craig 2007, 356), as the authors of the COREQ checklist hoped – is well acknowledged (e.g. O’Reilly and Parker 2012; Reicher 2000).2

빅토리아가 '포화도가 TA에게 유용한 개념인가?'라는 제목의 논평을 쓴 것에 대해 트위터를 하고 지금까지 쓴 것은 '아니오'뿐이라고 농담을 던졌을 때, 이 트윗은 수많은 응원을 얻었다. 그러나 또 다른 사람들은 호기심으로 '포화 상태가 아니라면, 그럼 뭘 해야되는데?'를 물어왔고, 이제 우리의 질적 논리학에는 이미 '포화'라는 개념이 많이 스며들었음을 보여주었다. 이러한 속임수 질문에 대한 우리의 대답은 - 물론 - 그때그때 다르다 이다.

When Victoria tweeted about writing a commentary entitled ‘Is saturation a useful concept for TA?’ and joked all she had written so far was ‘No’, the tweet garnered numerous virtual high-fives. But others responded with curiosity, asking a version of ‘if not saturation, then what?,’ demonstrating now much saturation has permeated our qualitative logics. Our answer to these trick(y) questions is – of course – it depends.

데이터 포화도가 TA 연구에 유용한 개념인지 여부는 TA와 정성적 연구를 어떻게 개념화하고, 데이터 포화 자체를 어떻게 정의하고 결정하느냐에 달려 있다. 그리고 이러한 후자를 명확히 할 때에도, 특히 성찰적 TA를 위한 데이터 포화도의 유용성은 여전히 의문이다. Guest, Bunce, Johnson(2006) 또는 COREQ 체크리스트를 휘두르는 리뷰어 및 편집자는 다음을 유의해야 한다: 데이터 포화는 모든 유형의 TA 연구에 보편적으로 유용하거나 의미 있는 개념이 아니다(O'Reilly 및 Parker 2012 참조).

Whether data saturation is a useful concept for TA research depends on how TA and qualitative researching are conceptualised, and how data saturation itself is defined and determined. And even when these latter are clarified, the usefulness of data saturation for reflexive TA, specifically, is still questionable. Reviewers and editors wielding copies of Guest, Bunce, and Johnson (2006) or the COREQ checklist, take note: data saturation is not a universally useful or meaningful concept for all types of TA research (see also O’Reilly and Parker 2012).

데이터 포화도가 모든 유형의 TA에 유용한 개념은 아니다: 문제 및 긴장

Data saturation is not a useful concept for all types of TA: problems and tensions

데이터(그리고 의미) 포화와 표본 크기에 대한 경험적 탐구 저자는 권고사항의 전달 가능성을 제한하는 주의사항을 제공하는 경향이 있다.

The authors of empirical explorations of data (and meaning) saturation and sample size tend to offer caveats that limit the transferability of their recommendations.

저자들은 TA(및 질적 내용 분석)가 하나의 방법인 것처럼 토론하는 경향이 있다.3 일반적으로 '데이터 포화 실험'의 방법으로서 TA의 복수성에 대한 인식이나 인정의 결여는 그러한 논문이 성찰적 TA를 포함한 모든 유형의 TA와 관련된 지침을 제공한다는 잘못된 인식을 알려준다. 따라서 데이터 포화 및 TA를 고려하는 데 있어 중요한 첫 번째 요점은 TA가 단일 방법이 아니라는 것이다.

the authors tend to discuss TA (and qualitative content analysis) as if it is a singular method.3 A general lack of recognition or acknowledgement of plurality of TA as a method in ‘data saturation experiments’ no doubt informs the misperception that such papers provide guidance relevant to all types of TA, including reflexive TA. So a vital first point in considering data saturation and TA is therefore that TA is not a singular method.

우리는 일반적으로 (현재) 신뢰도, 코드북, 성찰적 (Braun et al. 2019)이라는 용어를 사용하는 TA의 세 가지 주요 '형'을 구별한다. 이 군집들은 절차와 기초 철학에서 모두 다르다. '데이터 포화 실험'의 저자들은 일반적으로 데이터 분석 전에 결정된 구조화된 코드북의 사용에 초점을 맞춘 TA에 대한 코드북 또는 코드 신뢰성 버전 중 하나를 사용한다. 그런 다음 코드북은 일반적으로 전체 데이터셋, 코딩 신뢰성 TA에 적용되거나 (일부) 코드북 TA에 코드 발생을 문서화하는 데 사용된다.

We generally (currently) distinguish between three main ‘types’ of TA, which we termcoding reliability, codebook and reflexive (Braun et al. 2019). These clusters are divergent in both procedure and underlying philosophy. Authors of ‘data saturation experiments’ typically use either codebook or coding reliability versions of TA – approaches to TA which centre on the use of a structured codebook, determined prior to data analysis, or on the basis of (some) data familiarisation or some early coding. The codebook is then typically applied to the entire dataset, in coding reliability TA, or used to document the occurrence of codes in (some) codebook TA.

TA코딩에 대한 이 과정은 우리가 성찰적 TA에서 옹호하는 개방적이고 유동적이며 유기적이며 반복적인 코딩 관행과는 매우 다르다. 반사적 TA에서는 절대로 코드의 '최종적 고정'이란 없다. 그들은 진화, 확장, 수축, 개명, 여러 개의 코드로 분리, 다른 코드와 함께 붕괴, 심지어는 버려질 수도 있다. 코딩은 분석 전반에 걸쳐 보다 해석적이고 개념적이 될 수 있으며, 표면과 명시적 의미를 넘어 암묵적(잠재적) 의미를 추궁하기 위해 이동한다. 이러한 개발 및 개선은 연구자의 데이터에 대한 심층적인 참여, 그리고 [진화하고 situated이며, 성찰적 해석]을 반영한다.

This process for TA codingis very different from the open, fluid, organic, and recursive coding practices we advocate for in reflexive TA. In reflexive TA, codes are never finally fixed. They can evolve, expand, contract, be renamed, split apart into several codes, collapsed together with other codes, and even be abandoned. Coding can and often does become more interpretive and conceptual across an analysis, moving beyond surface and explicit meaning to interrogate implicit (latent) meaning. Such developments and refinements reflect the researcher’s deepening engagement with their data and their evolving, situated, reflexive, interpretation of them.

그들은 또한 반사적 TA의 핵심 요점을 보여준다: 코드는 개발 분석의 개념적 도구로서 존재론적으로 실제적인 것으로 재조정되어서는 안 된다. '데이터 포화 실험' 중 일부는 코드 refinement에 대해 논의하지만, 코드 자체의 특성이나 범위가 아닌 코드 정의와 포함/배제 기준에 초점을 맞춘 것으로 보인다(예: Guest, Bunce, Johnson2006).

They also demonstrate a key point for reflexive TA: codes are conceptual tools in the developing analysis and should not be reified into ontologically real things. Some of the ‘data saturation experiments’ discuss code refinement, but it seems to centre on the code definition and inclusion/exclusion criteria, not the nature or scope of the code itself (e.g. Guest, Bunce, andJohnson2006).

'데이터 포화'에 영향을 미치는 TA의 측면

Aspects of TA affecting ‘data saturation’

코딩신뢰성 TA를 위한 데이터 포화도를 보다 상세하게 고려하기 위해, 우리는 그들의 분석적 접근방식을 다음과 같이 설명한 Guest, Bunce, Johnson(2006)으로 돌아간다. [코드의 간략하고 완전한 정의, 코드의 적용 시기 및 적용하지 않는 시기에 대한 지침, 코드의 예시를 제공하는 데이터의 인용문 등] 데이터 분석을 위한 초기 코드북이 개발되었다. 코드북이 개발된 근거는 명확하지 않다(데이터에 대한 일부 참여 이전 또는 이후?) 그 후 두 명의 연구자에 의해 코더간 합의가 평가되고 연구팀이 논의하고 해결한 불일치가 데이터에 적용되었다. 그런 다음 코드북을 수정하고, 두 명의 연구자가 데이터를 재평가하고, 코더간 합의를 재평가하였다(일반적으로 신뢰할 수 있는 코딩인 야들리 2008을 나타내기로 합의한 0.82점 이상의 카파 점수를 제공).

To consider data saturation in and for coding reliability TA in more detail, we return to Guest, Bunce, and Johnson (2006), who described their analytic approach as follows. An initial codebook was developed for data analysis, including brief and full definitions of codes, guidance on when to, and not to, apply the code, and quotations from the data that provide illustrative examples of the code. The basis on which the codebook was developed is unclear (prior to, or following, some engagement with the data?). The codebook was then applied to the data by two researchers, inter-coder agreement assessed and any discrepancies discussed and resolved by the research team. The codebook was then revised, and the data recoded by two researchers and inter-coder agreement re- assessed (providing a Kappa score of 0.82, above the 0.8 generally agreed to indicate reliable coding, Yardley 2008).

코드의 중요성은 특정 코드를 포함한 인터뷰의 비율에 따라 결정되었다(고빈도 코드를 동일한 방식으로 정의한 Hennink, Kaiser, Weber 2019 참조). 따라서 테마를 결정하는 데 빈도가 강조되고 코드의 중요도를 결정하는 데 데이터-항목 빈도가 강조되었다. 우리는 '주제-성themeyness'에서 빈도의 역할을 완전히 깎아내리는 것은 아니지만, 빈도는 무엇이 테마를 하며 어떤 테마가 중요한지 판단하는 데 있어서 일부일 뿐이라고 주장한다(Sim et al. 2018a 참조).

The importance of a code was determined by the proportion of interviews to which the code was applied (see also Hennink, Kaiser, and Weber 2019, who defined high frequency codes in the same way). Thus, there was an emphasis on frequency in determining themes, and data-item frequency in determining the significance of a code. While we do not completely discount the role of recurrence in ‘themeyness’, we argue that it is only part of what shapes a theme, and the significance of a theme (see also Sim et al. 2018a).

마찬가지로, (그 이상은 아닐지라도) 중요한 것은 테마의 관련성과 테마의 질이다. (Braun and Clarke 2006, 2012) 연구 질문과 관련하여 설득력 있고 일관성 있고 유용한 이야기를 하는가? 맥락과 샘플과 관련하여 주제에 대해 말하는 유용한 통찰력을 제공하는가?

Equally, if not more, important is the relevance of the theme to the research question and the quality of the theme (Braun and Clarke 2006, 2012) – does it tell a compelling, coherent and useful story in relation to the research question? Does it offer useful insights that speak to the topic in relation to context and sample?

제공된 제한된 정보로부터, 표본 '데이터 포화 실험'에 사용된 코딩 신뢰성 및 코드북 접근방식은 (우리가 성찰적 TA에서 요구하는 것보다) 더 구조화된 데이터 수집 접근방식에 의존하는 경우가 많다. 인터뷰 참가자에게는 비슷한 질문을 해야 할 필요가 있다. '그렇지 않으면, 데이터 포화를 달성할 수 없을 것이기 때문이다; 질문이 바뀌면 응답이 바뀌기 때문에, 만약 질문이 달라진다면 과녁이 움직이는 것이다. 이러한 이유로, 우리의 연구 결과는 구조화되지 않은 고도의 탐색적 상호관측 기법에는 적용되지 않을 것이다.'(게스트, 번스, 존슨 2006, 75).

From the limited information provided, the coding reliability and codebook approaches used in the sample ‘data saturation experiments’ often rely on a more structured approach to data collection than we would advocate for, with reflexive TA. Similar questions need to be asked of participants in interviews, ‘otherwise, one could never achieve data saturation; it would be a moving target, as new responses are given to newly introduced questions. For this reason, our findings would not be applicable to unstructured and highly exploratory inter- view techniques’ (Guest, Bunce, and Johnson 2006, 75).

(한) 진행자는 '(질문) 구조를 일관되게 따르고 질문에 대한 반응을 조사했지만, 보통 귀납적 질적 연구에서 하는 것처럼 앞선 포커스그룹에서 얻어진 정보를 다음 포커스 그룹(의 질문)에 도입하지 않았다'(p. 9).

The (one) moderator ‘followed the instrument structure consistently and probed responses to questions, but she did not introduce any information learned in previous focus groups as one typically would in inductive qualitative research’ (p. 9).

그러한 표본 크기 실험은 또한 광범위한 연역적 또는 '하향식' 접근법을 사용하는 경우가 많다. 즉, 테마의 일부 또는 전부를 분석(때로는 인터뷰 또는 포커스 그룹 가이드)보다 앞서 개발하거나, 코드북을 처음 몇 번의 인터뷰를 분석하여 개발한 다음 전체 데이터셋에 적용한다. 분석이 귀납적일 때 '데이터 포화점'을 미리 예측하는 것은 불가능하지는 않더라도 훨씬 어렵다.

Such sample size experiments also often use a broadly deductive or ‘top down’ approach – some or all of the themes are developed ahead of analysis (sometimes from the interview or focus group guide), or the codebook is developed from analysing the first few interviews and then applied to the entire dataset. It is far more difficult, if not impossible, to predict the ‘data saturation point’ in advance when the analysis is inductive

예를 들어, 양질의 면담 데이터는 전형적으로 '지저분하며messy', 미리 정해진 면접 가이드(브라운과 클라크 2013)를 엄격히 준수하기보다는 면접관이 참가자가 형성한 설명에 대해 응답하는 맥락에서 생산된다.

For us, quality interview data, for instance, are typically ‘messy’, produced in a context where the interviewer is responsive to the participant’s developing account, rather than adhering strictly to a pre-determined interview guide (Braun and Clarke 2013).

코딩 신뢰성 및 일부 코드북 TA에서 코딩은 (성찰적 TA처럼) 코드에서 테마를 개발하는 것이 아니라, 아닌 미리 정해진 테마에 데이터를 할당하는 과정으로 일반적으로 개념화된다.

In coding reliability and some codebook TA, coding is typically conceptualised as a process of allocating data to pre-determined themes, rather than themes being developed from codes, as they are in reflexive TA (Guest, Bunce, and Johnson 2006 are unusual in identifying themes from codes).

코드와 테마를 중심으로한 (용어의) 애매함도 있을 수 있다. 코드와 테마라는 용어는 코드 포화 및 테마 포화 개념과 마찬가지로, 우리가 성찰적 TA에서 코드와 테마의 명확한 구별(그러나 절대적이지는 않음)을 중요하게 보는 것과 다르다. 대조적으로, 코딩 신뢰성 및 코드북 TA에서 코드(포화)와 테마(포화)는 상호 교환적으로 사용된다.

There can also be slipperiness around the terms code and theme; these terms, along with the concepts of code saturation and thematic saturation, are often used interchangeably in coding reliability and code- book TA, in contrast to the clear (but not absolute) distinction between codes and themes we see as important in reflexive TA.

성찰적 TA에서 코드와 테마는 서로 다른 수준의 복잡성을 나타낸다. 

• 코드는 분석적 관찰을 포착하며, 보통 하나의 아이디어나 면만 가지고 있다. 코드로 구성된 테마는 다면 결정과 같다. 코드는 '코어', 즉 '에센스'를 가지고 있으며, 다양한 facet을 통해 분명하게 나타나고, 각각의 facet은 서로 다른 '에센스'를 표현한다.

• 데이터와 '밀접'하지만, 성찰적 TA의 테마는 코드보다 더 광범위하고 더 '추상적' 수준의 패턴을 반영하는 경우가 많다. 또한 연역적이라 하더라도 심층 분석 작업 전에 식별하기 어렵다.

In reflexive TA, codes and themes represent different levels of complexity: 

• codes capture analytic observations with usually just one idea or facet; themes, constructed from codes, are like multi-faceted crystals – they have a core, an ‘essence’, which is evident through different facets, each presenting a different rendering of the ‘essence’. 

• While staying ‘close to’ the data, themes in reflexive TA often reflect patterns at both a broader, and more ‘abstracted’ level than codes, and – even if deductive – are usually difficult to identify in advance of deep analytic work.

비록 TA에 대한 여러 접근방식이 의미론(표면, 명백, 명시적 의미)이나 잠재된(묵시적, 기본적 의미)과 같은 다른 유형의 코드를 인정하지만(Boyatzis 1998; Braun and Clarke 2006) – '데이터 포화 실험'에서 서로 다른 유형의 코드와 이것이 데이터 포화 측면에서 개념적으로 그리고 실질적으로 무엇을 의미하는지 논의하는 것은 드물다.

Although several approaches to TA acknowledge different types of code – such as semantic (surface, obvious, explicit meaning) or latent (implicit, underlying meaning) (Boyatzis 1998; Braun and Clarke 2006) – it is rare for ‘data saturation experiments’ to discuss different types of code and what this might mean, conceptually and practically, in terms of data saturation.

우리의 관점에서 보면, 이처럼 코드 (에 대한 명확한 정의를) '거부denial'하는 것은 명시적으로 언급된 내용에 기초하여, 여전히 이 추출물에 대한 상당히 시멘틱한 읽기semantic reading를 나타낸다. 안도, 커즌스, 영(2014, 5)이 제시한 상위 개념의 예로는 '증상에 대한 치료'와 '재발효'가 있었다. 다시 말하지만, 이것들은 여전히 semantic reading을 포착하는 것 같다. 이 논문들의 코드 예들은, 우리가 용어 설명 또는 의미론적인 것이 대부분이다. 이는 매우 '구체적인' 데이터를 시사하며, 데이터에 대한 상당히 표면적인 수준의 관여, 그리고 아마도 제한된 해석적 관여를 시사한다(Saunders et al. 2017).

From our perspective, this code ‘denial’ still represents a fairly semantic reading of this extract, based on explicitly stated content. The examples of higher-level concepts presented by Ando, Cousins, and Young (2014, 5) included ‘remedies for symptoms’ and ‘effect of relapse’. Again, these seem to capture a still-semantic reading of data. The code examples in these papers are, then, mostly what we would term descriptive or semantic. This suggests either very ‘concrete’ data, or a fairly surface- level engagement with the data, and perhaps limited interpretative engagement (Saunders et al. 2017).

[위치적이고 반사적인 해석]보다 [일관성과 합의]를 우선시하는 코딩 접근법에 대한 Morse(1997)의 비판은 여기에서 관련이 있다. 그녀는 그러한 접근방식은 피상적인 위험을 무릅쓴다고 주장했다: '그것은 통찰력으로부터 얻은 풍요로움이 모두 사라질 정도로 연구를 단순화시킬 것이다.' (모스 1997, 446년). 이러한 접근방식에서 데이터 '포화'가 촉진될 수 있지만, 분석, 해석 및 새로운 통찰력의 잠재력은 어떻게 보장되는가?

Morse’s(1997) criticism of a coding approach that prioritises consistency and consensus over situated, reflexive interpretation is relevant here. She argued such an approach risks superficiality: ‘it will simplify the research to such an extent that all of the richness attained from insight will be lost’ (Morse 1997, 446). Data ‘saturation’ might be facilitated in these approaches, but how are the analysis, interpretation and the potential for new insight potentially foreclosed?

상대적으로 적은 수의 인터뷰나 포커스 그룹에서 '데이터 포화'를 달성한다는 주장은 코딩에서 semantic focus을 사용하는 것뿐만 아니라, 디테일을 비교적 거친 수준에서 코딩하는 것 때문에도 촉진될 가능성이 있다.

Claims of achieving ‘data saturation’ in relatively small numbers of interviews or focus groups are likely facilitated not only by the use of semantic focus in coding, but also by coding at a relatively coarse level of detail.

테마가 개념화되는 방식도 '데이터 포화'가 식별될 수 있는 가능성(초기부터)에 극적으로 영향을 미칠 수 있다. 논의된 모든 논문이 테마의 example을 제공하는 것은 아니다. 그 중에서 테마는 주제 요약으로 개념화되는 경향이 있는데, 이 경우에 (테마는) 특정 주제나 인터뷰/포커스 그룹 질문과 관련하여 [참가자들이 종종 명시적인 수준에서 말한 범위의 요약]을 의미한다. 성찰적 TA에서 테마를 [코딩 이후 분석 과정에서 발전하면서 중심 개념에 의해 결합된 공유 의미 패턴]으로 개념화하는 방식과는 매우 다르다. 오히려 이것은 TA의 코딩 신뢰성 및 코드북 버전에서 테마가 개념화되는 방식과 적합하다(Braun and Clarke 2019; Braun et al. 2019 참조).

The way a theme is conceptualised can also dramatically impact the likelihood that ‘data saturation’ can be identified (early on). Not all of the papers discussed provide examples of themes. Of those that do, themes tend to be conceptualised as topic-summaries, by which we mean summaries of the range of things participants said, often at an explicit level, in relation to a particular topic or interview/focus group question. This is very different from how themes are conceptualised in reflexive TA – as patterns of shared meaning united by a central concept, developing out of the analytic process following coding (Braun and Clarke 2013, 2019; Braun, Clarke, and Rance 2014).But it does fit with the way themes are often conceptualised in coding reliability and codebook versions of TA (see Braun and Clarke 2019; Braun et al. 2019).

테마가 '분석적 투입'으로 개념화되고, (테마가) 분석 또는 테마 요약의 초기 단계에서, 아니 심지어는 분석이 있기 전에 개발된다면(이 경우에는 아마도 인터뷰 가이드에서 도출된 것일 수도 있음), 후속 데이터 수집이 테마에 코드를 추가 제공할지는 몰라도, (실질적으로) 테마는 이미 '포화'된 것이다. 그리고 실제로, 질문된 질문이 후속 주제의 기초로 사용된다면, 분석 과정에는 '데이터 포화'를 사실상 불가피하게 만드는 순환성이 있다.

With themes effectively conceptualised as analytic inputs, developed early in, or even prior to, the analysis, and/or as topic summaries (perhaps drawn from the interview guide), it seems likely to us that subsequent data collection may contribute additional codes to a theme (e.g. further instances of the ‘impact of MS’), but that possible or actual themes will ‘saturate’ early. And indeed, if questions asked are used as the basis for subsequent themes, there is a circularity to the analytic process that makes ‘data saturation’ virtually inevitable.

TA의 다른 버전: 데이터 포화도를 고려(및 거부)하는 것에 대한 의미

Different version of TA: implications for considering (and rejecting) data saturation

신뢰성 TA 코딩은 신뢰성 개념과 실증주의적 양적 패러다임이 중시하는 관찰의 객관성을 우선하는 확고한 신-실증주의 활동인 것 같다. TA의 핵심 초기 작가 중 한 명인 보야티스(1998)는 실증주의(양적)와 해석학(질적) 연구자의 가치 사이의 '격차'를 '연결시킬 수 있는' 접근법을 제시했지만, 우리에게 이것은 [해석적-질적]인 것이라기보다는 [신-실증주의]처럼 보인다.

Coding reliability TA seems to be a firmly neo-positivist activity, prioritising notions of reliability and objectivity of observation valued by positivist quantitative paradigms. Boyatzis (1998), one of the key early authors on TA, presented his (‘coding reliability’) approach as one that could ‘bridge the divide’ between the values of positivist (quantitative) and interpretative (qualitative) researchers, but it seems to us more neo-positivist than interpretative-qualitative.

이와는 대조적으로, 우리는 질적 패러다임의 가치와 감성을 반영하는 접근법으로서 TA를 명시적으로 개발했다; 우리는 이것을 강조하고, 명확하게 구별하기 위해 성찰적 TA라고 부른다(Braun과 Clarke 2019). 우리의 질적 관점에서 코딩의 품질은 '객관적' 합의에 의해 입증되지 않는다; (우리가 보기에) 코딩 신뢰성 측정은 기껏해야 코더가 코딩 계약의 측정을 용이하게 하도록 설계된 (흔히 거칠고 의미 있는) 코드를 사용하여 동일한 방식으로 코딩하도록 훈련되었음을 보여줄 뿐이다(Yardley 2008). 성찰적 TA에서 코딩 품질은 코더 간의 합의가 아니라 [데이터와의 결합 깊이], [situated, reflextive한 해석]에서 비롯된다. 그리고 코딩을 이렇게 [프로세스 기반의, 유기적인, 진화하는 것]으로 본다면 포화(특히 정보 중복으로 개념화)를 align하는 것은 어려운 일이 된다.

By contrast, we expressly developed TA as an approach embedded within, and reflecting the values and sensibility of, a qualitative paradigm; we now call it reflexive TA to emphasise this, and to clearly differentiate it (Braun and Clarke 2019). From our qualitative perspective, quality of coding is not demonstrated by ‘objective’ agreement; coding reliability measures at best demonstrate that coders have been trained to code in the same way using (often coarse and semantic) codes designed to facilitate the measurement of coding agreement (Yardley 2008). Coding quality in reflexive TA stems not from consensus between coders, but from depth of engagement with the data, and situated, reflexive interpretation. And this process-based, and organic, evolving orientation to coding makes saturation (especially conceptualised as information redundancy) difficult to align.

연구자들이 데이터가 포화 상태였다고 주장하기 위해서는 데이터에 머물reside 필요가 있는 것으로 보인다. 그리고 때로는 이 뜻이 상당히 자명한 것으로 취급되기도 한다. 데이터는 분석할 필요가 없을 수도 있다.

For researchers to claim the data were saturated, meaning seems to need to reside in data. And sometimes this meaning is treated as fairly self-evident. The data may not even need analysing,

의미를 이런 방식으로 개념화하면, 연구자는 [자료로부터 의미를 발굴하는] 고고학자와 같다. 데이터, 코드 또는 주제 포화는 '새로운 것은 없다'를 찾거나 찾을 수 있는 '새로운 것은 없다'를 결정하는 상상의 구체적인 근거가 있기 때문에 가능하다. 그러한 이해는 우리가 반사적인 TA의 가정과 양립할 수 없다고 주장하는 솔직한 현실주의 온톨로지(Simet al. 2018a)에 의존하는 것 같다.

This conceptualisation of meaning positions the researcher as an archaeologist, excavating meaning from data. Data, code or thematic saturation are possible because there is an imagined concrete basis for determining ‘nothing new’ to be sought/found. Such an understanding seems to rely on a straightforward realist ontology (Simet al. 2018a), which we argue is incompatible with the assumptions of reflexive TA.

TA에 대한 우리의 접근방식은 의미에 대한 완전히 다른 가정에 기초한다. 즉, 의미는 데이터에 내재되어 있거나 자명한 것이 아니며, 의미는 데이터의 교차점에 존재하며, 의미는 연구자가 해석적 실천을 할 때 수반되는 맥락적, 이론적 실천에 달려있다. 이 기준에서 새로운 의미는 (원론적으로는) 언제나 생겨날 수 있다(Low 2019; Sim et al. 2018a).

Our approach to TA is founded on entirely different assumptions around meaning – that meaning is not inherent or self-evident in data, that meaning resides at the intersection of the data and the researcher’s contextual and theoretically embedded interpretative practices – in short, that meaning requires interpretation. On this basis, new meanings are always (theoretically) possible (Low 2019; Sim et al. 2018a).

우리가 연구를 발견이 아닌 위치적이고 반사적이며 이론적으로 내재된 지식 생성이나 건설의 실천으로 개념화할 때, [새로운 이해나 통찰의 가능성은 언제나 존재한다](Mason 2010). 만약 우리가 풍부하고, 복잡하고, '지저분messy'한 데이터로 작업하고 있다면, 그것은 희망적으로 잠재력을 가지고 폭발할 것이다. 도전은 탐구할 대상을 선택하는 것이다. 우리는 '테마가 출현하지 않는다'고 훈계한 것으로 악명이 높아졌다(브라운과 클라크 2006) – 이것이 우리의 생각은 아니지만 반사적인 TA(브라운과 클라크 2016)에 대한 테마를 개념화하는 유일한 방법이라고 소리 높여 주장해 왔다.

When we conceptualise research as a situated, reflexive and theoretically embedded practice of knowledge generation or construction, rather than discovery, there is always the potential for new understandings or insights (Mason 2010). If we are working with rich, complex, ‘messy’ data, it will hopefully burst with potential. The challenge will be choosing what to explore. We have become infamous for admonishing that ‘themes do not emerge’ (Braun and Clarke 2006) – this is not our idea, but we have argued vocally that it is the only way to conceptualise themes for reflexive TA (Braun and Clarke 2016).

우리의 관점에서, 데이터 포화 지점을 예측하려는 시도는 (테마가 명백해지는) 인터뷰(또는 포커스 그룹)의 수와 직접적으로 연관될 수 없다. 왜냐하면 테마의 [의미]와 [의미있음]은 데이터 집합과 해석 과정으로부터 파생되기 때문이다. 더욱이, 테마는 서로 격리되어 존재하는 실체가 아니다; 테마는 더 넓은 이야기의 장이며, 다른 테마와 관련된 의미를 갖는다(Kerr, Nixon, Wild 2010; Sim 등. 2018a). 코드와 코딩은 마찬가지로 상황에 따라 다르며, 코드의 특정 인스턴스는 최소한 부분적으로 그 코드가 표현된 특정 컨텍스트에서 파생된다(Sim et al. 2018a 참조).

From our perspective, attempting to predict the point of data saturation cannot be straightforwardly tied to the number of interviews (or focus groups) in which the theme is evident, as the meaning and indeed meaningfulness of any theme derives from the dataset, and the interpretative process. Furthermore, themes are not entities that exist in isolation from one another; themes are chapters in a broader story, and have meaning in relation to other themes (Kerr, Nixon, and Wild 2010; Sim et al. 2018a). Codes and coding are likewise context dependent, and particular instances of codes derive at least in part from the particular context in which they are expressed (see Sim et al. 2018a).

더욱이 이러한 성찰적 유기적 과정에서는 분석이 결코 완전complete할 수 없다(Low2019). 코딩과 더 심층적 분석은 절대로 고정된 종결 지점에 도달하지 못한다. 그 대신, 연구자는 언제 코딩을 멈추고, 주제 형성으로 넘어갈지, 그리고 언제 주제 형성을 멈추고, 주제 간 관계를 그려내어 최종 보고서로 완성할지에 대해 [situated, interpretative한 판단]을 내릴 뿐이다. 그들은 또한 코딩과 테마 개발 사이에서 반복적으로 왔다 갔다 할 수 있다.

Furthermore, in this reflexive organic process, analysis can never be complete (Low2019). Coding and deeper analysis do not inevitably reach a fixed end point – instead, the researcher makes a situated, interpretative judgement about when to stop coding and move to theme generation, and when to stop theme generation and mapping thematic relationships to finalise the written report. They can also move back and forth recursively between coding and theme development.

따라서 성찰적 TA 연구자들이 데이터 포화라는 통속적인 개념을 사용한다면 '새로운 것은 없다'는 개념은 거의 말이 되지 않는다. 그러나 포화 상태를 탐구하거나 상상할 수 있는 유일한 방법은 아니다. 근거이론에서 이론적 포화도를 실용적 포화로서 재개념한 로우(2019)와 유사하게, 성찰적 TA 연구자에게 있어서 '포화'를 구성할 수 있는 것은 분석의 목적과 목적과 관련된 해석적 판단이다. 분석 전에 포화상태로 간주되는 것을 정의하는 것은 거의 불가능하다. 왜냐하면 우리는 분석을 하기 전까지는 우리의 분석이 어떻게 될 지 모르기 때문이다.

 So, if reflexive TA researchers use the popular concept of data saturation, the notion of ‘no new’ makes little sense. But that is not the only possible way saturation can be explored or imagined. Akin to Low’s(2019) re-conceptualisation of theoretical saturation in grounded theory as pragmatic saturation, what might constitute ‘saturation’ for reflexive TA researchers is an interpretative judgement related to the purpose and goals of the analysis.It is nigh on impossible to define what will count as saturation in advance of analysis, because we do not know what our analysis will be, until we do it.

이는 [샘플 크기를 미리 결정하는 것은 해석적인 형태의 정성적 연구에서는 본질적으로 문제가 있다]는 Simet al.(2018a)의 주장과 일치한다. 말테루드, 시에르마, 과소라의(2016) 정보력 개념information power(샘플이 더 목적적합한 정보를 보유할수록, 더 적은 참여자가 필요하다는 것)이 차라리 (실제적이면서도 실용적 측면 모두에서) [성찰적 TA에서 샘플 크기에 대한 정당성을 고려할 때] '데이터 포화'에 대한 유용한 대안을 제공하는 것 같다. 그 이름은 실증주의자로 장식된 문지기, 실증주의의 연구 관행을 완전히 탈피한 질적 연구자들에게는 충분히 융통성 있는 관행이 될 만큼 유혹적으로 구체화되어 있다(정보력에 대한 비판적인 논의는 그렇지만, Simet al. 2018a 참조).

This aligns with Simet al.’s(2018a) claim that determining sample size in advance is inherently problematic in more interpretative forms of qualitative research. Malterud, Siersma, and Guassora’s(2016) concept of information power – the more relevant information a sample holds, the fewer participants are needed – seems to offer a useful alternative to data saturation for thinking around justifications for sample size in reflexive TA, both actually and pragmatically. The name is seductively concrete enough for the positivist-inclined gatekeeper, the practice flexible enough for qualitative researchers who have fully divested their research practice of positivism(though for a critical discussion of information power, see Simet al. 2018a).

데이터 포화를 넘어 실용적 관행처럼 샘플링(최대한 많이)

Beyond data saturation: sampling as pragmatic practice (as much as anything)

많은 사람들에게, 질적인 표본 크기는 단지 설명에 불과한 것이 아니라, 수용가능성에 대한 약간의 보증수표이기도 하다. 우리는 TA에 대한 (즉, 많을 수록 좋다, 혹은 확률론적인 것이 최선이다와 같은) 표본 크기 논의에서 실증주의-경험주의가 여전히 남아 불안을 낳음을 느낀다

For many, qualitative sample size needs not just an explanation, but some warranty of acceptability. We detect the lingering presence of positivism around discussions of sample size in TA (Vasileiou et al. 2018) – large or probabilistic is best (Guest, Bunce, and Johnson 2006) – and a sense of lingering positivist-empiricist produced anxiety.

앞에서 언급한 바와 같이, 우리는 데이터 포화 개념이 종종 (더 실용적으로 결정된 표본 크기에 대하여) [수용 가능한 수사학적 정당성] 또는 [사후적 근거]로서 배치된다고 의심한다.

As we previously noted, we suspect the concept of data saturation is often deployed as post-hoc rationale or acceptable rhetorical justification of a more pragmatically determined sample size.

그렇다면, '데이터 포화' 말고는 무엇이 있는가? 질적 프로젝트에서 표본 크기를 결정하는 것은 종종 '실용적 실천'이라고 생각한다. 따라서 이것은 무엇이 수용가능하며, 무엇이 규범인지와 무관하지 않다. 좁은 맥락으로 보자면, 다음에 달려 있다.

• 학문분야

• 특정 저널의 검토자 및 편집자

• 특정 펀딩 기구

• 논문의 외부 심사원

• 프로젝트의 시간 또는 재정적 제약 

• 연구 설계 또는 분석 방법과는 별개의 다른 많은 요소

So, if not data saturation, then what? Determining sample size in qualitative projects is, we suspect, often a pragmatic exercise – not disconnected from what is acceptable or normative: in the local context; 

• in the discipline; 

• to the reviewers and editor of a particular journal; 

• to a particular funding body; 

• to external examiners for a thesis; 

• within the time or financial constraints of a project; and 

• many other factors separate from research design or analytic method.

표본 크기는 ['게이트키퍼'가 어떤 연구를 허용한다고 생각하는지에 대한 연구자의 인식과 예상]에 따라서도 달라질 것이다. 여기에는 최소 표본 크기를 설정한 [편집자 지침]과 같은 것들이 있다. 경험이 풍부한 질적 연구자들은 자신의 전문지식에 기초하여 표본 크기에 대한 자체 'rules of thumb'을 개발했을 수 있지만, 적어도 실용적인 고려사항에 의해서도 부분적으로나마 영향을 받을 것이다. 우리는 확실히 우리 자신의 경험 법칙을 가지고 있고 샘플링에 관한 실용적인 결정을 한다.

Sample size can be determined by a researcher’s perception of what research ‘gatekeepers’ will deem acceptable – and things like editor guidelines which set expected or minimum sample sizes feed this practice. Experienced qualitative researchers may have developed their own ‘rules of thumb’ for sample size (Malterud, Siersma, and Guassora 2016), based on their own expertise, but likely also at least partly informed by such pragmatic considerations. We certainly have our own rules of thumb and make pragmatic decisions around sampling.

우리가 질적 연구를 위해 어떻게 샘플을 추출할 것인지에 대한 실용주의적 성격pragmatic nature이 우려의 원인인가? 우리는 연구란 실용주의적 활동으로 인식하는 것이 중요하다고 생각한다(그린과 소로고우드 2004; 오렐리와 파커 2012). 왜냐하면 연구는 언제나 연구자가 이용할 수 있는 시간과 자원에 의해 형성되고 제약받기 때문이다. 질적 표본 크기에 대한 '불안감'은 우리에게 반향을 불러일으킬 만한 것이 아니다. 우리(저자들)는 표본 크기를 결정하는 것이 해석적이고 위치적이며 실용적인 판단의 혼합에 의존하는 것이라는 qualitative landscape에 편안함을 느낀다(Sandleowski, 1995; Sim et al. 2018a).

Is the pragmatic nature of how we might sample for qualitative research a cause for concern? We think it is important to recognise research as nearly always a pragmatic activity, shaped and constrained by the time and resources available to the researcher (Green and Thorogood 2004; O’Reilly and Parker 2012), as much as it is also shaped by other things. An ‘anxiety’ around, perhaps obsession with, qualitative sample size in some quarters is not something that resonates for us – we are comfortable dwelling in a qualitative landscape in which determining sample size relies on a mix of interpretative, situated and pragmatic judgement (Sandleowski, 1995; Sim et al. 2018a).

그러나 예를 들어, 연구 제안, 윤리 또는 자금 지원의 경우 샘플 크기를 미리 결정할 필요가 있는 경우가 많이 존재한다. 그러한 상황에서 성찰적 TA 연구자들은 그들의 연구의 다음과 같은 교차점에 대해 성찰할 것을 제안한다. 

• 연구 질문의 범위와 초점 

• 사용할 데이터 수집 방법 및 모드 

• 모집단 내 또는 표본의 원하는 다양성 내 신원 기반 다양성 

• 데이터에서 경험적 또는 관점의 다양성 

• 참가자에게 부과되는 요구 

• 각 참가자 또는 데이터 항목에서 생성될 수 있는 데이터의 깊이 

• 학문분야를 비롯한, 지역적 맥락에서의 기대 

• 프로젝트의 범위 및 목적 

• 프로젝트의 실용적 제약. 

• 반사적 TA의 분석 목표와 목적

However, there is often a practical need to determine sample size in advance – for a research proposal, ethics or funding application, for instance. In such circumstances, we suggest reflexive TA researchers reflect on the following intersecting aspects of their research: 

• the breadth and focus of the research question; 

• the methods and modes of data collection to be used; 

• identity-based diversity within the population or the desired diversity of the sample; 

• likely experiential or perspectival diversity in the data; 

• the demands placed on participants; 

• the depth of data likely generated from each participant or data item; 

• the expectations of the local context including discipline; 

• the scope and purpose of the project; 

• the pragmatic constraints of the project; and 

• the analytic goals and purpose of their reflexive TA.

그런 다음 [관심 현상과 관련된 풍부하고 복잡하며 다면적인 패터닝에 대한 이야기를 들려주기 위하여] 예상되는 적절한 양의 필요 데이터를 생성하는 임시적, 예측적 하한 및 상한 표본 크기 또는 범위를 '게스티메이트'할 것을 제안한다(Sim et al. 2018a). 그런 다음 연구자는 [연구 질문을 다루는 데이터의 적절성(부유성, 복잡성)에 따라 형성된] 최종 표본 크기에 대한 현실적인 결정을 내려야 한다(관련 연구의 게이트키퍼에게 표본 크기 수용성을 '인정'받을 수 있는 정도). 이러한 결정은 데이터 수집 과정과 데이터 품질을 검토하는 과정에서 내려지는 것이며, 샘플 크기만이 유일하게 작동하는 요인이 아니라는 것을 인식해야 한다.

We suggest then guestimating a provisional, anticipated lower and/or upper sample size or range that will potentially generate adequate data to tell a rich, complex and multi-faceted story about patternings related to the phenomena of interest (Sim et al. 2018a). Researchers should then make an in-situ decision about the final sample size, shaped by the adequacy (richness, complexity) of the data for addressing the research question (but with a pragmatic ‘nod’ to sample size acceptability to the relevant research gatekeepers). Such decisions could and should be made within the process of data collection, reviewing data quality during the process – and recognising that sample size alone is not the only factor at play.

데이터 포화 및 TA 중 어느 쪽인가?

Whither data saturation and TA?

여기서 우리는 데이터 포화도가 결코 타당하지도, 유용한 개념이 아니라는 주장을 하려는 것이 아니다.

Our point here is not that data saturation is never valid and never a useful concept.

그러나 데이터 포화만이 샘플 크기에 대한 유일한(valid or invalid의) 근거는 아니다(TA 연구). 그리고 성찰적 TA의 경우, 데이터 포화도는 편리할 수도 있지만, 어떤 때는 매우 어색할 수도 있어서, 차라리 피하는 것이 가장 나을 수도 있다.

But data saturation is not the only (valid or invalid) – or indeed the best – rationale for sample size (in TA research). And for reflexive TA, data saturation is an awkward if at times convenient bedfellow, though one perhaps best avoided.

그러나 우리는 저자들이 데이터 포화 상태에 도달했는지, 언제, 어떻게 도달했는지, 표본 크기가 결정되었는지에 대한 설명을 계속 요구받을 것이라는 것을 알고 있다. 그리고 TA, 표본 크기 및 데이터 포화 문제에 대한 명확한 해답은 계속 추구될 것이다.

But we know that authors will continue to be asked to explain whether, when, and how data saturation was reached, or the sample size was determined. And that definite answers to questions of TA, sample size and data saturation will continue to be sought.

우리는 미래에 데이터(그리고 의미) 포화 '실험'을 할 연구자들에게, 다음을 정의하거나 제공하도록 권장한다.

we encourage authors of any future data (and meaning) saturation ‘experiments’ to define or provide the following:

● 그들의 포화 개념화

● 실험에 사용한 TA 유형 – 코딩 신뢰성, 코드북 및 반사성 TA(Braun et al. 2019)는 차별화를 위한 한 가지 방법이다.

● 연구에서의 패러다임, 존재론 및 인식론적 가정.

● 코드 및 테마에 대한 정의(다음 포함):

○ 테마를 구성하는 요소 결정 기준

○ 코드북의 예(사용되는 경우)

○ 코드 및 테마 예

● Their conceptualisation of saturation.

● The type of TA they used for the experiment – our typology of coding reliability, codebook and reflexive TA (Braun et al. 2019)isone way to differentiate.

● The paradigmatic, ontological and epistemological assumptions in their research.

● Their definitions of a code and a theme, including:

○ Their criteria for determining what constitutes a theme

○ Examples from their codebook, if used

○ Examples of codes and themes

이러한 설명으로부터 독자들은 무엇이 코드와 테마를 구성하고, 특정한 유형의 코드와 테마(예: 구체적 대 개념적 코드)에 대한 저자의 이해를 공유하는지 스스로 판단할 수 있다.

Readers can then judge for themselves if they share the authors’ understanding of what constitutes a code and a theme, and particular types of code and theme (e.g. a concrete versus a conceptual code).

● 실험에 사용된 수치 기준의 정당화(예: 정지 기준으로서 10 + 3의 이유, 주제 포화도를 결정하는 주제의 세 가지 인스턴스?

● Justifications of any numerical criteria used in the experiment (e.g. why 10 + 3 as the stopping criteria, why three instances of a theme to determine thematic saturation?).

그러한 정보를 제공하면 독자들이 의미 있는 지식과 지식 생산에 대한 저자의 패러다임 및 인식론적 가정을 공유하는지 여부와 특정 맥락에서 자신의 TA 사용에 대한 '몇 개'에 대한 지침을 안전하게 '전송'할 수 있는지 판단하는 데 도움이 될 것이다.

Providing such information will help readers to determine if they share the authors’ paradigmatic and epistemological assumptions about meaningful knowledge and knowledge production, and whether they can safely ‘transfer’ the guidance around ‘how many’ to their own use of TA, in their particular context.

결론

Conclusion

우리는 이 논문이 포화, 코드, 테마와 같은 용어나 개념은 매우 다른 의미를 가질 수 있으며 표면적으로 동일한 방법(TA) 내에서조차 상당히 다른 방식으로 배치될 수 있다는 것을 보여주었기를 바란다. 이는 TA(Braun and Clarke 2019)를 설명하고, 샘플 크기 정당성을 위해 포화 상태(무엇이든)를 고려해야 하는지를 평가할 때 어떤 요소가 작용하고 있는지 생각할 때 주의와 반사성이 필요하다는 점을 강조한다.

We hope this paper has demonstrated that the same term or concept – here: saturation, code, theme – can have very different meanings, and they can be deployed in quite different ways, even within what is ostensibly the same method (TA). This highlights the need for care and reflexivity in describing – and doing – TA (Braun and Clarke 2019), and in thinking about what elements are at play when evaluating whether saturation (whatever that is) should be considered for sample size justification.

논문의 제목에서 제기되는 질문을 다루기 위해: 포화상태에 빠트릴 것인가, 아니면 포화상태에 빠트리지 않을 것인가?

To address the question posed in the title of the paper: to saturate or not to saturate?

우리의 답은 '그때그때 다르다'이고, 당연히, 어떤 경우에는 '포화하지 않을 것이다'가 답이 될 수 있다.

our answer – it depends, of course, but often no

데이터 포화란 일반적으로 대체로 현실주의적, 발견지향적(코딩 신뢰성 또는 코드북) TA에 대해 일관된 개념이다. 단, 거기에서도 데이터 포화 개념의 정의와 결정방법에 대해서는 보다 정밀도가 필요하다.

Data saturation is a concept generally coherent for broadly realist, discovery-oriented (coding reliability or code- book) types of TA. However, even there, more precision is needed in how the concept of data saturation is defined and determined

그러나 성찰적 TA에 대해서는 데이터 포화도가 특별히 유용하거나 이론적으로 일관성이 있는 개념은 아니다.5 정보력과 같은 다른 개념들은 데이터 샘플을 통해 보다 유용한 사고 방식을 제공할 수 있다. 그러나 우리는 데이터 포화도가 연구 게이트키퍼를 달래기 위해 실용적으로 배치하도록 선택한 개념일 수도 있고, 또는 필요할 수도 있다는 것을 인지한다.

But when it comes to reflexive TA, data saturation is not a particularly useful, or indeed theoretically coherent, concept.5 Other concepts – like information power – can offer a more useful way of thinking through data samples. But we recognise that data saturation might be a concept reflexive TA researchers pragmatically chose to deploy to appease research gatekeepers, or might be required to.

그러나 그렇게 함으로써 그들은 (그리고 우리는) 보다 일반적으로 질적 연구를 위한 중요한 근거와 실천으로서 데이터 포화라는 신화를 영속시키는 데 복잡하게 된다. 성찰적 TA가 '통과'하기 위해 데이터 포화를 입증하도록 요구받는다면, 우리는 연구자들에게 그러한 주장을 비판적으로 논평하거나, 그것에 대한 약간의 정당성을 제공하도록 권장한다.

In doing so, they (and indeed we) are, however, complicit in perpetuating the myth of data saturation as a vital rationale and practice for qualitative research more generally. If a claim of data saturation must be deployed for reflexive TA to ‘pass go’, we encourage researchers to critically comment on this, or provide some justification for it.

Braun, V., and V. Clarke. 2016. “(Mis)conceptualising Themes, Thematic Analysis, and Other Problems with Fugard and Potts’ (2015) Sample-size Tool for Thematic Analysis.” International Journal of Social Research Methodology 19 (6): 739–743. doi:10.1080/13645579.2016.1195588.

Low, J. 2019. “A Pragmatic Definition of the Concept of Theoretical Saturation.” Sociological Focus 52 (2): 131–139. doi:10.1080/00380237.2018.1544514.

Sim, J., B. Saunders, J. Waterfield, and T. Kingstone. 2018a. “Can Sample Size in Qualitative Research Be Determined Apriori?” International Journal of Social Research Methodology 21 (5): 619–634. doi:10.1080/13645579.2018.1454643.

---

ABSTRACT

The concept of data saturation, defined as ‘information redundancy’ or the point at which no new themes or codes ‘emerge’ from data, is widely referenced in thematic analysis (TA) research in sport and exercise, and beyond. Several researchers have sought to ‘operationalise’ data saturation and provide concrete guidance on how many interviews, or focus groups, are enough to achieve some degree of data saturation in TA research. Our disagreement with such attempts to ‘capture’ data saturation for TA led us to this commentary. Here, we contribute to critical discussions of the saturation concept in qualitative research by interrogating the assumptions around the practice and procedures of TA that inform these data saturation ‘experiments’, and the conceptualisation of saturation as information redundancy. We argue that although the concepts of data-, thematic- or code-saturation, and even meaning-saturation, are coherent with the neo-positivist, discovery-oriented, meaning excavation project of coding reliability types of TA, they are not consistent with the values and assumptions of reflexive TA. We encourage sport and exercise and other researchers using reflexive TA to dwell with uncertainty and recognise that meaning is generated through interpretation of, not excavated from, data, and therefore judgements about ‘how many’ data items, and when to stop data collection, are inescapably situated and subjective, and cannot be determined (wholly) in advance of analysis.

KEYWORDS: Codebook, coding reliability, data adequacy, information power, information redundancy, interpretation, meaning, reflexive, sample, theoretical saturation