불만족한 포화: 질적연구에서 포화된 샘플 크기에 대한 비판적 탐색(Qualitative Research, 2012)

불만족한 포화: 질적연구에서 포화된 샘플 크기에 대한 비판적 탐색(Qualitative Research, 2012)
‘Unsatisfactory Saturation’: a critical exploration of the notion of saturated sample sizes in qualitative research
Michelle O’Reilly University of Leicester, UK
Nicola Parker Birmingham and Solihull Mental Health Foundation Trust, UK

 

 

서론
Introduction

우리의 논문은 최근에 출판을 위해 동료 검토를 받았고 피드백의 많은 부분이 건설적이고 공정했지만, 그것에 대한 비판 중 하나는 우리가 [샘플의 포화]를 언급하지 않았다는 것이다. 자세히 살펴본 결과, 그러한 세부 사항에 대한 요청은 저널 자체의 품질 기준에 포함되었습니다. 검토 중인 논문은 대화 분석 방법을 사용했기 때문에 우리는 모든 질적 조사에 대한 일반적인 요구 사항에 동요했다. 이에 대한 우리의 설명은 [서로 다른 질적 관점이 품질 보증을 위한 서로 다른 지표를 가지고 있으며], 이러한 점에서 [일부 질적 접근 방식]은 [표본 크기 적정성을 위한 지표]로서 [포화]에 의존하지 않는다는 것이다. 또한, [포화] 개념은 원래 구체적이고 이론 중심적인 의미를 가진 [근거 이론]과 결부되어 있었으며, 이것이 다른 질적 접근에 유용하게 번역되었지만, 모든 경우에 그것을 부과하는 것은 적절하지 않다. 이론적/주제적/데이터 포화에 대한 가치가 증가하고 있기 때문에 이 문제는 면밀한 검토가 필요하다고 생각합니다. 따라서 이 글에서 우리는 이 개념을 둘러싼 논쟁을 분리하고 토론을 더 개방하고 복잡성의 일부를 해명하는 데 도움이 될 수 있는 비판적인 평가를 제공하는 것을 목표로 한다.

A paper of ours was recently peer reviewed for publication and while much of the feedback was constructive and fair, one of the criticisms of it was that we had failed to mention saturation of the sample. On closer inspection the request for such detail was embedded in the journal’s own quality criteria. The paper under review had utilised the conversation analytic method and we were thus perturbed by this generic requirement for all qualitative inquiry. Our reasoning for this is that different qualitative perspectives have different indices for quality assurance and in this respect some qualitative approaches do not rely on saturation as a marker for sample size adequacy. Furthermore, the notion of saturation was originally tied to grounded theory with a specific and theory driven meaning, and while this has been helpfully translated for other qualitative approaches it is not appropriate to impose it in all instances. Because of the increasing value being placed on theoretical/thematic/data saturation we believe this issue requires closer examination. In this article, therefore, we aim to disentangle the debates surrounding this notion and provide a critical evaluation that will hopefully lead to opening up the debate further and to help demystify some of the complexities.

질적 연구의 품질 기준
Quality criteria in qualitative research

만약 우리가 '모든 것에 맞는 하나의 크기' 해결책의 유혹에 굴복한다면, 우리는 꼬리(체크리스트)가 개(질적 연구)를 흔들고 있는 상황에 빠질 위험이 있다. (바버, 2001: 1115)

If we succumb to the lure of ‘one size fits all’ solutions we risk being in a situation where the tail (the checklist) is wagging the dog (the qualitative research). (Barbour, 2001: 1115)

정성적 방법론적 논의에서, 문헌은 모든 정성적 연구에 일반적 품질 기준이 있어야 하는지에 대한 논쟁으로 가득 차 있다(Caeelli et al., 2003; Mays and Pope, 2000; Tracy, 2010). 품질기준 체크리스트가 질적 조사의 타당성에 대한 신뢰도를 높이고 질적 방법을 일반적으로 더 폭넓게 수용하는 데 기여했다는 것은 인정되지만, 이를 규범처럼 따를 경우 역효과를 낼 수 있다(Barbour, 2001). 바버는 다양한 기준을 무비판적으로 채택하는 것 자체가 엄격함과 동일하지 않다고 주장한다. 또한 질적 연구의 질적 수준은 매우 다양하기 때문에 측정할 수 있는 단일한 방법이 없다(Guba and Lincoln, 2005; Mays and Pope, 2000). 따라서 [모든 정성적 접근법에 적용할 수 있는 품질 기준을 개발하려고 시도하는 것은 문제가 있다]고 주장하는데, 이는 정성적 작업의 영향을 받는 광범위한 방법론을 존중하지 않으며, 이로 인해 각 접근 방식은 다음과 같은 품질 지표에 대해 특이적으로 평가되어야 하기 때문이며, 이것이 질적 연구의 인식론적 기원과도 부합한다(Caeelli et al., 2003).

Within qualitative methodological discussions, the literature is littered with debates about whether there should be generic quality criteria for all qualitative research (Caelli et al., 2003; Mays and Pope, 2000; Tracy, 2010). While it is accepted that quality criteria checklists have contributed to increased confidence in the validity of qualitative inquiry and the wider acceptance of qualitative methods generally, these can be counterproductive if followed prescriptively (Barbour, 2001). Barbour argues that an uncritical adoption of a range of criteria does not in itself equate with rigour. Furthermore, there is no singular way to measure the quality of qualitative research because it is so diverse (Guba and Lincoln, 2005; Mays and Pope, 2000). It is argued, therefore, that it is problematic to attempt to develop quality criteria applicable to all qualitative approaches as this would not respectfully value the wide range of methodologies that fall under the rubric of qualitative work and because of this each approach should be idiosyncratically evaluated against quality markers that are congruent with their epistemological origins (Caelli et al., 2003).

모든 정성적 접근법과 잠재적으로 관련이 있는 품질 영역이 있으며, 트레이시(2010)는 그러한 8개의 보편적 품질 마커를 주장하지만, 다른 마커는 포괄적 접근법에 적합하지 않다. 문헌에서 혼란스러워진 것으로 보이는 그러한 문제 중 하나는 표본 추출, 특히 포화 개념과 관련이 있다. [포화]는 샘플의 다양성이 결정되는 금본위제가 된 것 같다(Guest et al., 2006). 그러나 포화는 여러 가지 의미와 제한된 투명성을 가지고 있다. 질적 연구의 [질적 방어가능성]은 상당 부분 조사 결과의 [전달가능성을 위한 깊이와 최대 기회를 제공해야 하는 [표본 추출 적정성]과 관련이 있다(Spencer 등, 2003).

While there are areas of quality that potentially relate to all qualitative approaches, and Tracy (2010) argues for eight such universal quality markers, other markers are less suitable for a blanket approach. One such issue that seems to have become confused in the literature relates to sampling, particularly the notion of saturation. Saturation seems to have become the gold standard against which the diversity of samples is determined (Guest et al., 2006) and yet saturation has multiple meanings and limited transparency. Defensibility of the quality of qualitative research, to a considerable extent, relates to sampling adequacy that should provide depth and maximum opportunity for transferability of findings (Spencer et al., 2003).

샘플링 및 포화 개념
Sampling and the concept of saturation

[표본 추출]은 연구자들이 프로젝트의 성공을 결정하기 위한 핵심 관심사이며 지속적인 검토가 필요하다(Tucket, 2004). 질적 연구에서 [응답자 선정]은 의견이나 사람을 세는 것이 아니라, [의견의 범위와 이슈의 다른 표현을 탐구하는 것]이 목적이기 때문에 정량적 표본 추출 절차를 따를 수 없다(Gaskell, 2000). 따라서 질적 연구에서의 표본 추출은 [정보의 풍부성]과 관련이 있으며(Kuzel, 1992), 따라서 필요한 참가자 수는 주제의 성격과 이용 가능한 자원에 따라 달라진다(Gaskell, 2000). 정성적 연구에서 표본 추출 방법을 안내하는 두 가지 주요 고려사항이 있는데, 적합성appropriateness과 적절성adequecy이다(Morse and Field, 1995). 따라서 연구자는 표본 추출에 대한 접근 방식에 있어 실용적이고 유연해야 하며 적절한 표본 크기는 연구 질문에 충분히 답할 수 있는 크기여야 한다고 주장한다(Marshall, 1996).
Sampling is a core concern for researchers to determine the success of a project and continual examination is required (Tucket, 2004). In qualitative research the selection of respondents cannot follow the procedures of quantitative sampling because the purpose is not to count opinions or people but explore the range of opinions and different representations of an issue (Gaskell, 2000). Thus, sampling in qualitative research is concerned with the richness of information (Kuzel, 1992) and the number of participants required, therefore, depends on the nature of the topic and the resources available (Gaskell, 2000). There are two key considerations that guide the sampling methods in qualitative research, appropriateness and adequacy (Morse and Field, 1995). It is argued, therefore, that the researcher should be pragmatic and flexible in their approach to sampling and that an adequate sample size is one that sufficiently answers the research question (Marshall, 1996).

이러한 의미에서 (질적연구의) 연구자는 [일반화 가능성]을 추구하지 않으며, 표본 크기가 아니라 [표본 적합성sample adequecy]에 더 중점을 둔다(Bowen, 2008). Bowen은 표본 추출의 적절성adequecy은 포화에 도달했다는 증명과 관련이 있으며, 이는 [정보의 깊이]는 물론 [정보의 폭]이 달성된다는 것을 의미한다. 질적 연구자들은 종종 포화 개념을 기반으로 표본의 적절성과 관련된 결정을 내린다. 그러나, 연구자들에 의해 포화도가 이해되고 활용되는 방법의 발전이 있었다. 그 결과, 포화도가 무엇을 의미하는지, 포화도를 어떻게 사용해야 하는지, 언제 적용할 수 있는지에 대한 혼란이 생겼다.
In this sense then generalizability is not sought by the researcher and the focus is less on sample size and more on sample adequacy (Bowen, 2008). Bowen argues that adequacy of sampling relates to the demonstration that saturation has been reached, which means that depth as well as breadth of information is achieved. Qualitative researchers often make decisions related to the adequacy of their sample based on the notion of saturation. There has been, however, a development of the ways in which saturation is understood and utilised by researchers. The consequence of this has been that there is now some confusion in terms of what saturation means, how it should be used and when it is applicable.

포화의 역사
History of saturation

[포화]에는 다양한 형태가 있으며, 원본은 근거 이론의 접근 방식으로 개발된 [이론적 포화]이다(Guest et al., 2006). 다른 정성적 방법에 대한 개념의 다른 변형으로는 데이터 포화(Francis et al., 2010; Guest et al., 2006), 주제 포화(Guest et al., 2006) 및 일부 경우에는 단순 포화(Starks and Trinidian, 2007)가 있다. 이러한 용어(Guest et al., 2006)를 둘러싼 약간의 확산과 모호함이 있지만, 그것들은 뚜렷한 의미를 가지고 있으며 일반적으로 모든 정성적 방법에 적용된다. 그러나 일반적으로 [주제/데이터 포화]는 [새로운 정보가 생성되지 않을 때까지 데이터가 계속 수집되어야 한다]는 의미로 간주된다(Green and Thorogood, 2004). 즉, 데이터에 놀라움이 적고 더 이상 새로운 패턴이 나타나지 않는 시점(Gaskell, 2000). 이것은 근거 이론가들이 사용하는 포화 형태인 [이론적 포화]와는 상당히 다르다.
There are various forms of saturation, with the original being theoretical saturation developed in the approach of grounded theory (Guest et al., 2006). Other variations of the concept for other qualitative methods include, data saturation (Francis et al., 2010; Guest et al., 2006), thematic saturation (Guest et al., 2006) and in some cases simply saturation (Starks and Trinidad, 2007). While there is some diffusion and vagueness surrounding these terms (Guest et al., 2006) they do have distinct meanings and are typically applied to all qualitative methods. Generally, however, thematic/data saturation are normatively taken to mean that data should continue to be collected until nothing new is generated (Green and Thorogood, 2004); the point at which there are fewer surprises and there are no more emergent patterns in the data (Gaskell, 2000). This is quite different to theoretical saturation, the form of saturation used by grounded theorists.

[이론적 포화]라는 근거 이론 내에서 개척된 포화라는 원래 의미는 현재 연구에서 여전히 이 접근법 내에서 사용되고 있으며 그 중심적 중요성을 유지하고 있다. 근거이론에서 포화 개념은 새로운 아이디어가 나오지 않는 시점을 가리키는 것이 아니라,

• 범주가 완전히 설명되고,
• 범주의 variability이 설명되며,
• 범주의 관계가 검증되고, 따라서
• 이론이 나타날 수 있다는 것을 의미한다(Green and Thorogood, 2004).

이는 그들이 [(사회적 과정이) 발생한 환경에서 연구되는 사회적 과정에 대한 설명 이론을 개발하는 것]을 목적으로 하는 인식론적 입장과 근거이론의 목표와 일치한다(Glaser and Strauss, 1967; Starks and Trinidate, 2007).
The original meaning of saturation pioneered within grounded theory, of theoretical saturation, is still used within this approach in current work and has retained its central importance. In grounded theory the notion of saturation does not refer to the point at which no new ideas emerge, but rather means that

• categories are fully accounted for,
• the variability between them are explained and
• the relationships between them are tested and validated and
• thus a theory can emerge (Green and Thorogood, 2004).

This is congruent with the underpinning epistemological position and the goals of grounded theory, which are to develop an explanatory theory of the social processes that are studied in the environments in which they have taken place (Glaser and Strauss, 1967; Starks and Trinidad, 2007).

포화에 적용된 다른 의미들, 시간에 따른 의미들의 변화들, 그리고 새로운 의미들의 일반적인 수용에도 불구하고, 그것은 실질적인 적용과 보급의 투명성 측면에서 상당한 영향을 미치고 어느 정도 논쟁을 불러 일으켰다. 우리는 [한 가지 형태의 포화만을 품질 지표로 사용하는 균일한 수용]이 [상당한 단점]을 가지고 있다는 것을 인식하고 있지만, 우리는 그 사용을 보장하는 접근 방식에 대해 [투명한 실천]에 대한 책임이 있다는 것에 주목하고, 따라서 포화에 대한 문제 있는 기대치에 대한 논의에 앞서 이러한 중요한 논쟁을 먼저 탐구한다.

Despite the different meanings that have been applied to saturation, the changes of those meanings over time and the general acceptance of the new meaning, it has significant influence and has attracted some debate in terms of its practical application and transparency in dissemination. While we recognize that uniform acceptance of using one form of saturation as a quality marker has considerable drawbacks, we note that for those approaches that warrant its use, there is an onus on transparent practice and, thus, prior to discussions regarding problematic expectations of saturation we explore these important debates first.

품질 및 투명성
Quality and transparency

질적 연구에서 [투명성]은 품질의 인정된 마커이다(Spencer 등, 2003). 즉, 데이터 수집 방법에 대한 충분한 세부 정보가 포함되어야 한다(Meyrick, 2006). 정성적 연구에서 [표본 크기의 충분성]은 [빈도]보다는 [데이터 깊이]에 의해 측정되므로 표본은 [연구 주제를 가장 잘 대표하는 참여자]로 구성되어야 한다(Morse et al., 2002). 일부 정성적 작업의 목적은 일반화 가능성 또는 전달 가능성을 갖는 것이므로 표본 크기가 중요하다(Onwuegbuzie, 2003). Corpus는 다양한 경험을 포착할 수 있을 만큼 충분히 커야 하지만 반복적일 정도로 커서는 안 되며, 일반적인 지침 원리는 포화이다(Mason, 2010). 특히 문헌 내에서 포화 샘플의 개념은 품질의 지표로 사용되는 경향이 있지만(Guest et al., 2006), 샘플 크기의 적절성과 관련하여 [투명성]만으로는 일반적으로 보급에 불충분하다는 주장이 제기되었다(Bowen, 2008). 보웬은 연구자들이 포화가 어떻게 결정되었는지에 대한 세부 사항을 얼버무리는 경향이 있었다고 주장한다.
In qualitative research transparency is a recognized marker of quality (Spencer et al., 2003), which means that sufficient detail should be included about how the data were collected (Meyrick, 2006). Within qualitative research, sufficiency of sample size is measured by depth of data rather than frequencies and, therefore, samples should consist of participants who best represent the research topic (Morse et al., 2002). The aim of some qualitative work is to have generalizability or transferability and, thus, sample size is important (Onwuegbuzie, 2003). The corpus needs to be large enough to capture a range of experiences but not so large as to be repetitious, and the common guiding principle is saturation (Mason, 2010). Notably, within the literature the notion of saturated samples tends to be used as an indication of quality (Guest et al., 2006), and yet it has been argued that transparency, with regards to adequacy of sample sizes, is generally inadequate in dissemination (Bowen, 2008). Bowen argues that researchers have tended to gloss over the details about how saturation was determined.

그러나 연구 커뮤니티가 활용할 수 있는 제한된 가이드라인(Francis et al., 2010; Ziebland and McPherson, 2006)과 용어의 의미가 다르다는 점에서 투명성 달성은 연구자들에게 복잡한 요구 사항이다. 포화상태에 대한 지침의 필요성과 관련하여 중요한 두 가지 영역이 있다.

• 첫째, 설계 단계에서 제안된 표본 크기를 미리 명시하는 것이 계획, 자금 조달 및 윤리적 검토를 위한 점점 더 일반적인 요구 사항이 되고 있다. 연구자들이 표본 크기 충분성에 대한 제안을 꺼리고(Mason, 2010) 일부 접근 방식에서 선행 추정은 부적절하다는 점을 감안할 때 이는 잠재적으로 문제가 될 수 있다(Morse, 1995).
• 둘째, 포화상태에 이르렀을 때를 보여주기 위한 실질적인 지침이 제한적이다(Bowen, 2008; Guest et al., 2006). 이는 연구자와 검토자가 언제 포화 상태에 도달했는지 결정하기 위해 [사용할 수 있는 원칙]에 대해 연구 커뮤니티가 어떻게 합의할 수 있는지, 그리고 독자에게 투명한 방식으로 판단을 가장 잘 방어할 수 있는 방법에 대한 질문을 유발한다(Francis et al., 2010). 이는 실제로 연구자들이 [표본 적정성]보다는 [자원이 제한되고 시간과 돈에 의해 주도될 때 모집을 중단하는 경우]가 많다는 점을 감안할 때 특히 중요하다(Green and Thorogood, 2004).

Achieving transparency is, however, a complex requirement for researchers given that there are limited guidelines for the research community to utilise (Francis et al., 2010; Ziebland and McPherson, 2006) and differing meanings of the term. There are two areas of importance in relation to the need for guidance about saturation.

• First, it is becoming an increasingly common requirement at the design stage, for planning, funding and ethical review, to state in advance the proposed size of the sample. This is potentially problematic given that researchers shy away from making suggestions about sample size sufficiency (Mason, 2010) and in some approaches a priori estimations are inappropriate (Morse, 1995).
• Second, there is limited practical guidance or help to show researchers when saturation has been reached (Bowen, 2008; Guest et al., 2006). This prompts questions about how the research community might agree on principles that researchers and reviewers can use to determine when saturation has been reached and how to best defend judgements in a way that is transparent to readers (Francis et al., 2010). This is particularly important given that in reality, researchers often stop recruitment when resources become limited and are driven by time and money, rather than sample adequacy (Green and Thorogood, 2004).

흥미롭게도, 질적 작업에서는 종종 [어떻게 또는 왜 포화를 달성하였는지]에 대해서 [독자]가 [투명성이 거의 없는 방법론이나 증거]를 생성하기 위해 데이터 수집과 분석을 풀어내야 한다(Caeelli 등, 2003). 이는 16개월 동안 18개의 기사가 포화에 대해 언급했지만, 그 중 어느 것도 그것이 어떻게 달성되었는지에 대해 투명하지 않다는 것을 발견한 선도 저널의 리뷰를 통해 입증된다(Francis et al., 2010). 이는 연구자들이 보급 중 포화의 과정을 명시하는 것이 기대치라는 점에서 문제가 있다(Bowen, 2008). 실제로는 예상치 못한 참가자 감소(Tuckett, 2004)와 시간과 자원(Green and Thorogood, 2004) 측면에서 연구자에게 실질적인 제약이 있다. 이는 각 인터뷰 내에서 포화도와 품질에 관한 논쟁이 있기 때문에 특히 중요하며, 따라서 연구자들은 인터뷰의 길이와 인터뷰 횟수에 모두 주의를 기울일 필요가 있다(Onwuegbuzie and Leech, 2005). 포화 도달에 대한 이러한 제한에 대한 투명성이 반드시 결과를 무효화하지는 않는다. 포화에 도달하지 못하면 이는 [발견이 유효하지 않다]는 의미라기보다는, [현상이 아직 완전히 조사되지 않았다]는 것을 의미한다(Morse, 1995). 따라서 표본 추출 적정성에 대한 어떠한 제한도 투명하게 보고되는 것은 허용된다. 따라서 연구자들은 포화에 도달했는지, 포화에 도달했는지, 어떻게 도달했는지, 채용 중에 어떤 문제에 직면했는지에 대해 명확히 할 필요가 있다.

Interestingly, in qualitative work it is often left to the reader to unpack the data collection and analysis to generate clues as to the methodology with little transparency or evidence to how or why saturation was achieved (Caelli et al., 2003). This is evidenced by a review of a leading journal that found that during a 16-month period, 18 articles mentioned saturation and yet none of them were transparent about how it was achieved (Francis et al., 2010). This is problematic given that it is an expectation that researchers make explicit the process of saturation during dissemination (Bowen, 2008). In reality there are practical constraints on the researcher in terms of unforeseen participant attrition (Tuckett, 2004) and in terms of time and resources (Green and Thorogood, 2004). This is particularly important as there are arguments relating to saturation and quality within each interview and, therefore, researchers need to pay attention to both the length of interviews as well as the number of interviews (Onwuegbuzie and Leech, 2005). Transparency about these limitations on reaching saturation does not necessarily invalidate the findings. If saturation is not reached this simply means that the phenomenon has not yet been fully explored rather than that the findings are invalid (Morse, 1995). It is acceptable, therefore, that any limitations of sampling adequacy are transparently reported. Researchers thus need to be clear in dissemination if they reached saturation, how they reached it and what issues they faced during recruitment.

포화는 설득력 있는 개념이지만, 특히 어떤 경우에는 [새로운 테마의 수가 잠재적으로 무한할 수 있기 때문에] 많은 실질적인 약점을 가지고 있다(Green and Thorogood, 2004). 이는 각 삶이 독특하고, 이러한 의미에서 [데이터는 항상 새로운 발견이 있을 것]이기 때문에 결코 진정으로 포화되지 않기 때문이다(Ray et al., 2007). 질적 탐구에서 연구자들은 귀납적 접근이나 연역적 접근을 취할 수 있다. [귀납적 추론]을 사용하는 사람은 데이터를 사용하여 아이디어를 생성하고, [연역적 추론]을 사용하는 사람은 아이디어에서 시작하여 데이터를 사용하여 이를 확인한다(Thorne, 2000). 따라서 이론적으로,

• 초점이 명확한 생각focused idea을 가진 사람들은 관련 연구 의제를 가지고 있고, 따라서 이것은 데이터 수집의 방향을 안내한다. 이러한 방식으로 매개변수가 생성되고 포화 상태에 도달할 수 있는 특정 관심 영역이 추구됩니다.
• 반면에 [연역적 접근]은 훨씬 더 광범위하고 연구원은 데이터 수집에서 나올 수 있는 범주의 유형에 대해 알지 못한다. 이런 의미에서 포화를 달성할 수 있는 잠재력은 비현실적인 목표가 된다.

Saturation is a convincing concept but has a number of practical weaknesses, especially as in some cases the number of emergent themes are potentially limitless (Green and Thorogood, 2004). This is because each life is unique and in this sense data are never truly saturated as there will always be new things to discover (Wray et al., 2007). In qualitative inquiry researchers can take an inductive approach or deductive approach. Those who use inductive reasoning use the data to generate ideas and those who use deductive reasoning begin with an idea and then use the data to confirm it (Thorne, 2000). In theory, therefore,

• those who have a focused idea have a related research agenda, and, thus, this guides the direction of the data collection. In this way parameters are created and particular areas of interest pursued within which saturation can be achieved.
• On the other hand a deductive approach is much broader and the researcher is unaware of the types of categories that may emerge from data collection. In this sense, the potential for achieving saturation becomes an unrealistic target.

이 절에서 강조한 것은 질적 연구의 품질을 보장하기 위해 배포 중에 [프로세스의 투명성]이 필수적이라는 것이다. 그러나 [품질을 달성하는 것]은 (저자가 전체 접근 방식의 장점을 입증할 책임이 있기 때문에) [포화도의 투명성]을 초월한다. 카엘리 등은 나아가 연구자들이 자신들의 이론적 입장을 밝히고, 방법론과 방법 사이의 일치성을 입증하며, 엄격함을 확립하기 위해 사용한 전략을 강조해야 한다고 주장한다. 이것이 의미하는 바는 포화 개념이 모든 질적 접근법에 걸쳐 품질을 확립하는 데 [항상 적절한 기준은 아니라는 것]이다. [이론적 위치와 방법 간의 일치성을 확립하는 것]은 서로 다른 데이터 수집 방법이 선호되고 서로 다른 품질 마커가 사용된다는 것을 의미한다. 예를 들어, [인터뷰]가 일반적이고 대중적인 데이터 수집 방법이고 일부 접근법에 적합하다고 간주되지만(Gaskell, 2000), 모든 사람이 보편적으로 선호하는 것은 아니다. 이는 포화 상태에 대한 토론과 토론의 대부분이 거의 전적으로 인터뷰와 포커스 그룹 연구에 집중한다는 점을 감안할 때 특히 주목할 만하다. 따라서 자연적으로 발생하는 데이터, 일지 입력diary entries 또는 관찰과 같은 수집 방법에 적용할 때 그 다양성에 대한 비판적 사고의 누락이 있는 것으로 보인다.
What this section has highlighted is that transparency of process is essential during dissemination to ensure quality in qualitative research. Achieving quality, however, transcends transparency of saturation as authors have a responsibility for evidencing the merits of the overall approach (Caelli et al., 2003). Caelli et al. further argue that researchers must address their theoretical position, evidence the congruence between methodology and methods, and highlight the strategies they used to establish rigour. What this means is that the concept of saturation is not always an appropriate criterion for establishing quality across all qualitative approaches. Theoretical position and establishing congruence between methods means that differing data collection methods are favoured and different quality markers are utilised. For example, although interviews are a common and popular method of data collection and deemed suitable for some approaches (Gaskell, 2000), they are not universally favoured by all. This is particularly noteworthy given that the majority of debate and discussion around saturation almost exclusively focuses on interview and focus group studies. Thus, there seems to be an omission of critical thinking about its versatility when applied to collection methods such as naturally occurring data, diary entries or observations.

포화에 대한 부적절한 기대의 문제
The problem of inappropriate expectations about saturation

지금까지의 주장으로 볼 때 포화를 고려하는 것이 문헌이 제시한 것보다 더 복잡하다는 것은 분명하다. 서로 다른 데이터 수집 방법은 서로 다른 방식으로 데이터 양의 충분성을 프레임화하며, 이로 인해 모든 경우에 포화도를 적용할 수 있을지 의문이다. 양적 과학의 유산은 더 많은 수의 문화적 잔재가 더 큰 영향을 미친 것으로 보인다. 데이터가 많을수록 반드시 정보가 많아지는 것은 아니기 때문에 질적 작업에는 적용되지 않는다(Mason, 2010). [연구에 추가 참여자를 모집하고 이들이 제공하는 데이터를 충분히 활용하지 않는 것은 불필요할 뿐만 아니라 잠재적으로 비윤리적]이기 때문에 이것은 특히 중요한 문제이다(Francis et al., 2010). 질적 조사에서 목표는 고정된 수의 참가자를 획득하는 것이 아니라 연구 중인 현상을 완전히 설명하는 방법으로 충분한 깊이의 정보를 수집하는 것이다(Fossey 등, 2002). 이와 같이 다양한 접근 방식이 풍부한 분석과 심층 분석을 달성하기 위해 연구 질문을 프레임화하고, 참가자를 표본화하고, 데이터를 수집하는 방법에 차이가 있다(Starks and Trinidian, 2007).

It is clear from the argument thus far that considering saturation is more complex than the literature has suggested. Differing data collection methods frame the sufficiency of data quantity in different ways and because of this it is questionable whether saturation can be applied in all cases. The legacy of quantitative science appears to have left a cultural residue of larger numbers having greater impact. This is not applicable to qualitative work as more data does not necessarily lead to more information (http://www.qualitative-research.net/index.php/fqs/article/view/1428/3027" data-mce-href="https://journals-sagepub-com-ssl.access.hanyang.ac.kr/doi/10.1177/1468794112446106#">Mason, 2010). This is a particularly important issue as it is not just unnecessary but also potentially unethical to recruit further participants to a study and not make full use of the data they provide (Francis et al., 2010). In qualitative inquiry, the aim is not to acquire a fixed number of participants rather it aims to gather sufficient depth of information as a way of fully describing the phenomenon being studied (Fossey et al., 2002). As such, there are differences in how various approaches frame research questions, sample participants and collect data (Starks and Trinidad, 2007) in order to achieve richness and depth of analysis.

연구의 중심 목표는 지식을 확장하고 발전시키는 것이지만(Caeelli et al., 2003), 그러나 획득의 본질과 메커니즘에 대한 근본적인 주장은 다양하다. 따라서 [지식에 대한 다른 가정]은 [연구의 인식론적 출발점]을 알려주며, 따라서 주어진 [프로젝트의 목적과 목표]를 결정한다. 이러한 목적과 목표가 전체 연구 과정의 궤적을 안내할 것이다. 우리는 이것이 표본 추출 적정성에 포화 개념을 적용할 때 특히 중요하다고 주장한다. 따라서 [표본의 적절성adequecy]은 [참가자 수]만을 기준으로 결정되는 것이 아니라 [데이터의 적절성appropriateness]에 따라 결정된다. 예를 들어, 대화 분석가는 고유한 조사 방식에 더 적합한 자연 발생 데이터의 작은 데이터 세트를 선호합니다(Potter, 2002). 이는 품질 지표로서의 포화도가 불필요해지는redundant 한 가지 접근법이다. 대화 분석을 사용하여 연구 과정에서 의사 결정을 관리하는 방법에 대한 정교한 문헌이 있으며, 그 안에 품질을 보장하기 위한 강력한 메커니즘이 있다(Hutchby and Woffit, 2008; ten Have, 2007).

The central aim of research is to extend and advance knowledge (Caelli et al., 2003) and yet fundamental arguments about the nature of and mechanisms for its acquisition are diverse. Different assumptions about knowledge thus inform the epistemological starting point of research and, therefore, also determine the aims and objectives of any given project. It is these aims and objectives that will guide the trajectory of the whole research process. We argue that this is particularly important when applying the notion of saturation to sampling adequacy. The adequacy of the sample is, therefore, not determined solely on the basis of the number of participants but the appropriateness of the data. For example, conversation analysts have a preference for small data sets of naturally occurring data as more appropriate for their unique mode of inquiry (Potter, 2002). This is one approach where saturation as a marker for quality becomes redundant. There is a sophisticated literature about how to manage decisions in the research process using conversation analysis and there are robust mechanisms for ensuring quality within it (Hutchby and Wooffitt, 2008; ten Have, 2007).

그러나 포화의 무관성은 대화 분석에 국한되지 않으며, [인식론적 및 방법론적 프레임워크]는 연구자가 품질 기준을 결정하고 적용하는 데 있어 지침을 제공해야 한다. 문제는 모든 경우에 포화와 같은 마커를 엄격하게 적용할 때 발생한다. 포화와 같은 개념을 [의심의 여지 없이 수용]하면, 결과적으로 [최적의 표본 추출 적절성]에 대한 [도움이 되지 않는 신화]를 영구화하는, [품질에 대한 제도적 담론]의 일부가 되고, 동시에 이러한 기대에 부합하지 않는 연구의 가치를 훼손한다. 이는 연구자들이 자신의 연구 커뮤니티와 관련된 언어와 개념을 사용하는 데 익숙하기 때문에 이해할 수 있다(Caeelli et al., 2003). 그럼에도 불구하고, 다른 전통에 대한 존중은 중요하고 쓰기, 복습, 교수와 같은 학문적인 활동에서는 성찰적 태도가 필수적이다. 특정 전통 내에서 [방법론적 무결성]을 유지하는 동시에, 다른 정성적 방법을 자체 품질 측정과 비교하여 공정하게 평가할 수 있다. 따라서 포화의 측면에서 [이론적 일치성]은 그 유용성을 희석시키지 않도록 유지되어야 한다. 카엘리 외. (2003:9) 제안:
The irrelevance of saturation is not limited to conversation analysis, however, and the epistemological and methodological frameworks should guide researchers in their decision making and application of quality criteria. The problem arises when markers such as saturation are rigidly applied in all cases. The unquestioned acceptance of concepts like saturation consequently become part of an institutional discourse of quality that perpetuate unhelpful myths about optimum sampling adequacy and simultaneously undermine the value of research not conforming to these expectations. This is understandable as researchers are accustomed to using language and concepts that are relevant for their own research community (Caelli et al., 2003). Nonetheless, respect for other traditions is important and in academic activities such as writing, reviewing and teaching, a reflexive attitude is essential. It is possible to maintain methodological integrity within a particular tradition, while fairly assessing other qualitative methods against their own measures of quality. In terms of saturation, therefore, theoretical congruence should be maintained so as to not dilute its usefulness. As Caelli et al. (2003: 9) propose:

포화도는 근거 이론에 뚜렷한 이론적으로 내재된 의미를 가지고 있지만,
그것을 유비쿼터스하고 비선택적으로 사용하면 질적 연구 커뮤니티에 이 용어를 무의미하게 만들 위험이 있다.
While saturation has a distinct theoretically embedded meaning in grounded theory, its ubiquitous and non-selective use risks rendering the term meaningless to the qualitative research community.

마무리 멘트
Concluding remarks

이 논의에서 분명한 것은 [근거 이론의 기원을 넘어선 포화의 적용]에 관한 논쟁에 대한 관심이 부족했다는 것이다. [근거이론]은 이론적 포화도를 구성하는 것이 무엇인지, 그것을 적용하는 방법과 언제 사용할지에 대한 명확한 지침을 가지고 있지만, [다른 질적 접근법]과 관련된 새로운 의미는 덜 발달되어 있다. 이 기사에서 우리의 잠정적인 주장은 개념의 전환 이후 나타난 핵심 쟁점 중 일부를 분리하고 토론을 열기 위해 고안되었다. 포화가 의심받지 않고 기대되기 때문에 이것이 실제로 연구실습에 어떤 의미가 있는지 성찰하는 시간을 가질 필요가 있다. 학술지가 검토 과정에서 포화에 대한 질문을 통합하기 시작한 만큼 연구계가 현실에 안주하기 전에 문제 제기가 절실하다. 서로 다른 전통의 학자들이 이 문제에 대해 흥미롭고 다양한 의견을 가지고 있다는 점에 주목하고, 이 글이 토론을 자극하여 학계와 질적 연구가 진전될 수 있기를 기대한다.

What is evident from this discussion is that the debates around the application of saturation beyond its origins in grounded theory, have received limited attention. While grounded theory has clear guidance about what constitutes theoretical saturation, how to apply it and when to use it, the new meanings in relation to other qualitative approaches are less developed. Our tentative arguments in this article are designed to disentangle some of the key issues that have emerged since the transformation of the concept and to open up debates. As saturation becomes unquestioned and expected, it is necessary to take time to reflect on what this actually means for research practice. As journals are starting to incorporate questions about saturation in the process of review, it is imperative that questions are raised before the research community becomes complacent. We note that different academics from different traditions hold interesting and diverse opinions on this issue and we hope that this article will stimulate debate so that academia and qualitative research can progress.

 

 

---

Abstract

Measuring quality in qualitative research is a contentious issue with diverse opinions and various frameworks available within the evidence base. One important and somewhat neglected argument within this field relates to the increasingly ubiquitous discourse of data saturation. While originally developed within grounded theory, theoretical saturation, and later termed data/thematic saturation for other qualitative methods, the meaning has evolved and become transformed. Problematically this temporal drift has been treated as unproblematic and saturation as a marker for sampling adequacy is becoming increasingly accepted and expected. In this article we challenge the unquestioned acceptance of the concept of saturation and consider its plausibility and transferability across all qualitative approaches. By considering issues of transparency and epistemology we argue that adopting saturation as a generic quality marker is inappropriate. The aim of this article is to highlight the pertinent issues and encourage the research community to engage with and contribute to this important area. (PsycINFO Database Record (c) 2019 APA, all rights reserved)