질적연구에서 정량화(When I say … )(Med Educ, 2019)

질적연구에서 정량화(When I say … )(Med Educ, 2019)

When I say … quantification in qualitative research

Lynn V. Monrouxe1 | Charlotte E. Rees2,3

1Work Integrated Learning, Faculty of Health Sciences, University of Sydney, Sydney, New South Wales, Australia

2College of Science, Health, Engineering and Education, Murdoch University, Murdoch, Western Australia, Australia

3Monash Centre for Scholarship in Health Education (MCSHE), Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, Victoria, Australia

때때로, 우리는 [테마와 패턴에 기여하는 데이터의 양을 증명하기 위한 목적으로] 숫자를 위한 장소가 있다고, 기술 통계(일반적으로 빈도와 백분율)를 사용할 수 있다고 믿는다.2 때때로, 우리는 이 패터닝을 이해하기 위해 추론 통계를 보고할 수도 있다.1 또는, 흔하지는 않지만, 질적 연구에서 [복수의 분석가에 의한 코딩의 맥락에서 평가자간 신뢰과 같은 정량화를 사용 하는 것도 포함된다. 최근에는 "객관적으로 포화상태를 확립하는 검증된 수단"으로서 사회성 있는 "포화 3 지수"를 통한 포화도 측정이 요구되고 있다.

Sometimes, we may believe there is a place for numbers and employ descriptive statistics – commonly frequencies and percentages – to evidence the amount of data contributing to themes and patterns.2 Occasionally, we may even report inferential statistics to make sense of this patterning.1 Other, relatively uncommon, uses of quantification in qualitative research include the establishing of interrater reliability in the context of coding by multiple analysts. There has even been a recent call for the measuring of saturation through a so-called “saturation 3 index” as a “validated means of objectively establishing saturation”.

문제는 단어와 숫자 사이에 모호한 경계가 존재한다는 것이다: 질적 데이터와 양적 데이터는 정적이지도 않고 이분법적인 것도 아니다. 2 질적 연구가 정량화되는 방법은 여러 가지가 있고, 질적 연구에 숫자를 사용하는 것은 우리를 숨막히게 할 수도 있지만, 우리가 … 질적연구의 정량화라고 말할 때 우리는 무엇을 의미하는가? 질적 연구에 숫자를 사용하는 것은 언제 괜찮고 언제가 괜찮지 않은가? 그리고 만약 우리가 숫자를 사용한다면, 어떻게 해야 할까?

The problem is that fuzzy boundaries exist between words and numbers: qualitative and quantitative data are neither static nor binary. 2 So, although there is a multiplicity of ways in which qualitative research is quantified, and the use of numbers in qualitative research may cause us to gasp, what do we mean when we say … quantification in qualitative research? When is it okay to use numbers in qualitative research and when is it not? And if we do employ numbers, how should we do so?

우리가 이 질문들에 대한 해답을 탐구하기 전에, 우리는 [우리 자신의 인식적인 신념]과 [어떤 것을 안다는 것이 무엇을 의미하는지]에 대해 생각해보고자 한다. 인식론은 시간에 고정된 것도 아니고, 완전히 구속되지도 않는다. 실제로, 우리의 경력을 통틀어, 우리는 질적, 양적 데이터와 다양한 철학적 기반(예: 사회 구성주의, 비판적 현실주의, 사후 실증주의 등)을 가지고 일해 왔다. 따라서, 비록 이러한 기반이 시간이 지남에 따라 변화하고 특정 질문의 초점에 따라 달라지지만, 우리는 항상 [연구가 수행되도록 설정된 특정 프레임워크]와 [우리의 연구 행동practice]이 일치하도록 보장함으로써 내부적인 엄격함internal rigour을 추구한다.

Before we seek to explore the answers to these questions, we are mindful of our own epistemic beliefs around what it means to know  something: beliefs that are neither fixed in time, nor completely bounded. Indeed, across our careers, we have worked with qualitative  and  quantitative  data  and  with  various  philosophical  foundations  (eg. social constructionism, critical realism, postpositivism etc.). Thus, although these foundations change over time and depend on the focus of any particular question, at all times we strive for internal rigour by ensuring that our research practices fit with the particular framework in which the study is set

우리는 질적 연구에서 숫자를 활용하면 많은 도움이 될 수 있다는 다른 학자들의 의견에 동의한다. 

• 예를 들어, 정량화는 우리가 데이터 투명성을 향상시키는 데 도움을 줄 수 있으며, 해석적 헌장을 뒷받침하는 데이터의 선택적 선택적 체리픽킹(socious credentialing counting)을 나타내는 것이 아니라 해석에 대한 증거를 제공할 수 있다. 

• 정량화는 특히 대규모 질적 데이터셋을 분석할 때 데이터에서 일치성과 기호quirks를 설정함으로써 패턴 인식을 통한 의미 부여 과정을 촉진할 수 있다.

• 정량화는 또한 우리가 데이터 내의 다양성에 대해 민감하게 반응하도록 도울 수 있으며, 따라서 부정적인 경우들에 대한 맹목성을 예방할 수 있다.

• 더욱이, 정량화는 발견의 중요성, 빈도 또는 강도 측면에서 진술의 정확성을 가져올 수 있다. 

• 마지막으로, 정량화는 설정이나 샘플 내에서 맥스웰이 "내부 일반화가능성"이라고 부르는 것을 용이하게 할 수 있다.

we agree with other scholars that numbers in qualitative research can have numerous benefits. 

• Quantification can, for example, help us enhance data transparency, providing evidence for our interpretations, rather than representing the selective cherrypicking of data to support any interpretive hunches – socalled credentialing counting.1,4-6 

• Quantification can also facilitate the process of meaning making through pattern recognition by establishing consistencies and quirks in our data, particularly when large qualitative datasets are analysed.1,4,5 

• Quantification can also help to sensitise us to diversity within our data, thereby preventing blindness towards negative cases.5 

• Furthermore, quantification can bring precision to statements in terms of the importance, frequency or strength of findings.4,5 

• Finally, quantification can facilitate what Maxwell calls “internal generalisability” within settings or samples.5

숫자의 사용 여부보다, 중요한 것은 숫자가 어떻게 그리고 어디서 사용되는가 하는 것이다.1

The use of numbers does not matter, but what matters is how and where the numbers are used.1

그러나 정량화는 특히 지식에 대한 우리의 세계관(epistemological status)에 비추어 볼 때 문제가 될 수 있다. 따라서 맥스웰은 세상을 

• 변수와 상관관계의 집합으로 보는 것과(분산 이론) 

• 사건 및 프로세스의 집합으로 보는 것의 차이를 강조한다(프로세스 이론).5

Quantification can, however, be problematic, particularly when examined in light of our worldview about knowledge (epistemological stance). Thus, Maxwell highlights the difference between 

• viewing the world as sets of variables and correlations (variance theory) and 

• viewing it as sets of events and processes (process theory).5

우리가 세상을 변수의 관점에서 생각할 때, 우리는 세계의 양상이 다른 측면에 어떤 영향을 미칠 수 있을지 궁금해지기 시작한다: 만약 과학적인 연구 접근법이 여러분의 것이라면, "독립적"과 "종속" 변수라는 용어는 여기에 부합할 수 있다. 그래서, 이것은 본질적으로 인과관계에 대한 일반적인 주장을 하기 위해 변수의 패터링을 밝혀내는 영역이다.

When we think of the world in terms of variables, we begin to wonder about how aspects of the world might influence other aspects: if a scientific research approach is your thing, the terms “independent” and “outcome” variables may resonate here. So, this is essentially the domain of uncovering the patterning of variables to make general claims about causality.

그러나, 우리가 세상을 사건들과 과정의 집합으로 간주할 때, 인과관계에 대한 우리의 이해는 더욱 특이하고 맥락적으로 변하게 된다. 이 프로세스 접근법 내에서, 숫자의 사용은 기껏해야 실용적인 무언가이다.

However, when we consider the world as sets of events and processes, then our understanding of causality becomes more idiosyncratic and contextual. Within this process approach, the use of numbers can only be pragmatic at best

우리는 숫자의 적절성을 성찰적으로 생각해야 한다.

we are required to think through the appropriateness of numbers reflexively.

정량화가 언제 우리의 일을 용이하게 하거나 방해하는지를 알고, 언제, 어떻게 활용할지에 대해 좋은 결정을 내리기 위해서, 우리는 스스로에게 다음과 같은 질문을 할 필요가 있다. 우리는 어떤 목적으로 정량화하고 있는가? 이제 이런 측면을 고려해보자.

in order to make good decisions around if, when and how quantifying facilitates or hinders our work, we need to ask ourselves the question: For what purposes are we quantifying? Let's now consider this aspect.

질적 데이터에 숫자를 사용하는 한 가지 목적은 질적 데이터를 객관적으로 보이게 하는 것이다. 여기서 질적 연구는 측정 가능한 현실로 가장한다.1,4,5 연구자로서, 우리는 주관성과 해석주의의 특권을 가지고 질적 연구의 기본적인 교의를 완전히 이해하지 못하였거나 충분히 설명하지 않았기 때문에 이 목적을 위해 계량화할 수 있다. 예를 들어, 양적 연구자로 훈련된 사람들이 질적 연구에 첫발을 내딛고 질적 데이터에 대한 최적의 해석이 있어야 한다고 생각할 때 이러한 현상이 발생할 수 있다. 그리고, 이것은 우리가 우리 코딩의 상호 신뢰도 등을 확인하게 할 수도 있다. 극단적으로, 우리는 포화도가 점수를 통해 객관적으로 가장 잘 확립될 수 있다고 믿을 수 있다.

One purpose of the use of numbers in qualitative data is to make our qualitative data appear objective. Here, qualitative research masquerades as a measurable reality.1,4,5 As researchers, we might quantify for this purpose because we have not fully understood, or do not fully ascribe to, the basic tenets of qualitative research, with its privileging of subjectivity and interpretivism. This may happen, for example, when trained quantitative researchers make their first forays into qualitative research and believe there should be an optimal interpretation of qualitative data. And yes, this may lead us to want to check the interrater reliability of our coding and so on. At its extreme, we may believe that saturation can be best established objectively through a score.

그러나 다른 경우에, 정량화는 순전히 현실적인 목적 때문에 사용된다: 우리는 우리의 질적 연구 가치에 대해 다른 사람들(예: 편집자, 동료 평론가, 그리고 숫자 선호도가 있을 수 있는 독자)을 설득하기 위해 숫자를 사용한다 – 소위, 복수의 청중 문제이다. 여기서 우리는 종종 상황을 완전히 인식하지만 현실적인 이유로 숫자 게임을 선택한다.

At other times, quantification is purposively pragmatic: we use numbers to persuade others (eg editors, peer reviewers and readers who may have number preferences) of the worth of our qualitative research – the so called multiple audience problem.6 Here, we are often fully aware of the situation, but we choose to play the numbers game for practical reasons.

그러나 주관성과 다중현실에 의해 뒷받침되는 인식체계 내에서 작업할 때, 정량화는 실제로 질적 데이터의 의미에 대한 보다 복잡하고 미묘한 해석을 저해하여 우리의 질적 작업의 질을 떨어뜨리는 역할을 할 수 있다.3 예를 들어, 질적 데이터의 잘못된 표현은 [참가자들에게 동일한 질문을 하지 않은 상황에서 숫자(예: 빈도 및 테마의 백분율)를 사용]할 때 발생할 수 있다.1,4

However, when working within an epistemic framework underpinned by subjectivity and multiple realities, quantification can actually serve to undermine more complex and nuanced interpretations of the meaning of qualitative data, thereby undermining the quality of our qualitative work.3 For example, misrepresentation of qualitative data can occur when numbers (such as frequencies and percentages of themes) are employed in contexts in which participants have not been asked the same questions.1,4

우리는 Neale 외 al.4의 조언에 동의하며 HPE 연구원들에게 다음과 같은 규칙을 고려하도록 요청한다. 

• (i) 질적 표본으로부터 prevalence에 대한 추론이 도출되어서는 안 된다. 

• (ii) 전체 표본에 대해 탐색된 특징과 관련된 숫자만 보고해야 하며, 따라서 의미 있는 비교가 허용되어야 한다. 

• (iii) 백분율은 더 큰 질적 표본(즉, n > 50)의 맥락에서만 사용해야 하며, 

• (iv) 의미(" "", "minority", "few", "some", "일부" 및 "다수"와 같은 단어 사용)는 오직 정당성을 가지고 사용되어야 한다.4

We agree with the advice of Neale et al.4 and invite HPE researchers to consider the following rules of thumb: 

(i) that inferences about prevalence should not be drawn beyond qualitative samples; 

(ii) that only numbers that relate to features that have been explored for entire samples should be reported, thereby allowing for meaningful comparison; 

(iii) that percentages should be employed only in the context of larger qualitative samples (ie n > 50), and 

(iv) that semiquantification (the use of words like “majority”, “minority”, “few”, “some” and “many”) should be used only with justification.4

Hanna와 Lautsch는 정량화의 목적과 보고의 선택성을 옹호한다. 이들에 의하면, 우리가 실증주의적 프레임워크 내에서 작업하고 있다면(그러므로 분산 이론에 기초하고), 계수(해석 과정의 합법적인 부분으로 숫자를 사용하는 것)는 허용될 수 있다고 제안한다. 그러나, 해석적 접근법을 취할 때, 우리는 정량화하지 않는 것을 정당화할 수 있고, 정당화해야 한다.6

Hannah and Lautsch, advocate for the purposeful use of quantification and the selectiveness of reporting it.6 Thus, they suggest that if we are working within positivist frameworks (so drawing on variance theory), then counting (using numbers as a legitimate part of the analytical process) is acceptable.6 However, when we take an interpretative approach, we can, and should, justify our lack of quantification.6 

마지막으로, 우리의 연구결과를 증명할 목적으로 정량화했을 때조차도, 우리가 실제로 우리의 숫자를 발표해야 하는지, 혹은 정량화 결과는 숨겨져야 하는지에 대해서 성찰해야 한다. 이는 한나와 라우츠치가 기술한 대로, 밀폐되어 있어야closeted 하는지에 대한 것이다.

Finally, we concur that even when we have quantified for the purposes of credentialing our work, we should reflect on the extent to which we really should publish our numbers, or whether they should be hidden or, as described by Hannah and Lautsch, closeted.6

4. Neale J, Miller P, West R. Reporting quantitative information in qualitative research: guidance for authors and reviewers. Addiction. 2014;109:175-176.

---

. 2020 Mar;54(3):186-187.

 doi: 10.1111/medu.14010. Epub 2019 Dec 3.

When I Say … Quantification in Qualitative Research

Lynn V Monrouxe 1, Charlotte E Rees 2 3

Affiliations 

Affiliations

• 1Work Integrated Learning, Faculty of Health Sciences, University of Sydney, Sydney, New South Wales, Australia.
• 2College of Science, Health, Engineering and Education, Murdoch University, Murdoch, Western Australia, Australia.
• 3Monash Centre for Scholarship in Health Education (MCSHE), Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, Victoria, Australia.

• PMID: 31795010
 
• DOI: 10.1111/medu.14010