코브라 효과: 주제 발현, 삼각측량, 포화, 멤버체킹에 대하여(Med Educ, 2017)

코브라 효과: 주제 발현, 삼각측량, 포화, 멤버체킹에 대하여(Med Educ, 2017)

Shedding the cobra effect: problematising thematic emergence, triangulation, saturation and member checking

Lara Varpio,1 Rola Ajjawi,2 Lynn V Monrouxe,3 Bridget C O’Brien4 & Charlotte E Rees5

도입

INTRODUCTION

델리에서 코브라 수가 너무 늘어서 시민들의 안전을 위협 할 때 영국 식민지 정부는 시민에게 각 코브라에 대해 현상금을 제정했습니다. 이 인센티브 프로그램은 처음에는 코브라시에서 벗어나기에 효과적 이었지만, 시민은 곧 수익을 올릴 수있는 기회가 있음을 깨달았습니다 : 코브라를 번식시키고 보상금을 받으면 된다. 정부가 시민들이 코브라를 번식시키고 있음을 알았을 때, 그들은 현상금 프로그램을 끝냈다. 뱀으로 더 이상 돈을 벌 수 없기 때문에, 시민들은 그들의 집에서 키우던 코브라를 풀었고, 도시의 코브라 문제는 더욱 악화되었다. 이 일화는 코브라 효과의 개념을 알려준다: 문제를 해결하려고 시도한 해결책이 실제로 문제를 악화 시키거나 의도하지 않은 다른 문제를 야기할 수 있다.1

When the cobra population in Delhi grew so large that it threatened the safety of the citizens, the British colonial government instituted a bounty for each dead cobra presented by a citizen. While this incentive programme was initially effective at ridding the city of cobras, the citizenry soon realised that a lucrative opportunity was available: breed cobras and reap rewards. When the government learned of the cobra breeding, they ended the bounty programme. Since the snakes were no longer a cash crop, the citizens released their homebred cobras, and the city’s cobra problem worsened. This anecdotal tale gave rise to the concept of the cobra effect: when an attempted solution to a problem actually makes the problem worse, and/or creates other unintended, problematic consequences.1

또한 질적 연구자들은 HPE 커뮤니티에 적합한 연구 방법론과 방법을 만들기 위해 수사학 기법rhetorical technique을 다양하게 구성했습니다. 예를 들어, 

• '작은 n'에도 불구하고 데이터가 충분히 견고하다는 것을 독자들에게 확신시키려는 노력으로 데이터 녹취록의 페이지 수를 나열합니다.

• 주관적 데이터로부터 '객관적인'(그러므로 잠재적으로 복제 가능한) 결론의 구성을 확인하는 수단으로서 GT의 단계별 접근법의 요소를 인용하며,

• 주제가 '포화 상태'를 획득하는 데 필요한 참여자 발언의 수를 설명합니다.

Qualitative researchers also fashioned an array of rhetorical techniques to make their research methodologies and methods palatable to the HPE community. These included, for example: 

• listing the number of transcript pages in the dataset in an effort to reassure readers that the data were sufficiently robust despite a ‘small n’; 

• citing elements of GT’s stepwise approach as a means of confirming ‘objective’ (and therefore potentially replicable) constructions of conclusions from subjective data, and 

• describing how many participant utterances were required for a theme to acquire the status of ‘saturated’.

문제는 오늘날의 HPE 질적 연구자가 비-실증주의 지향에서 연구를 하지만, 일반적으로 연구의 엄격성에 대한 기대는 실증주의와 포스트 실증주의의 전통에 뿌리를 두고 있다는 사실이다. 또한 HPE 커뮤니티에 적합한 질적 연구를 묘사하는 데 사용되는 수사학 기법들이 종종 모든 질적 방법론에 적용되어야 하는 rigour의 마커로 잘못 해석되고 있다. 이것은 '코브라 효과'의 예입니다 (즉, 의도하지 않은 결과)

Problematically, although today’s HPE qualitative researchers often work from within non-positivist orientations, the expectations for research rigour generally remain rooted in positivist and post-positivist traditions. Furthermore, the rhetorical techniques used to describe qualitative research in terms amenable to the HPE community are often mistakenly interpreted as markers of rigour that should be transferred across all qualitative method-ologies and methods. This is an example of the ‘cobra effect’1 (i.e. the unintended consequence) 

일부 질적 용어는 양적 연구에서 너무 자주 사용되어 그들의 존재 론적 및 인식 론적 뿌리를 비판적으로 고려하거나, 정확한 정의를 조사하거나, 연구 관행에 대한 함의에 의문을 제기하는 것조차 어렵게 되었다.

some qualitative terms are so frequently used in qualitative publications that it is difficult to critically consider their ontological and epistemological roots, to examine their precise definitions, or to question their implications for research practices.

Table 1 Glossary of key terms*

존재론

Ontology 

• 연구자가 탐구에 참여하는 철학적 토대를 구성하는 현실의 본질에 대한 세계관 및 가정.

• 현실의 본질과 현실에 대해 알 수 있는 것이 무엇인가에 대한 연구자의 미확인 된 기대 53,54

The worldviews and assumptions about the nature of reality that comprise the philosophical foundations from which researchers engage in inquiry; 

a person’s often unacknowledged expectations of the nature of reality and what can be known about reality53,54 

인식론

Epistemology

• 연구원 (즉, 지식인)과 연구 대상 또는 현상 (즉 알려질 것) 사이의 관계;

• 사고의 과정과 지식의 본질;

• 인식론적 질문은 존재론적 고려에 의해 제한된다 .53,55,56

The relationship between the researcher (i.e. the knower) and the object or phenomenon of study (i.e. that which is to be known); 

the processes of thinking and the nature of knowledge; 

epistemological questions are constrained by ontological considerations53,55,56 

방법론

Methodology 

• 새로운 지식을 개발하는 데 사용되는 프로세스.

• 발견을 위해 사용될 수있는 전략;

• 연구 수행의 기본 원리 : 그것이 어떻게 진행되고 발전되어야 하는가?

• 연구자의 존재 론적 및 인식 론적 입장에서 성장하는 연구 과정;

• '특정 방법의 선택과 사용 뒤에 놓여있는 전략, 행동 계획, 과정 또는 설계와 방법의 선택과 사용을 원하는 결과에 연결 '57

The processes used to develop new knowledge; 

the strategies that can be used to make discoveries; 

the foundational principles of conducting research: 

how it should proceed and develop;53,54 

research processes that grow out of the researcher’s ontological and epistemological stance; 

‘the strategy, plan of action, process or design lying behind the choice and use of particular methods and linking the choice and use of methods to the desired outcomes’57 

실증주의

Positivism 

• 존재론 : '하나의 식별 가능한 현실에 대한 믿음. 측정되고 연구 될 수있는 진리가 하나 있습니다. 연구의 목적은 자연을 예측하고 통제하는 것이다.

• 인식론 : '전적인 객관성에 대한 믿음. 연구자와 연구대상은 상호 작용할 이유가 없습니다 .'53

• 방법론 : '과학적 방법에 대한 믿음 ... 기존의 경성 과학에 기초. 반증가능성 원칙에 대한 신념 (결과 및 발견은 반증 될 때까지 사실입니다) '53

• Ontology: ‘Belief in a single identifiable reality. There is a single truth that can be measured and studied. The purpose of research is to predict and control nature’53 

• Epistemology: ‘Belief in total objectivity. There is no reason to interact with who or what researchers study’53 

• Methodology: ‘Belief in the scientific method... Grounded in the conventional hard sciences. Belief in the falsification principle (results and findings are true until disproved)’53 

후기실증주의

Post-positivism 

• 존재론 (Ontology) : '하나의 현실이 있지만, 숨겨진 변수와 자연의 절대성 부재로 인해 그것이 무엇인지 어떻게 도달 할 수 있는지 완전히 이해할 수 없을 수도 있습니다.'53

• 인식론 : '우리는 자연을 근사 할 수 있다고 가정한다. 연구 대상과의 상호 작용은 최소한으로 유지되어야한다. 연구의 타당성은 동료들로부터 인정받을 수 있다.'53

• 방법론 : '연구자는 현실을 근사approximate하기 위하여 시도해야한다 ... 과학적 방법에 대한 신념. 연구는 새로운 지식을 창조하고 과학적 발견을 추구하려는 노력이다. '53

• Ontology: ‘There is a single reality, but we may not be able to fully understand what it is or how to get to it because of the hidden variables and a lack of absolutes in nature’53 

• Epistemology: ‘Assume we can only approximate nature... Interaction with research subjects should be kept to a minimum. The validity of research comes from peers’53 

• Methodology: ‘Researchers should attempt to approximate reality... Belief in the scientific method. Research is the effort to create new knowledge, seek scientific discovery’53 

구성주의

Constructivism 

• 온톨로지 (Ontology) : 여러 현실이 존재한다는 신념, 현실은 개인에 의존적이며, 따라서 local 하고 specific하다. '우리는 살아낸 경험lived experience을 통해 지식을 구성한다.'53

• 인식론 (Epistemology) : 개인이 자신의 지식을 만들고 이것이 인지적으로 표현된다는 믿음; 연구원은 그들이 창조 한 지식에 영향을 미치고, 그 지식을 형성합니다. '우리는 우리의 lived experience에 의해 형성되며, lived experience는 언제나 우리가 연구자로서 생성한 지식과 연구참가자에 의해서 생성된 자료로부터 드러날come out 것이다. .'53

• 방법론 : 현장에서 실시되는 자연주의적 방법 (예 : 인터뷰, 관찰 등)에 크게 의존합니다. 연구자 (들), 참가자 (들), 연구 현상 사이에 충분한 상호 작용이 필요하다 53,59

• Ontology: belief that multiple realities exist, realities that are dependent on the individual and thus are local and specific; ‘we construct knowledge through our lived experiences’53 

• Epistemology: belief that individuals construct their own knowledge and this is represented cognitively; researchers influence and shape the knowledge they create; ‘we are shaped by our lived experiences, and these will always come out in the knowledge we generate as researchers and in the data generated by our subjects’53 

• Methodology: depends heavily on naturalistic methods (e.g. interviewing, observations, etc.) conducted in situ; requires sufficient interaction between the researcher(s), participant(s), and the research phenomenon53,59 

구축주의

Constructionism 

• 온톨로지 (Ontology) : 다양한 현실이 존재한다는 믿음, 현실은 개인과 사회 세계 사이의 상호 작용에 의존; 개인과 사회 세계는 대화dialogue를 통해 깊게 얽혀있다. '담론은 그것을 통해 자기와 세계가 표현되는 매개체임을 강조.'

• 인식론 (Epistemology) : 지식이 사회 세계에 상주하며 그것이 구성되고, 재구성되며, 상호 작용 안에 존재한다는 믿음, 61 '지식과 정체성은 세계를 분류하고 현상을 시야에 가져 오는 담론 속에서 구성된다'60) 구축주의의 변형된 형태들은 cognitive element를 인정한다 61

• 방법론 : 담론에 초점을 맞추고, 담론에 존재하는 (그리고 부재하는) 관점에 초점을 둡니다. 내러티브, 문헌, 토론 및 기타 담화에 관한 연구 61

• Ontology: belief that multiple realities exist, realities that are dependent on interactions between the individual and the social world; the individual and the social world are deeply entangled through dialogue; ‘the primary emphasis is on discourse as the vehicle through which the self and the world are articulated’60 

• Epistemology: belief that knowledge resides in the social world and that it is constructed, and reconstructed and resides in interactions;61 ‘knowledge and identities are constructed in discourses that categorise the world and bring phenomena into sight’;60 variations of constructionism acknowledge a cognitive element61 

• Methodology: focus is on discourse, on the perspectives that are present (and absent) in the discourse; study of narratives, literatures, debates, and other discourses61 

반영성

Reflexivity 

A process that enables researchers to consider their position and influence during a study; a process of maintaining awareness of how the researcher(s) constructs meaning and how the researcher(s) imposes meaning on the research process; a ‘self-critical sympathetic introspection and the self-conscious analytical scrutiny of the self as researcher’62,63

주제의 발현

THEMATIC EMERGENCE

HPE 연구자이 질적 데이터에 대한 주제 분석을 발표 할 때 일반적으로 '데이터 분석 중에 많은 주제가 emerge했습니다.'라는 문구가 포함되어 있습니다. 이 'emergence'라는 용어는 주제가 데이터에 reside하고 있으며, 어떤 방식으로든 페이지에서 완전히 벗어나서 형성되어 연구자에게 자신의 모습을 드러냄을 함축하고 있다.

When HPE researchers report thematic analysis of qualitative data, they commonly include a statement such as: ‘A number of themes emerged during data analysis.’ This language of emergence implies that the themes reside in the data and somehow lift themselves off the page, fully formed, and present themselves to the researcher.18 

또한, 'emergence'라는 주장은 일반적으로 연구자의 능동적 인 참여 과정에 대한 설명이 포함되어 있지 않다. 그러나 데이터나 주제가 주체성agency을 가지고 있지 않음은 분명하다. 오히려 연구자가 데이터와 상호 작용하여 주제를 식별하고 설명을 이끌어내는 것입니다.

Further, the claimof emergence is typically unaccompanied by a description of the researchers’ active participation in the interpretive process. Obviously, neither data nor themes possess agency per se; rather, it is the researchers’ interactions with the data, that bring forth thematic identification and description.

Watling와 Lingard 이렇게 표현하였다: '... 연구자가 연구 분야에 진입한 다음 수동적이고 객관적인 관찰자의 역할을 수행하기 위해 자신의 배경 지식, 경험 및 이론적 배움을 제쳐 놓을 수 있다는 생각은 시대에 뒤떨어지고 타당하지 않은 것처럼 보인다.'19

Watling and Lingard echo this sentiment when they proclaim: 

‘...the idea that the researcher can set aside his or her own background knowledge, experience, and theoretical leanings on entering the research field and play the role of passive, objective observer seems outdated and implausible.’19

방법론의 측면에서, HPE 문헌에서 'thematic emergence'의 보급은 GT에서 기인 한 것 같다. Glaser와 Strauss는 질적 연구에 참여하는 명확한 단계별 지침을 제시했다.

In terms of methodology, the prevalence of language about thematic emergence in the HPE literature is likely to originate from GT.20 Glaser and Strauss lay out clear step-bystep directions for engaging in qualitative research,2 making it accessible to a broad audience. 

Glaser와 Strauss의 GT는 "발견을 기다리고 있는 단일한 외부의 진리가 존재한다"라는 실증주의적 존재론적 가정에 의해 뒷받침됩니다. 이 관점에서, 연구원은 tabula rasa이며, 어떤 선입관으로부터도 자유로워야 한다. 연구원의 역할은 데이터에 묻혀있는 진실을 발굴하여 연구자의 주관성에 편향되지 않은 채로 드러내는 것입니다. 이렇듯 thematic emergence라는 말은 연구 과정에서 연구자의 주관성을 제거하여 객관성을 유지하는 것처럼 보이게 한다.

Glaser and Strauss’s GT is underpinned by the positivist ontological assumption that a single, external truth awaits discovery.19  From this perspective, the researcher acts as a tabula rasa, free of any preconceptions.21 The role of the researcher is to unearth the truth that is buried in the data, allowing it to emerge without becoming biased by the researcher’s subjectivity.22 This language of thematic emergence preserves an appearance of objectivity, removing the researcher’s subjectivity from the research process.

시간이 흐르면서 실증주의의 존재론적 인식론적 토대는 심하게 비판을 받았으며, 그 만큼 질적 연구자들도 실증주의적 지향을 포기했다. 오늘날 HPE 연구자는 구성주의자로서 GT(Constructivist GT)를 사용합니다. Constructivist GT는 주관의 역할을 인식하고, 연구자의 주관적 영향을 포함하여 여러 관점의 필연적 인 영향을 인정합니다.

Over time, the ontological and epistemological foundations of positivism have been heavily critiqued – so much so that qualitative researchers have largely abandoned positivist orientations . Today, HPE researchers commonly use constructivist GT.23 Constructivist GT recognises the role of subjectivity and acknowledges the necessary and inescapable influences of multiple perspectives, including those of the researcher.20 

따라서 연구자의 주관성은 연구 질문 작성, 연구 설계 및 데이터 수집에서 주제 식별에 이르기까지 항상 해석 과정의 일부입니다 .11 그러나 Constructivist GT가 받아들여진 이후에도, Glaser와 Strauss의 'emergent' 주제라는 개념은 여전히 널리 퍼져있다.  

Thus, a researcher’s subjectivity is always part of the interpretive process, from the crafting of the research questions, the designing of the study and collection of data to the identification of themes in those data.11 Yet Glaser and Strauss’s concept of ‘emergent’ themes still pervades, even when constructivist GT is the adopted methodology.

thematic emergence는 연구자가 스스로를 자료에 몰입하고 거주하면서, 주제를 인식하는 능동적 과정을 비성찰적으로 수행했다unreflective engagement라는 것을 의미할 수 있으며, 글레이저 (Glaser)와 스트라우스 (Strauss)의 널리 보급 된 언어 적 영향으로 compounded된다.

claims of thematic emergence are likely to derive from researchers’ unreflective engagement in the active work of immersing themselves in, dwelling on, and recognising themes in the data, compounded by Glaser and Strauss’s2 pervasive linguistic influence.

GT에 대한 그의 분석에서, Bryant는 emergence에 대한 개념의 방어가능성tenability에 의문을 제기한다. 브라이언트 (Bryant)는 Michael Reddy의 25 언어학에 근거하여 "유혹적인 언어를 도관conduit로 보는 은유"를 인용하여 비판했다. 이 은유에서, 언어는 디코딩 과정에서 받는 사람은 노력을 거의하지 않고, 한 사람 (예 : 연구 참가자)에서 다른 사람 (예 : 연구원)에게 생각을 전달하는 수단으로 인식됩니다.

In his analysis of GT, Bryant8 questions the tenability of conceptions of emergence. Bryant8 cites Michael Reddy’s25 linguistics-based critique of the seductive language as a conduit metaphor. In this metaphor, language is perceived as a vehicle that transfers thoughts from one person (e.g. the research participant) to another person (e.g. the researcher) with little effort on the part of the recipient in the decoding process.

그러나 실제 사물과 사고 방식은 더 복잡합니다. 사고와 감정은 언어로 인코딩되며(예 : 질적 데이터의 단어와 문장), 그것을 해석적 노력없이 받는 사람 (예 : 연구자)에게 전달될 수 없다 25. 따라서 연구자는 결코 수동적이지 않다. 본질적으로 데이터를 읽는 것은 해석을 필요로합니다. 데이터를 분석하려면 더 많은 해석 작업이 필요합니다.

In reality, however, things are more complex: thoughts and feelings are encoded into language (e.g. the words and sentences of qualitative data) that cannot be transferred to the recipient (e.g. the researcher) without the recipient’s interpretive effort.25 Thus, the researcher is never passive. Reading data inherently necessitates interpretation. Analysing data requires even greater interpretive work.

연구자로서, 우리는 우리가 발견 한 결론과 우리가 도달 한 결론을 포함하여, 우리 자신의 신념, 가치 및 주관적 인식이 어떻게 분석 과정을 형성하는지 명시적으로 밝히고 설명함으로써, 연구 과정에 성찰적으로 참여해야합니다 .20 질적 연구자는 주제를 확인하고 개발하는 과정에 적극 참여해야 한다. 즉, 출현emergence이 일어나는 과정을 연구자가 명확히 밝힐 수 없다면 thematic emergence라는 것을 대부분 포기한다는 것을 의미합니다.

As researchers, we must reflexively engage in the research process by explicitly identifying and describing how our own beliefs, values and subjective perceptions shape our analytical process, including the findings we identify and the conclusions we reach.26 We urge HPE qualitative researchers to embrace their active involvement in the processes of identifying and developing themes. This means largely abandoning the language of thematic emergence unless the researchers can articulate the processes through which emergence comes about. 

Bryant에 따르면, 아직 연구자의 머리에서 주제가 출현하는 과정에 대한 그럴듯한 인지적 설명은 없다.8 우리는 연구자의 주관성에 대한 투명한 보고를 데이터 분석에 포함할 것을 권장합니다. 출현하였다emerge와 같은 수동적 표현보다, '구성하다' 또는 '해석하다'와 같은 능동적인 의미의 단어를 사용하는 것은 한 가지 방법이다(우리는 n개의 themes를 develop하였다) 또한 연구자가 주제를 구성하는 데 참여한 사람을 명시하고, 주제를 식별하기 위해 연구자가 사용하는 프로세스를 설명하며, 연구 결과를 가져오는데 기여한 다양한 견해를 성찰적으로 고려하는 것이 중요합니다.

We should note that, according to Bryant, no plausible cognitive explanation for the process through which themes emerge in the researchers’ heads has yet been offered.8 We encourage the transparent reporting of researcher subjectivity as part of the data analysis. This can be achieved in many ways, including by using the active voice and words like constructing or interpreting rather than emerging (e.g. ‘I/we developed n themes relating to...’). Further, it is crucial that researchers specify who was involved in constructing themes, describe the processes used by the researcher(s) to identify themes, and reflexively consider the points of view brought to bear on the research.

삼각측량

TRIANGULATION

여러 연구전통에서 삼각 측량이란 여러 가지 방법, 이론, 데이터 유형 및 관점을 사용하여 연구의 엄격함과 연구 결과의 폭과 깊이를 높이는 전략의 하나이다 .27 측정에 뿌리를 두고 있는 '삼각측량'이라는 개념은, 실증주의와 후기실증주의에서 '엄격함'에 대해 갖는 견해에 부합한다. 즉, 연구자들은 '진실'에 수렴하는 여러 정보원을 모아서 타당성에 대한 증거를 제공하는 것이 이상적이다 .28,29

Researchers from many traditions have appropriated the concept of triangulation as a strategy in which multiple methods, theories, types of data and perspectives are used to enhance a study’s rigour and the breadth and depth of its findings.27 With roots in measurement, the concept aligns with positivist and post-positivist perspectives on rigour: researchers gather multiple sources of information that ideally converge upon ‘the truth’ and thus provide validity evidence.28,29 

많은 연구가 삼각측량에 대해서 후기실증주의의 입장을 취하고 있으며, 신뢰도를 향상시키는 방법으로 삼각 측량을 사용한다. 이러한 연구는 여러 시점에서 여러 시점에서 여러 유형의 데이터를 수집하여 '현실'에 대한 포괄적이고 안정적인 그림을 얻습니다 .30 다른 관점 (예 : 구성주의, 구축주의 등)을 가진 연구자들도 삼각측량을 사용하지만, 일반적으로 이들의 목적은 하나의 유효한 표현을 더 정교화honing하기보다는, 현상에 대한 시각의 풍부함과 다양성을 포착하는 데 초점을 맞추고있다 .27,31

Many studies take a post-positivist qualitative stance and use triangulation as a way to enhance credibility. Such studies collect several types of data, from a variety of perspectives, over multiple time-points to achieve a comprehensive, stable picture of ‘reality’.30 Researchers working from other perspectives (e.g. constructivism, constructionism, etc.) also use triangulation, but their purpose typically focuses on capturing the richness and diversity of perspectives on a phenomenon rather than on honing in on one valid representation of it.27,31

연구자가 신뢰도 또는 신뢰성을 극대화하기 위한 전략으로 삼각 측량을 사용할 때, 무엇을 삼각측량할지는 기술하지만, 어떻게 삼각측량할지 또는 어떻게 삼각측량에서 얻은 결과를 해석하고 통합할지를 설명하지 않는 경우가 많다. 예를 들어, 조사관은 자신의 연구가 다양한 관점 또는 전문 분야 (예 : 1 차 진료 MD, 교육 박사 과정)와 여러 조사자를 참여시키기도 하고, 여러 유형의 데이터 수집 (예 : 면담, 포커스 그룹 등) , 또는 여러 데이터 소스(예 : 임상 감독관 및 학생 인터뷰)를 사용하기도 한다. 그러나, 이 연구자들은 분석에서 다양한 관점과 유형의 데이터를 어떻게 사용할까?

When investigators identify triangulation as a strategy for maximising credibility or trustworthiness, they often describe what they will triangulate but not how they will triangulate, nor how they will interpret and incorporate the findings of this triangulation. For example, investigators may explain that their research is engaging multiple investigators with different perspectives or areas of expertise (e.g. an MD in primary care, a PhD in education), collecting multiple types of data (e.g. through interviews, focus groups, etc.), or using multiple sources of data (e.g. interviews with clinical supervisors and students). Yet, how do the researchers plan to use these different perspectives and types of data in their analysis?

바버 (Barbour)가 지적한 것처럼, 다양한 시각이나 데이터 유형에서 converge하는 결과는 분석가를 뒷받침하는 확실한 증거를 제공합니다 .32 그러나 발산divergence는 더 많은 탐구를 위한 가능성을 열어줍니다. 대부분의 질적 연구 접근법에서 divergence 또는 difference가 일련의 발견을 무효화하거나 불명확하게 만들지 않으며, 오히려 연구 된 현상에 대한보다 풍부한 이해를 뒷받침한다.

As Barbour points out, findings that converge from different perspectives or types of data offer some reassurance and corroborating evidence to support the analyses.32 However, divergence opens up possibilities for further exploration. In most qualitative research approaches, divergence or difference does not invalidate or discredit a set of findings.32 Instead, it supports a richer understanding of the phenomena being studied.

많은 유형의 질적 연구에서, 객관적인 현실 (즉, 실증주의 후 오리엔테이션)을 타당화 또는 확인하기 위하여 삼각측량을 사용하는 것은 연구자의 가정 (예 : 구성주의자 또는 구축주의자 지향)과 대립한다. 우리는 한 가지 방법으로 자료를 수집하거나 한 가지 집단만을 대상으로 하여 단일 연구자가 수행한 HPE연구는 다양한 관점을 비교할 기회가 없기 때문에 덜 rigorous하고, 그래서 삼각측량이 rigour에 도움이 된다고 여기는 경향이 있다. 그러나 이러한 생각이 꼭 맞는 것은 아니며, 특히 모든 연구 문제가 관점을 비교하거나 합의를 찾는 것이 아니기 때문이다. 또한, 일부 방법론은 반드시 한계점이 있지만, 그럼에도 불구하고 잘 실행되기만 하면 rigorous할 수 있다.

In many types of qualitative research, the use of triangulation for validation or confirmation of an objective reality (i.e. a post-positivist orientation) will be at odds with the inquiry’s underpinning assumptions (e.g. a constructivist or constructionist orientation). We hypothesise that, in HPE research, triangulation has become associated with rigour because research conducted by a single investigator, using one method of data collection or one participant population, is perceived as less rigorous because such a small-scope study provides no possibility of comparing multiple perspectives. This is an unfortunate impression that should be re-examined, particularly because not all research questions aimto compare perspectives or find consensus. Furthermore, some methodologies are necessarily restricted but, if executed well, are nonetheless rigorous.

리차드슨과 세인트 피에르 (Saint Pierre)는 삼각측량보다 결정화crystallization가 더 적절한 은유라고 제안한다. 결정화는 화제에 대한 복잡한 이해를 제공 할 수있는 무한한 형태의 다양한 형태, 물질, 변형, 다차원 및 접근 각도를 제공합니다 .9 비-실증주의자 입장에서 결정화와 삼각측량은 둘 다 convergence보다는 comprehensiveness를 통해서 엄격함을 향상시키는 기술입니다. 특정 위치에 고정된 삼각측량과 convergence는 질적 연구의 관점에서 방법론적 혼란을 야기하는데, 특히 연구자가 'shared understanding'을 함축하는 용어를 사용할 때 그러하다. Richardson과 St Pierre이 말하는 crystallization은 거의 수렴하지 않는 복잡한 이미지들을 잡아낸다.

Richardson and St Pierre9 proposed crystallisation as a more appropriate metaphor than triangulation. Crystallisation offers an ‘infinite variety of shapes, substances, transmutations, multidimensionalities, and angles of approach’ that can then provide a richly complex understanding of the topic.9 From a non-positivist orientation, crystallisation and triangulation are techniques for enhancing rigour through comprehensiveness rather than convergence.21 Triangulation’s association with fixed points, rigid structures and convergence seems to lead to methodological confusion in qualitative research, particularly when investigators use the term assuming shared understanding. Richardson and St Pierre’s crystallisation captures a complex array of images that rarely converge.9

포화

SATURATION

포화라는 용어는 HPE 커뮤니티에서 질적 엄격함과 품질의 지표로 널리 채택되어왔다. Glaser와 Strauss의 GT의 맥락에서 개발 된 이 개념은 연구자들이 이론적인 포화 점을 식별 할 수 있다는 믿음에 기반을두고있다(새로운 데이터가 개발 개념이나 이론에 새로운 것을 추가하지 않으며, 따라서 외부 '진리'가 발견되는 지점). 이것은 GT 연구자들이 데이터를 반복적으로 그리고 동시에 샘플링, 수집 및 분석했기 때문에 가능한 것이었다.

The term saturation has been widely adopted by the HPE community as a marker of qualitative rigour and quality.33 Developed within the context of Glaser and Strauss’s GT,2 the concept was based on the belief that researchers could identify the point of theoretical saturation (i.e. at which new data do not add anything new to a developing concept or theory, and hence at which the external ‘truth’ is discovered). This was made possible because grounded theorists sampled, collected and analysed data iteratively and concurrently.33–36 

이후 포화에 대한 variation이 등장하여, 데이터 및 주제의 포화와 같은 것들이 등장한다 (즉, 새로운 데이터는 새로운 insight나 주제를 산출하지 못합니다 36). 포화를 옹호하는 사람들은 이것이 품질의 지표가되는 것 외에도 자원 낭비 측면에서 반복적이고 불필요하며 비 윤리적 인 것으로 묘사 된 데이터의 과도한 수집을 방지하는 데 도움이된다고 주장한다 .36,37

Later variants of saturation, such as data and thematic saturation, have different meanings (i.e. new data do not yield any new insights or themes36). Advocates of saturation argue that in addition to being a marker of quality, it helps to prevent over-collection of data, which has been described as repetitive, superfluous and unethical in terms of wasting resources.36,37

포화의 개념을 문제삼는 이유는 여러가지지만, 그 중 가장 중요한 것은 이론, 데이터 또는 주제가 진정으로 포화 될 수 있는지에 관한 철학적 질문입니다. 다른 학자들에 의해 제안 된 바와 같이, 여분의 데이터로 새롭거나 다른 것을 발견할 가능성은 항상 존재한다. 10,33,38 포화라는 것을 결과적으로 달성 할 수있는 절대적 지위로 생각해서는 안됩니다.

The concept of saturation is challenging for various reasons but chief among these is a philosophical question about whether theories, data or themes can ever be truly saturated. As suggested by other scholars, there is always potential to discover something new or different with extra data.10,33,38 saturation should not be conceived of as an absolute status that can be conclusively achieved.10

포화의 개념에 대하여 실용적 측면에서 몇 가지 이차적 문제가 있다. 특히 질적 연구자가 샘플링, 데이터 수집 및 분석을 별개의 단계로 수행 할 때 발생한다. 즉, 이 경우 연구자는 모든 데이터를 수집한 후에만 ​​데이터 분석을 시작할 수 있습니다 .34 그런데, 데이터 수집 및 분석이 동시에 수행되지 않으면, 반복주기에서 어떻게 최종적으로 포화 상태에 도달하였는지 알 수 있는가?

Some secondary challenges with the concept of saturation are very pragmatic in nature. One of these is the difficulty of identification, particularly when qualitative researchers conduct sampling, data collection and analysis in distinct stages, which means that data analysis can only begin once all data have been collected.34 If data collection and analysis are not conducted concurrently, in iterative cycles, how can saturation be used as an endpoint? 

또한, 대부분의 프로젝트 제안은 연구자이 예산 및 일정표를 정당화하기 위해 연구를 시작하기 전에 표본 크기를 명시 할 것을 요구합니다. 특히 자금 지원 연구 및 윤리 승인을 필요로하는 연구에 대해서는 그렇습니다 .33,34 그러나 사전에 포화를 달성하는 데 필요한 데이터의 양을 기술하는 것은 기본적으로 추측일 뿐이다. 많은 학자가 질적 연구를위한 최소 표본 크기 요구 사항을 규정하고 있지만, 41,42 상황에 따라 크게 다릅니다.

Furthermore, most project proposals require researchers to state the sample size ahead of the study in order to justify budgets and timelines, particularly for funded research and research requiring ethics approval.33,34 However, describing the amount of data required to achieve saturation in advance of starting a study is essentially guesswork. Although many scholars have stipulated minimum sample size requirements for qualitative research,41,42 recommendations vary markedly by context.

마지막으로, HPE 출판물에서 가장 널리 퍼지고 문제가 되는 것은, 어떻게 포화에 도달하였는가에 대한 설명을 전혀 하지 않은 채로 포화에 도달하였다고 주장하는 것이다. 연구에서 포화의 개념을 사용하고자하는 사람들은 어떻게 포화가 방법론적 방향성의 일부가 되었는지, 연구에서 포화가 어떻게 도달되었는지를 설명하고, 포화 달성이라는 주장을 입증할 증거를 제공하는 것이 중요합니다.

Finally, perhaps the most prevalent and problematic use of saturation in HPE publications refers to the claims made by many authors that saturation has been reached in the absence of any explanation of how it was reached. It is essential that those who want to employ the concept of saturation in their research explain how saturation is part of their methodological orientation, state how saturation was reached in the study, and provide evidence to substantiate the claim of achieving saturation.36

분명히 포화는 모든 질적 연구에서 엄격함이나 품질의 일반적인 지표로 사용되어서는 안 되는 첨예 한 개념입니다. 포화는 Glaser와 Strauss의 GT와 같은 실증주의와 후기실증주의적 질적 방법론에 적합한 개념이 될 수 있다. 다른 GT 학자들이 '이론적 충분'과 같은 포화가 아닌 다른 용어를 옹호하고있다 (meaning the stage at which categories appear to manage new data without requiring further modifications) 실제로, Dey는 sufficiency를 'good enough'로 정의하고, 이는 'exhaustive'함을 의미하는 '포화'와는 대조되는 것이다.10

Clearly, saturation is a thorny concept that should not be used as a general marker of rigour or quality in all qualitative research. We argue that saturation may be a concept suited to positivist and post-positivist qualitative methodologies such as Glaser and Strauss’s GT,2 although other GT scholars have advocated terms other than saturation, such as ‘theoretical sufficiency’ (meaning the stage at which categories appear to manage new data without requiring further modifications).10 Indeed, Dey defines sufficiency as ‘good enough’, contrasting this with saturation, described as ‘exhaustive’.10

그러나 우리는 포화에 대한 대안으로 'information power'과 같은 최근 개념을 택하고 있습니다 .44 실제로 말 테루 (Malterud)와 그녀의 동료들은 질적 연구를위한 표본 크기가 다섯 가지 주요 차원에 달려 있다고 제안합니다.

• (i) 연구 목표 (좁은 목표를 가진 연구는 광범위한 목표를 가진 연구보다 소수의 참가자가 필요함);

• (ii) 표본 특이성 (특정 유형의 참가자가 덜 필요한 참가자보다 적은 수의 참가자를 필요로하는 연구);

• (ⅲ) 확립 된 이론 (이론적으로 정보가 주어진 연구는 이론에 의해 알려지지 않은 연구보다 소수의 참가자를 필요로한다);

• (iv) 대화의 질 (좋은 인터뷰 대화를 통한 연구는 약한 인터뷰 대화가있는 연구보다 참가자가 적음)

• (v) 분석 전략 (예 : 내러티브와 담론에 대한 깊이있는 탐구가 필요한 연구는 교차 분석을 필요로하는 연구보다 소수의 참가자가 필요함) .44

However, we are rather taken by more recent concepts such as ‘information power’ as an alternative to saturation.44 Indeed, Malterud and her colleagues suggest that sample sizes for qualitative studies depend on five key dimensions: 

• (i) study aim (studies with narrow aims require fewer participants than those with broad aims); 

• (ii) sample specificity (studies that require a highly specific type of participant need fewer participants than those that require less specific participants); 

• (iii) established theory (theoretically informed studies require fewer participants than studies not informed by theory); 

• (iv) quality of dialogue (studies with good interview dialogue require fewer participants than studies with weak interview dialogue), and 

• (v) analysis strategy (studies that require longitudinal in-depth exploration of, for example, narratives and discourse require fewer participants than those that require cross-case analyses).44

멤버 체킹

MEMBER CHECKING

멤버 체킹(정보 제공자 피드백, 응답자 확인, 회원 확인 또는 의존성 검사라고도 함)은 연구자가 모든 또는 일부 참가자에게 데이터 필사본 또는 데이터 해석을 제시하여 코멘트를 받는 것이다. 이러한 공유는 데이터 분석의 신뢰도와 참여자의 참여를 높인다.13,45 멤버 체킹은 일반적으로 연구의 두 단계에서 수행됩니다.

• 첫째, 참가자는 자신의 녹취록이 정확하게 기록되었는지 뿐만 아니라, 자신의 단어가 의도 된 의미와 일치하는지 검토하도록 요청받을 수 있습니다 .30

• 둘째, 참가자는 연구자의 데이터 해석을 검증하기 위해 초기 또는 최종 데이터 분석을 검토하도록 요청받을 수 있습니다.

Member checking (also referred to as informant feedback, respondent validation, member validation, or dependability checking) involves the researcher presenting data transcripts or data interpretations to all or some participants for comment.45 Such sharing is designed to enhance the credibility of data analysis and participant involvement.13,45 Member checking is generally conducted at two stages of the study. 

• Firstly, participants may be asked to review their transcripts to consider if their words match intended meanings, rather than if the articulations themselves have been accurately recorded.30 

• Secondly, participants may be asked to review the initial or final data analyses to validate the researchers’ interpretations of the data.45

멤버 체킹의 인기는 MC를 '신뢰 구축을위한 가장 중요한 기술'이라고 주장한 링컨 (Lincoln)과 구바 (Guba) 에까지 거슬러 올라간다 46 처음에는 데이터 분석 중에 이뤄지는 연속 프로세스로 설명되었지만, 이후에는 타당성 검사에보다 초점을 맞추고 있습니다. 루이스 (Lewis)는 이러한 견제와 균형이 실증주의와 사후실증주의에 뿌리를 두고 있음을 지적하면서 이 전략의 역사적인 진화를 기술하고있다.

The popularity of member checking may be traced back to Lincoln and Guba, who claimed that member checking is the ‘most crucial technique for establishing credibility’.46 Although originally described as a continuous process during data analysis, it has become more focused on post hoc validation.47 Lewis describes the historical evolution of this strategy, noting that such checks and balances are rooted in positivism and post-positivism.47

이 실증주의적 관점에서, MC는 오류를 정정하고 허위 진술과 오해의 가능성을 제거하기 위해 사용됩니다. 실증주의적 관점에서 MC를 통해 참가자와 연구자의 해석 사이에 모순점을 드러났다면, 연구자는 참가자의 분석과 일치하도록 분석을 수정하거나, (보다 실용적으로는) 참가자가 완전히 동의하지는 않더라도, 참가자가 동의하는 지점에 도달하도록 분석을 재구성해야 한다.

From this positivist perspective, a member check is used to correct errors and to eliminate the possibility of misrepresentation and misinterpretation. From this orientation, if a member check reveals a contradiction between participant and researcher interpretations, the researcher must modify his or her analyses to bring them in line with the participant’s analyses or (pragmatically) reach a point at which participants agree that the reconstructions are fair even if they are not in complete agreement.

그러나 질적 연구에 대한 현대적인 접근법은 종종 구성주의와 구축주의와 같은 접근법에 의해 뒷받침된다. 질적 인 데이터 분석은 연구자가 결과와 결론을 능동적으로 구성하는 해석적 과정이라고 주장한다 (연구원의 적극적인 역할에 대한 위의 내용을 참조). 이러한 관점에서는, MC에서 참가자 및 연구원의 해석이 충돌하거나 부적절하다는 것이 드러나더라도, 곤란한 상황은 발생하지 않습니다.

Yet modern approaches to qualitative research are often underpinned by approaches such as constructionism and constructivism, which assert that qualitative data analysis is an interpretive process in which the researcher is actively part of constructing the findings and conclusions (see thematic emergence above for a description of the researcher’s active role). From such a perspective, no predicament is created if a member checking activity reveals that the participants’ and researcher’s interpretations conflict or are incongruent.

연구자와 참가자는 분석 프로세스에 대해 서로 다른 시각을 가지고 있습니다. 연구자는 자신의 이론 및 방법론적 전문 ​​지식을 통해 데이터를 해석한다. 연구자에 의해 생성된 발견은 광범위한 청중을 대상으로 설계된 것이기 때문에, 개별 참가자의 설명과 다를 수 있고, 이것은 연구 과정에서 각 개인의 역할이 다르기 때문에 당연한 것이다.48 참가자의 개별적인 문제를 해결하려 했다면, 연구자는 데이터로부터 필요한 합성과 추상화를 수행하기보다는, 결과를 보다 기술적 인 수준으로 억제해야 할 것이다.

The researcher and participants bring different perspectives to the analytic process. The researcher brings his or her own theoretical and methodological expertise to inform data interpretations. Findings generated by the researcher are designed for a wide audience and therefore will differ from the account of an individual participant simply because of the different roles of each person in the research process.48 In order to address participants’ individual concerns, researchers may be forced to restrain their results to a more descriptive level rather than carry out the necessary synthesis and abstraction from (and across) the data.49 

또한, 연구자의 분석은 전체 데이터 세트를 기반으로 하며, 이 데이터세트에서 참가자는 언제나 privy한 것이 아니다. 실제로 Atkinson12는 MC 작업이 참가자의 해석을 지나치게 낭만적으로 만들고 있으며, 여러 참가자에 걸친 설명accounts보다 개개인의 관점에서의 해석에 더 특권을 부여한다고 비판했다. Morse는 "이론과 연구 방법에 대한 연구자의 배경이 분석의 판단자로서 참여자를 능가해야한다고 제안했다.

In addition, the researcher’s analysis is based on the whole dataset, a collection to which the participant is not always privy.49 Indeed, Atkinson12 has critiqued the act of member checking for overly romanticising participants’ interpretations and for privileging the individual’s account over the analysis across multiple participant accounts. Morse proposes that ‘the researcher’s background in theory and research methods must [lead them to] outrank the participant as a judge of the analysis’.50

반대로 행동 연구와 같은 일부 방법론은 참여자와 연구자 간의 의미 분석과 참여에 대한 참여 적 접근을 요구한다.

By contrast, some methodologies, such as action research, demand a participatory approach to the analysis and co-construction of meaning between participants and researchers.

골드 블랏 (Goldblatt)과 동료 45 명은 회원 확인을 통해 제기 될 수있는 윤리적 및 방법 론적 문제를 설명합니다. 윤리적 문제 중 하나는 참가자가 민감한 주제에 대해서 재참여하는 것이다. 방법론 과제에는 다음이 포함됩니다.

• 녹취록의 타당도 확인에 관여하는 요청에 대한 응답률이 낮음,

• 연구자의 전문 지식을 신경쓰느라 정직한 피드백을 제공하는 것을 꺼리게 됨

• 시간이 흘러서 참가자가 연구 주제에 대한 자신의 관점이 합법적으로 변화할 수 있음

Goldblatt and colleagues45 describe the ethical and methodological challenges that may be raised by member checking. Ethical challenges include the re-engagement of participants with highly sensitive topics. Methodological challenges include 

• low response rates to invitations to engage in transcript validation, 

• participant reluctance to provide honest feedback based on the perceived expertise of the researcher, and 

• time lags between the collection and analysis of data during which participants may legitimately change their perspectives on the research topic.51

이렇게 상황에 매우 민감한 고려 사항을 고려할 때, 연구원은 연구에서 MC의 목적에 대해 숙고하는 것이 중요합니다. 연구자들은 다음과 같은 안내 질문을 통해 회원 확인 사용에 관한 결정을 알려야합니다.

• MC가 잠재적으로 참가자들에게 연구와의 연계를 연장하도록 강요합니까?

• 잠재적으로 민감한 데이터를 검토하도록 참가자에게 요청합니까?

• MC이 취약한 관계에 문제를 일으킵니까?

Given such highly context-dependent considerations, it is important for researchers to reflect on the purpose(s) of member checking in their study. Scholars should, inform their decisions about the use of member checking with guiding questions such as: 

• Would a member check potentially coerce participants to prolong engagement with the research? 

• Are we asking participants to review potentially sensitive data? 

• Would the member check disrupt vulnerable relationships?45 

MC가 질적 HPE 연구에서 사용되고보고 될 때, 저자는 MC 절차에서 비롯된 해석상의 실제 변화에 대한 충분한 세부 사항을 제공하지 않습니다 .45 따라서 회원 점검을 사용하는 학자들이 회원 점검이 일관된 방식으로보고되도록 권장합니다

• MC가 인식 론적 방향과 어떻게 일치하는지,

• 초대 된 참가자의 수 (및 그 이유)

• 응답 한 사람 수

• MC로 인한 해석의 변화

When member checking is used and reported in qualitative HPE research, authors rarely provide sufficient details of actual changes in their interpretations that resulted from the member checking process.45 Therefore, we encourage scholars who choose to use member checking to report 

• how member checking is coherent with their epistemological orientation, 

• how many participants were invited (and why), 

• how many responded, and 

• the changes in interpretations that resulted from the member check.

결론

CONCLUSIONS

질적 인 연구를보고하거나 평가하기위한 지침과 체크리스트는 연구 전반에 걸쳐 사용 된 결정과 과정에 대한 신중한 계획과 비판적 반영을 유도하는 데 유용한 자료가 될 수 있습니다. 그러나 가장 중요한 문제는 이러한 동일한 지침과 체크리스트가 실수로 질적 연구의 복잡성과 프로세스 전반에 걸친 연구원의 신중한 결정을 숨길 수mask 있다는 것입니다. 이 가이드 라인과 체크리스트는 연구 방법론이나 방법에 반드시 관련이 없거나 적용 가능하지 않은 요구 사항으로 인해 연구자가 방해 받았다고 느끼게 만듭니다.

Guidelines and checklists for reporting on or evaluating qualitative research can be helpful resources for prompting careful planning and critical reflection on the decisions made and processes used throughout the study. However, and most problematically, these same guidelines and checklists can unintentionally mask the complexity of qualitative research and the careful decisions made by researchers throughout the process. These guidelines and checklists risk leaving researchers feeling stifled by requirements that are not necessarily relevant or applicable to their research methodologies or methods.

대신, 우리는 질적 연구에 대한보다 미묘한 이해를 주장하고 있으며, 우리가 지역 사회 구성원으로 읽은 논문과 편집부에서 심사하는 저널 제출 모두에서 종종 부적절한 방식으로 사용되는 특정 개념을 문제화하였다. 본 연구의 목표는 연구자가 특정 질적 방법과 기법을 사용하는 것에 대하여, 사려 깊은 정당화와 연구의 맥락에서 어떤 용어가 의미하는지에 대한 설명을 제공하도록 장려하는 것입니다.

Instead, we are arguing for a more nuanced understanding of qualitative research and are doing so by problematising specific concepts that are often used in inappropriate ways, both in the papers we read as community members and in journal submissions we adjudicate in our editorial roles. Our goal in this paper is to encourage researchers to provide both thoughtful justification for their use of particular qualitative methods and techniques, and explanations of what terms mean in the contexts of their studies.

---

Med Educ. 2017 Jan;51(1):40-50. doi: 10.1111/medu.13124.

Shedding the cobra effect: problematising thematic emergence, triangulation, saturation and member checking.

Varpio L1, Ajjawi R2, Monrouxe LV3, O'Brien BC4, Rees CE5.

Author information

1

Department of Medicine, Faculty of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

2

Centre for Research in Assessment and Digital Learning (CRADLE), Deakin University, Melbourne, Victoria, Australia.

3

Chang Gung Medical Education Research Centre, Chang Gung Memorial Hospital, Linkou, Taiwan.

4

Department of Medicine, University of California San Francisco, San Francisco, California, USA.

5

HealthPEER (Health Professions Education and Education Research), Faculty of Medicine, Nursing and Health Sciences, Monash University, Melbourne, Victoria, Australia.

Abstract

CONTEXT:

Qualitative research is widely accepted as a legitimate approach to inquiry in health professions education (HPE). To secure this status, qualitative researchers have developed a variety of strategies (e.g. reliance on post-positivist qualitative methodologies, use of different rhetorical techniques, etc.) to facilitate the acceptance of their research methodologies and methods by the HPE community. Although these strategies have supported the acceptance of qualitative research in HPE, they have also brought about some unintended consequences. One of these consequences is that some HPE scholars have begun to use terms in qualitative publications without critically reflecting on: (i) their ontological and epistemological roots; (ii) their definitions, or (iii) their implications.

OBJECTIVES:

In this paper, we share our critical reflections on four qualitative terms popularly used in the HPE literature: thematicemergence; triangulation; saturation, and member checking.

METHODS:

We discuss the methodological origins of these terms and the applications supported by these origins. We reflect critically on how these four terms became expected of qualitative research in HPE, and we reconsider their meanings and use by drawing on the broader qualitative methodology literature.

CONCLUSIONS:

Through this examination, we hope to encourage qualitative scholars in HPE to avoid using qualitative terms uncritically and non-reflexively.

© 2016 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

PMID:

 

27981658

 

DOI:

 

10.1111/medu.13124

[Indexed for MEDLINE]