혼합방법연구에서 데이터를 통합하는 세 가지 테크닉(BMJ. 2010)

혼합방법연구에서 데이터를 통합하는 세 가지 테크닉(BMJ. 2010)
Three techniques for integrating data in mixed methods studies
Alicia O’Cathain,1 Elizabeth Murphy,2 Jon Nicholl1

 

질적 연구와 정량적 연구 결과를 결합하도록 설계된 기법은 연구자에게 개별 분석보다 더 많은 지식을 제공할 수 있습니다. 
Techniques designed to combine the results of qualitative and quantitative studies can provide researchers with more knowledge than separate analysis

보건 연구자들은 점점 더 질적 방법과 정량적 방법을 결합한 설계를 사용하고 있으며, 이를 혼합 방법 연구라고 부르기도 합니다.1 연구의 질적 요소와 정량적 요소 간의 상호작용 또는 대화인 통합은 혼합 방법 연구의 중요한 측면이며, 실제로 일부 정의에 필수적입니다.2 그러나 보건 분야의 혼합 방법 연구에 대한 최근 경험적 연구에 따르면 구성 요소 간의 통합이 부족하여3 4 이러한 유형의 연구가 생성하는 지식의 양에 제한이 있는 것으로 나타났습니다. 통합이 없으면 "부분의 합보다 더 큰 전체"를 얻기보다는 질적 연구와 양적 연구를 독립적으로 수행했을 때와 동일한 수준의 지식이 산출됩니다.5 
Health researchers are increasingly using designs that combine qualitative and quantitative methods, and this is often called mixed methods research.1 Integration—the interaction or conversation between the qualitative and quantitative components of a study—is an important aspect of mixed methods research, and, indeed, is essential to some definitions.2 Recent empirical studies of mixed methods research in health show, however, a lack of integration between components,3 4 which limits the amount of knowledge that these types of studies generate. Without integration, the knowledge yield is equivalent to that from a qualitative study and a quantitative study undertaken independently, rather than achieving a “whole greater than the sum of the parts.”5

보건 및 사회 연구 모두에서 통합을 가로막는 장벽이 확인되었습니다.6 7 한 가지 장벽은 혼합 방법 연구에 대한 공식 교육이 없다는 것입니다. 다행히도 질적 방법과 양적 방법의 데이터와 연구 결과를 통합하는 방법에 대한 설명을 포함하여 이러한 교육 격차를 메우기 위한 문헌이 빠르게 확장되고 있습니다.8 9 이 글에서는 보건 연구자가 혼합 방법 연구에서 데이터 또는 연구 결과를 통합하는 데 도움이 될 수 있는 세 가지 기법을 설명하고 이러한 접근 방식에서 생성된 지식을 향상시킬 수 있는 방법을 보여줍니다. 
Barriers to integration have been identified in both health and social research.6 7 One barrier is the absence of formal education in mixed methods research. Fortunately, literature is rapidly expanding to fill this educational gap, including descriptions of how to integrate data and findings from qualitative and quantitative methods.8 9 In this article we outline three techniques that may help health researchers to integrate data or findings in their mixed methods studies and show how these might enhance knowledge generated from this approach.

삼각측량 프로토콜
Triangulation protocol

연구자는 종종 정성적 방법과 정량적 방법을 사용하여 전체 연구 질문의 다양한 측면을 조사합니다. 예를 들어, 무작위 대조 시험을 통해 의료 개입의 효과를 평가하고 환자 및 의료 전문가와의 반구조화된 인터뷰를 통해 실제 환경에서 개입이 사용된 방식을 고려할 수 있습니다. 또는 서비스 사용자에 대한 설문조사를 통해 서비스 만족도를 측정하고 포커스 그룹을 통해 치료에 대한 관점을 더 깊이 탐구할 수도 있습니다. 각 구성 요소에 대해 데이터를 개별적으로 수집하고 분석하여 두 가지 결과를 도출합니다. 그런 다음 연구자들은 이러한 결과를 결합하려고 시도하며, 이 과정을 삼각 측량이라고 부르기도 합니다. 삼각측량이라는 용어는 두 가지 의미가 있기 때문에 혼동될 수 있습니다.10 삼각측량은

• 두 세트의 결과 사이의 확증(보강, corroboration)을 설명하거나
• 보다 완전한 그림을 얻기 위해 다양한 방법을 사용하여 문제를 연구하는 과정

후자의 의미는 혼합 방법 연구에서 일반적으로 사용되며 여기서는 이 의미를 사용합니다. 
Researchers will often use qualitative and quantitative methods to examine different aspects of an overall research question. For example, they might use a randomised controlled trial to assess the effectiveness of a healthcare intervention and semistructured interviews with patients and health professionals to consider the way in which the intervention was used in the real world. Alternatively, they might use a survey of service users to measure satisfaction with a service and focus groups to explore views of care in more depth. Data are collected and analysed separately for each component to produce two sets of findings. Researchers will then attempt to combine these findings, sometimes calling this process triangulation. The term triangulation can be confusing because it has two meanings.10 It can be used

• to describe corroboration between two sets of findings or
• to describe a process of studying a problem using different methods to gain a more complete picture.

The latter meaning is commonly used in mixed methods research and is the meaning used here.

서로 다른 방법의 결과를 삼각 측량하는 과정은 두 데이터 세트가 개별적으로 분석되었을 때 연구의 해석 단계에서 이루어집니다(그림⇓). 연구 결과를 삼각 측량하기 위한 몇 가지 기법이 설명되어 있습니다. 연구자는 연구의 각 구성 요소에서 얻은 결과를 같은 페이지에 나열하고 다음을 고려해야 합니다

• 각 방법의 결과가 일치하는 부분(수렴성),
• 동일한 문제에 대해 보완적인 정보를 제공하는 부분(보완성),
• 서로 모순되는 것처럼 보이는 부분(불일치 또는 부조화).11 12 13

다른 방법의 결과 간에 불일치를 명시적으로 찾는 것은 이 과정의 중요한 부분입니다. 의견 불일치는 연구에 문제가 있다는 신호가 아닙니다. 명백한 "방법 간 불일치"를 탐색하는 것은 연구 질문에 대한 더 나은 이해로 이어질 수 있으며,14 보건 서비스 연구에서 방법 간 불일치를 탐색하기 위해 다양한 접근법이 사용되었습니다.15 
The process of triangulating findings from different methods takes place at the interpretation stage of a study when both data sets have been analysed separately (figure⇓). Several techniques have been described for triangulating findings. They require researchers to list the findings from each component of a study on the same page and consider where findings from each method agree (convergence), offer complementary information on the same issue (complementarity), or appear to contradict each other (discrepancy or dissonance).11 12 13 Explicitly looking for disagreements between findings from different methods is an important part of this process. Disagreement is not a sign that something is wrong with a study. Exploration of any apparent “inter-method discrepancy” may lead to a better understanding of the research question,14 and a range of approaches have been used within health services research to explore inter-method discrepancy.15

삼각측량 수행 방법에 대한 가장 자세한 설명은 삼각측량 프로토콜로,11 여러 질적 방법을 위해 개발되었지만 혼합 방법 연구와 관련이 있습니다. 이 기법에는 연구의 각 구성 요소에서 나온 결과를 같은 페이지에 표시하는 '융합 코딩 매트릭스'를 생성하는 것이 포함됩니다. 그 다음에는 서로 다른 구성 요소의 결과 사이에 일치, 부분 일치, 침묵 또는 불협화음이 있는 부분을 고려합니다. 이 삼각측량 기법은 주제나 결과가 한 데이터 세트에서 발생하지만 다른 데이터 세트에서는 발생하지 않는 침묵을 포함할 수 있는 유일한 기법입니다. 현상의 다양한 측면을 조사하는 다양한 방법의 강점 때문에 침묵이 예상될 수 있지만, 이해를 높이거나 추가 조사로 이어지는 데 도움이 되는 예상치 못한 침묵도 발생할 수 있습니다.
The most detailed description of how to carry out triangulation is the triangulation protocol,11 which although developed for multiple qualitative methods, is relevant to mixed methods studies. This technique involves producing a “convergence coding matrix” to display findings emerging from each component of a study on the same page. This is followed by consideration of where there is agreement, partial agreement, silence, or dissonance between findings from different components. This technique for triangulation is the only one to include silence—where a theme or finding arises from one data set and not another. Silence might be expected because of the strengths of different methods to examine different aspects of a phenomenon, but surprise silences might also arise that help to increase understanding or lead to further investigations.

삼각측량 프로토콜은 연구자들이 각 방법과 관련된 결과에 대한 생각에서 벗어나 다양한 방법의 결과를 가로지르는 메타테마라고 부르는 것으로 이동시킵니다.11 삼각측량 프로토콜의 작동 사례를 보여 주지만, 다른 출판된 사례는 찾을 수 없었습니다. 그러나 새로운 일차 혈관 성형술 서비스에 대한 환자와 보호자의 만족도를 파악하기 위한 반복적 혼합 방법 연구에서도 유사한 원칙이 사용되었습니다.16 

• 연구자들은 16명의 사용자와 보호자를 대상으로 반구조화된 인터뷰를 실시하여 새로운 서비스에 대한 경험과 견해를 조사했습니다. 
• 이를 바탕으로 새로운 서비스 또는 일반적인 치료를 받고 있는 595명의 환자(및 보호자 418명)를 대상으로 설문지를 개발했습니다. 
• 마지막으로, 사후 관리 및 재활에 불만을 표명한 환자 중 17명을 대상으로 반구조화된 인터뷰를 통해 이에 대한 추가 조사를 실시했습니다. 

연구진은 메타주제로의 사고 전환을 통해 인터뷰, 설문조사, 후속 인터뷰의 결과를 순차적으로 보고하는 방식에서 벗어나 속도와 효율성, 치료의 편의성, 퇴원 및 사후 관리라는 메타주제를 고려했습니다. 설문조사 결과, 새로운 서비스를 이용하는 환자 보호자 중 병원 방문의 편의성이 기존 서비스를 이용하는 보호자보다 낮다고 평가한 비율이 더 높았습니다. 인터뷰는 새로운 서비스에 대한 이러한 우려를 뒷받침했지만, 보호자가 가족의 생명을 구할 수 있다는 맥락에서 이러한 우려에 부여하는 비중은 낮다는 사실도 확인했습니다.
The triangulation protocol moves researchers from thinking about the findings related to each method, to what Farmer and colleagues call meta-themes that cut across the findings from different methods.11 They show a worked example of triangulation protocol, but we could find no other published example. However, similar principles were used in an iterative mixed methods study to understand patient and carer satisfaction with a new primary angioplasty service.16 

• Researchers conducted semistructured interviews with 16 users and carers to explore their experiences and views of the new service.
• These were used to develop a questionnaire for a survey of 595 patients (and 418 of their carers) receiving either the new service or usual care.
• Finally, 17 of the patients who expressed dissatisfaction with aftercare and rehabilitation were followed up to explore this further in semistructured interviews.

A shift of thinking to meta-themes led the researchers away from reporting the findings from the interviews, survey, and follow-up interviews sequentially to consider the meta-themes of speed and efficiency, convenience of care, and discharge and after care. The survey identified that a higher percentage of carers of patients using the new service rated the convenience of visiting the hospital as poor than those using usual care. The interviews supported this concern about the new service, but also identified that the weight carers gave to this concern was low in the context of their family member’s life being saved.

Morgan은 이러한 움직임이 질적 요소와 양적 요소를 분석한 후에 발생하기 때문에 "제3의 노력"이라고 설명합니다.17 연구 시간표에 계획해야 하는 시간과 에너지가 필요합니다. 통합 프로세스를 누가 수행할 것인지 고려하는 것도 유용합니다. 삼각 측량 시 두 명의 연구자가 함께 작업해야 하는데, 이는 혼합 방법 연구에서 서로 다른 연구자가 정성적 요소와 정량적 요소를 담당하는 경우 특히 중요할 수 있습니다.11 
Morgan describes this move as the “third effort” because it occurs after analysis of the qualitative and the quantitative components.17 It requires time and energy that must be planned into the study timetable. It is also useful to consider who will carry out the integration process. Farmer and colleagues require two researchers to work together during triangulation, which can be particularly important in mixed methods studies if different researchers take responsibility for the qualitative and quantitative components.11

스레드 따라가기
Following a thread

모란-엘리스와 동료들은 following a thread라는 연구의 질적 구성 요소와 양적 구성 요소의 결과를 통합하는 다른 기법을 설명합니다.18 이들은 이 기법이 연구 과정의 분석 단계에서 수행된다고 말합니다(그림⇑). 각 구성 요소에 대한 초기 분석으로 시작하여 주요 주제와 추가 탐구가 필요한 질문을 식별합니다. 그런 다음 연구자는 한 구성 요소에서 질문 또는 주제를 선택하고 다른 구성 요소에 걸쳐 이를 따라가는데, 이를 스레드라고 부릅니다. 저자들은 이 기법의 단계를 명시하지는 않았지만 데이터 집합 간 작업을 위한 시각적 모델을 제공합니다. 이와 유사한 접근 방식이 의료 서비스 연구에서도 수행되었지만, 연구자들은 이 기법이 문헌에서 자주 사용되지 않았기 때문에 이를 '스레드'라고 부르지 않았습니다(상자).
Moran-Ellis and colleagues describe a different technique for integrating the findings from the qualitative and quantitative components of a study, called following a thread.18 They state that this takes place at the analysis stage of the research process (figure⇑). It begins with an initial analysis of each component to identify key themes and questions requiring further exploration. Then the researchers select a question or theme from one component and follow it across the other components—they call this the thread. The authors do not specify steps in this technique but offer a visual model for working between datasets. An approach similar to this has been undertaken in health services research, although the researchers did not label it as such, probably because the technique has not been used frequently in the literature (box)

스레드 팔로우의 예19
An example of following a thread19

아담슨과 동료들은 일반 진료소에 등록된 사람들을 대상으로 한 설문조사와 반구조화된 인터뷰를 통해 환자의 견해가 적절한 서비스 사용과 도움 요청에 미치는 영향을 조사했습니다. 정성적 요소(22건의 인터뷰)와 정량적 요소(911명의 응답자를 대상으로 한 설문조사)가 동시에 진행되었습니다.
Adamson and colleagues explored the effect of patient views on the appropriate use of services and help seeking using a survey of people registered at a general practice and semistructured interviews. The qualitative (22 interviews) and quantitative components (survey with 911 respondents) took place concurrently.

연구자들은 분석에 대한 반복적 또는 순환적 접근 방식이라고 설명합니다. 먼저, 인터뷰의 예비 조사 결과를 바탕으로 설문조사 데이터에서 테스트할 가설을 세웠습니다. 인터뷰의 핵심 주제는 부족한 의료 서비스를 책임감 있게 사용하는 방법으로서 서비스의 자가 배급에 관한 것이었습니다. 그런 다음 적절한 서비스 사용에 대한 사람들의 견해가 도움을 구하는 행동을 설명할 것이라는 가설을 테스트하여 설문조사 데이터에서 이 주제를 탐색했습니다. 그러나 의료 서비스가 부적절하게 사용되었다고 생각하는 설문 응답자의 절반은 서비스가 부적절하게 사용되지 않았다고 생각하는 응답자만큼이나 표준화된 그림에 제시된 일련의 증상에 대해 도움을 요청할 가능성이 높았기 때문에 정량적 분석에서는 이 가설을 뒷받침할 수 없었습니다. 그런 다음 연구자들은 이 결과를 해석하기 위해 인터뷰 데이터로 되돌아갔습니다.
The researchers describe what they call an iterative or cyclical approach to analysis. Firstly, the preliminary findings from the interviews generated a hypothesis for testing in the survey data. A key theme from the interviews concerned the self rationing of services as a responsible way of using scarce health care. This theme was then explored in the survey data by testing the hypothesis that people’s views of the appropriate use of services would explain their help seeking behaviour. However, there was no support for this hypothesis in the quantitative analysis because the half of survey respondents who felt that health services were used inappropriately were as likely to report help seeking for a series of symptoms presented in standardised vignettes as were respondents who thought that services were not used inappropriately. The researchers then followed the thread back to the interview data to help interpret this finding.

인터뷰 데이터를 추가로 분석한 결과, 연구진은 사람들이 자신의 도움보다는 다른 사람의 도움을 구하는 것을 부적절하다고 생각한다는 사실을 파악했습니다. 또한 증상에 대해 불안감을 느끼는 것이 치료를 받아야 하는 좋은 이유라고 생각한다는 사실에 주목했습니다. 연구진은 이 맥락을 따라 설문조사 데이터로 돌아가 표준화된 그림에 나타난 증상에 대한 불안 수준이 도움을 구하는 행동을 예측하는지 테스트했습니다. 이 두 번째 가설은 설문조사 데이터에 의해 뒷받침되었습니다. 연구진은 스레드를 따라가면서 사소해 보이는 문제로 의료 서비스를 찾는 환자들이 서비스를 부적절하게 이용하지 않는 것과 증상으로 인한 불안 사이의 균형에 대한 임계값을 초과했다는 결론을 내렸습니다.
After further analysis of the interview data the researchers understood that people considered the help seeking of other people to be inappropriate, rather than their own. They also noted that feeling anxious about symptoms was considered to be a good justification for seeking care. The researchers followed this thread back into the survey data and tested whether anxiety levels about the symptoms in the standardised vignettes predicted help seeking behaviour. This second hypothesis was supported by the survey data. Following a thread led the researchers to conclude that patients who seek health care for seemingly minor problems have exceeded their thresholds for the trade-off between not using services inappropriately and any anxiety caused by their symptoms.

혼합 방법 매트릭스
Mixed methods matrix

일부 혼합 방법 연구의 독특한 측면은 동일한 사례에 대해 정성적 데이터와 정량적 데이터를 모두 사용할 수 있다는 것입니다. 혼합 방법 연구의 분석 단계에서는 정성적 요소와 정량적 요소의 데이터를 통합할 수 있습니다(그림⇑). 예를 들어, 설문조사 응답자 표본을 대상으로 심층 인터뷰를 실시하여 완성된 설문지와 녹취록이 모두 있는 사례의 하위 집합을 생성할 수 있습니다. 사례는 개인, 그룹, 조직 또는 지역이 될 수 있습니다.9 단일 사례에 대해 수집된 모든 데이터를 함께 연구할 수 있으며, 연구 내에서 변수나 주제보다는 사례에 초점을 맞출 수 있습니다. 예를 들어 설문지에 대한 사람들의 응답을 인터뷰 기록과 비교하는 등 각 사례별로 데이터를 자세히 조사할 수 있습니다. 또는 마일즈와 허버만의 메타 매트릭스에 따라 각 사례의 데이터를 요약하여 매트릭스8 9 20에 표시할 수도 있습니다.21 혼합 방법 매트릭스에서 행은 정성적 데이터와 정량적 데이터가 모두 있는 사례를 나타내고 열은 각 사례에서 수집된 다른 데이터를 표시합니다. 이를 통해 연구자는 단일 사례에 대한 데이터 유형 간의 놀라움과 역설에 주의를 기울인 다음 질적 교차 사례 분석에서 모든 사례20에서 패턴을 찾을 수 있습니다.21 
A unique aspect of some mixed methods studies is the availability of both qualitative and quantitative data on the same cases. Data from the qualitative and quantitative components can be integrated at the analysis stage of a mixed methods study (figure⇑). For example, in-depth interviews might be carried out with a sample of survey respondents, creating a subset of cases for which there is both a completed questionnaire and a transcript. Cases may be individuals, groups, organisations, or geographical areas.9 All the data collected on a single case can be studied together, focusing attention on cases, rather than variables or themes, within a study. The data can be examined in detail for each case—for example, comparing people’s responses to a questionnaire with their interview transcript. Alternatively, data on each case can be summarised and displayed in a matrix8 9 20 along the lines of Miles and Huberman’s meta-matrix.21 Within a mixed methods matrix, the rows represent the cases for which there is both qualitative and quantitative data, and the columns display different data collected on each case. This allows researchers to pay attention to surprises and paradoxes between types of data on a single case and then look for patterns across all cases20 in a qualitative cross case analysis.21

우리는 혼합 방법 매트릭스를 사용하여 보건 서비스 연구에서 팀 작업 유형과 혼합 방법 연구의 통합 정도 사이의 관계를 연구했습니다(표⇓).22 75개의 혼합 방법 연구의 제안서, 보고서 및 동료 검토 출판물에서 정량적 데이터를 추출하고, 이를 분석하여 혼합 방법 저널 논문과 같은 통합 결과물을 가진 연구의 비율을 설명했습니다. 정량적 요소의 두 가지 주요 변수는 해당 연구가 정성적 또는 정량적 데이터 또는 연구 결과를 통합하려고 시도한 것으로 평가되었는지 여부와 생산된 출판물의 유형이었습니다. 이러한 연구 중 일부에 참여한 20명의 연구자와의 질적 인터뷰를 통해 연구팀의 협력 방식 등 혼합 방법 연구가 어떻게 실행되었는지 살펴봤습니다. 
We used a mixed methods matrix to study the relation between types of team working and the extent of integration in mixed methods studies in health services research (table⇓).22 Quantitative data were extracted from the proposals, reports, and peer reviewed publications of 75 mixed methods studies, and these were analysed to describe the proportion of studies with integrated outputs such as mixed methods journal articles. Two key variables in the quantitative component were whether the study was assessed as attempting to integrate qualitative or quantitative data or findings and the type of publications produced. We conducted qualitative interviews with 20 researchers who had worked on some of these studies to explore how mixed methods research was practised, including how the team worked together.

질적 구성 요소와 양적 구성 요소 간에 공유된 사례는 21개의 혼합 방법 연구였습니다(한 인터뷰 참여자가 양적 구성 요소에서 두 개의 연구에 참여했기 때문입니다). 21개의 연구 각각을 행으로 연결하여 매트릭스를 만들었습니다. 행렬의 첫 번째 열에는 연구 식별이, 두 번째 열에는 해당 프로젝트에서 통합이 이루어졌는지 여부가, 세 번째 열에는 연구에서 나온 출판물의 통합 점수가 표시되었습니다. 그런 다음 가장 많이 통합된 사례를 먼저 표시하도록 행의 순서를 정했습니다. 이러한 행 순서를 통해 여러 행에서 패턴을 파악하는 데 도움이 되었습니다. 
The shared cases between the qualitative and quantitative components were 21 mixed methods studies (because one interviewee had worked on two studies in the quantitative component). A matrix was formed with each of the 21 studies as a row. The first column of the matrix contained the study identification, the second column indicated whether integration had occurred in that project, and the third column the score for integration of publications emerging from the study. The rows were then ordered to show the most integrated cases first. This ordering of rows helped us to see patterns across rows.

다음 열은 해당 프로젝트의 연구자와의 질적 인터뷰를 통해 얻은 주제였습니다. 예를 들어, 첫 번째 주제는 팀 내 질적 연구에 대한 전문성과 인터뷰 대상자가 이를 연구에 적절하다고 보고했는지에 관한 것이었습니다. 그런 다음 질적 분석의 맥락에서 매트릭스를 사용하여 통합에 영향을 미치는 문제를 탐색했습니다. 특히 질적 분석에서 부정적인 사례(분석 대상자가 분석이 도출한 결론에 맞지 않는 경우)를 식별하여 이해를 돕는 데 도움이 되었습니다. 인터뷰 참여자들은 혼합 방법 연구에 숙련된 질적 연구자가 있어야 질적 요소가 잘 드러난다고 말했지만, 두 사례에서는 이것이 필요하지도 충분하지도 않다고 답했습니다. 이에 따라 혼합 방법 연구에서 결과물을 생성하고 통합된 결과물을 생성하는 데 도움이 되는 연구팀의 다른 요소를 탐색하게 되었습니다. 
The next columns were themes from the qualitative interview with a researcher from that project. For example, the first theme was about the expertise in qualitative research within the team and whether the interviewee reported this as adequate for the study. The matrix was then used in the context of the qualitative analysis to explore the issues that affected integration. In particular, it helped to identify negative cases (when someone in the analysis doesn’t fit with the conclusions the analysis is coming to) within the qualitative analysis to facilitate understanding. Interviewees reported the need for experienced qualitative researchers on mixed methods studies to ensure that the qualitative component was published, yet two cases showed that this was neither necessary nor sufficient. This pushed us to explore other factors in a research team that helped generate outputs, and integrated outputs, from a mixed methods study.

질적 연구의 주제는 정량적 데이터로 코딩할 수 있을 정도로 요약할 수 있습니다. 매트릭스(표⇑)에서 인터뷰 대상자의 팀 내 질적 전문성의 적절성에 대한 인식은 적절함=1 또는 적절하지 않음=2로 코딩될 수 있습니다. 이를 정성적 데이터의 '정량화'23라고 하며, 코딩된 데이터는 정량적 요소의 데이터로 분석할 수 있습니다. 이 기법은 무작위 대조 임상시험에서 정량적 측정을 통해 평가한 건강 개선도와 심층 인터뷰를 통해 평가한 건강 개선도 간의 차이를 파악하기 위해 의료 연구에서 매우 효과적으로 사용되었습니다.24 
Themes from a qualitative study can be summarised to the point where they are coded into quantitative data. In the matrix (table⇑), the interviewee’s perception of the adequacy of qualitative expertise on the team could have been coded as adequate=1 or not=2. This is called “quantitising” of qualitative data23; coded data can then be analysed with data from the quantitative component. This technique has been used to great effect in healthcare research to identify the discrepancy between health improvement assessed using quantitative measures and with in-depth interviews in a randomised controlled trial.24

결론
Conclusion

연구자들이 연구의 질적 요소와 양적 요소의 데이터를 통합하여 무엇을 배울 수 있는지 탐구할 수 있기를 바라며 혼합 방법 연구에 통합할 수 있는 세 가지 기법을 제시했습니다. 이러한 기법을 사용하면 연구자가 "무언가를 만들어냈다"는 느낌을 갖지 않고 통합 과정에 신뢰성을 부여할 수 있습니다. 또한 연구자가 통합에 대한 접근 방식을 설명하도록 장려하여 투명성을 확보하고 이러한 기법을 개발, 비판 및 개선하는 데 도움이 될 수 있습니다. 가장 중요한 것은 연구자들이 연구를 통해 더 많은 이해를 이끌어내는 데 도움이 될 수 있다는 점입니다. 
We have presented three techniques for integration in mixed methods research in the hope that they will inspire researchers to explore what can be learnt from bringing together data from the qualitative and quantitative components of their studies. Using these techniques may give the process of integration credibility rather than leaving researchers feeling that they have “made things up.” It may also encourage researchers to describe their approaches to integration, allowing them to be transparent and helping them to develop, critique, and improve on these techniques. Most importantly, we believe it may help researchers to generate further understanding from their research.

통합이 문제가 없는 것처럼 제시했지만, 실제로는 그렇지 않습니다. 대규모 연구팀보다는 1인 연구자가 이러한 기법을 사용하는 것이 더 쉬울 수 있습니다. 대규모 팀은 누가 통합을 책임지고 누가 프로세스에 참여할 것인지 고려하면서 팀 역학 관계에 주의를 기울여야 합니다. 또한, 통합에 대한 접근 방식을 형성할 수 있는 다양한 철학적 신념에 주의를 기울이기보다는 기술적인 입장을 취했습니다. 이러한 기법은 일부 혼합 방법 연구자들이 채택하는 실용주의적 또는 미묘한 현실주의적 입장의 맥락에서 작동할 수 있다고 생각합니다.25 마지막으로, 이러한 기법은 통합을 위한 보조 수단이며 전문성과 함께 적용될 때만 유용하다는 점을 기억하는 것이 중요합니다. 
We have presented integration as unproblematic, but it is not. It may be easier for single researchers to use these techniques than a large research team. Large teams will need to pay attention to team dynamics, considering who will take responsibility for integration and who will be taking part in the process. In addition, we have taken a technical stance here rather than paying attention to different philosophical beliefs that may shape approaches to integration. We consider that these techniques would work in the context of a pragmatic or subtle realist stance adopted by some mixed methods researchers.25 Finally, it is important to remember that these techniques are aids to integration and are helpful only when applied with expertise.

 

---

BMJ. 2010 Sep 17;341:c4587. doi: 10.1136/bmj.c4587.

Three techniques for integrating data in mixed methods studies

Alicia O'Cathain 1, Elizabeth Murphy, Jon Nicholl

Affiliations collapse

1Medical Care Research Unit, School of Health and Related Research, University of Sheffield, Sheffield S1 4DA, UK. a.ocathain@sheffield.ac.uk

PMID: 20851841

DOI: 10.1136/bmj.c4587