의학교육연구에서 혼합방법연구: 연구자를 위한 가이드라인 (Med Educ, 2009)

의학교육연구에서 혼합방법연구: 연구자를 위한 가이드라인 (Med Educ, 2009)

Using mixed methods research in medical education: basic guidelines for researchers

Karen E Schifferdecker1 & Virginia A Reed2

도입

INTRODUCTION

 

의학 교육 연구는 두 가지 접근 방식(양적, 질적)의 교차점에서 발견됩니다. 통제 된 실험이나 비교 그룹에 의존하는 증거 기반 의학 교육(EBME)에 대한 요구가 증가하고 있습니다. 그러나 EBP에 대한 강조는 "연구 문제를 기술적 효율성과 효과성으로 대표되는 화용론pragmatics으로 축소시키게 되며, 그 결과 교육 및 정책 결정에 내재 된 더 넓은 사회적, 철학적 또는 윤리적 문제를 탐구하는 연구를 장려하지 않을 것"입니다 .5

 Medical education research finds itself at the intersection of two approaches. It is subject to increasing calls for evidence-based medical education,1–4 which often relies on controlled experiments or comparison groups. However, this emphasis on evidence-based practice threatens ‘to reduce research questions to the pragmatics of technical efficiency and effectiveness. It will not encourage research which explores the wider social, philosophical or ethical issues’ inherent in educational and policy decisions.5

의학 교육 연구는 정기적으로 복잡한 이니셔티브와 여러 플레이어 간의 상호 작용을 탐구하는 것과 관련이 있습니다 . 따라서 의학 교육 연구는 혼합 방법 연구를 수행하는 데 이상적인 환경을 제공합니다. 즉, 단일 연구에서 질적 및 양적 데이터의 수집, 분석, 통합하게 된다 .14

 Medical education research regularly involves exploration of complex initiatives and interactions among multiple players,10–12 As such, medical education research provides the ideal milieu in which to conduct mixed methods research, which is, namely, the collection, analysis and integration of both qualitative and quantitative data in a single study.14

의사들에게 혼합 방법 접근법은 친숙할 수 있는데, 왜냐하면 대부분의 환자 치료가 질적(환자 병력) 및 양적(신체 검사 및 진단 검사) 데이터를 수집 및 분석하는 과정을 포함하고 있으며, 양적, 질적, 혼합 연구를 수행하는 것에 대한 자원이 풍부하기 때문이다. 그러나 불행히도, 의학 교육에서의 혼합 된 방법 연구에 대해 더 배우고 자하는 사람들에게는 쉽게 사용할 수있는 기본적인 지침이 없습니다.

 Mixed methods approaches should feel familiar to individuals practising medicine as most patient care includes collecting and analysing both qualitative (patient history) and quantitative (physical examination and diagnostic tests) data, and resources on conducting quantitative, qualitative and mixed meth-ods research abound.15,17,23–33 Unfortunately, for those who want to learn more about mixed methods research in medical education, there is no readily available set of basic guidelines. 

 

배경

 BACKGROUND

비록 혼합 된 방법 연구가 1 세기 이상 사회과학과 행동과학에서 사용되어 왔지만, 교육과 의학에서의 그것의 사용은 질적, 양적 전통 사이의 인식 론적 논쟁에 의해 방해 받고있다 .40-45

 Although mixed methods research has been used in the social and behavioural sciences34–37 for more than a century,38,39 its use in education and medicine has been hampered by epistemological debates between the qualitative and quantitative traditions.40–45

 

연구 프로세스에서 질적 및 양적 데이터를 관련시키고 통합하는 것은 혼합 된 방법 연구를 특징짓는 핵심이다. Greene 등은 혼합 연구 방법을 사용하는 5 가지 특정 범주의 목적을 정의했습니다.

 Relating and integrating qualitative and quantitative data in the research process is key to distinguishing mixed methods research.14 Greene and her colleagues19 have defined five particular categories of purpose for the use of mixed methods in research studies:

• 개발 : 타당성을 높이기 위한 목적으로 순차적으로 방법을 사용하여, 한 방법으로부터 다른 방법에 도움을 준다.

 • development: to inform the development of one method from another, using the methods sequentially for the purposes of increasing construct validity;

• 보완 : 결과를 향상시키고, 정교하게 설명하고, 설명하고, 명확히하고, 연구 결과의 기술이나 적용을 돕기 위해, 여러 가지 방법을 사용하여 현상 내에서 중첩과 독창성의 영역을 탐구한다.

 • complementing: to explore areas of overlap and uniqueness within a phenomenon through the use of different methods for the purposes of enhancing, elaborating, illustrating or clarifying results, and to aid in the description or application of research findings;

• 삼각 측량 : 서로 다른 유형의 데이터를 사용하여 결과를 교차 확인하고 확증합니다.

 • triangulation: to cross-check and corroborate results by the use of different types of data;

• 확장 : 관심 질문의 다양한 구성 요소와 방법론을 적절하게 일치시켜 조사 범위 또는 범위를 확대합니다.

 • expansion: to increase the range or scope of inquiry by appropriately matching the methodology to various components of the question of interest, and

• 개시(initiation) : 질적 방법과 정량 방법을 동시에 사용함으로써, 숨겨진 불일치 또는 새로운 관점을 구체적으로 발견한다.

 • initiation: to specifically discover inconsistencies and new perspectives that may be uncovered as a result of employing both qualitative and quantitative methods.

 

의료 교육 연구에서 혼합 된 방법의 적용

 APPLICATION OF MIXED METHODS IN MEDICAL EDUCATION RESEARCH

지난 20 년 동안 수행 된 의료 및 간호 교육 연구에서 혼합 방법 연구를 검토 한 Schifferdecker49는 지속적으로 사용 된 4 가지 포괄적 인 디자인 모델을 확인했습니다. 우리는 도구 개발, 설명, 삼각 측량 및 종단 변형과 같은 4 가지 모델을 사용합니다.

In a review of mixed methods studies in medical and nursing education research carried out over the past 20 years, Schifferdecker49 identified four overarching design models that were used consistently. We use these four models – instrument development, explanatory, triangulation and longitudinal transformation.

도구 개발 모델

 Instrument development model

도구 개발은 설문지 나 체크리스트와 같은 정량적 도구를 개발하기위한 목적으로 정 성적 데이터를 수집하는 모델입니다. 그 결과로 개발되는 도구는 연구자의 관점에만 의존하기보다 참가자의 견해, 경험 및 언어에 기초합니다.

 Instrument development is a model in which qualitative data are collected for the purpose of developing a quantitative instrument, such as a questionnaire or checklist, for observation. The resulting instrument is grounded in the views, experiences and language of the participants, rather than relying solely on the perspective of the researchers.

Sherratt와 Jones는 마약을 오용 한 환자들과 일할 때 계속적인 의학 교육 (CME) 훈련에 대한 필요성 평가를 개발하기 위해 이 모델을 사용했습니다. 연구원은 인터뷰없이 설문지를 만들 수 있었거나 CME 과정의 주제를 선택하기 위해서만 질적 인 데이터를 사용할 수있었습니다. 그러나 도구 설계 접근법을 사용하여 관련 주제의 범위를 파악하고 (인터뷰) 대상 고객 (앙케이트)이 가장 중요하게 여기는 부분을 확인할 수있었습니다.

 Sherratt and Jones51 used this model to develop a needs assessment for continuing medical education (CME) training in working with patients who misuse narcotics. The researchers could have developed a questionnaire without the interviews or they could have used the qualitative data only to select topics for the CME course. However, by using an instrument design approach, they were able to identify the range of possible relevant topics to address (interviews) and to verify which were of primary interest to their target audience (questionnaire).

질적 데이터로 설계 할 수있는 것이 설문만은 아니다. 가능한 다른 도구와 기법으로는 객관적인 구조 임상 시험 (OSCE)에서 광범위하게 사용되는 관찰 체크리스트가 있다 52

 Questionnaires are not the only instruments that can be designed from qualitative data. Other tools and techniques possible include observational checklists, used extensively in objective structured clinical examinations (OSCEs),52

도구 개발 목적의 혼합방법연구에서 한 가지 주의 사항은 질적 분석 중에 밝혀진 주제의 모든면을 다루는 도구를 개발하려는 연구자의 욕망에 관한 것이다. 모든 도구와 마찬가지로 도구는 그것의 전반적인 질문과 목적, 응답자가 완료하는 데 필요한 시간 등이 균형을 이루어야합니다.

 One cautionary note for instrument development from qualitative data concerns the desire on the part of an investigator to develop an instrument that covers every aspect of the topic revealed during qualitative analysis. As with any instrument, investigators must balance the overall question and purpose of the instrument with the time required by respondents to complete it.

설명 모델

 Explanatory model

설명 모델은 양적 데이터에서 발생하는 결과 또는 질문을 질적으로 탐구하여, 원래의 연구결과를 보완하거나 명확하게하는 데이터를 만드는 것입니다.

 The explanatory design is one in which results or questions arising from quantitative data are explored qualitatively, producing data that are used to complement or clarify the original findings.

 

Kennedy와 동료들은 임상 진료를 제공 할 때 주민들 사이의 지식과 행동 사이의 격차를 탐구하고 싶었습니다. 이 연구는 지식과 행동 사이의 갭을 확인하기 위해 설문지와 OSCE 기반 행동 체크리스트의 두 가지 정량적 접근법을 조합하여 사용했지만이 차이에 대한 이유를 탐구함으로써 더 나아갔습니다. 격차의 잠재적 인 이유를 파악하기위한 설문지가 개발되었을 수도 있지만 반 구조화 된 인터뷰를 통해 가능한 이유에 대한 폭 넓은 탐구가 가능했습니다.

 Kennedy and colleagues54 wanted to explore the gap between knowledge and behaviours among residents when providing clinical care. This study used a combination of two quantitative approaches, a questionnaire and an OSCE-based checklist of behaviours, to identify a gap between knowledge and behaviours, but went further by exploring reasons for this gap. A questionnaire could have been developed to capture potential reasons for the gap, but semi-structured interviews allowed for wider exploration of the possible reasons.

설명 모델을 사용할 때 한 가지 일반적인 고려 사항은 질적연구에서 어떻게 연구대상자를 선정할지 결정할 필요성에 관한 것이다. 위의 예에서 모든 참가자를 대상으로 인터뷰를 했지만, 정량적 결과 (즉, 갭이 발견 된 경우)를 바탕으로 그 중 일부만 분석되었습니다. 연구의 양적 단계에 참여하는 개인이 질적 단계 (예 : 4 학년 학생)에서 이용 가능하지 않을 수도 있지만, 그들의 경험이나 견해를 가장 잘 표현하기 위해서는 일반적으로 양적 단계의 연구대상자들 중에서 질적 단계를 위해 일부 연구대상자를 선택해내야한다.

 One general consideration when using the explanatory model concerns the need to decide how individuals will be selected for the qualitative portion of the study. In the above example, all participants were interviewed, but only a subset of the interviews were analysed based on the quantitative results (i.e. those in which a gap was found). Although there are instances in which the individuals participating in the quantitative phase of a study may not be available for the qualitative phase (e.g. Year 4 medical students), it is generally recommended that individuals selected for the qualitative phase should be drawn from those used in the quantitative phase in order to best represent their experiences or views.15

 삼각 측량 모델

 Triangulation model

삼각 측량은 혼합 방법 연구에서 가장 널리 사용되는 설계이다. 이것은 질적 데이터와 양적 데이터가 동시에 수집되는 모델입니다. 데이터 수집은 일반적으로 비교적 짧은 기간에 발생하며 단일 인구 (예 : 의대생)를 포함합니다. 데이터는 최종 분석에 통합됩니다.

Triangulation, the most widely used design in mixed methods research,15 is a model in which qualitative and quantitative data are collected simultaneously. Data collection generally occurs in a relatively short period of time and involves a single population (e.g. medical students). Data are integrated in the final analyses.

 

Papp와 동료 55는 거주자에 대한 수면 손실과 피로의 직업적 및 개인적 영향을 조사하기를 원했습니다. 5 개 기관의 주민들은 수면 장애, 피로 및 대처 전략에 대한 경험에 초점을 맞춘 그룹에 참여한 후 표준화 된 졸음 측정을 포함하는 설문지를 작성했습니다. 데이터를 개별적으로 분석하고 통합하여 수면 장애 및 피로 (양적 결과)의 존재 개요, 수면 손실 및 피로 (질적 결과)의 전문적 및 개인적 효과를 제공합니다.

 Papp and colleagues55 wanted to examine professional and personal effects of sleep loss and fatigue on residents. Residents from five institutions participated in focus groups on experiences with sleep loss, fatigue and coping strategies, and then completed a questionnaire which included a standardised measure of sleepiness. Data were analysed separately and then integrated to provide an overview of the existence of sleep loss and fatigue (quantitative results), and the professional and personal effects of sleep loss and fatigue (qualitative results).

삼각 측량 모델이나 설명 모델에서 발생할 수 있는 잠재적 인 문제는 질적 및 양적 결과 사이에 모순이 있는 경우이다.15 이러한 결과가 당황스러울 수 있지만, 동시에 새로운 연구 질문이나 이론을 개발할 수있는 기회를 제공하고, 명확화와 탐사를 위한 추가 자료 수집의 필요성을 제기한다. Padgett56은 연구를 더 진행하기 위해 추가 시간이나 가용 자원이 부족하다면, 결과를 제시하고 향후 연구 방향을 정의해야한다고 제안했습니다.

 One potential challenge in both the triangulation and explanatory designs refers to the discovery of contradictions between the qualitative and quantitative findings.15 Although such findings are seemingly disconcerting, these situations allow for opportunities to develop new research questions or theories, and to collect additional data for clarification and exploration. Padgett56 has suggested that if additional time or resources are not available to further the study, results should be presented together and directions for future research defined.

종단 변형

 Longitudinal transformation

이전에 설명한 모델의 많은 특성, 이점 및 잠재적 인 문제점을 결합한 모델은 종단 변형 모델입니다. 이 모델은 일반적으로 둘 이상의 인구 (레지던트 및 주치의 등)의 여러 지점 (종단)에서 데이터를 수집하며, 이 때 여러 가지 방법 (예 : 전자 메일 통신 코딩, 사전 / 사후 설문지 및 검사 점수)을 사용합니다. 데이터는 프로젝트 전반에 걸쳐 분석되고 통합되며 서로를 기반으로 구축됩니다.

 A model that combines many of the characteristics, benefits and potential challenges of the models previously described is the longitudinal transformation model. This model collects data at multiple points (longitudinal), generally from more than one population (e.g. residents and attending doctors), and uses multiple methods (such as coding of e-mail communications, pre⁄ post questionnaires and examination scores). The data are analysed and integrated throughout the project and often build on one another.

Coady와 동료들은 의대생을 대상으로 근골격계 핵심 기술을 정의하려고했습니다. 종단 형 변형 설계를 사용하여 연구자는 가능한 핵심 기술의 영역을 깊이있게 (질적으로) 정의하고, 더 큰 그룹 (양적)을 통해 이 기술의 상대적 중요성을 좁히고, 다양한 분야의 전문가에게 두 가지 데이터 세트를 제공하여 핵심 기술의 최종 세트를 정교하게 (질적 및 양적으로 결합)합니다.

 Coady and colleagues57 wanted to define a core set of musculoskeletal skills for medical students. By using a longitudinal transformation design, the investigators were able to define the universe of possible core skills in depth (qualitative), narrow the relative importance of these skills through a larger group (quantitative), and provide both sets of data to experts from multiple fields in order to refine the final set of core skills (qualitative and quantitative combined).

 

종단 변형 설계의 중요한 고려 사항은, 데이터를 수집, 분석 및 비교하거나 통합하는시기와 방법에 관한 것입니다. 

• 어떤 경우에는 연구의 한 부분을 개발하기위한 정보가 질적 데이터로부터의 설문지 개발과 같은 다른 데이터 집합의 분석에 의존합니다. 

• 다른 경우에는 한 단계의 데이터 수집이 나중 단계에서 수집 된 데이터에 편향 될 수 있습니다 (예 : 중재 후 평가 관리 전에 포커스 그룹을 수행). 

• 모든 연구와 마찬가지로, 잠재적 Bias는 데이터 수집에 앞서 식별되어야하,며 이를 제거하거나 줄이기위한 조치가 취해 져야합니다.

 Important considerations in the longitudinal transformation design concern when and how data are collected, analysed and compared or integrated. 

• In some cases, information to develop one piece of the study is dependent on analysis of another dataset, such as the development of a questionnaire from qualitative data. 

• In other cases, data collection at one stage might bias data collected at a later stage (e.g. conducting focus groups before administration of a post-intervention assessment). 

• As with any study, potential bias should be identified prior to data collection and steps taken to eliminate or reduce it.

혼합 방법 연구를 수행하기위한보다 일반적인 어려움은 다음과 같다.

 More general challenges for conducting mixed methods research relate to:

 

• 1 질적 방법 및 양적 방법 모두에서 시간, 돈 및 인원을 포함하여 연구를 수행하기위한 자원의 이용 가능성;

 1 the availability of resources with which to conduct the research, including time, money and personnel with strengths in both qualitative and quantitative methods;

• 2 질적 및 양적 데이터의 비교 또는 통합을 촉진하기 위해 데이터를 저장하고 정렬하는 도구 및 프로그램에 대한 액세스

 2 access to tools and programs with which to store and arrange data to promote comparison or integration of qualitative and quantitative data, and

• 3 혼합 된 방법 연구를 출판 할 때 직면 한 어려움, 단어 한계 및 그러한 연구가 제시하는 필요한 데이터의 양.

 3 the difficulties encountered in publishing mixed methods studies, given word limits and the amount of data such studies present.

의학교육연구에서 혼합 방법에 대한 지침 

GUIDELINES FOR MIXED METHODS RESEARCH STUDIES IN MEDICAL EDUCATION

모든 연구에서 가장 중요한 과제는 조사 할 질문과 가설을 명확하게 정의하는 것입니다. Stange와 Zyzanski16이 지적했듯이, '유일한 도구 연구원은 망치이고, 모든 문제를 못으로 보는 경향이 있습니다.' 따라서, 혼합 된 방법의 관점은 질문이나 가설에 대답하는 데 가능한 최상의 도구를 결정하는 데 도움이 될 수 있습니다.

 The most important task in any research is to clearly define the research question and hypothesis to be investigated. As Stange and Zyzanski16 noted, when ‘the only tool researchers have is a hammer, they tend to see every problem as a nail’. Thus, mixed methods perspectives can aid in the determination of the best tools possible for answering the question or hypothesis.

혼합 방법 접근 방법을 선택하면 연구 설계, 분석 및 게시에 필요한 여러 가지 주요 단계가 있습니다.

 When a mixed methods approach is chosen, there are a number of major steps to be taken for designing, analysing and publishing studies:

• • 연구 설계를 혼합 방법으로 식별하고 적절한 연구 설계를 선택하십시오 .14,15,61 이것은 의학 교육 연구에서 혼합 방법 연구의 인식과 쉬운 식별을 높이고이 문헌을 더 큰 혼합 방법 연구 패러다임과 연결합니다.

 • Identify the study design as mixed methods and choose the appropriate research design.14,15,61 This increases the recognition and easy identification of mixed methods studies in medical education research and connects this literature to the larger mixed methods research paradigm.

• 데이터 수집, 분석 및 결과에서 각 데이터 유형의 중요성을 결정하십시오 (즉, 연구가 양적 - 지배적인지, 질적 지배적인지 또는 두 가지 유형 모두가 동등한 지위를 부여하는지 여부) .39,62,63 더 자세한 조사자는 각 데이터 유형의 중요성을 정의함에있어 필요한 자원과 인력을 더 많이 계획 할 수 있습니다.

 • Decide on the prominence of each data type in data collection, analysis and results (i.e. whether the study is quantitative-dominant, qualitative-dominant, or whether both types are given equal status).39,62,63 The more detailed investigators are in defining the prominence of each data type, the more they will be able to plan for the resources and personnel needed.

• 데이터 수집을위한 표본 추출 전략을 개발하여야 하며, 이를 통해 연구 질문에 대한 적절한 데이터 수집하고 선택한 방법 내 지침을 준수할 수 있도록 한다. . 이러한 전략은 추론을 개발하거나 충분한 면담을 실시하여 신뢰성을 확립 할 수있는 적절한 능력 확보와 같은 양적 또는 질적 연구를 설계 할 때 공통적 인 고려 사항을 다루어야한다 .61)

 • Develop sampling strategies for data collection that provide adequate data for the research questions asked and that adhere to guidelines within the methods chosen. These strategies should address common considerations when designing quantitative or qualitative studies, such as ensuring adequate power to develop inferences or conducting sufficient interviews to establish reliability.61,64,65

 

• • 데이터를 수집, 분석 및 통합하거나 비교하는 방법과시기를 결정합니다. 

• 처음 세 모델에서는 순서와 과정이 매우 간단합니다. 도구 개발 모델, 설명 모델, 삼각 측량 모델에서 양적 자료와 질적 자료는 동시에 수집되고 분석됩니다. 

• 종단 변형 모델은 잠재적 인 편향성을 확인하고 다른 데이터 세트를 수집, 분석 및 통합해야 할 때를 고려하여 주의깊게 계획해야합니다. 각 프로젝트 단계에서 요구되는 시간에 대한 현실적인 분석이 중요합니다. 주의 사항에 따르면 질적 인 접근법에 익숙하지 않은 연구자들은 필요한 자원과 시간을 쉽게 과소 평가할 수 있습니다. 예를 들어, 90 분짜리 포커스 그룹 1 명을 수행하려면 참가자 모집, 포커스 그룹 가이드 개발, 세션 진행, 필사 및 분석을위한 시간이 필요합니다. 총 소요 시간은 25-40 시간입니다.

 • Decide how and when data are collected, analysed and integrated or compared. In the first three models, the order and process is fairly straightforward. Qualitative and quantitative data are collected and analysed sequentially in the instrument development and explanatory models and concurrently in the triangulation model. The longitudinal transformation model requires careful planning to identify potential biases and to consider when different datasets need to be collected, analysed and integrated. Realistic analyses of the time required for each project phase are important. On a cautionary note, researchers unfamiliar with qualitative approaches can easily underestimate the resources and time required. For example, the conducting of one 90-minute focus group requires time for recruiting participants, developing the focus group guide, conducting the session, transcription and analysis. The total time required can lie in the range of 25–40 hours.

• • 질적 및 양적 데이터 분석을 통합하기위한 도구 (예 : 소프트웨어 프로그램) 또는 방법을 탐색하십시오 .6-6-68이 과정을 돕기 위해 많은 프로그램을 이용할 수 있습니다.

 • Explore tools (e.g. software programs) or methods to integrate qualitative and quantitative data analyses.66–68 A number of programs are available to assist with this process.

• • 혼합 방법 연구 논문을 검토하여 데이터를보고하고 표시하기위한 아이디어를 생성하고 혼합 방법 연구 결과를 게시하기위한 전략을 개발합니다 (예 : 양적 및 질적 결과를 단어 한도 내에서보고하기 위해 별도의 논문으로 보고하되, 같은 학회지에 짝pair로 낸다.) .69

• Review mixed methods research articles to generate ideas for reporting and displaying data, and develop a strategy for publishing mixed methods research results (e.g. consider reporting quantitative and qualitative results in separate papers in order to stay within word limits, but submit the papers as a pair to the same journal).69

 

CONCLUSIONS

 

---

Med Educ. 2009 Jul;43(7):637-44. doi: 10.1111/j.1365-2923.2009.03386.x.

Using mixed methods research in medical education: basic guidelines for researchers.

Schifferdecker KE1, Reed VA.

Author information

1

Department of Community and Family Medicine, Dartmouth Medical School, Lebanon, New Hampshire, USA. Karen.E.Schifferdecker@dartmouth.edu

Abstract

CONTEXT:

Mixed methods research involves the collection, analysis and integration of both qualitative and quantitative data in a single study. The benefits of a mixed methods approach are particularly evident when studying new questions or complex initiatives and interactions, which is often the case in medical education research. Basic guidelines for when to use mixed methods research and how to design a mixedmethods study in medical education research are not readily available.

METHODS:

The purpose of this paper is to remedy that situation by providing an overview of mixed methods research, research design models relevant for medical education research, examples of each research design model in medical education research, and basicguidelines for medical education researchers interested in mixed methods research.

CONCLUSIONS:

Mixed methods may prove superior in increasing the integrity and applicability of findings when studying new or complex initiatives and interactions in medical education research. They deserve an increased presence and recognition in medical educationresearch.

PMID:

 

19573186

 

DOI:

 

10.1111/j.1365-2923.2009.03386.x