교육연구에서 Mixed method 활용을 위한 12가지 팁(Med Teach, 2013)

교육연구에서 Mixed method 활용을 위한 12가지 팁(Med Teach, 2013)

Twelve tips for getting started using mixed methods in medical education research

ELLEN LAVELLE1, JASNA VUK2 & CAROLYN BARBER1

1University of Missouri Kansas City, USA, 2University of Arkansas for Medical Sciences, USA

도입

Introduction

의학 교육 전문가들이 직면하는 문제는 복잡하며 종종 단일 연구 관점을 사용하여 잘 해결되지 않습니다. 무엇이 효과가 있는지를 아는 것도 중요하지만, 그것이 작동하는 이유, 그것이 작동하는 시점, 그리고 작동하는 대상에 대한 인식은 의학에서 배우고 가르치는 것에 대한 이해를 깊게하는 데 필요합니다 (Cook, Bordage, & Schmidt 2008).

The problems that medical education professionals face are complex and often not well addressed using a single research perspective. While knowing what works is important, an appreciation of why it works, when it works, and for whom it works is needed to deepen our understanding of learning and teaching in medicine (Cook, Bordage, & Schmidt 2008).

그러나 이론적 구축 단계가 과학적 과정에서 핵심적 임에도 불구하고 개념적 틀을 확장하거나 개발하는 명확화 연구는 빠져 있었다 (Cook et al., 2008). Mixed method는 포괄적 인 접근 방식과 다양한 데이터 소스의 사용에있어이 중요한 공백을 채우기위한 이상적인 도구입니다. Mixed method는 양적 전략과 질적 전략의 단순한 합 이상인데, 왜냐하면 각자의 약점을 상쇄 할뿐만 아니라 더 큰 그림을 보여주고, 타당도를 포괄적으로 지지하기 때문이다 (Creswell & Plano Clark 2011 참조).

However, clarification studies that extend or develop conceptual frameworks were missing despite the fact that the theory-building phase is key in the scientific process (Cook et al. 2008). Mixed methods, in its comprehensive approach and employment of diverse data sources, is an ideal tool for filling this critical void. Mixed methods is more than an additive process of combining quantitative and qualitative strategies because, as methods interface, they not only offset each other’s weaknesses, but also yield a broader picture and more comprehensive support for validity (cf. Creswell & Plano Clark 2011).

• Leech & Onwuegbuzie (2009)는 Mixed method 연구에 대한 실질적인 정의를 제공합니다. "양적 자료와 질적 자료를 수집, 분석 및 해석하는 단일한 또는 동일한 기본 패러다임에 기반한 일련의 연구"(p. 267). 

• 더 넓은 관점에서 Tashakkori & Teddlie (2003)는 혼합 된 방법이 자체 세계관, 어휘 및 기술을 가진 분리 된 방법론적 방향이라고 제안한다. 

• 마찬가지로, Creswell & Plano Clark (2011)은 혼합 된 방법론 연구가 실용주의 철학에 뿌리를두고 있으며 행동의 결과와 실제 세계에서의 실천에 중점을 두었다.

• Leech & Onwuegbuzie (2009) provide a practical definition of mixed methods research: ‘‘collecting, analyzing, and inter- preting both qualitative and quantitative data in a single study, or series of studies that investigate the same underlying paradigm’’ (p. 267). Froma broader perspective,

• Tashakkori & Teddlie (2003) suggest that mixed methods is a separate methodological orientation with its own world view, vocab- ulary and techniques.

•  Similarly, Creswell & Plano Clark (2011) support that mixed methods research is rooted in pragmatic philosophy with emphases on the consequences of actions and on ‘‘real-world’’ practice.

Ti p 1 실용주의 세계관 고려

Ti p 1 Consider the pragmatic world view

패러다임은 연구자의 이론적인 렌즈와 방법 론적 접근 방법을 채색하는 세계관 또는 철학입니다. 

• 실증주의는 원인과 결과를 결정하고, 변수를 선택하고, 인구를 일반화하는 데 초점을 맞추고 있으며, 과학 및 의학 분야의 공통적인 양적 접근 방식을 주도합니다. "진리"가 존재하고 과학의 목표가 그것을 발견하는 것이라는 가정이 있습니다. 

• 구성주의는 다양한 세계관을 갖고있는 참여자들에 의해 표현 된 의미를 이해하는데 중점을 두고 있으며 전형적으로 질적 관점, 해석적 입장과 연관되어있다. 구성론적 가정은 학습자가 이전 학습과 학습 상황의 affordances or hindrances에 기초하여 지식을 적극적으로 구축한다는 것입니다. 

• 실용주의, 세 번째 철학적 패러다임은 혼합 된 방법과 관련이있다. 연구의 결과 또는 유용성에 중점을두고 실제로 작동하는 것을 기반으로 한 다원적 전략 채택에 중점을 둡니다 (Creswell & Plano Clark 2011).

A paradigm is a world view or philosophy that colors the researcher’s theoretical lens and methodological approach. 

• Positivism drives the quantitative approach, common in science and medicine, with focus on determining cause and effect, selecting variables, and generalizing to a population. The assumption is that a ‘‘truth’’ exists and that the goal of science is to discover it. 

• Constructivism, with its emphasis on understanding the meanings articulated by participants who hold various world views, is typically associated with the qualitative perspective, a more interpretative stance. The constructivist assumption is that learners actively build knowledge based on previous learning and on the affordances or hindrances of the learning situation. 

• Pragmatism, a third philosophical paradigm, is associated with mixed methods. The focus is on the consequences or utility of research and on adopting a pluralistic strategy based on what works in practice (Creswell & Plano Clark 2011). 

Ti p 2 계층화 된 문제

Ti p 2 Layered problems

계층화 된 관점에서의 의학 교육 연구에 접근 할 때, 

• 첫 번째 질문은 "알아야 할 중요한 것은 무엇인가?"이며, 

• 둘째는 "이 현상과 관련된 (개인적, 사회적, 상황 적, 역사적, 생태 학적) 정보 계층은 무엇인가?" 이며

• 마지막으로, "엄격함과 실현 가능성"을 염두에 두고, 학습의 차원과 관련 구성 요소를 "operationalize" 또는 reflect하는 최선의 방법을 찾는 것이다 (참조, Norcini & McKinley 2007).

In approaching medical education research from a layered perspective, 

• the first question might be ‘‘what is important to know?’’ and, 

• second, ‘‘What are the tiers of information(personal, social, situational, historical, and ecological) that might bear on this phenomenon?’’  

• The final thought would include focus on the best ways to ‘‘operationalize’’ or reflect the dimensions of learning and their related components, bearing in mind ‘‘rigor and feasibility’’ (cf. Norcini & McKinley 2007). 

Ti p 3 혼합 된 질문 세트를 분명하게 말하십시오.

Ti p 3 Articulate a mixed question set

Tashakkori & Teddlie (2003)는 여러 가지 하위 질문, 위로 아래로, 또는 큰 그림으로 첫 번째 접근을 위한 우산 역할을 하는 하나의 혼합 된 방법 질문을 개발하는 것을지지한다. 

Creswell & Plano Clark (2011)은 양적 질문과 질적 질문의 세트를 분리하고, 그 다음에 두 가지 전략의 결과를 "상향식"으로 통합하는 혼합연구 질문을 만들거나, 일반적인 접근 방식과 관련돈 혼합연구 질문을 요구합니다. 저자는 다음과 같이 말합니다 

• 혼합 된 방법 연구 질문은 내용 중심적 일 수 있습니다 : "직업 전문성에 관한 주치의의 시각은 레지던트 전문직업성의 등급에 대한 평점과 어떤 관련이 있습니까?" 

• 다음 질문과 같이 방법에 중점을 둘 수 있습니다. '질적 결과 (예 : 레지던트와의 인터뷰)는 어느 수준의로 양적 결과를 확인시켜 줍니까? (예 : 관찰 또는 거주 전문성 체크리스트)

Tashakkori & Teddlie (2003) advocate developing one mixed methods question that serves as an umbrella for several sub-questions, a top down, or big picture first approach. 

Creswell & Plano Clark (2011) call for separate sets of quantitative and qualitative questions followed by a mixed method question integrating the findings from both strategies in a ‘‘bottom up,’’ or specific to general approach.The authors go on to say that 

• mixed methods research questions may be content-focused: ‘‘How do the perspectives of attendings regarding professionalism relate to their ratings on a scale of resident professionalism?’’ 

• Alternatively, the question may be method-focused, as in the following example:‘‘To what extend do qualitative results (e.g. interviews with residents) confirm quantitative results  (e.g. observation or resident professionalism checklist)?’’

Ti p 4 팀 구성

Ti p 4 Team up

혼합 된 방법으로 시작하는 사람들에게는 특히, 한 명의 연구원이 양적 연구 또는 질적 연구의 모든 분야에 능숙하지 않을 수 있습니다. 전문가를 찾고 통합하는 것이 중요합니다.

Especially for those getting started in mixed methods, it isunlikely that one lone researcher is proficient in all areas ofeither quantitative or qualitative research. It is important toseek out and incorporate expertise. 

제 5 장 이론적 근거, 이론적 근거, 이론적 근거

Ti p 5 Rationale, rationale, rationale

혼합 된 방법을 사용하는 것에 대한 당신의 이론적 근거를 분명하게 설명하고 혼합 된 방법론에 근거하여 그 논점을 정당화하는 것이 절대적으로 필요합니다. 이론적 근거에는 

• 조사 범위와 폭을 넓히고, 

• 나타날 수있는 새로운 차원을 발견하고, 

• 삼각 측량하거나, 확증 된 데이터 증거를 발견하거나, 

• 구인 타당도를 높이기 위해 순차적으로 방법을 사용하고자 

...하는 바람이 포함될 수 있습니다 (Greene 등, Schifferdecker & Reed 2009). 

rationale를 충분히 설명하고 왜 단일 방법만으로는 너무 제한적인지 설명하십시오.

It is imperative to clearly explain your rationale for using mixed methods and to justify that argument based on mixed methods theory. Rationales may include the desire 

• to increase the range and scope of inquiry, 

• to discover new dimensions that may emerge, 

• to triangulate, or corroborated data evi- dence, or 

• to use methods sequentially in increasing construct validity (Greene et al. as cited in Schifferdecker & Reed 2009). 

Explain your rationale fully and explain why a single method alone is too limited.

"우리의 최종 목표는 NICU의 영양 지원 치료의 제공과 실행을 향상시키는 실행 가능한 교육 전략을 수립하기위한 포괄적 인 요구 평가를 수행하는 것이 었습니다."이 목표에 따라 저자는... " 방법만으로도 원하는 결과를 얻을 수 있습니다. 따라서 우리는 여러 관점을 고려하고 여러 데이터 수집 기법을 사용하는 방법론을 개발했습니다 ... "(220 페이지).

‘‘Our overreaching goal was to conduct a comprehensive needs assessment to formulate actionable educational strategies that improved the delivery and implementation of nutritional support therapy in NICU’s.’’ Based on the goal, the authors continue, ‘‘... no single data collection method alone could achieve the desired result. Hence we developed a methodology that included consider- ing multiple perspectives and used multiple data gathering techniques...’’ (p. 220).

Ti p 6 너의 디자인을 알라

Ti p 6 Know your designs

Schifferdecker & Reed (2009)는 다양한 혼합 방법 설계 가능성을 분류하고 의학 교육에서 특히 성공한 4 가지를 확인했습니다. 

• '계측 개발 모델'은 정량적 도구의 개발을 위해 정 성적 데이터를 사용합니다. Krain & Lavelle (2009)은 360 명의 여러 명의 평가자를 대상으로 거주자에게 전문성에 대한 해석과 전문성을 획득 한 방법에 대한 견해에 대해 질문하고 360 멀티 - 래터 등의 디자인에이 정보를 사용했습니다. 좋은 결과를 가진 평가 (Lavelle, 2009). 

• '설명 모델'은 정량적 데이터를 통해 제기 된 질문에 정 성적 방법을 사용하여 단일 한 시점에서 단일 모집단에 대해 순차적 방식으로 결과를 추출합니다. 

• '삼각 측량 모델'은 데이터의 동시 수집과 이러한 통합, 조사 또는 기타 양적 측정과 인터뷰 또는 포커스 그룹 데이터의 통합에 중점을 둡니다. 혼합 방법 연구에서 가장 널리 사용되는 디자인입니다 (Creswell & Plano Clark 2011). Murdoch-Eaton et al. (2010)는 의대생 그룹 데이터와 교육의 필요성을 뒷받침하기위한 정량적 문서 분석을 결합하여 연구 기술을 개발할 때 겪게되는 이점과 실제 어려움에 대해 의대생에게 질문했습니다. Nofziger et al. (2010)는 조사에서 파생 된 질적 및 양적 데이터를 사용하여 주민들의 전문성을 촉진시키는 강력한 도구로서 동료 평가를 지원했습니다. 

• '종단 형 변환 모델'은 시간이 지남에 따라 여러 지점에서 데이터를 수집합니다. Bradley, Cooper and Duncan (2009)은 직업 전문 교육에 대한 전문 직업적 학습에 대한 혼합 된 방법 연구에서 전문 직업 교육에 관한 차후 태도를 평가하기 위해 훈련 후 4 개월 동안 집중 그룹과 함께 훈련 효과를 정량적으로 평가했다. 

• '임베디드 모델'이나 '병행 변환 모델'과 같은 다른 모델은 의학 교육에서는 사용 빈도가 적지 만 연구자에게도 도움이 될 수 있습니다. 디자인에 대한 완전한 논의는 Doyle, Brady and Byrne (2009)을 참조하십시오.

Schifferdecker & Reed (2009) have sorted out the many mixed methods design possibilities and have identified four that have been particularly successful in medical education. 

• The ‘‘instru- ment development model’’ uses qualitative data for the development of a quantitative instrument. In designing a 360 multi-rater evaluation, Krain & Lavelle (2009) queried residents regarding their interpretations of professionalism and perspec- tives on how professionalism was acquired and, subsequently, used this information in the design of a 360 multi-rater et al. evaluation with good results (Lavelle, 2009). 

• The ‘‘explanatory model’’ uses qualitative methods to answer questions raised by quantitative data to flesh out findings in a sequential manner regarding a single population at a single point in time. 

• The ‘‘triangulation model’’ focuses on the simultaneous collection of data and the integration of these, pairing surveys or other quantitative measures with interviews or focus group data. It is the most widely used design in mixed methods research (Creswell & Plano Clark 2011). Murdoch- Eaton et al. (2010) queried medical students regarding the benefits and practical difficulties encountered in developing research skills by combining student focus group data and quantified document analysis to support the need for training. Nofziger et al. (2010) supported peer assessment as a powerful tool to facilitate professionalism for residents using both qualitative and quantitative data derived from a survey. 

• ‘‘Longitudinal transformation models’’ collect data at multiple points over time, often from more than one population. In a mixed methods study of interprofessional learning of resusci- tation skills, Bradley, Cooper and Duncan (2009) followed a quantitative assessment of the effects of training with focus groups conducted four months after training to assess subse- quent attitudes regarding interprofessional education. 

• Other models such as the ‘‘embedded model’’ or ‘‘concurrent transformation model’’ are used less often in medical educa- tion but may hold promise for researchers. See Doyle, Brady and Byrne (2009) for a complete discussion of designs.

Ti p 7 도구 상자를 확인하십시오

Ti p 7 Check your tool box

정 성적 도구에는 인터뷰, 포커스 그룹, 관찰, 치명적인 사고 기법 (Gremler, cf 참조) 및 로그, 전자 메일 또는 의료 기록과 같은 문서가 포함됩니다. 데이터 분석 프로세스에는 Nvivo (n.d.), ATLAS ti (n.d.) 또는 MAXQDA (1989)와 같은 코딩 소프트웨어를 사용하여 수동으로 데이터를 코딩하는 작업이 포함될 수 있습니다. 상호 관련 주제를 해석하고 데이터가 연구 질문에 어떻게 대처하는지 설명합니다. 

정량적 도구에는 설문 조사, 테스트 점수, 행동, 체크리스트 및 숫자 값 할당을 통한 데이터 고려가 포함됩니다.

Qualitative tools include interviews, focus groups, observations, critical incident techniques (cf. Gremler 2004), and documents such as logs, emails, or medical records. The data analysis process might involve coding data manually, using coding software such as Nvivo (n.d.), ATLAS ti (n.d.), or MAXQDA (1989); interpreting interrelating themes, and explaining how the data address the research questions. 

Quantitative tools include surveys, test scores, counting behaviors, checklists, and consideration of data through the assignment of numeric values.

Ti p 8 엄격한 방법 사용

Ti p 8 Use rigorous methods

혼합 된 방법을 사용하는 것이 타당성을 확대하는 경향이 있지만, 모든 방법이 엄격하고 체계적 일 것이라는 기대에서 해방시켜주지는 않습니다. 양적 및 질적 연구는 우수성에 대한 엄격한 기준에 의해 뒷받침된다.

While using mixed methods tends to extend validity, it does not release the researcher from the expectation that all methods will be rigorous and systematic. Both quantitative and qualitative researches are supported by strict criteria for excellence.

여러 방법에 걸쳐 엄격한 수준을 유지하는 것은 중요하지만 연구자, 특히 의학 교육에서는 간과하기 쉽습니다.

Maintaining rigor across methods is critical yet commonly overlooked by researchers, especially in medical education.

Ti p 9 표본 추출 방식

Ti p 9 Sampling schemes

Teddlie & Yu (2007)는 확률적 샘플링과 의도적 샘플링의 인터페이스에 기반한 혼합 방법 샘플링 절차의 유형을 발전시킨다. 

• 확률 표본 추출은 전체 인구 집단으로 일반화하는 목표를 가진 참여자의 무작위적이고 대표적인 선택을 기반으로한다. 반면에 의도적 표본 추출은 연구의 연구 질문에 답하는 구체적인 목적을 가진 개인이나 집단을 찾는다. 비 임상 적 또는 내장 된 상황. 

• 확률 표본 추출은 표본 및 크기의 대표성에 달려 있지만 의도적 표본 추출은 포화 또는 연구자가 새로운 정보를 얻지 못하는 시점에 달려 있습니다. 

• 일반화가 양적 연구자의 관심사 인 반면, 다른 설정에 대한 결과의 전이가능성은 의도적 샘플러의 관심사 일 수도 있고 아닐 수도 있습니다. 

Teddlie & Yu (2007) advance a typology of mixed methods sampling procedures based on the interface of probability and purposive sampling. 

• Notably, probability sampling is based on the random and representative selection of participants with the goal of generalizing to an entire population, whereas purposive sampling seeks individuals or groups with the specific purpose of answering the study’s research question, or gaining in-depth information in a nonclinical or embedded situation. 

• While probability sampling rests on representative- ness of the sample and size, purposive sampling rests on saturation, or the point at which the researcher is not getting new information. 

• While generalization is usually a concern for the quantitative researcher, transferability of findings to other settings may or may not be a concern to the purposeful sampler. 

Teddlie & Yu (2007)는 연구 유형에 따라 표본 추출 기법의 유형을 반영하는 이론적 매트릭스를 발전 시켰는데, 주로 정량적, 주로 정성적 또는 "부분적으로"혼합 된 것입니다. 혼합 된 방법을 샘플링하는 데 중요한 것은 연구 문제를 다룰 때 일반화가능성 및 전이가능성 문제를 고려하고 연구 가닥이나 방법 전반에 걸친 정보의 깊이와 폭 모두에 집중하는 것입니다 (Teddlie & Yu 2007).

Teddlie & Yu (2007) advance a theoretical matrix that reflects the type of sampling technique as linked to the type of study – primarily quantitative, primarily qualitative or ‘‘pro- portionately’’ mixed. What is important in developing the mixed methods sampling is addressing the research questions, considering both generalizability and/or transferability issues, and focusing on both depth and breadth of information across research strands or methods (Teddlie & Yu 2007).

Ti p 10 이론 개발

Ti p 10 Develop theory

혼합 된 방법 연구원으로서, 당신은 엄격하고 체계적인 방식으로 여러 변수로 작업했습니다. 복잡한 문제를 다룰 때 다양한 방법으로 지원되는 의미를 가졌습니다. 이론을 확장하거나 발전 시켰을 가능성이 있으며, 심지어 단일 연구조차 이것이 가능할 수 있다. 이것은 너무나 자주 연구가 이론에주의를 기울이지 않는 의학 교육 연구에서 특히 중요합니다.

As a mixed methods researcher, you have worked with multiple variables in a rigorous and systematic manner. You have made meanings that are supported by diverse methods as you addressed complex problems. It have is likely that you extended or developed theory and it is not beyond the scope of even a single study to make this claim. This is especially important in medical education research where, too often, studies do not include attention to theory.

Ti p 11 학술 커뮤니티에 기여

Ti p 11 Contribute to the scholarly community

Ti p 12 혼합연구자임을 자랑스럽게 착용하십시오.

Ti p 12 Wear your mixed methods hat proudly

프로젝트를 완료하고 혼합 방식 접근법의 모든 이점을 맛보면 새로운 방법론에 충실 할 수 있습니다. 혼합 된 방법은 공식적인 연구뿐만 아니라 일상적인 상황에서 효과적인 솔루션을 보장하기 위해 여러 유형의 정보 수집 및 분석에 종사하는 비공식적 인 연구를위한 전략을 제공합니다.

Once you have completed your project and are savoring all the benefits of the mixed methods approach, you may feel an allegiance to your new methodology. Mixed methods provides a strategy not only for formal research, but also for informal research as professionals engage in multiple types of information gathering and analysis to ensure effective solutions in everyday situations.

Conclusion

Norcini J, McKinley K. 2007. Assessment methods in medical education. Teach Teach Educ 23:239–250.

Cote L, Turgeon J. 2005. Appraising qualitative research articles in medicine and medical education. Med Teach 27:71–75.

Schifferdecker KE, Reed VA. 2009. Using mixed methods research in medical education: Basic guidelines for researchers. Med Educ 43:637–644.

Doyle L, Brady AM, Byrne G. 2009. An overview of mixed methods research. J Res Nurs 14(2):175–185.

---

Med Teach. 2013 Apr;35(4):272-6. doi: 10.3109/0142159X.2013.759645. Epub 2013 Feb 6.

Twelve tips for getting started using mixed methods in medical education research.

Lavelle E1, Vuk J, Barber C.

Author information

1

School of Medicine, University of Missouri Kansas City, MO 64110, USA. lavelleel@umkc.edu

Abstract

BACKGROUND:

Mixed methods research, which is gaining popularity in medical education, provides a new and comprehensive approach for addressing teaching, learning, and evaluation issues in the field.

AIM:

The aim of this article is to provide medical education researchers with 12 tips, based on consideration of current literature in the health professions and in educational research, for conducting and disseminating mixed methods research.

CONCLUSION:

Engaging in mixed methods research requires consideration of several major components: the mixed methods paradigm, types of problems, mixed method designs, collaboration, and developing or extending theory. Mixed methods is an ideal tool for addressing a full range of problems in medical education to include development of theory and improving practice.

PMID:

 

23383755

 

DOI:

 

10.3109/0142159X.2013.759645

[Indexed for MEDLINE]