질적연구 수행 및 보고 (Clin Teach. 2016)

질적연구 수행 및 보고 (Clin Teach. 2016)

Undertaking and reporting qualitative research

Joanna Tai and Rola Ajjawi

Centre for Research in Assessment and Digital Learning , Deakin University , Melbourne , Victoria , Australia

도입

Introduction

'질적 연구'는 정당한 이유로 많은 사람들의 마음 속에 두려움을 불러 일으키는 문구입니다. 질적 연구는 다양한 방법과 방법론을 포함하며 그 중 일부는 불투명 한 언어를 사용합니다. 이전에는 의료 과학 기반의 전통에 따라 양적 연구가 지배적이었던 보건 전문 교육에 점점 더 많이 사용되고 있습니다. 연구원들은 이제 교육 개입 연구에서 중요한 것은 '효과가 있습니까?'뿐만 아니라 '어떻게 작동 하는가', '왜 효과가 있는가', '누구에게, 어떤 맥락에서' 그게 중요해. 이러한 질문은 특히 교육에 대한 인식과 경험이 관련되어있을 때 숫자 분석을 통해 쉽게 대답 할 수있는 것은 아닙니다.

‘Qualitative research’ is a phrase that strikes fear in the hearts of many, perhaps for good reason. Qualitative research encompasses a range of methods and methodologies, some of which use opaque language. It is increasingly used in health professions education, which has previously been dominated by quantitative research, following a medical, science-based tradition.[1] Researchers now understand that in education intervention research, it is not only the ‘does it work?’ that matters, but also the ‘how does it work?’, ‘why does it work?’ and ‘for whom, in what context’ that matters. These questions are not always easily answered through number crunching, especially when perceptions and experiences of education are involved.

개입 연구 외에도, 질적 연구를 통해 교육 문제를 재구성하거나, 피드백 및 동료 학습과 같은 교육 현상에 대한 미묘한 이해를 촉진 할 수 있습니다. Regehr은 보건 전문 교육 연구가 proof(즉, 개입 연구)에 초점을 맞춘 연구에서 교육 현상에 대한 이해의 필수로 바뀌어야한다고 주장하면서 이 점을 잘 설명했다. 질적 연구 접근법은 이러한 유형의 문제를 조사하는 데 이상적입니다. 예를 들어, 특정 상황에서 피드백 개입을 조사하고 평가하려는 대신, 질적 연구자는 피드백의 개념화, 피드백에 대한 문맥 적 영향 또는 피드백 문화의 활성화 방법을 탐색하여 문맥의 차이를 해결할 수 있습니다.

Beyond intervention studies, qualitative research can be used to reframe educational problems and to promote nuanced understanding of educational phenomena, such as feedback and peer learning. Regehr made this point well when he argued that health professions education research should shift from research focused on proof (i.e. intervention studies) to an imperative of understanding of educational phenomena.[2] Qualitative research approaches are ideal for investigating these types of questions. For example, instead of seeking to investigate and evaluate a feedback intervention in a particular context, the qualitative researcher might explore conceptualisation of feedback, contextual influences on feedback, or how feedback cultures are enabled, to address gaps in the literature.

이 가이드는?

Why this Guide?

나무가 숲에 떨어지고 아무도 그 소리를 듣지 못한다면 정말 떨어진 것입니까? 질적 연구에 대해서도 마찬가지입니다. 연구의 소비자가 (연구자가) 발견 한 것을 적절하게 이해하고 해석하지 않으면 연구 노력이 다소 헛된 것입니다. 또한 연구의 질에 대한 우려가 있으며, 더 많은 임상 강사가 교육이나 경험없이 질적 연구로 전환하고 있습니다. 이 툴박스 기사는 임상 교사가 질적 연구의 해석과 실시를 위해 질적 연구의 기초에 대해 더 잘 이해할 수 있도록 도와줍니다. 이 가이드는 철저한 리소스, 레서피 또는 체크리스트가 아닌 해당 분야의 공통 언어 및 개념에 대한 간략한 설명과 관련 분야에 대한 추가 정보를 제공합니다. 우리는 보건 분야의 배경에서 왔으며, 학부 과정에서 양적 연구로 사회화되었습니다. 우리는 박사 과정 연구에서 (그리고 그 이상) 질적 인 접근법을 사용하게되었습니다. 우리가 대답하기를 바라는 종류의 질문에 더 적절했기 때문에, 지식과 연구 접근을 구성하는 것에 대한 우리의 관점이 크게 바뀌 었습니다.

If a tree falls in a forest and no one is around to hear it, has it really fallen? The same could be said of qualitative research: without consumers to understand and interpret findings appropriately, research efforts are somewhat in vain. There is also concern about the quality of research, with more clinical teachers turning to qualitative research without any training or experience. This toolbox article may assist clinical teachers to become better acquainted with some of the basics of qualitative research, with a view to both interpreting and conducting qualitative research. We present this guide not as an exhaustive resource, recipe or checklist, but as a brief overview of common language and concepts within the field, with directions to further resources on the relevant areas. We come from health disciplinary backgrounds, and were socialised into quantitative research in our undergraduate degrees. We have come to use qualitative approaches in our doctoral research (and beyond), as they were more appropriate for the kinds of questions that we wished to answer, and this involved a significant shift in our perspectives on what constitutes knowledge and research approaches.

들어가며

Starting Off

교육에서와 마찬가지로 연구 의도, 수행, 성과가 조화를 이루어야합니다. 어떤 연구 디자인의 precursor(양적 또는 질적)는 철저한 문헌 고찰과 특정 연구 문제를 통해 문제, 격차 또는 후크를 확인하는 것입니다. 바쁜 임상의 연구자가 공통적으로 빠지는 함정은 그 지역의 문제를 확인하고, 교육 해결책을 개발, 구현 및 평가하고, 이후에 문헌을 탐색하여 다른 사람들이 문제를 다루고, 이미 그것에 대해 쓴 사실을 발견하는 것입니다. 임상 교육 분야의 지식 체계에 추가되는 정보에 입각 한 연구를 추진하려면 이러한 지식을 사전에 파악하는 것이 중요합니다. 철학적 입장 (온톨로지 및 인식론 포함), 방법론, 샘플링 및 샘플 크기, 데이터 수집, 데이터 분석, 결과보고 및 품질 문제를 토대로 질적 연구에서 디자인의 주요 측면을 고려합니다.

Just as in education, research intentions, undertakings and outcomes should be aligned. The precursor to any research design (quantitative or qualitative) is the identification of a problem, gap or hook through a thorough literature review and specific research questions.[3] A common trap for busy clinician-researchers is to identify a problem in their area, then develop, implement and evaluate an educational solution, only to explore the literature after the evaluation to find that others have tackled the problem and written about it before. To drive informed research that adds to the body of knowledge in the field of clinical education, it is important to have this knowledge up-front. We consider key aspects of design in qualitative research based on the following stages: philosophical stance (including ontology and epistemology), methodology, sampling and sample size, data collection, data analysis, reporting of findings and issues of quality.

철학적 입장

Philosophical Stance

연구원의 철학적 '자세'는 사물이 어떻게 알려지고, 경험되고, 경험되고, 따라서 어떻게 사물을 조사하고 조사 할 수 있는지에 대한 신념입니다. 이러한 것들을 명시적으로 기술하면 독자가 연구자가 무슨 데이터를 수집했고, 데이터를 어떻게 해석했는지에 대한 가정을 식별 할 수 있습니다. 이것은 양적 연구에도 적용 되기는하지만 질적 인 연구에서는 다른 자세가 데이터와 결론의 다중 해석으로 이어지기 때문에 아마도 더 중요 할 것이다. 양적 연구자들은 stance를 이미 추정할 수 있는 지배적인 패러다임 내에서 운영되기 때문에 이정도까지 관여하지 않아도된다. 온톨로지와 인식론은 연구자가 적극적으로이를 반영하는지 여부와 관계없이 모든 연구를 뒷받침합니다.

The researcher's philosophical ‘stance’ is their belief on how things are known, learned about and experienced, and therefore how these things can be researched and investigated. Stating these things explicitly allows readers or consumers to identify the assumptions researchers have made regarding the data that they have collected, and how they have interpreted the data. Although this also applies to quantitative research, it is perhaps more important in qualitative research, as different stances will lead to multiple interpretations of data and conclusions. Quantitative researchers have not had to engage with these to the same extent, as they operate within the dominant paradigm, where stance is assumed. Ontology and epistemology underpin all research, whether or not the researcher actively reflects on this.

인식론

Epistemology

인식론이란 우리가 사물이나 생각을 어떻게 알게되고 이해할 수 있는지에 대한 이론 또는 방법을 말합니다. 

• 경험 주의자 (과학적 방법이나 실험 데이터에 의존하는)는 감각을 통해 전달되는 경험에 의존 할 것이고 일반적으로 (실증주의 학교에서는) 객관적인 수단을 통해 발견되는 '진리'가 하나 뿐이라고 주장한다. 

• 이론가들은 이러한 knowing에 대한 concrete way를 뛰어 넘어 인간이 사건을 경험할뿐만 아니라 다른 사람들, 특히 사회 구성주의에 참여함으로써 지식을 구성한다고 제안했다. 

그러면 동일한 이벤트에 대해 여러 가지 관점과 다양한 인식이 가능합니다 (예 : 컨설턴트 의사와 연수생은 연수생의 성과에 대해 매우 다른 점을 이해하는 피드백 세션에서 나올 수 있음).

Epistemologies are ways of knowing, or theories of how we come to know and understand things or ideas. 

• An empiricist (who relies on the scientific method or experimental data) would rely on experience conveyed through the senses, and generally (in a positivist school) hold that there is only one ‘truth’ to be discovered through objective means.[4] 

• Theorists have moved beyond these concrete ways of knowing to suggest that humans construct knowledge through not only experiencing events, but also by participating in activities, especially with others (specifically, social constructivism).[5] 

This then allows for multiple perspectives and differing perceptions of the same event (e.g. the consultant doctor and the trainee can come out of a feedback session understanding very different things about the trainee's performance).

존재론

Ontology

온톨로지는 사물, 사물과 경험의 존재와 관련이 있습니다. 우리가 실제로 세상에서 감지하는 것들이 있습니까? 질적 연구자들은 현실이 존재한다는 점에서 상대 론적 입장을 취할 가능성이 있지만, 여러 관점이 받아 들여지고 참가자들의 경험과 해석을 통해 접근된다. 연구 방법의 철학적 토대에 대한 명확한 이해가 중요하며, 연구 방법 및 연구 문제와 일치해야합니다. [7] 

• 예를 들어, 대표 샘플을 얻거나 코더 간 신뢰도를 계산하려고 시도하면서, 해석주의적 패러다임 내에서 작업한다고 주장하는 것은 맞지 않는다. 

• 품질을 보장하기 위해 양적 연구에서 중요한 것으로 간주되는 기준 (일반적으로 표본 추출, 복제 가능성 및 일반화 가능성과 같은)은 다중적으로 구성된 현실을 인정하고, 지식을 주관적이고 시야로 간주하는 패러다임 내에서 작업 할 때에는 의미가 없습니다.

Ontology is concerned with the existence of things, objects and experiences: are the things we perceive in the world actually there? Qualitative researchers are likely to hold a relativist position on this, in that reality exists, but multiple perspectives are accepted, and are accessed through participants' experiences and interpretations.[6] It is important to be clear about the philosophical underpinning of the research, as this needs to be in alignment with the research methods and research questions chosen.[7] 

• For example, claiming to be working within an interpretive paradigm while attempting to obtain a representative sample, or calculating inter-coder reliability, is not in alignment. 

• The criteria typically considered important in quantitative research to ensure quality (such as random and representative sampling, replicability and generalisability) are meaningless when working within a paradigm that acknowledges multiple constructed realities, and views knowledge as subjective and constructed.

방법론

Methodology

방법론은 수없이 많기 때문에 연구 보고서에 잘 설명되어야합니다. 연구원이 프로젝트를 수행하는 방법과 달리, 방법론은 연구 방법의 이론과 관련이 있습니다. 인터뷰, 설문 조사, 관찰, 오디오 녹음을 선택한 이유 또는 참가자에게 그림을 그리게 된 이유는 무엇입니까? 전형적인 방법론 (표 1에 요약되어 있음)은 autoethnography, 사례 연구, 구성 주의자 근거 이론, 민족 지학, 내러티브, 현상학 및 현상학을 포함합니다. 이들 각각은 그것의 사용에 대한 정당성과 따라야 할 특별한 방법을 가지고있다.

예를 들어, 민족지학은 경험에 대한 지각과 설명뿐 아니라 문제의 현상에 대한 관찰이 사건, 문화 및 상황에 대한보다 충분한 정보를 제공해야한다고 주장한다. 

Methodologies are multitudinous, and therefore should be well articulated in a research report. In contrast to the methods (which is how a researcher carries out the project), methodology is concerned with the theory of those research methods: why did you pick interviews, surveys, observation, audio recordings, or get the participants to draw pictures? Typical methodologies (outlined in Table 1) include: autoethnography, case study, constructivist grounded theory, ethnography, narrative, phenomenography and phenomenology. Each one of these has justifications for its use, and particular methods to follow. 

For example, ethnography reasons that not just perceptions and accounts of experiences but also observations of the phenomenon in question are required to create a more fully-informed account of happenings, cultures and contexts.[8] 

때때로 '방법론'은 사용되는 '방법'과 매우 유사해 보인다. 그러나 방법을 잘 정당화하기 위해서는 방법론 (즉, 방법의 이론)이 필요합니다. 

• 양적 연구에서는 방법론을 고려하지 않고 연구 질문에서 방법으로 넘어 가지 않습니다. (예: 무작위 대조 시험, 또는 사전, 사후 및 준 실험 또는 조사 설계. )

• 그러나 질적 논문에서는 (organising methodological framework없이) 연구 질문(또는 목표)에서 방법 (종종 인터뷰 또는 포커스 그룹)으로 점프하는 것을 흔히 본다. 방법론은 깊이와 집중력을 제공하고 연구 설계의 모든 결정에 영향을 미치기 때문에 중요합니다.

Sometimes methodologies ‘look’ very similar to the methods that are being used; however, to justify the methods well, a methodology (i.e. theory of methods) is required. 

• In quantitative research you wouldn't jump from research questions to methods without considering the methodology: e.g. randomised controlled trial, or pre-, post- and quasi-experimental, or survey design. 

• It is common to see a jump from research question (or aim) to methods (often interviews or focus groups) in qualitative papers, however, without an organising methodological framework. The methodology is important because it provides depth and focus, and should influence every decision in the research design.

Table 1. Methodologies

Methodology	Definition	Further reading	Example
Autoethnography	Auto relates to self and ethnography relates to the study of a culture. Allows clinician-educators to research their own cultures, sharing insights about their own teaching and learning journeys in ways that will resonate with others.	Farrell L, Bourgeois-Law G, Regehr G, Ajjawi R.[23]	Galle J, Lingard L.[24]
Case study	Draws on a range of sources to develop contextual understanding and illumination of a phenomenon, with the accompanying generation or refinement of a theory.	Flyvbjerg B.[25]	Balmer DF, Master CL, Richards BF, Serwint JR, Giardino AP.[26]
Constructivist grounded theory	Seeks to construct theory through engagement and interpretation of the participants' stories. Researchers construct grounded theories (grounded in the data) through their past and present involvements and interactions with participants, perspectives and research practices.	Charmaz K.[27]Watling CJ, Lingard L.[28]	Watling C, Driessen E, van der Vleuten CPM, Lingard L.[29]
Ethnography	Concerned with identifying cultural meanings, beliefs and patterns of a group's daily life.	Reeves S, Peller J, Goldman J, Kitto S.[30]	Kuper A, Nedden NZ, Etchells E, Shadowitz S, Reeves S.[31]
Narrative	Focuses on story of how texts or speech acts are constructed, and what values underlie them. The emphasis is on the construction of meaning in social contexts by analysing what is said and how it is said.	Riessman CK.[32]	Urquhart LM, Rees CE, Ker JS.[33]
Phenomenography	Explores the different ways in which a certain phenomenon is understood by a particular group, but also examines how these ways of understanding are structurally related to one another.	Stenfors-Hayes T, Hult H, Dahlgren MA.[34]	Hubinette MM, Ajjawi R, Dharamsi S.[35]
Phenomenology	Focuses on exploring how individuals make sense of the world and their lived experience.	Grace S, Ajjawi R.[36]	McLachlan E, King N, Wenger E, Dornan T.[37]

표집과 표본 크기

Sampling and Sample Size

질적 연구에 참여한 사람들은 연구원이 무슨 일이 일어나고 어떤 일이 의미 하는지를 이해할 수 있도록 도와줍니다. 따라서 샘플링은 적절하고 유익한 샘플을 선택하기 위해 무작위가 아닌 목적적이다. 일반적으로 사용되는 두 가지 샘플링 접근법은 

• 이론적 샘플링 (즉, 이론적 인 논증에 기초하거나 또는 문헌의 갭을 극복하기 위해 참가자를 식별) 또는 

• 최대 다양성 샘플링 (즉, 광범위한 특성에 기초한 샘플링)이다.

Participants in qualitative research are uniquely positioned to help the researcher understand what happens or what things mean. Therefore, sampling is purposive, rather than random, in order to select an appropriate and informative sample. Two commonly used sampling approaches are 

• theoretical sampling (i.e. identifying participants based on a theoretical argument or to address gaps in the literature) or 

• maximum diversity sampling (i.e. sampling based on a wide range of characteristics).[9] 

우리는 이제 표본 크기의 문제로 왔습니다. 불행히도 올바른 샘플 크기에는 '마법의 숫자'가 없습니다. [10] 추가 참가자가 새로운 경험과 대안적인 시각을 도입하지 않을 것이라는 보장이 없기 때문에 '포화'에 대한 권고는 심하게 논쟁의 대상이됩니다. 표본 크기의 정당화는 연구 범위, 연구 문제의 성격, 사용 된 방법론 및 연구 질문에 대한 일관성 있고 적절한 응답에 대한 자료의 충분 성을 고려해야한다. 데이터를 수집하기 전에 충분한지를 결정할 수 없으며 샘플링과 데이터 수집은 팀 간의 결정이 반복 될 때까지 반복적으로 수행된다.

We come now to the question of sample size. Unfortunately, there is no ‘magic number’ for the right sample size.[10] Exhortations of ‘saturation’ are deeply contested, as there can be no assurances that additional participants would not introduce new experiences and alternative perspectives. The justification of sample size needs to take into account the scope of the research, the nature of the research questions, the methodology being used, and the sufficiency of the data in answering the research question coherently and adequately.[11] Sufficiency cannot be determined before data are collected, with sampling and data collection often returned to iteratively until a decision among the team is made.

자료 수집 방법

Data Collection Methods

프로젝트의 디자인은 연구 질문, 방법론 및 방법뿐만 아니라 실제 상황과 설정에 따라 달라집니다. 질적 연구는 실용적입니다. 데이터는 수집 가능해야하며 연구 질문을 탐구하고 목표를 달성하기에 충분한 깊이와 폭이 있어야합니다. 동시에 너무 많은 데이터를 수집하면 분석 프로세스가 압도적으로 복잡 해져 자원 낭비가 발생할 수 있습니다. 일반적인 데이터 수집 방법에 대한 개요가 표 2에 나와 있습니다.

The design of the project depends not only on the research questions, methodology and methods you have chosen, but what is practical and realistic for the setting. Qualitative research is pragmatic: the data must be collectable, and of sufficient depth and breadth to explore the research question and fulfil the aim. At the same time, collecting too much data may make the analysis process overwhelmingly complex and lead to wasted resources. An overview of common data collection methods is presented in Table 2.

하나 이상의 데이터 수집 방법을 선택할 때 추가 된 가치가 무엇인지, 그리고이 방법이 어떻게 연구 질문에 답하는 데 도움이되는지 고려하는 것이 중요합니다. 데이터 수집의 깊이를 촉진하기위한 전략에는 

• 장기간 또는 반복적인 참여

• 데이터 수집의 여러 방법; 

• 인터뷰에서 자유로운 이야기와 경험을 수집하기 위한 개방형 질문

• 화제의 민감성, 참가자 및 연구에서 연구자의 역할에 대한 성찰, 

• 이해의 깊이를 제공하는 이론의 사용

When choosing more than one data collection method it is important to consider what added value there is and how these methods might help to answer the research question(s). Strategies for promoting depth in data collection include: 

• prolonged or repeat engagement; 

• multiple methods of data collection; 

• asking open-ended questions in the interviews to collect rich stories and experiences; 

• being reflexive about the sensitivities of the topic, participants and the role of the researchers in the research, and

• the use of theory to provide depth of understanding.

Table 2. Data collection methods

Data collection method	Benefits	Potential challenges	Further reading
Classic/conventional
Text (survey, documents)	Can collect responses quickly and easily in the case of survey	Free-text responses may be brief and not lend themselves to complex qualitative analysisLargely unable to interrogate/question further	Bearman M, Dawson P.[38]
Interview	Can be tailored to individual participants' experiences, easier to manage and conduct (relative to focus groups)	It may become time-consuming to manage large quantities of interview data	DiCicco-Bloom B, Crabtree BF.[39]
Focus groups	Multiple people in a room may engender more discussion on the topic of interest than solo interviews. Comfort and anonymity in sharing with othersEnables analysis of interaction between participants	More difficult and time-consuming to transcribe than interviewThey may be less suitable for sensitive topics that participants do not wish to discuss as a groupRequires some skill to manage	Stalmeijer RE, McNaughton N, Van Mook WNKA.[40]
Observations	Can capture what is going on, what people are doing and non-verbal interactions. Enables focus on the material and context	Labour-intensiveNeed to consider role of researcher as observer and influence on the research/researchedRecording may include field notes, audio and/or video	Walshe C, Ewing G, Griffiths J.[41]
Emerging in health professions education research
Audio diaries	Potential for longitudinal use, captures personal dialogue and small everyday stories, easy to administer, participant in control, and enabled through smartphone	Attrition.May require continuing administration to build rapport and relationship with participants	Monrouxe L.[42]
Visual approaches e.g. photo-elicitation, video-ethnography, video-reflexive ethnography (VRE)	Affords additional perspectives, enables an explanation of context and meaning-making in situated ways, enables the linking of action and explanation	Analysing image or video, as opposed to only the explanation/storyPotentially more challenging for participantsParticipants may need orientation to research methods, especially means of engaging in the research	Iedema R, Forsyth R, Georgiou A, Braithwaite J, Westbrook J.[43]

자료 분석

Data Analysis

데이터 세트를 공유하고 계산을 거의 즉각적으로 다시 수행 할 수있는 정량적 연구와 달리 정성 분석은 더 복잡하고 시간 소모적입니다. 질적 연구 방법에는 많은 자원과 과정이 있습니다 (즉, 훌륭한 프로젝트를 구성하여 좋은 관련 데이터를 수집하는 방법). Miles, Huberman 및 Saldana는 데이터에서 다양한 유형의 요소 (및 레이블 또는 코드)를 설명하며, 코딩이란 데이터를 'deep reflection심층 반영'하는 것이라 설명했습니다. 그러나 그들은 또한 '일부 연구 방법론 학자들은 코딩이 단순히 연구에 대한 고차원 적 사고를위한 기술적 준비 작업이라고 믿는다.'[12]

Unlike quantitative research, where data sets can be shared and calculations re-run almost instantaneously, qualitative analysis is more complex and time-consuming. There are many resources and courses on qualitative research methods (i.e. how to construct a good project and therefore collect good and relevant data). Miles, Huberman and Saldana have gone a long way in describing the different types of elements to look for (and label or code) in data, and describe coding as a ‘deep reflection’ on the data.[12] However, they also admit that ‘some research methodologists believe that coding is merely technical, preparatory work for high level thinking about the study’.[12]

일반적으로 주제별 분석은 패턴을 식별하고 세부 사항을 구성하고 설명하는 것이 목적 인 곳에서 사용됩니다 (Box S1). [13] 연구원은 일어난 일에 대한 개념적 또는 이론적 이해의 일종을 개발하기 위해 일어난 일을 단순하게 count하여 설명하는 것 이상으로 나아갈 필요가 있습니다 (기존 이론에 따라). 이 추상화 또는 '상향적 사고thinking up'은 작업을 한 차원 높은 수준으로 끌어 올려 의미와 이해를 돕는 데 도움이 되며, 분석의 일부입니다.

Commonly, thematic analysis is used where the aim is to identify patterns, and organise and describe the data in some detail (Box S1).[13] Researchers need to move beyond mere counting and describing what happened, to develop some sort of conceptual or theoretical understanding of what is happening (potentially according to a pre-existing theory). This abstraction, or ‘thinking up’, is taking the work to the next level, and is helpful for creating meaning and understanding, and is part of the analysis.[14]

담화 분석이나 대화 분석과 같은보다 전문화 된 유형의 분석이 있는데, 우리는이 논문에서 다루지 않는다. [15, 16] 분석 유형에 관계없이, 결과는 emerge하는 것이 아니며, 오히려 연구자들은 결과를 구성하기 위해 정보를 해석합니다. 이론은 또한 다른 렌즈를 통해 조사 결과를 조명하고 해석하기 위해 적용될 수 있으며, 이는 또한 연구에 가치를 더합니다. 컴퓨터 프로그램은 일반적으로 데이터 관리 및 분석을 돕기 위해 사용되며 데이터의 엄격하고 체계적인 쿼리를 촉진합니다. Box S2는 컴퓨터를 이용한 질적 데이터 분석 (CAQDAS)이 수행 할 수있는 것과 수행 할 수없는 것의 개요를 포함합니다.

There are more specialised types of analyses such as discourse analysis or conversation analysis, which we do not address in this paper.[15, 16] Regardless of analysis type, findings do not emerge (as we are prone to report), but rather the researchers interpret the information to construct the findings. Theories can also be applied to illuminate and interpret findings through different lenses, and this also adds value to the research.[17] Computer programs are commonly used to aid with data management and analysis, as they promote rigour and systematic querying of the data. Box S2 contains an overview of what computer-assisted qualitative data analysis (CAQDAS) can and cannot do for you.

결과 보고

Reporting of Findings

명확하고 정직하며 공개 된보고는 엄격함을 개선 할 것입니다. 프로젝트가 복제 될 수는 없지만, 보고 기준을 준수하는 것과 마찬가지로 투명성은 잠재적인 함정과 실수를 식별하는 데 도움이됩니다. [18, 19] 투명성 유지에있어, 데이터에서 결과로 가져온 경로에 대한 기술, 설명 및 정당화를 제공하는 것이 중요합니다. 여기에는 코딩 프레임 워크를 사용할 수있게하고 얼마나 많은 연구원이 참여했는지, 코딩 연구자 간의 협상을 위해 필요한 견적과 코드의 사례를 포함하여 취해진 조치의 세부 사항이 포함될 수 있습니다.

Clear, honest and open reporting is likely to improve rigour. Although projects may not be replicable, transparency helps to identify potential pitfalls and missteps, as does adherence to standards on reporting.[18, 19] In maintaining transparency, it is important to provide a description, explanation and justification of the path you took from data to results. This may include making your coding framework available and detailing the steps taken, including how many researchers were involved, and what negotiation was required to develop agreement between coding researchers, preferably with examples of quotes and codes. 

질적 연구 결과를보고하는 공통적 인 함정은 이야기를 말하고 연구 질문에 답하기 위해 인용에 의존하는 것이다. 데이터 인용은 너무 많이 사용되어서는 안된다. 해석과 설명은 독자의 인용문을 보고 알아서 할 것으로 기대하기보다는, 연구자에 의해 제공되어야합니다. 기억하십시오 : 다른 누구도 당신만큼 데이터에 몰두하지 않았습니다.

A common pitfall with reporting of qualitative research findings is relying on the quotes to tell the story and to answer the research questions. The data quotes should typically be used sparingly and in an illustrative capacity. The interpretation and explanation should be provided by the researchers rather than expected of the reader from the quotes. Remember: no one else has been immersed in the data as you have.

퀄리티 이슈

Issues of Quality

품질 및 관련 기준의 문제는 연구 프로젝트의 특정 측면에만 국한되지 않고 전체 연구 설계에 영향을줍니다. 이 연구는 특정 인식론 / 온톨로지를 기반으로해야하며 저널 편집자와 동료 평가자는 연구의 신뢰성을 결정하기 위해 논문의 나머지 부분이 철학적 입장에 맞는지 확인하기 위해 경계해야합니다. 연구를 계획하고 수행하는 동안 고려되어야하며 연구 보고서에서 명시 적으로 다루는 다양한 품질 기준이 있습니다. 이 용어와 몇 가지 예가 상자 1에 나와 있습니다.

Issues of quality and associated criteria imbue the entire research design, rather than being confined to a specific aspect of a research project. The study needs to be based on a specific epistemology/ontology, and journal editors and peer reviewers will be on the lookout to ensure that the remainder of the paper fits in with your philosophical stance, to determine the credibility of the research. There is a range of quality criteria that should be considered while planning and conducting the research, and explicitly addressed within a research report. These terms and some examples are presented in Box 1.

연구의 품질을 결정 (또는 보장)하는 데 도움이되는 다양한 도구와 점검 목록이 있습니다.

• O'Brien et al., [19] CASP 체크리스트 (Criterative Appraisal Skills Program) 체크리스트에 명시된 기준[20] 

• 그리고 Tong, Sainsbury 및 Craig의 질적 연구보고를위한 통합 기준 (COREQ) [21] 

There is also a range of tools and checklists to assist you in determining (or ensuring) the quality of the work, including 

• the standards set out by O'Brien et al.,[19] the critical appraisal skills programme (CASP) checklist,[20] and 

• the consolidated criteria for reporting qualitative research (COREQ) by Tong, Sainsbury and Craig.[21] 

이것들은 연구에 대한 careful consideration을 대체할 수 없으며, 그보다 무엇을 주의해야하는지에 대한 안내를 제공하는 것이고, 품질의 주요 기준에 관한 즉각적인 질문을 제공합니다. 체크리스트는 비판적이고 반사적으로 사용되어야 하며, 심층적 인 고려와 평가가 이루어져야합니다. [22]

These are not a substitute for careful consideration of the work but provide guidance as to what to look out for, and they offer prompt questions regarding key criteria of quality. Checklists should be used critically and reflexively to achieve the depth of consideration and assessment required.[22]

Box 1. Quality in qualitative research

Ethics

Ethical issues are likely to arise in qualitative research because of the interactions between researcher and participant, the environments in which the research is conducted, and the potential for unexpected findings. The steps taken to ensure ethical soundness, participant consent and ethical approval for the project should be included.

Transparency

This relates to the explicit stating of all the steps taken and decisions made throughout the project. It requires sufficient detail to be made available in order for research consumers to understand what has happened. It is important that the justification of why decisions were made is also provided (i.e. highlighting what was done and why).

Transferability

Although qualitative research may be said to be very context dependent, it is hoped that research findings may help to develop a theory that can be applied to other contexts. The researcher should be clear about contextual elements in the study, which allows the research consumer to also understand the differences and similarities between contexts. Transferability can be aided through a careful consideration of the sampling framework, and the transparency of reporting.

Credibility/trustworthiness

Credibility or trustworthiness refers to the confidence or believability of the study's findings. Triangulation, member-checking, and data saturation, are common strategies to promote the credibility of qualitative research.

Triangulation

Several sources or types of data should be used to examine a single phenomenon. This allows for multiple perspectives on the research phenomenon, with potential for greater depth/richness of findings.

Member-checking

This involves presenting the data, analysis and interpretation of findings back to the groups (i.e. members) who contributed the data, in order to confirm that the meaning interpreted by the researcher is what participants intended. The purpose of member-checking needs to be carefully thought through, as well as what to do with the comments considered.

Data saturation

Not our preferred term (see the section on Sample size); however, sampling and sufficiency of data need to be taken into consideration when discussing quality.

Coherence/alignment

This relates to the internal coherence or alignment between research questions, philosophical assumptions (stance), methodology and methods.[45]

Rigour

옥스포드 사전은 엄격함이라는 단어를 '철저하고 조심 스럽다'고 정의합니다. 이 가이드에서는 질적 연구 내 다양한 ​​엄격한 요소에 대해 논의했으며, 사후 검토보다는 모든 단계에서 엄격함을 준수해야했습니다.

The Oxford Dictionary defines the word rigour as ‘the quality of being extremely thorough and careful’. This guide discussed the various elements of rigour within qualitative research, and rigour should be attended to throughout all stages, rather than being a post-hoc consideration.

Reflexivity and the use of ‘I’

이 개념은 경험적 과학에서 오는 사람들에게 아마도 가장 낯선 개념 일 것입니다. 동시에, 그것은 경험적 과정의 일부이다. 반사성은 연구자가 연구 설계, 데이터 수집 프로세스 (사용되는 도구, 질문되는 질문) 및 데이터 및 결과의 해석에 영향을 줄 수있는 자신의 선입견, 추정 및 과거 경험을 조사 할 것을 요구합니다 . 이러한 모든 주관적인 요소는 연구에 영향을 미칩니다. 반사성의 목표는 의식적 고려에서 의식적 고려에 이르기까지 이러한 요인을 고려하는 것입니다. 이러한 것들을 토론 할 수 있다는 것은 실험실 실험에서 "통제 할 수없는 요인들"과 같은 엄밀성을 입증합니다. 이를 수행하는 한 가지 방법은 주관성을 논의 할 수있게하는 'I'를 사용하는 것입니다. 이것의 좋은 예가 Bradbury-Jones에 의해 기술되어있다. [44]

This concept is perhaps the most foreign to those coming from empirical sciences; at the same time, it is part of the empirical process. Reflexivity requires the researcher to inquire into their own preconceived beliefs, presumptions and past experiences that may affect their conceptions of the research design, the data collection process (which tools one uses, the questions that are asked), and the interpretation of data and results. All these subjective elements have an impact on the research: the goal of reflexivity is to bring these factors into consideration (from unconscious to conscious considerations). Being able to discuss these things also demonstrates rigour (somewhat like the ‘factors beyond our control’ in lab experiments). One way of doing this is through the use of ‘I’, which enables subjectivity to be discussed. A good example of this is described by Bradbury-Jones.[44]

Further reading

Please refer to articles [45-47] listed in the reference list.

참고문헌

References and Further Resources

If you are a novice considering conducting a qualitative project, you should engage the assistance of an experienced qualitative researcher (much like you might consult a statistician for power calculations to determine sample size). Although our reference list acts as an extended reading list, we would particularly recommend reading Regehr,[2] Bunniss and Kelly,[4] and O'Brien et al.[19] In addition to this, there are many textbooks or handbooks of qualitative research, including that by Miles, Huberman and Saldana.[12]

---

Clin Teach. 2016 Jun;13(3):175-82. doi: 10.1111/tct.12552.

Undertaking and reporting qualitative research.

Tai J1, Ajjawi R1.

Author information

1

Centre for Research in Assessment and Digital Learning, Deakin University, Melbourne, Victoria, Australia.

PMID:

 

27146221

 

DOI:

 

10.1111/tct.12552