질적평가자료 분석을 위한 귀납적 접근법(American Journal of Evaluation, 2006)

A General Inductive Approach for Analyzing Qualitative Evaluation Data

David R. Thomas

University of Auckland





평가에서 질적 인 데이터의 수집은 일반적입니다. 그러나 질적 데이터 분석을위한 효율적이고 defendable한 절차에 대한 전략에 대한 지식은 덜 일반적입니다. 광범위한 문헌에서 자료 평가를 포함하여 정성적 데이터 분석과 관련된 기본 가정과 절차를 설명하였다. 이 중 많은 것들은 근거 이론 (Strauss & Corbin, 1998), 현상학 (van Manen, 1990), 담론 분석 (Potter & Wetherell, 1994), 내러티브 분석 (예. , Leiblich, 1998)에 대한 것이다. 그러나 일부 분석 접근법은 generic하며 질적 연구의 특정 전통 (예 : Ezzy, 2002; Pope, Ziebland, & Mays, 2000, Silverman, 2000) 중 하나로 label되지 않는다.

The collection of qualitative data in evaluation is common. However, knowledge about strat- egies for efficient and defendable procedures for analyzing qualitative data is less com- mon. A wide range of literature documents the underlying assumptions and procedures associ- ated with analyzing qualitative data, including evaluation data (e.g., Patton, 2002). Many of these are associated with specific approaches or traditions, such as grounded theory (Strauss & Corbin, 1998), phenomenology (e.g., van Manen, 1990), discourse analysis (e.g., Potter & Wetherell, 1994), and narrative analysis (e.g., Leiblich, 1998). However, some analytic ap- proaches are generic and are not labeled within one of the specific traditions of qualitative research (e.g., Ezzy, 2002; Pope, Ziebland, &Mays, 2000; Silverman, 2000).



질적 데이터의 분석을 보고하는 몇몇 저자는 "General inductive approach"으로 분류 할 수있는 전략을 설명합니다.많은 질적자료분석이 이 전략을 사용하고 있으나 (Bryman & Burgess, 1994, Dey, 1993) 종종 분석 전략을 명확히 label하지 않기도 한다. 이 논문의 목적은 General inductive approach에서 분명히 드러난 핵심 기능을 설명하고 질적 데이터 분석에 사용할 수있는 일련의 절차를 개괄적으로 설명하는 것입니다.

Several authors reporting analyses of qualitative data in journal articles describe a strategy that can be labeled as a “general inductive approach.” This strategy is evident in much qualita- tive data analysis (Bryman &Burgess, 1994; Dey, 1993), often without an explicit label being given to the analysis strategy. The purpose of the present article is to describe the key features evident in the general inductive approach and outline a set of procedures that can be used for the analysis of qualitative data.


  • 이 기사에서 inductive analysis는 주로 raw 데이터를 꼼꼼히 정독하여 개념, 테마, 모델을 유도하는 것으로, 평가자가 연구자가 원 자료를 해석하는 과정이다. 귀납적 분석에 대한 이러한 이해는 Strauss and Corbin (1998)의 설명과 일치한다. "연구자는 연구 영역에서 시작하여 데이터로부터 이론을 출현시킨다"(12 페이지).

  • Deductive analysis는 데이터가 (연구자가 확인하거나 작성한) 기존의 가정, 이론, 가설과 일치하는지 테스트하기 위해 설정된 데이터 분석을 나타냅니다.

실제로 많은 평가 프로젝트는 귀납적 및 연역적 분석을 사용합니다.

  • In this article, inductive analysis refers to approaches that primarily use detailed readings of raw data to derive concepts, themes, or a model through interpretations made from the raw data by an evaluator or researcher. This understanding of inductive analysis is consistent with Strauss and Corbin’s (1998) description: “The researcher begins with an area of study and allows the theory to emerge from the data” (p. 12).

  • Deductive analysis refers to data analyses that set out to test whether data are consistent with prior assumptions, theories, or hypotheses identified or constructed by an investigator. In practice, many evaluation projects use both inductive and deductive analysis. 



귀납적 접근법의 주된 목적은 구조화 된 방법론에 의해 제약받지 않고 원시 데이터에 내재 된 빈번하고 지배적 인 또는 중요한 주제에서 연구 결과가 출현하도록 만드는 것입니다. 실험이나 가설을 검증하는 방식의 deductive analysis에서는 데이터 수집 및 데이터 분석 절차에 대한 연구자의 preconception 때문에 주요 주제가 종종 흐려 지거나 재구성되거나 보이지 않게됩니다. Scriven이 이야기한(1991, 56 페이지) "goal-free"평가에 대한 설명은 평가자가 계획된 효과뿐만 아니라 실제 프로그램 효과를 설명하고자하는 inductive approach와 일치합니다.

The primary purpose of the inductive approach is to allow research findings to emerge from the frequent, dominant, or significant themes inherent in raw data, without the restraints im- posed by structured methodologies. In deductive analyses, such as those used in experimental and hypothesis testing research, key themes are often obscured, reframed, or left invisible because of the preconceptions in the data collection and data analysis procedures imposed by investigators. Scriven’s (1991, p. 56) description of “goal-free” evaluation is consistent with an inductive approach whereby evaluators wish to describe the actual program effects, not just planned effects.

 

 

inductive approach의 사용은 몇 가지 유형의 질적 데이터 분석, 특히 근거이론 (Strauss & Corbin, 1998)에서 일반적입니다. 이것은 다른 저자 (Miles & Huberman, 1994, 9 페이지, Pope et al., 2000, Punch, 1998)가 기술 한 일반적인 데이터 패턴 분석과 일치합니다. 질적 데이터 분석을위한 세 가지 작업은 Miles and Huberman (1994, pp. 10-11)에 의해 설명되었는데, 데이터 축소, 데이터 표시 및 결론 그리기 또는 검증입니다. general inductive approach 은 Miles와 Huberman의 분석 프레임 워크와 일치하지만, 질적 자료를 분석하고 보고하기 위한 자세한 절차(데이터 축소 및 표시)를 제공하는 점에서 더 자세하다.

The use of an inductive approach is common in several types of qualitative data analyses, especially grounded theory (Strauss &Corbin, 1998). It is consistent with the general patterns of qualitative data analysis described by other authors (e.g., Miles & Huberman, 1994, p. 9; Pope et al., 2000, Punch, 1998). Three broad tasks for qualitative data analysis were described by Miles and Huberman (1994, pp. 10-11): data reduction, data display, and conclusion draw- ing or verification. Although the general inductive approach is consistent with Miles and Huberman’s analytic framework, it differs in providing a more detailed set of procedures for analyzing and reporting qualitative data (data reduction and display) than is provided in their description.

 


이 논문에서 설명한 inductive appraoch는 원시 데이터에서 summary theme이나 category를 개발하여 복잡한 데이터에서 의미를 생성하는 절차를 설명함으로써 데이터 축소 프로세스를 명확히하기위한 것입니다. 이 절차는 몇 가지 설명적인 질적자료분석에서 분명합니다.

  • 어떤 사람들은 그들의 접근법을 명시적으로 "inductive"(backett & Davison, 1995, Stolee, Zaza, Pedlar, & Myers, 1999)으로 명시 하였지만,

  • 다른 사람들은 명확한 이름을 부여하지 않고 접근법을 사용했다 (Jain & Ogden, 1999 Marshall, 1999).

  • Punch (1998, p. 201)는 "analytic induction"가 정성적 분석에서 일반적으로 사용되는 접근법이라고 지적했다.

  • general inductive approach는 Miles와 Huberman (pp. 69-71)에 의해 기술 된 "패턴 코딩"과 약간의 유사점을 가지고 있지만, inductive coding이 패턴 코딩과 다른 점은, general inductive approach에서는 원인이나 설명, 사람들 간의 관계를 포함하지 않는다는 점이 다르며, 이것들은 패턴코딩에서는 흔하게 포함되는 내용이다. (70 페이지).

The inductive approach described in this article is intended to clarify the data reduction process by describing a set of procedures for creating meaning in complex data through the development of summary themes or categories from the raw data. These procedures are evident in several descriptive qualitative data analyses.

 

  • Some have described their approaches explicitly as “inductive” (e.g., Backett & Davison, 1995; Stolee, Zaza, Pedlar, & Myers, 1999),

  • whereas others have used the approach without giving it an explicit label (e.g., Jain &Ogden, 1999; Marshall, 1999).

  • Punch (1998, p. 201) noted that “analytic induction” is a commonly used approach in qualitative analysis.

  • The general inductive approach has some similarity with the “pattern coding” described by Miles and Huberman (pp. 69-71), but the out- comes of inductive coding differ from pattern coding in that the general inductive approach may not involve causes or explanations and relationships among people that are commonly part of pattern coding (p. 70).


분석 전략

Analytic Strategies


General inductive approach을 사용하는 몇 가지 분석 전략이나 원리가 아래에 설명되어 있습니다.

Some of the analytic strategies or principles underlying the use of a general inductive ap- proach are described below.



1. 데이터 분석은 평가 목표에 따라 진행되며, 평가목표는 연구할 영역과 주제를 드러내어준다. 분석은 rawdata, 유도 성 구성 요소에 대한 여러 가지 판독 및 해석을 통해 수행됩니다. 연구 결과가 연구자가 제시 한 평가 목표 또는 질문의 영향을 받지만, 연구 결과는 (선험적인 기대나 모델이 아닌) 원시 자료를 분석함으로써 arise합니다. 평가 목표는 특정 결과에 대한 기대치가 아니라 분석 수행에 대한 관련성이나 초점 영역을 제공합니다.

1. Data analysis is guided by the evaluation objectives, which identify domains and topics to be inves- tigated. The analysis is carried out through multiple readings and interpretations of the rawdata, the inductive component. Although the findings are influenced by the evaluation objectives or questions outlined by the researcher, the findings arise directly from the analysis of the raw data, not from a priori expectations or models. The evaluation objectives provide a focus or domain of relevance for conducting the analysis, not a set of expectations about specific findings.


2. 기본 분석 모드는 원시 데이터에서 카테고리를 개발하여 모델이나 프레임워크를 만드는 것입니다. 이 모델에는 코딩 과정에서 평가자가 확인하고 작성한 주요 theme와 프로세스가 포함되어 있습니다.


2. The primary mode of analysis is the development of categories from the raw data into a model or framework. This model contains key themes and processes identified and constructed by the evalu- ator during the coding process.


3. 결과는 데이터를 코드화하는 평가자가 원 데이터로부터 여러 해석을하여 얻은 결과입니다. 필연적으로, 결과는 연구를 수행하고 데이터 분석을 수행하는 평가자의 가정과 경험에 의해 형성됩니다. 유용한 결과를 얻으려면 평가자는 데이터에서 무엇이 더 중요하고 덜 중요한지에 대한 결정을 내려야합니다.


3. The findings result from multiple interpretations made from the raw data by the evaluators who code the data. Inevitably, the findings are shaped by the assumptions and experiences of the evalua- tors conducting the study and carrying out the data analyses. For the findings to be usable, the eval- uator must make decisions about what is more important and less important in the data.


4. 다양한 평가자들은 동일하지 않으며 구성 요소가 중복되지 않는 다양한 결과를 산출 할 수 있습니다.


4. Different evaluators may produce findings that are not identical and that have non overlapping components.


5. 귀납적 분석에서 파생 된 결과의 신뢰성은 다른 유형의 정성 분석 (예 : Lincoln & Guba, 1985)에 사용 된 것과 유사한 기술을 사용하여 평가할 수 있습니다.


5. The trustworthiness of findings derived from inductive analysis can be assessed using similar tech- niques to those that are used with other types of qualitative analysis (e.g., Lincoln&Guba, 1985).

 

 


평가 프로젝트에는 종종 데이터 수집 및 분석을 안내하는 구체적인 목표가 있습니다. 흔히 설정하는 목표 중 하나는 프로그램에서 잘 작동하고 개선해야 할 부분을 파악하는 것입니다. 특정 목표 또는 평가 질문이 데이터의 특정 측면에 주의를 기울이게 만들어서 귀납적 분석의 가능한 해석 및 결과의 범위를 제한한다는 점은 분명하지만, 이 접근법은 특정 가설, 이론 또는 모델을 테스트하는 deductive 조사와는 다릅니다 .

It is worth noting that evaluation projects often have specific objectives that guide data collection and analysis. Some common objectives are to identify what is working well ina program and what needs improving. Although specific objectives or evalua- tion questions undoubtedly constrain the range of possible interpretations and outcomes from an inductive analysis by focusing attention on specific aspects of the data, the approach is unlike deductive investigations in which a specific hypothesis, theory, or model is being tested.


코딩으로 개발 된 카테고리의 특징

Features of Categories Developed From Coding


귀납적 분석의 결과는 원시 데이터를 요약하고 핵심 주제 및 프로세스를 전달하는 모델 또는 프레임 워크로 카테고리를 개발하는 것입니다.

The outcome of an inductive analysis is the development of categories into a model or frame- work that summarizes the raw data and conveys key themes and processes.



1. 범주 레이블 : 범주를 나타내는 데 사용되는 단어 또는 짧은 구. 레이블에는 범주의 특정 기능이 반영되어 있거나 반영되지 않은 고유 한 의미가 포함되어있는 경우가 많습니다.

1. Category label: a word or short phrase used to refer to the category. The label often carries inherent meanings that may or may not reflect the specific features of the category.



2. 범주 설명 : 주요 특성, 범위 및 제한을 포함하여 범주의 의미에 대한 설명.

2. Category description: a description of the meaning of the category, including key characteristics, scope, and limitations.



3. 카테고리와 관련된 텍스트 또는 데이터 : 카테고리와 관련된 의미, 연관성 및 관점을 설명하는 카테고리로 코딩 된 텍스트의 사례들.

3. Text or data associated with the category: examples of text coded into the category that illustrate meanings, associations, and perspectives associated with the category.



4. 링크 : 각 카테고리에는 다른 카테고리와의 링크 또는 관계가있을 수 있습니다. 계층적 카테고리 시스템 (예 : 트리 다이어그램)에서 이러한 링크는 상위, 병렬 하위 카테고리 (예 : "상위, 형제"또는 "하위"관계)를 나타낼 수 있습니다. 링크는 범주 간 또는 가정 된 인과 관계의 의미에서 공통점을 기반으로 할 것입니다.

4. Links: Each category may have links or relationships with other categories. In a hierarchical category system (e.g., a tree diagram), these links may indicate superordinate, parallel, and subordi- nate categories (e.g., “parent, sibling” or “child” relationships). Links are likely to be based on commonalities in meanings between categories or assumed causal relationships.



5. 카테고리가 내장 된 모델 : 개발된 카테고리들은 모델, 이론 또는 프레임 워크에 통합 될 수 있습니다. 이러한 프레임 워크에는

  • 개방형 네트워크 (계층 또는 시퀀스 없음),

  • 시간 순서 (예 : 시간 경과에 따른 이동) 및

  • 인과 관계 네트워크 (한 범주는 다른 범주에서 변경을 초래 함)등이 있다.

귀납적 과정과 일관되게, 그러한 모델 또는 틀은 귀납적 분석의 end point을 나타내며, 모델은 분석 전에 설정되지 않는다. 물론 카테고리가 어떤 모델이나 프레임 워크에 포함되지embed 않을 수도 있습니다

5. The type of model in which the category is embedded: The category system may be subsequently incorporated in a model, theory, or framework. Such frameworks include

  • an open network (no hierarchy or sequence),

  • a temporal sequence (e.g., movement over time), and

  • a causal network (one category causes changes in another).

To be consistent with the inductive process, such models or frameworks represent an end point of the inductive analysis. They are not set up prior to the analysis. It is also possible that a category may not be embedded in any model or framework.


다른 데이터 분석 접근 방식과의 비교

Comparison With Other Data Analysis Approaches


general inductive approach 은 근거이론과 가장 유사하지만 코딩 과정을 개방 코딩과 축 코딩으로 명확하게 구분하지 않습니다. 뿐만 아니라 일반 유도 기법을 사용하는 연구자는 일반적으로 이론 구축을 구축하더라도, 가장 중요한 범주를 표현하거나 설명하는 것으로 제한합니다.

The general inductive approach is most similar to grounded theory but does not explicitly separate the coding process into open coding and axial coding. As well, researchers using the general inductive approach typically limit their theory building to the presentation and description of the most important categories.



현상학은 일반적인 경험 (예 : 암으로 살아가는 사람들)의 경험을 이해하고 그 경험의 의미에 대한 coherent한 설명을 작성하고자 합니다.

Phenomenology seeks to understand the lived experiences among people who have had a common experience (e.g., living with cancer) and to write a coherent account of the meaning of those experiences.


귀납적 코딩의 프로세스

The Process of Inductive Coding


 

귀납적 코딩은 텍스트를 자세히 읽고 텍스트 본래의 여러 의미를 고려해보는 것으로 시작됩니다. 그런 다음 평가자는 의미있는 단위를 포함하는 텍스트 세그먼트를 식별하고 텍스트 세그먼트가 할당 된 새 카테고리의 레이블을 작성합니다. 새로운 텍스트 세그먼트는 관련된 카테고리에 추가됩니다. 어떤 단계에서 평가자는 카테고리의 의미에 대한 초기 설명을 개발하고 카테고리에 대한 메모 (예 : 연관, 링크 및 의미)를 작성할 수 있습니다.

Inductive coding begins with close readings of text and consideration of the multiple meanings that are inherent in the text. The evaluator then identifies text segments that contain meaningful units and creates a label for a new category to which the text segment is assigned. Addi- tional text segments are added to the categories to which they are relevant. At some stage, the evaluator may develop an initial description of the meaning of a category and write a memo about the category (e.g., associations, links, and implications).

 


1. 원시 데이터 파일 준비 (데이터 정리) : 필요에 따라 원시 데이터 파일을 공통 형식 (예 : 글꼴 크기, 여백, 질문 또는 면담자 주석 강조 표시)으로 포맷합니다. 각 원시 데이터 파일을 인쇄 및 / 또는 백업합니다 (예 : 각 인터뷰).

1. Preparation of raw data files (data cleaning): Format the rawdata files in a common format (e.g., font size, margins, questions or interviewer comments highlighted) if required. Print and/or make a backup of each raw data file (e.g., each interview).



2. 텍스트 자세히 읽기 : 텍스트가 준비되면 평가자가 내용에 익숙하고 텍스트에서 다룬 주제와 사건을 이해할 때까지 원본 텍스트를 자세하게 읽습니다.

2. Close reading of text: Once text has been prepared, the raw text is read in detail until the evaluator is familiar with its content and gains an understanding of the themes and events covered in the text.



3. 범주 생성 : 평가자는 범주 또는 주제를 식별하고 정의한다.

  • 상위 레벨 또는 일반적인 카테고리는 평가 목표로부터 도출 될 수있다.

  • 하위 레벨 또는 구체적인 카테고리는 원시 데이터를 여러 번 읽음으로써 생성되며 때로는 in vivo 코딩이라고도합니다.

귀납적 코딩에서 카테고리는 일반적으로 특정 텍스트 세그먼트의 실제 구 또는 의미에서 만들어집니다. 카테고리 생성을위한 몇 가지 절차가 사용될 수 있습니다. 워드 프로세서를 사용할 때, 표시된 텍스트 세그먼트를 새로운 범주로 복사 할 수 있습니다.

3. Creation of categories: The evaluator identifies and defines categories or themes.

  • The upper-level or more general categories are likely to be derived from the evaluation aims.

  • The lower-level or specific categories will be derived from multiple readings of the raw data, sometimes referred to as in vivo coding.

In inductive coding, categories are commonly created from actual phrases or meanings in specific text segments. Several procedures for creating categories maybe used. When using a word processor, marked text segments can be copied into the emerging categories.


4. 중복된 코딩 및 코딩되지 않은 텍스트 : 일반적으로 가정 된 규칙 중 질적 코딩의 기본이되는 규칙 중 두 가지가 정량 코딩에서 일반적으로 사용되는 규칙과 다릅니다.

  • (a) 텍스트의 한 세그먼트가 둘 이상의 범주로 코딩 될 수 있으며

  • (b) 텍스트의 상당 부분이 평가 목적과 관련이 없을 수 있기 때문에, 상당한 양의 텍스트 (예 : 50 % 이상)는 어떤 카테고리에도 할당 될 수 없다.


4. Overlapping coding and uncoded text: Among the commonly assumed rules that underlie qualita- tive coding, two are different from the rules typically used in quantitative coding:

  • (a) one segment of text may be coded into more than one category, and

  • (b) a considerable amount of the text (e.g., 50%or more) may not be assigned to any category, because much of the text may not be relevant to the evaluation objectives.


5. 범주 체계의 계속적인 수정 및 개선 : 각 범주 내에서 상충되는 관점 및 새로운 insight를 포함하여 하위 주제를 검색하십시오. 카테고리의 핵심 주제 또는 본질을 전달하는 적절한 인용구를 선택하십시오. 의미가 유사한 경우 상위 카테고리 아래에서 카테고리를 결합하거나 연결할 수 있습니다.


5. Continuing revision and refinement of category system: Within each category, search for sub- topics, including contradictory points of viewand newinsights. Select appropriate quotations that convey the core theme or essence of a category. The categories may be combined or linked under a superordinate category when the meanings are similar.

 


주요 테마가 너무 많을 경우(예 : 8 개 이상), 귀납적 코딩은 완료되지 않은 것으로 간주 될 수 있습니다. 이 경우, 평가자는 일부 카테고리를 서로 합치거나, 어떤 주제 나 카테고리가 가장 중요한지에 대해 어려운 결정을 내려야 만한다.

Inductive coding that finishes up with many major themes (e.g., more than eight) can be viewed as incom- plete. In this case, some of the categories may need combining, or the evaluator must make hard decisions about which themes or categories are most important.


Example of the General Inductive Approach





신뢰성 평가

Assessing Trustworthiness


Lincoln and Guba (1985)은 질적 연구에서 신뢰할 수있는 4 가지 일반적인 유형, 즉 신뢰성, 전달 성, 의존성 및 확인 가능성을 설명했다. 이들이 설명하는 절차 중 데이터 분석을 수행하는 데 가장 활용할 만한 방식은...

Lincoln and Guba (1985) described four general types of trustworthiness in qualitative re- search: credibility, transferability, dependability, and confirmability. Among the procedures they described, those most applicable to performing data analyses include

  • conducting peer debriefings and stakeholder checks as part of establishing credibility and

  • conducting a research audit (comparing the data with the research findings and interpretations) for dependability.

데이터 분석의 신뢰성을 평가하는 데 사용할 수있는 다른 절차에는

일관성 검사 또는 평가자 간 신뢰도 검사 (예 : 다른 코더가 범주 설명을 가져 와서 해당 범주에 속하는 텍스트 찾기)

구성원 또는 이해 관계자 확인 Erlandson, Harris, Skipper, & Allen, 1993, 142 쪽).

Other procedures that can be used for assessing the trustworthiness of the data analysis include

  • consistency checks or checks of interrater reliability (e.g., having another coder take the cate- gory descriptions and find the text that belongs in those categories) and

  • member or stakeholder checks (e.g., Erlandson, Harris, Skipper, &Allen, 1993, p. 142).

 


 

코딩의 일관성 확인

Coding Consistency Checks


독립적 인 병렬 코딩.

Independent parallel coding.


초기 코더는 분석을 수행하고 예비 결과를 구성하는 일련의 범주를 개발합니다. 두 번째 코더에는 평가 목적과 초기 범주가 개발 된 원시 텍스트 일부 또는 전체가 제공됩니다. 초기 범주를 보지 않고도 두 번째 코더는 원시 텍스트에서 두 번째 범주의 범주를 생성해야합니다. 그런 다음이 두 번째 범주 집합을 첫 번째 집합과 비교하여 중복 정도를 확인한다. 두 세트의 카테고리는 하나의 세트로 병합 될 수 있습니다. 카테고리 간 ovelap이 적다면, 보다 견고한 카테고리 세트를 개발하기 위하여 더 많은 분석과 토론이 필요할 수 있습니다.

An initial coder carries out an analysis and develops a set of categories that constitute the preliminary findings. A second coder is given the evaluation objectives and some or all of the raw text from which the initial categories were developed. Without seeing the initial categories, the second coder is asked to create a second set of cate- gories from the raw text. This second set of categories is then compared with the first set to establish the extent of overlap. The two sets of categories may subsequently be merged into a combined set. When overlap between the categories is low, further analysis and discussion may be needed to develop a more robust set of categories.



카테고리의 선명도를 확인

Check on the clarity of categories.



원시 데이터의 초기 코딩이 완료됩니다. 두 번째 코더에는 원시 텍스트가 첨부되지 않은 상태로 평가 목표, 개발 된 카테고리 및 각 카테고리에 대한 설명이 제공됩니다. 그런 다음 두 번째 코더에 원시 텍스트의 샘플이 제공되고 (초기 코더에 의해 이전에 코드화 됨) 텍스트의 섹션을 개발 된 카테고리에 할당하게 됩니다. 그런 다음 두 번째 코더가 첫 번째 코더와 같은 텍스트 세그먼트를 초기 범주에 할당 한 정도를 확인할 수 있습니다.

An initial coding of the raw data is completed. A second coder is given the evaluation objectives, the categories developed, and descriptions of each cate- gory, without the raw text attached. The second coder is then given a sample of the raw text (pre- viously coded by the initial coder) and asked to assign sections of the text to the categories that have been developed. A check can then be made of the extent to which the second coder allo- cated the same text segments to the initial categories as the first coder.

 

범주의 명확성에 대한 검사의 변형은 두 번째 독립 코더에 초기 범주와 이 범주에 할당 된 텍스트를 제공하는 것입니다. 두 번째 코더에는 코딩되지 않은 새로운 텍스트 집합이 주어지며 새 텍스트의 섹션을 초기 범주에 할당해야합니다.

A variation of the check on the clarity of the categories is to give a second independent coder both the initial catego- ries and some of the text assigned to these categories. The second coder is then given a new set of text that has not been coded and asked to assign sections of the new text into the initial categories.



이해 관계자 또는 연구대상자의 확인.

Stakeholder or member checks.



이해 관계자 확인은 참가자와 평가에 대한 특정 관심사를 가진 다른 사람들이 연구 결과, 해석 및 결론에 대해 의견을 제시하거나 평가할 수있게함으로써 조사 결과의 신뢰성을 향상시킵니다. 이러한 확인은 조사 결과의 신뢰성을 확립하는 데 중요 할 수 있습니다. 예를 들어, 연구에 참여한 참가자는 연구 결과에 나타난 범주와 결과가 자신의 개인 경험과 관련이 있는지 여부에 대해 의견을 말할 기회를 얻습니다. 이해 관계자 참여는 초기 서류 (예 : 면접 필사본 및 요약)와 데이터 해석 및 결과에 대해 수행 될 수 있습니다. 이해 관계자에 의한 점검은 형식적 으로든 비공식적 으로든 연구 프로젝트 중에 점진적으로 수행 될 수 있습니다. 다음 목록은 평가 프로젝트 동안 가능한 이해 관계자 점검을 요약 한 것입니다.

Stakeholder checks enhance the credibility of findings by allowing participants and other people who may have specific interests in the evaluation to comment on or assess the research findings, interpretations, and conclusions. Such checks may be important in establishing the credibility of the findings. For example, participants in the set- tings studied are given a chance to comment on whether the categories and outcomes described in the findings relate to their personal experiences. Stakeholder checks may be carried out on the initial documents (e.g., interview transcriptions and summaries) and on the data interpreta- tions and findings. Checks by stakeholders may be conducted progressively during a research project both formally and informally. The following list outlines possible stakeholder checks during an evaluation project:


    •   인터뷰가 완료되고 요약된 데이터에 대해서 응답자는 사실 또는 도전 해석의 오류를 즉시 수정할 수 있습니다.

        At the completion of interviewing, data can be summarized and respondents allowed to immedi- ately correct errors of fact or challenge interpretations.

    •   후속 인터뷰에서 응답자는 이전 인터뷰에서 수집 된 해석 및 데이터를 확인하도록 요청받을 수 있습니다.

        During subsequent interviews, respondents can be asked to verify interpretations and data gathered in earlier interviews.

    •   비공식 대화는 관심이있는 조직의 구성원과 연구에 대해서 대화 할 수 있습니다.

        Informal conversations can take place with members of an organization with interests in the setting being studied.

    •   평가 보고서의 예비 버전 또는 특정 섹션의 사본을 이해 관계자 그룹에 제공 할 수 있으며 보고서에 대한 서면 또는 구두 설명을 요청할 수 있습니다. 일부 유형의 평가에서는 특정 이해 관계자가 카테고리 및 해석을 승인 또는 서명하는 것이 적절할 수 있습니다.

        Copies of a preliminary version, or specific sections, of the evaluation report can be provided to stakeholder groups, and written or oral commentary on the report can be solicited. In some types of evaluations, it may be appropriate for specific stakeholders to approve or signoff the categories and the interpretations made from them.

    •   최종 보고서를 제출하기 전에 이해 관계자 확인은 연구중인 환경에서 응답자 또는 다른 사람들이 검토 할 수 있도록 전체 초안을 제공함으로써 수행 될 수 있습니다.

        Before the submission of the final report, a stakeholder check may be conducted by providing a complete draft copy for review by respondents or other persons in the setting being studied.


결과 기술

Writing the Findings


귀납적 분석의 결과를 보고 할 때, 요약 또는 최상위 카테고리는 소견으로 주요 카테고리로 사용되며, 특정 카테고리는 부제로 사용됩니다. 범주의 의미를 설명하기 위해 텍스트의 범주 및 적절한 인용문에 대한 자세한 설명을 포함하는 것이 좋습니다.

When reporting findings from inductive analysis, the summary or top-level categories are often used as main headings in the findings, with specific categories as subheadings. It is good practice to include detailed descriptions of categories and suitable quotations from the text to illustrate the meanings of the categories.

 


윌리엄스 (Williams)와 이리타 (Irurita) (1998)가 분류에 대한 핵심 정보를 기술하기 위해 사용한 순서는 질적 결과를보고하는 효과적인 방법이다. 그것은

The sequence used by Williams and Irurita (1998) to describe key information about the cat- egory is an effective style for reporting qualitative findings. It consists of

 


    •    카테고리의 라벨,

       a label for the category,

    •   범주의 의미에 대한 저자의 설명,

        the authors’ description of the meaning of the category, and

    •    카테고리의 의미를 정교화하고 카테고리에 코딩 된 텍스트의 유형을 보여주는 원시 텍스트의 인용.
       a quotation fromthe rawtext to elaborate the meaning of the category and to showthe type of text coded into the category.


요약

Summary


처음으로 질적분석을 시작하는 평가자는 종종 그런 분석을 수행하는 옵션과 전략의 어지러운 배열을 경험합니다. 이 논문에서 자세히 설명하는 일반적인 유도 접근법은 정성 분석을 수행하기위한 간단하고 nontechnical 방법을 찾는 평가자에게 옵션을 제공합니다.

Evaluators beginning qualitative analyses for the first time often experience a bewildering array of options and strategies for conducting such analyses. The general inductive approach, described in detail in this article, provides an option for those evaluators who seek a simple, nontechnical means to carry out qualitative analy- ses.






    A general inductive approach for analysis of qualitative evaluation data is described. The purposes for using an inductive approach are to (a) condense raw textual data into a brief, summary format; (b) establish clear links between the evaluation or research objectives and the summary findings derived from the raw data; and (c) develop a framework of the underlying structure of experiences or processes that are evident in the raw data. The general inductive approach provides an easily used and systematic set of procedures for analyzing qualitative data that can produce reliable and valid findings. Although the general inductive approach is not as strong as some other analytic strategies for theory or model development, it does provide a simple, straightforward approach for deriving findings in the context of focused evaluation questions. Many evaluators are likely to find using a general inductive approach less complicated than using other approaches to qualitative data analysis.


    + Recent posts