왜 개방형 설문 질문이 강건한 질적 인사이트를 지지하기 어려운가(Acad Med, 2018)

왜 개방형 설문 질문이 강건한 질적 인사이트를 지지하기 어려운가(Acad Med, 2018)
Why Open-Ended Survey Questions Are Unlikely to Support Rigorous Qualitative Insights
Kori A. LaDonna, PhD, Taryn Taylor, MD, PhD, FRCPC, and Lorelei Lingard, PhD

보건 전문직 교육 연구자들은 이 분야의 복잡한 문제를 탐구하기 위해 양적 연구 방법과 질적 연구 방법의 조합에 점점 더 의존하고 있습니다. 이러한 발전은 중요하고 필요하지만, 새로운 방법론적 과제를 야기하고 있습니다. 연구자들은 하나의 접근 방식에 수반되는 엄격성의 원칙뿐만 아니라 여러 접근 방식의 상호 보완성 또는 비호환성을 고려해야 합니다.1 물론 혼합 방법 연구의 경우처럼 생산적인 효과를 위해 전략적으로 방법을 통합할 수도 있지만,2 연구 방법들이 무분별하게 결합될 경우 연구가 제공할 수 있는 인사이트의 질에 부정적인 영향을 미칠 수 있습니다. 
Health professions education researchers are increasingly relying on a combination of quantitative and qualitative research methods to explore complex questions in the field. Although this development is important and necessary, it has created new methodological challenges. Researchers must consider not only the principles of rigor attendant on one approach but also the complementarity or incompatibility of multiple approaches.1 Certainly, methods can be integrated strategically to productive effect, as in the case of mixed-methods research,2 but they can also be combined blithely, with negative implications for the quality of the insights the research can provide.

문제가 될 수 있는 연구 방법 결합의 일반적인 예로는 '정성적' 질문의 하위 집합을 포함하는 정량적 설문조사 또는 측정 도구가 있습니다. 이는 종종 폐쇄형(리커트형 또는 강제 선택형) 항목에 몇 개의 개방형 질문이 뒤따르는 형태이거나, 의학교육 평가에서 교사나 학습자의 성과에 대한 서술형 피드백을 위한 자유 텍스트 필드의 형태를 취합니다. 자유 텍스트 응답에 대한 분석은 종종 "질적" 연구로 제시됩니다. 이 초청 논평에서는 이러한 응답 분석이 엄격한 질적 연구의 기준을 충족하는 경우가 드문 이유를 설명합니다. 
One common example of combining research methods that can be problematic is the quantitative survey or measurement instrument that includes a subset of “qualitative” questions. Often this takes the form of closed-ended (Likert-type or forced-choice) items followed by a few open-ended questions or, in medical education assessment, free-text fields for narrative feedback to teachers or learners about their performance. Analysis of the free-text responses is frequently presented as “qualitative” research. In this Invited Commentary, we explain why the analysis of such responses rarely meets the bar for rigorous qualitative work.

엄격함의 기준은 무엇인가요?
What Is the Bar for Rigor?

질적 연구의 목적은 "사람들이 자신의 경험을 어떻게 해석하는지, 자신의 세계를 어떻게 구성하는지, 자신의 경험에 어떤 의미를 부여하는지"를 이해하는 것입니다.3 이를 위해 질적 연구자는 동료 디브리핑, 문헌 참조, '구성원 확인'4 또는 초기 분석 인사이트를 구체화하기 위한 추가 데이터 수집을 통해 여러 차례의 데이터 코딩을 수행하는 반복적이고 시간이 많이 소요되는 프로세스에 참여합니다.3,5,6 이 프로세스의 엄격성을 평가하는 방법은 여러 가지가 있지만,7-10 트레이시의 8가지 "빅 텐트" 기준11은 품질에 대한 우리의 가정을 구체화합니다: 즉, 질적 연구는 우수성의 기준을 충족하기 위해 다음을 갖추어야 한다.

• (1) 가치 있는 주제를 탐구하고,
• (2) 엄격함을 입증하고,
• (3) 성실하고, (4) 신뢰할 수 있고, (5) 윤리적이어야 하며,
• (6) 청중의 공감을 얻고,
• (7) 중요한 공헌을 하고,
• (8) 의미 있는 일관성을 달성한다.

이러한 기준을 충족하려면 연구 질문과 연구 결과가 모두 시의적절하고 관련성이 있어야 하며, 연구자가 연구 목적에 부합할 뿐만 아니라 풍부하고 적절한 데이터를 생성하는 절차를 선택하고, 반성성을 고려하며,12 "문헌, 연구 질문/초점, 연구 결과 및 해석을 서로 의미 있게 상호 연결"11해야 합니다.
The purpose of qualitative research is to understand “how people interpret their experiences, how they construct their worlds, and what meaning they attribute to their experiences.”3 To do this, qualitative researchers engage in an iterative, time-intensive process that involves multiple rounds of data coding punctuated by peer debriefing, consultation with the literature, and additional data collection either to “member check”4 or to flesh out early analytical insights.3,5,6 While there are multiple ways to assess the rigor of this process,7–10 Tracy’s eight “big tent” criteria11 shape our assumptions about quality: That is, to meet the bar for excellence, qualitative research must

• (1) explore a worthy topic;
• (2) demonstrate rigor;
• be (3) sincere, (4) credible, and (5) ethical;
• (6) resonate with an audience;
• (7) make a significant contribution; and
• (8) achieve meaningful coherence.

Meeting these criteria requires that both the research question and its findings be timely and relevant, and that researchers choose procedures that not only fit the research purpose but also produce rich and appropriate data, attend to reflexivity,12 and “meaningfully interconnect literature, research questions/foci, findings, and interpretations with each other.”11

자유 텍스트 응답에 대한 '정성적' 분석의 문제점은 무엇인가요?
What Is the Matter With a “Qualitative” Analysis of Free-Text Responses?

설문조사 또는 평가 항목에 대한 자유 텍스트 응답은 진정성, 신뢰성, 공감을 얻거나 실질적인 기여를 할 수 있을 만큼 풍부한 데이터를 생성하는 경우가 드뭅니다.11 데이터의 풍부함에는 아래의 것 등이 포함된다고 다양하게 설명되어 왔습니다.

• 사회 세계의 특수성에 대한 설명6,
• 참여자의 감정과 일반적으로 접근하기 어려운 생각의 공개5,
• 맥락, 감정, 사회적 관계를 환기시키는 "무성한" 또는 "두꺼운" 설명13-15,
• 소리, 제스처, 동영상 등 다양한 형식과 표현의 조합

16 요컨대, 데이터가 "풍부"하려면 맥락, 개인적인 의미, 정서적, 사회적 뉘앙스, 세부적인 층위를 갖추어야 합니다. 
Free-text responses to survey or assessment items rarely produce data rich enough either to achieve sincerity, credibility, and resonance or to make a substantial contribution.11 Data richness has been variously described as involving

• descriptions of the particularities of the social world6;
• disclosure of participants’ feelings and commonly inaccessible thoughts5;
• “lush” or “thick” descriptions that evoke context, emotion, and social relationships13–15; and
• various formats and combinations of representation such as sounds, gestures, or videos.16 

In short, for data to be “rich,” they must have context, personal meaning, emotional and social nuances, and layers of detail.

종이 설문조사 도구에서 자유 텍스트 응답을 위한 공간은 몇 인치 정도이며, 전자 또는 온라인 도구에서는 제한된 텍스트 필드인 경우가 많습니다. 경험상 보건 전문직 교사, 학생, 실무자는 일반적으로 할당된 공간에 충분한 서술형 피드백을 제공하지 않습니다. 따라서 몇 문장 이하로 구성된 데이터는 "문맥에 대한 주의와 ... 개념적 풍부함"이 부족한 경우가 많습니다.17 이러한 상황에서는 설문조사 완료 횟수와 무관하게 몇 문장으로 구성된 500개의 응답이 적절한 표본이 될 수 있지만, 특히 질문과 응답이 연구 목표에 대한 부가적인 추가 사항인 경우 반드시 그렇게 되지 않을 수도 있습니다. 따라서 자유 텍스트 응답을 분석하면 연구자가 사전 이해를 얻고 콘텐츠 영역을 스케치하는 데 도움이 될 수 있지만, 일반적으로 질적 연구의 핵심인 "어떻게?" 및 "왜?"라는 질문에는 도달할 수 없습니다. 
The space for free-text responses on paper survey instruments tends to be a few inches; on electronic or online instruments, it is often a restricted text field. In our experience, health professions teachers, students, and practitioners do not typically provide copious narrative feedback in the allotted space. In turn, data consisting of a few sentences (or less) often lack “attention to context and … conceptual richness.”17 In this situation, the number of surveys completed is irrelevant; 500 responses of a few phrases each can constitute an appropriate sample but may not necessarily do so, particularly if the questions—and responses—are tangential add-ons to the research aims. Therefore, while analysis of free-text responses can generate preliminary understanding and help researchers begin to sketch content areas, it usually cannot get at the “how?” and “why?” questions that are the core business of qualitative research.

또한 자유 텍스트 응답은 엄격한 질적 절차를 통해 분석되는 경우가 드뭅니다. 대신, 특히 키워드의 빈도에 중점을 두는 경우 분석이 정성적이기보다는 정량적으로 보일 수 있습니다. 그렇다고 반복되는 단어를 세는 것이 잘못되었다는 것이 아니라, 종종 불충분할 수 있다는 뜻입니다. 자유 텍스트 응답에 대한 강력한 질적 분석(내용,18,19 주제,20 또는 담론적 또는 언어적 절차21에 따른 분석)은 단순히 개수를 세는 것 이상의 역할을 해야 합니다. 그것은 탐구 중인 사회 현상에 대한 우리의 이해를 풍부하게 해야 합니다.  
Additionally, free-text responses are rarely analyzed using rigorous qualitative procedures. Instead, the analysis may appear more quantitative than qualitative, particularly if the primary focus is frequency of keywords. That is not to say that counting recurring words is wrong but, rather, that it will often be insufficient. A robust qualitative analysis of free-text responses—whether it follows content,18,19 thematic,20 or discursive or linguistic procedures21—must do more than count. It must enrich our understanding of the social phenomena being explored.

이러한 이유로, 자유 텍스트 질문에 대한 응답은 정성적 데이터에 요구되는 풍부함의 기준을 거의 충족하지 못하며, 따라서 이러한 응답에 대한 분석은 강력하고 해석 가능한 독립적인 인사이트를 생성하지 못할 위험이 있다고 주장합니다. 따라서 연구자들은 이러한 분석이 그 자체로 발표할 가치가 있는지에 대해 다시 한 번 생각해 볼 것을 권고합니다. 
For these reasons, we contend that responses to free-text questions will rarely meet the standard for richness required of qualitative data, and that the analysis of these responses, therefore, risks falling short of producing robust, interpretive, stand-alone insights. We caution researchers to think twice about whether these analyses are worthy of publication in their own right.

해결책은 무엇인가요?
What Is the Solution?

물론 예외도 있습니다. 즉, 자유 텍스트 응답 데이터가 "새롭거나 독특하거나 희귀"하고 특정 선험적 연구 질문에 답하기에 적합한 경우 가치 있는 기여를 할 수 있습니다.11 예를 들어, 의학교육 평가 도구의 자유 텍스트 응답을 기반으로 한 두 가지 연구가 엄격하고 독립적인 질적 연구의 기준을 충족한다고 생각됩니다.

• Myers 등22 은 주제별 분석 및 일치도 소프트웨어를 사용하여 임상 교사에 대한 레지던트의 자유 텍스트 코멘트가 포함된 임상 교육 평가의 패턴을 설명했습니다. 연구 결과 중에는 교수진의 '개선 영역'에 대한 레지던트의 설명이 교수진의 교수 행동보다 레지던트의 학습 요구에 대해 더 많은 것을 말해줄 수 있다는 통찰이 있었습니다.
• Ginsburg 등23은 레지던트 수련 평가 보고서에 대한 교수진의 서면 코멘트를 분석하여 코멘트의 주제를 설명하고 CanMEDS 역량 프레임워크와의 관계를 탐색했습니다. 그들은 교수진이 중요하게 생각하지만 CanMEDS 프레임워크에는 나타나지 않는 역량을 제안하는 세 가지 반복되는 주제를 서면 의견에서 발견했습니다. 

There are, of course, exceptions. That is, valuable contributions can be made if free-text response data are “new, unique, or rare” and appropriate for answering a specific, a priori research question.11 To illustrate, consider two studies based on free-text comments in medical education assessment instruments that we think meet the bar for rigorous, stand-alone qualitative research.

• Myers et al22 used thematic analysis and concordance software to describe the patterns in clinical teaching assessments containing residents’ free-text comments about their clinical teachers. Among their findings was the insight that residents’ descriptions of “areas of improvement” for faculty may say more about resident learning needs than about faculty teaching behaviors.
• Ginsburg et al23 analyzed written comments by faculty on resident in-training evaluation reports and both described themes in the comments and explored their relationship with the CanMEDS competency framework. They discovered three recurring themes in the written comments that suggested competencies valued by faculty but not represented in the CanMEDS framework.

중요한 점은 이 두 사례 모두에서 자유 텍스트 응답 분석이 대규모 정량적 프로젝트에 추가되는 것이 아니라 연구의 중심이었으며, 결과적으로 이러한 데이터는 연구 질문에 답하기 위해 의도적으로 선택되었다는 점입니다. 인터뷰나 참가자 관찰과 같은 추가 데이터가 있었더라면 저자들의 연구 결과를 개선할 수 있었겠지만, 자유 텍스트 응답이 연구 질문에 적절했습니다. 마지막으로, 두 저자 그룹 모두 기존 문헌 및 개념적 프레임워크와 함께 데이터를 분석하고 제시함으로써 엄밀성을 확보했습니다. 따라서 데이터 자체는 내러티브로서 '풍부'하지는 않았지만, 그럼에도 불구하고 분석은 의미 있는 질적 인사이트를 도출할 수 있었습니다.
Importantly, in both of these examples the analysis of the free-text responses was the central focus of the study, not an add-on to a larger, quantitative project; as a consequence, these data were purposefully selected to answer the research question. Although additional data, such as interviews or participant observations, might have enhanced the authors’ findings, the free-text responses were appropriate for their inquiries. Finally, both groups of authors ensured rigor by analyzing and presenting the data in tandem with existing literature and conceptual frameworks. Therefore, although the data themselves were not “rich” as narratives, the analysis nevertheless was capable of yielding meaningful qualitative insights.

연구자들이 개방형 설문조사 질문을 피해야 한다고 제안하는 것이 아니며, 그러한 질문이 제공하는 데이터를 무시해야 한다고 제안하는 것도 아닙니다. 오히려 설문조사 응답자의 서면 응답은 정량적 결과를 향상시키고, 설문조사 질문의 문제점을 부각시키며, 폐쇄형 질문에 대한 답변을 확증하고, 새로운 연구 방향을 제시할 수 있습니다.17 또한 평가 도구의 서술형 응답은 비록 축약되어 있지만 특정 맥락에서 서면 피드백의 본질과 의미에 대한 중요한 질문에 답할 수 있는 리소스를 제공할 수 있습니다. 
We are not suggesting that researchers should avoid open-ended survey questions, nor are we suggesting that researchers should ignore the data provided by such questions. On the contrary, survey respondents’ written responses can enhance quantitative findings, highlight problems with survey questions, corroborate answers to closed-ended questions, and inspire new avenues for research.17 And narrative responses on assessment instruments, albeit abbreviated, can provide a resource for answering important questions about the nature and meaning of written feedback in specific contexts.

그러나 Silverman24가 주장했듯이 "질적 연구는 단순히 주어진 연구 문제에 끼워 맞출 수 있는 일련의 기술이 아닙니다." 간단한 자유 텍스트 응답을 적절하게 처리하기 위해 세 가지 제안을 제공합니다.

• 첫째, 개방형 질문이 몇 개 포함된 설문조사 도구의 경우, 연구자는 이러한 데이터와 그 분석을 사후에 독립적으로 수행되는 질적 연구의 일부가 아니라 1차 설문조사 연구의 보조 분석으로 선험적으로 개념화해야 합니다.
• 둘째, 많은 평가 도구에서 볼 수 있는 것과 같이 자유 텍스트 항목에 대한 간단한 응답에 의도적으로 초점을 맞춘 연구의 경우, 연구자는 연구 질문이 집중적이고 적절한지 확인해야 하며 탐구 중인 사회 현상에 대한 강력한 통찰력을 제공하는 분석 절차에 참여해야 합니다.
• 마지막으로, 엄밀성을 보장하기 위해 연구 설계를 지원하고 분석이 진행되는 동안 지침을 제공할 수 있는 숙련된 질적 연구자와 상담하는 것이 좋습니다. 

However, as Silverman24 has argued, “qualitative research is not simply a set of techniques to be slotted into any given research problem.” To treat brief free-text responses appropriately, we offer three suggestions. First, in the case of a survey instrument that includes a few open-ended questions, researchers should conceptualize these data and their analysis a priori as an adjunct analysis to the primary survey research, not as a post hoc stand-alone piece of qualitative scholarship. Second, in the case of a study focused purposefully on brief responses to free-text items such as those found in many assessment instruments, researchers should ensure that the research question is focused and appropriate, and they should engage in analytical procedures that offer robust insights into the social phenomena being explored. Finally, to help ensure rigor, we suggest consulting with an experienced qualitative researcher who can both assist with study design and provide guidance as the analysis unfolds.

 

---

Acad Med. 2018 Mar;93(3):347-349. doi: 10.1097/ACM.0000000000002088.

Why Open-Ended Survey Questions Are Unlikely to Support Rigorous Qualitative Insights

Kori A LaDonna 1, Taryn Taylor, Lorelei Lingard

Affiliations collapse

Affiliation

1K.A. LaDonna is assistant professor, Department of Innovation in Medical Education and Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada; ORCID: http://orcid.org/0000-0003-4738-0146. T. Taylor is assistant professor, Department of Obstetrics and Gynaecology, and scientist, Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada. L. Lingard is professor, Department of Medicine and Faculty of Education, and founding director and senior scientist, Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

PMID: 29215376

DOI: 10.1097/ACM.0000000000002088

Abstract

Health professions education researchers are increasingly relying on a combination of quantitative and qualitative research methods to explore complex questions in the field. This important and necessary development, however, creates new methodological challenges that can affect both the rigor of the research process and the quality of the findings. One example is "qualitatively" analyzing free-text responses to survey or assessment instrument questions. In this Invited Commentary, the authors explain why analysis of such responses rarely meets the bar for rigorous qualitative research. While the authors do not discount the potential for free-text responses to enhance quantitative findings or to inspire new research questions, they caution that these responses rarely produce data rich enough to generate robust, stand-alone insights. The authors consider exemplars from health professions education research and propose strategies for treating free-text responses appropriately.