연구의 발전: 양적-질적 대립을 넘어 (Acad Med, 2007)

연구의 발전: 양적-질적 대립을 넘어 (Acad Med, 2007)

Moving the Field Forward: Going Beyond Quantitative–Qualitative*

Georges Bordage

RIME 회의

The RIME conference

양적 연구와 질적 연구의 대립이라는 이슈는 종종 상이한 이데올로기, 다양한 형태의 데이터, 다른 데이터 수집 방법, 다른 데이터 분석 방법 등의 측면에서 틀을 둡니다. 사실,이 후속 세션은 그 자체로 틀이 잡혔습니다. 그러나 이러한 반복적 인 논쟁은 생산적이지 않습니다. 왜냐하면 각 접근법은 그 자체로 유용하기 때문에 종종 보완적으로 생산적입니다. 대신, 나는 앞으로 필드를 앞으로 나아가는 보다 생산적인 접근법이 이론 구축, 이론 테스트 및 프로그래마틱 연구에 더 많은 노력을 기울일 것을 제안한다.

The issue is often framed in terms of quantitative versus qualitative approaches—different ideologies, different forms of data, different data- collection methods, different data- analysis methods, etc. Indeed, this wrap- up session was framed as such. However, this oft-repeated debate is not productive, because each approach is useful in its own right and is often most productive when complementary. Instead, I propose that a more productive approach to moving the field forward is to devote greater effort to theory building, theory testing, and programmatic research.

연구에 대한 양적 및 질적 접근은 종종 이분법 또는 서로 반대인 것으로 묘사됩니다. 사실, 몇 가지 대조가 있습니다.  

• 양적 연구는 질적연구의 "상세한 개인으로부터의 상세한 설명"을 거부하고 

• 질적 연구는 양적연구에서 "숫자가 사회적 현실을 가린다"고 평가절하한다. (fromRrcikan and Roth1).

Quantitative and qualitative approaches to research are often portrayed as a dichotomy or as an opposition. Indeed, there are some contrasts. The debate is often enjoined by 

• the quantitative side as rejecting “the detailed descriptions from select individuals” in qualitative studies and by 

• the qualitative side as discounting “the number crunching that obscures the social reality” in quantitative studies (fromErcikan and Roth1).

그러나 일상 생활과 연구 영역에서 세계는 양적 및 질적 특성을 모두 가지고 있습니다. 예를 들어 물리학에서 온도의 작은 양적 변화는 고체에서 액체로 질적 인 변화를 가져온다. 양적 및 질적 관점 사이의 논쟁과 반대의 인식을 영속시키는 것은 비생산적이다. 좀 더 생산적인 노력은, 연구 질문에 초점을 두고, 중요한 질문에 대한 깊이있는 이해를 달성하기 위해, 양적 및 질적 접근법을 적절히 사용하여, 이론 테스트와 이론 구축을 촉진하는 프로그래마틱 연구를 수행하여, 이 분야를 더 발전시키는 것이다.

In everyday life, however, and in the domain of research, the world has both quantitative and qualitative characteristics. In physics for example, a small quantitative change in temperature brings about a qualitative change from solid to liquid.1 To perpetuate the debate and the perception of opposition between quantitative and qualitative perspectives is unproductive. A more productive endeavor is to focus on the research questions asked and on building programmatic research that fosters both theory testing and theory building, using quantitative and qualitative approaches as appropriate, to achieve a greater depth of understanding related to significant questions and, thereby, move the field forward.

Schuwirth와 van der Vleuten은 최근 "연구가 과학적으로 엄격한 지 여부를 결정하는 것은 연구 방법이 아니라 연구 문제의 strength이다"라고 주장하며, 연구에서 연구질문의 중요한 역할을 지적했다.

The research question plays a key role in the research enterprise, as indicated recently by Schuwirth and van der Vleuten,2 who argue that “it’s not the method that determines whether a study is scientifically rigorous, it’s the strength of the research question.”

연구질문은 그것이 어떤 이론에서 왔는지, 어떤 이론을 검증하고자 하는지, 그 질문을 한 연구자의 목적이 무엇인지에 따라서 더 강화될 수 있다. 이론은 지식이 조직 될 수있는 방법에 대한 명확한 관점을 제공합니다. 개념적 프레임 워크와 이론은 일반적으로 thick description, 즉 질문을 생성하고 가설을 테스트하는 데 사용할 수있는 질적 텍스트에 의해 표현된다. 본질적으로 이론은 검증하고자 하는 가설을 제공하며, 예컨대 의미적 한정어의 사용과 진단의 정확성과 이해력 사이에 존재할 수있는 positive 연관성과 같은 것이 있다

The strength of the question is further enhanced by the theory it draws from, or tries to test, and by the purpose of the researcher in formulating the question. The theory provides an articulated view of how knowledge might be organized. Conceptual frameworks and theories are typically expressed in thick descriptions—that is, a qualitative text that can be used to generate questions and test hypotheses. Theories by nature provide hypotheses to be tested, such as the positive association that might exist between the use of semantic qualifiers and diagnostic accuracy and comprehension.

진단 추론에 대한 작업을하는 동안 의미론적 차원 (예 : 빈약 한 의미 대 부유 한 의미 전달)과 구문 차원 (즉, 제한된 대 광범위한 음성 표현)의 두 조직 차원에 따라 임상의의 담론을 분류하여 구조적 의미 론을 확장했습니다. 이러한 범주는 네 가지의 담화 유형을 구분해주었다

• 축소된 담화 (제한된 연설, 열악한 의미), 

• 분산된 담화 (확장 된 연설, 열악한 의미), 

• 정교한 담화 (확장 된 연설, 부유 한 의미), 

• 응축된 담화 (제한된 연설, 풍부한 의미). 

이론 구축이나 가설 테스트의 문제가 아니 었습니다. 그것은 둘 다였습니다.

During our work on diagnostic reasoning, we further extended structural semantic theory by categorizing clinicians’ discourses according to two organizational dimensions, a semantic dimension (i.e., conveying poor versus rich meaning) and a syntactic dimension (i.e., depicting limited versus extensive speech). This categorization yielded four discourse types: 

• reduced discourses (limited speech, poor meaning), 

• dispersed discourses (extended speech, poor meaning), 

• elaborated discourses (extended speech, rich meaning), and 

• compiled discourses (limited speech, rich meaning).6 

It was not a matter of either theory building or hypothesis testing. It was both. 

그리고 그들은 함께 의논하여 담론 구조의 본질과 역 동성에 대한 이해를 돕는 데 도움을주었습니다. 이것은 의사와 경험이 풍부한 임상의들과의 지식 관계에 관한 것과 같다.

And, taken together, they best helped gain greater understanding of the nature and dynamics of discourse structures as they might relate to knowledge relationships in the memory of medical students and experienced clinicians. 

요약하면, 이론 구축은 문제를 프레이밍하거나 검증될 가설(Norman의 표현을 빌리자면 Conjecture)을 생성하기 위하여 사용된 구성 요소와 변수를 yield하는 두꺼운 설명에서 기인하며, 무엇이 적절하냐에 따라 질적 접근법이나 양적 접근법을 사용한다.

In summary, theory building stemmed from thick descriptions, which yielded constructs and variables that were used to frame the problem and to generate hypotheses— conjectures, to use Norman’s expression7— that were and continue to be tested, sometimes using qualitative approaches, other times using quantitative approaches, as appropriate.

Varpio와 그의 동료들에 의한 RIME proceedings에서, 의사와 간호사의 전자 환자 기록으로부터의 환자 정보의 변형에 관한 연구에서 이론 구축의 예가 제공되었다. 그들의 결론은 테스트 될 새로운 가설로 작용할 수있다.

An example of theory building was provided in the RIME proceedings by Varpio and colleagues8 in their study of physicians’ and nurses’ transformation of patient information from electronic patient records. Their conclusion can serve as a new hypothesis to be tested

Shulman의 비유를 사용하자면, 어떤 분야를 앞으로 나아가게 하는 것은, 이론 구축 또는 이론 검증이 아니라, 이론 구축과 이론 검증 사이의 의사소통이다. 분야를 발전시키려면, 이론을 사용하여 질문을 구성하고 생성하며, 연구 결과를 바탕으로 이론을 지지하거나 수정해야 한다. 이 때에도, 적절한 경우 양적 및 질적 접근법 중 하나 또는 둘 모두를 사용하여, 생산적으로 이론을 구축하거나 이론을 검증할 수 있습니다.

To use a Shulman analogy, moving the field forward is a commute between theory building and theory testing, not simply one or the other. Moving the field forward involves the use of theories to frame and generate our questions, using the resulting scholarship to support or modify the theory. Again, and as appropriate, either or both quantitative and qualitative approaches can be used productively to achieve theory building and theory testing.

Chartres의 버나드 (Bernard of Chartres)는 "고대 문학과 철학의 진지한 학생들은 당시의 고대 문학과 철학을 고대인보다 더 멀리 볼 수있었습니다. 왜냐하면 더 시력이 좋았기better vision 때문이 아니라, 그들을 길러낸 gigantic predecessors의 명성 덕분이다."(Stock9에서) . 의학교육 연구자는 거인의 어깨에 얼마나 자주 머무릅니까? 개념적 틀이나 이론에 대해서는? 불행히도, 대부분 충분하지 않습니다! 진행 과정에서보고 된 18 건의 RIME 2006 가설 테스트 연구 중 이론적 또는 개념적 틀을 포함하는 4 건 (22 %) 만 발견했습니다. 나머지 14 개의 보고서에서 독자는 정확히 무엇을 추적하는 것인지, 그리고 거기에 도달하는데 가장 좋은 수단이 무엇인지 알지 못한 채 blind expedition을 할 수밖에 없었다.

Bernard of Chartres once said, “The serious students of ancient literature and philosophy in his own time were able to see farther than the ancients not because of better vision but because of the eminence to which their gigantic predecessors had raised them” (from Stock9). How often do researchers in medical education stand on the shoulders of giants? On conceptual frameworks or theories? Unfortunately, not often enough! Of the 18 RIME 2006 hypothesis-testing studies reported in the proceedings, I only found four (22%) that contained a theoretical or conceptual framework. Fromthe remaining 14 reports, the reader gets the sense of a blind expedition, not knowing what precisely was in pursuit and what best means could have been used to get there.

RIME proceeding에 실린 논문의 고찰 부분에서는 편향에 관해서만 자주 언급하며(크지만 편향된 샘플 또는 작지만 편향될 가능성이 있는 샘플), 개념이나 이론적인 이슈는 다루지 않고, 이론에 대해서는 거의 말하지 않았다.

Instead of addressing conceptual and theoretical issues in the discussion section of the articles in the RIME proceedings, much was said about biases, such as large but biased samples or small and possibly biased samples. Little was said about theory.

Eva와 Regehr (11)는 자기 평가에 대한 연구에서 이론이 어떻게 전개되는지에 대한 좋은 예를 제공합니다. 자기 평가에 관한 수사학에 대한 철저한 분석과 문학에 대한 비판적 검토를 통해 자기 평가의 개념을 해체하고, 요구할 가치가없는 쓸데없는 무의미한 질문이 무엇인지 확인해주면서, 이런 질문에 대해서는 이미 답을 얻었거나, 질문 자체가 misguided하기 때문에 불필요한 질문이며, 자기평가에 대한 재개념화를 제안했다

Eva and Regehr,11 in their work on self-assessment, provide a good example of how theories evolve. After a careful analysis of the rhetoric about self- assessment and a critical review of the literature, they have deconstructed the notion of self-assessment and proposed a reconceptualization of the construct along with the identification of obsolete, defunct questions that are not worth asking any more, because they have been answered already or are misguided.12 

Eva와 Regehr가 밝힌 무의미한defunct 질문에는 다음이 포함되었습니다. 

• 얼마나 의사들은 자기평가를 잘 하나요? "매우 못합니다!"

• 우리는 어떻게 자기 평가를 향상시킬 수 있습니까? "그것은 불가능합니다!"

• 우리는 어떻게 자기 평가를 측정 할 수 있습니까? "이런 것으로 귀찮게 하지 말라!"

증거에 대한 비판적 검토와 자기 평가에 대한 새롭게 생각하는 사고 방식을 바탕으로 

• 외부 데이터가 업데이트가 필요한 영역을 식별하는 데 도움이되는 것은 무엇입니까? 

• 이러한 데이터를 어떻게 의미있는 형태로 수집하고 제공 할 수 있습니까? 

• 우리는 어떻게 사람들에게 이러한 피드백을 믿고 그것을 자기 개념에 포함 시키도록 설득 할 수 있습니까? 

• 우리는 어떻게 사람들로 하여금 이것에 따라 행동하게 할 수 있습니까? 

...등과 같은 질문의 필요성을 제안한다. 구조와 이론은 정적 인 비활성 물체가 아닙니다. 대신, 그들은 도전 받고, 구축하고, 재 모델화 할 수있는 역동적 인 존재입니다.

Such defunct questions included: How well do practitioners self-assess? “Poorly!” How can we improve self-assessment? “You can’t!” How can we measure self- assessment? “Don’t bother!” On the basis of their critical review of the evidence and a renewed way of thinking about self- assessment, they suggest new questions, such as “

• What external data would help identify areas requiring updating? 

• How can we collect and deliver these data in a meaningful form? 

• How can we convince people to believe this feedback and incorporate it into self-concept? 

• How can we get people to act on this?” 

Constructs and theories are not static, inert entities. Instead, they are dynamic entities to be challenged, built on, and refashioned.

연구 질문의 강점과 타당성은 연구자가 착수 한 연구의 목적에 달려있다. 목적은 설명 적 연구 (우리는 무엇을 했는가, 무슨 일이 일어 났습니까?), 효율성 연구 (얼마나 효과가 있었습니까?), 그리고 명확한 연구 (왜 그리고 어떻게 작동 했습니까?)의 세 가지 주요 범주 1,13로 분류 할 수 있습니다. 이 분류를 사용하여 RIME 회의 진행에서보고 된 연구의 주요 목적은 설명 적 (61 %), 유효성 연구 (29 %) 및 다음에 명확화 연구 (10 %) 순으로 나타났습니다. 이것은 설명 적 또는 효과적 연구가 가치가 없다고 말하는 것이 아닙니다. 오히려 세 가지 목적 중 더 나은 균형을 이루는 것이 중요합니다.

The strength and pertinence of the research question lie in the purpose of thestudies undertaken by the researchers. Purposes can be grouped into three main categories1,13: 

• descriptive studies (What did we do, what happened?), 

• effectiveness studies (How well did it work?), and 

• clarification studies (Why and how did it work?). 

Using this classification, I found that the dominant purpose for the studiesreported in the RIME conference proceedings was descriptive (61%), followed by effectiveness studies (29%) and then clarification studies (10%). This is not to say that descriptive or effectiveness studies are not worthwhile. Rather, it’s important to achieve a better balance among the three purposes.

불행하게도, 의학 교육 연구의 많은 부분은 연구자가 한 주제에서 다음 주제로 진행되는 임시적이고 기회주의적인 방식으로 이루어지며, 위에 설명 된대로 개념적 토대가 거의없고, 기존 문헌에 대한 비판적인 평가를 다루지 않았다. 최근에 RIME 회의에 제출 된 원고를 거부 한 10 가지 이유 중 가장 중요한 것은 문헌을 비판적으로 또는 최신으로 검토하지 못했기 때문입니다 .14이 문제를 완화하는 한 가지 방법은, 고립되고 분리 된 연구 프로젝트가 아닌, 이론에 기반한 프로그래마틱 연구를 수행하는 것이다. 체계적인 연구에서는 장기적이고 체계적인 조사를 통해 연구 주제를 현명하게 선택한다. 하나가 아니라 여러 관점에서 이론을 구축하고 테스트하는 일련의 연구가 가능합니다.

Unfortunately, much of the research in medical education is done in an ad hoc, opportunistic fashion, with researchers going from one topic to the next, often with little conceptual underpinning, as illustrated above, and without critical appraisal of the literature. The lack of a critical or up-to-date review of the literature was among the top 10 reasons for rejecting manuscripts submitted to the RIME conference in the past.14 One way to alleviate this problem is by conducting theory-based, programmatic research rather than isolated, disjointed research projects. Programmatic research allows for the judicious selection of research topics followed by long-term, systematic investigations—not one, but a series of studies that build and test theories frommultiple perspectives.

의학 교육 연구의 수월성을 추구하기 위해서는

• (1) 이론 구축 및 가설 검정에 대한 명시 적 진술, 

• (2) "왜"질문을 더 많이 하고, 이해의 깊이를 얻기위한 명확화 연구

• (3) 필드를 발전시킬 수 있는 결과를 낼 수 있는 이론 기반의 programmatic 방식의 연구

...가 이뤄져야 한다.

Pursuing excellence in medical education research calls for 

• (1) explicit statements of theory building and hypothesis testing, be they from quantitative or qualitative studies, 

• (2) asking more why questions, more clarification studies to gain depth of understanding, and 

• (3) engaging in more theory-based, programmatic research that can yield results capable of moving the field forward. 

Riehl18은 의학 연구와 교육 연구를 비교하면서 다음과 같이 기술하고있다. 

"연구는 지속적인 대화와 탐구로서, 종종 practice를 바꿀 수 있거나 바꾸어야 하는 중요한 발견에 의해 때로는 punctuated 되지만, 보다 일반적으로는 끊임없는 investigation으로서의 특징을 갖는다. . . 그것이 누적되면, practitioner의 일에 inform할 수 있다. "

As Riehl18 states in comparing medical research and education research: 

“research is an ongoing conversation and quest, punctuated occasionally by important findings that can and should alter practice, but more often characterized by continuing investigations [. . . that] taken cumulatively, can inform the work of practitioners.”

따라서 더 나은 의학 교육, 궁극적으로 더 나은 환자 진료로 이어질 수 있는 이론과 연구 사이, 그리고 연구와 실습 사이에 건강한 사이클이 만들어질 것이다.

Thus, a healthy cycle is created between theory and research and between research and practice that can lead to better medical education and, ultimately, better patient care.

15 Woods NN, Nevill AJ, Levinson AJ, Howey EHA, Oczkowski WJ, Norman GR. The value of basic science in clinical diagnosis. Acad Med. 2006;81(10 suppl):S124–S127.

16 Albert M, Hodges B, Regehr G. Research in medical education: balancing research and science. Adv Health Sci Educ Theory Pract. 2007;12:103–115.

---

Acad Med. 2007 Oct;82(10 Suppl):S126-8.

Moving the field forward: going beyond quantitative-qualitative.

Bordage G1.

Author information

1

Department of Medical Education (MC/ 591), College of Medicine, University of Illinois at Chicago, 808 South Wood, Chicago, IL 60612-7309, USA. bordage@uic.edu

PMID:

 

17895677

 

DOI:

 

10.1097/ACM.0b013e31813e661d

[Indexed for MEDLINE]