질적연구: 좋은 연구질문을 쓰는 법(Clin Teach, 2018)

좋은 연구질문을 쓰는 법(Clin Teach, 2018)

How to…write a good research question

Karen Mattick 1 , Jenny Johnston 2 and Anne de la Croix 3,4

도입

INTRODUCTION 

대부분의 임상 교사들은 연구 프로젝트를 수행하거나, 그들의 교육 관행을 평가하거나, 직업의 어느 시점에 회의 포스터를 준비할 것이다. 대부분의 임상 교사들은 또한 자신의 실습과 관련된 주제에 대해 출판된 문헌(예: 교수 혁신, 평가 전략 또는 학생 지원 접근법)을 탐구할 것이다. 이러한 활동들은 여러분이 무엇을 하고 있는지 그리고 왜 그런지 명확히 생각하기 위해 연구 질문을 작성함으로써 향상될 수 있다; 그러나 모든 임상 선생님들이 좋은 연구 질문을 쓰는 방법에 대한 훈련을 받은 것은 아니며, 이것은 보이는 것만큼 간단하지 않다. 특히 질적 연구를 위한 질문을 쓰는 것은 많은 건강 전문가들에게 새로운 것일지도 모른다. 본 논문은 저자들(대부분적으로 출판한 의학 교육 연구원)이 유용하다고 판단한 몇 가지 요령과 틀을 공유하는 것을 목표로 하고 있는데, 우리는 교육 영역에서 초보 연구자인 임상 교사들을 지원하고, 아마도 더 경험이 많은 연구원들에게 도움이 되는 리프레셔를 제공하기를 희망한다. 

Most clinical teachers will undertake a research project, evaluate their education practice or prepare a conference poster at some point in their careers. Most clinical teachers will also explore the published literature on a topic relevant to their practice: for example, a teaching innovation, assessment strategy or student support approach. These activities can be enhanced by writing a research question in order to think clearly about what you are doing and why; however, not all clinical teachers have had training in how to write a good research question, and this is not as straightforward as it may seem. Writing questions for qualitative research, in particular, might be new for many health professionals. This article aims to share some tips and frameworks that the authors (medical education researchers who have published quite extensively) have found useful, which we hope will support clinical teachers who are novice researchers in the education sphere, and perhaps provide a helpful refresher for more experienced researchers. 

좋은 연구 질문이란? 

WHAT IS A GOOD RESEARCH QUESTION? 

좋은 질문은 사람들로 하여금 잠시 멈추고 다른 방식으로 사물을 보게 하거나 토론, 인터넷 검색 또는 문학 리뷰를 통해 더 많은 것을 배우도록 동기를 부여할 수 있다. 아이가 부모에게 바다가 왜 파랗냐고 물으면, 부모들은 정보에 정통한 대답을 하기 전에 정보 자원과 상의해야 할 수도 있다! 새로운 잠재적으로 변화할 수 있는 관점을 명확히 하기 위해서는 (이는 '문제화'라고 불리는 과정이다), 일상적으로 받아들여지는 가정이나 실천적 문제에 대해 비판적으로 생각하는 것이 연구 질문을 생성하는 가장 유용한 방법 중 하나이다. 좋은 연구 질문은 분석되고 해석될 수 있는 데이터를 식별하거나 수집하여 새로운 통찰력을 제공하는 퀘스트로 연구자를 보낼 것이다. 

A good question can make people pause and see things in a different way, or can motivate them to learn more through discussion, an internet search or literature review. When a child asks their parents why the sea is blue, the parents may need to consult an information resource before providing a well- informed answer! Thinking critically about everyday taken- for- granted assumptions or practice problems, to enable new potentially transformative viewpoints to be articulated (a process called ‘problematising’), is one of the most useful ways of generating research questions. A good research question will send the researcher on a quest to identify or collect data that can be analysed and interpreted, such that it provides new insights. 

그렇다면 좋은 질문의 특징은 무엇인가? 무엇보다도, 그 문제는 중요한 주제에 초점을 맞춰야 한다. 이 연구가 수행되지 않을 경우 어떻게 될 것인지 자문해 보십시오. 이것이 정말 중요한가? 누가 그것으로부터 이익을 얻을 것인가? 

So what are the features of a good question? First and foremost, the question should focus on an important topic. Ask yourself what will happen if this research is not done – does it really matter? Who will benefit from it? 

좋은 질문들은 종종 그 발견을 사용하거나 그 결과로부터 이익을 얻을 수 있는 사람들과 함께 만들어진다. 다른 사람들이 중요한 질문이라고 생각하는 것을 알고 싶다면, 저널, 기금 기관, 임상 교육 분야의 우선순위 설정 등에서 도출된 우선순위를 보라. 1 때때로 새로운 데이터는 연구 질문을 던질 수 있다: 예를 들어, 국가 조사의 결과로부터 출발할 수도 있다. 다른 연구 문제들은 실제로 일어나고 있는 것에 대한 이론이나 가설에 의해 추진된다. 연구 질문들이 가까운 교육적 맥락에 초점을 맞추어 상당히 '지역적이고 특정한' 것으로 시작하는 것은 드문 일이 아니지만, 그것들은 종종 더 광범위한 관련성을 지닌 질문으로 발전될 수 있다.

Good questions are often co- created with those who may use or benefit from the findings. Look at the priorities identified by journals, funding bodies or priority- setting exercises in the clinical education field to see what others think are important questions. 1 Sometimes new data might prompt a research question: from the findings of a national survey, for example. Other research questions are driven by a theory or hypothesis about what is happening in practice. It is not uncommon for research questions to start out by being quite ‘local and particular’, focused on the immediate educational context, but they can often be developed into questions with broader relevance. 

좋은 연구 질문은 대개 상당히 좁거나 구체적이지만, 종종 그렇게 시작하지 않는다. 당신은 연구에 대한 일반적인 주제나 아이디어(예: 학습 동기)로 시작할 수 있으며, 이는 시간이 지남에 따라 보다 구체적인 질문으로 발전한다(예: 의대 졸업생들은 근무 시간 외에 전자 학습 자원과 어떻게 관여하는가?). 초보자들은 종종 매우 광범위한 질문을 던지지만, 이러한 질문들은 짧은 시간 내에 답변될 것 같지 않고 방향과 영향이 부족할 수 있다. 2 

Good research questions are usually quite narrow or specific, but often do not start out that way. You might start with a general theme or idea for research (e.g. motivation for learning), which develops into a more specific question over time (e.g. how do medical school graduates engage with e- learning resources outside their working hours?). Novices often ask very broad questions, but these are unlikely to be answered in a short time frame and can lack direction and impact. 2 

연구 문제를 개발한 후에는 기존의 출판된 문헌을 통해 답변할 수 있는지, 새로운 자료를 반드시 수집해야 하는지를 검토할 필요가 있을 것이다. 그 문제에 명확한 경계가 있을 경우에만 문헌을 검토할 수 있다. 연구에서는, 우리는 종종 거대한 도약보다는 기존의 지식에 작은 한 걸음 기여하고 있다. 작은 기여가 전혀 변하지 않는 것보다 낫다. 그래서 짧고 모호한 질문보다는 길고 구체적인 질문이 더 바람직할 것이다.

After developing a research question, you will need to consider whether it can be answered through the existing published literature or whether new data must be collected. Reviewing the literature is only manageable if the question has clear boundaries. In research, we are often contributing a tiny step to the existing knowledge, rather than making huge leaps. Small contributions are better than no changes at all. So a long, specific question is likely to be preferable to a short vague question. 

이러한 점을 설명하기 위해 표 1은 몇 가지 특정 예를 제공하며, 다음 절에서는 몇 가지 주요 고려사항에 대해 논의한다. 

To illustrate these points Table 1 provides some specifi c examples, and in the next section we discuss some key considerations. 

고려사항: 관련성, 오리지널리티, 엄격성

CONSIDERATIONS: RELEVANCE, ORIGINALITY AND RIGOUR 

여기서, 우리는 위에서 제기된 요점을 바탕으로 연구 질문을 개발할 때 고려해야 할 몇 가지 사항을 강조한다. 이러한 분석은 특정 순서에 따라 수행되지 않는다. 고려사항은 세 가지 주요 범주로 분류된다(그림 1 ). 이 범주는 연구 질문의 관련성, 독창성 및 엄격성에 대해 광범위하게 생각할 수 있으며, 상호 관련성이 있고 부분적으로 영국 연구 우수 프레임워크에서 영감을 받았다. 3 카테고리 중 하나로 시작해서 각 카테고리를 여러 번 다시 방문할 수 있다. 그렇게 함으로써, 당신은 당신의 연구 질문을 약간 또는 완전히 바꿀 수 있다. 많은 반복을 겪더라도 낙담하지 마라. 이 과정에 소비되는 시간은 항상 좋은 투자이다.

Here, we highlight some things to think about as you develop your research question, building on the points raised above. These analyses are not intended to be undertaken in any specific order. The considerations fall into three main categories (Figure 1 ), which can be thought of as broadly concerning the relevance, originality and rigour of the research question, and which are interrelated and partly inspired by the UK Research Excellence Framework. 3 You may start with any one of the categories and revisit each one multiple times. In doing so, you may change your research question slightly or completely. Don ’ t be disheartened if you go through many iterations; time spent on this process is always well invested. 

관련성

Relevance 

당신이 연구하고자 하는 중요한 사회 문제나 실천적 문제를 파악하고 설명함으로써 시작하라. 다양한 대상들에게 이 연구가 갖는 중요성을 알기 위해서는, 여러 가지 방법으로 문제를 설명하도록 시도해보라. 아마도 이를 위해 임상 교육 기관의 다른 이해당사자들과 함께 작업할 수 있을 것이다(Box 1). 당신의 프로젝트 아이디어에 대해 일반 용어로 이야기하고 열린 마음으로 사람들의 반응을 관찰하라. 그 과정은 당신이 분명하게 그리고 다른 관점에서 생각하도록 요구할 것이다. 

Begin by identifying and articulating the important societal or practice problem that you wish to research. To consider the significance of the research question for different audiences, try articulating the problem in multiple ways, perhaps working with different stakeholders from the clinical education field to do this (Box 1 ). Talk about your project idea in lay terms and observe people ’ s reactions with an open mind. The process will require you to think clearly and from different perspectives. 

독창성

Originality 

또 다른 중요한 고려사항은 연구 문제가 새로운 통찰력을 창출하고 이전의 연구를 복제하지 않는 독창적인 작업으로 이어지도록 하는 것인데, 이는 문헌 검토를 통해 결정할 수 있다. 문헌검토에는 여러 가지 접근방법이 있는데, 4 이것을 목적에 맞게 조정할 수 있다. 정의하고자 하는 질문에 대한 답변(또는 부분적 답변)을 제공하는 기존의 연구 조사 또는 관심 주제에 대한 검토 기사를 찾을 수 있다면, 처음 예상한 연구를 수행할 필요가 없을 수 있다. 이것은 좋은 소식이다. 왜냐하면 당신의 시간이 이미 알려진 것을 의도치 않게 복제하는 것이 아니라 그 일을 확장하고 지식에 기여하는 데 사용될 수 있기 때문이다. 당신이 연구하고자 하는 문제를 확인하고 이미 수행된 연구가 무엇인지 알게 되면, 당신은 당신이 다루고자 하는 연구의 차이를 명확히 할 수 있을 것이다. 현재의 문제를 명확히 하고, 중요한 지식 격차를 부각시키며, 청중들에게 이 격차가 문제라는 것을 설득하는 것을 제안하는 '문제, 갭, 후크'에 대한 링가드의 논문은 이것에 대해 생각하는 유용한 방법이다. 5

Another key consideration is to ensure that the research question will lead to original work that generates new insights and does not duplicate previous research, which can be determined through a literature review. There are many different approaches to literature reviewing, 4 so you can tailor this to the purpose. If you can find an existing research study or review article on your topic of interest that answers (or partially answers) the question you are trying to define, then you may not need to do the study you had first envisaged. This is good news, as your time can now be spent extending that work and contributing to knowledge, rather than unintentionally duplicating what is already known. Once you have identified the problem that you wish to research and know what research has already been undertaken, you will be able to articulate the gap in the literature that you wish to address. Lingard’ s paper on ‘Problem, Gap, Hook’, which suggests articulating a current problem, highlighting an important knowledge gap and convincing the audience that this gap is problematic, is a useful way of thinking about this. 5 

엄격성

Rigour 

데이터 수집 및 데이터 분석의 연구 질문 및 방법이 일치하는지 확인하는 것은 엄격함의 핵심 요소다. 연구 질문들은 특정한 유형의 해답을 제시할 수 있다. 예를 들어, 어떤 질문들은 예 또는 아니오 대답을 요구하고, 어떤 질문들은 답으로서 숫자나 순위를 요구하고, 어떤 질문들은 단어의 형태로 데이터를 가지고 더 잘 대답할 수 있다. 다른 사람들이 특정한 유형의 질문, 즉 어떤 사람들은 '무엇'을 선호하고, 어떤 사람들은 '왜' 또는 '어떻게'를 선호하며, 이러한 선호들은 그들의 지식과 이전의 경험에 의해 형성된다는 점에 주목할 필요가 있다. 일반적으로 경험, 관점, 그룹 프로세스 및 개인 개발에 초점을 맞춘 질문은 질적인 연구에 더 잘 맞는 경향이 있다. 6 

Ensuring that the research question and methods of data collection and data analysis are aligned is a key element of rigour. Research questions may suggest a particular type of answer. For example, some questions demand a yes or no answer, some require a number or a ranking as an answer, and some may be better answered with data in the form of words . It is worth noting that different people may be drawn to particular types of question: some favour ‘What’, and some favour ‘Why’ or ‘How’, and these preferences are shaped by their knowledge and prior experiences. Generally, questions focusing on experiences, viewpoints, group processes and personal development tend to lend themselves better to qualitative research. 6 

질문은 또한 연구자들이 선호하는 방법론적 도구에 의해 형성될 수 있는데, 이는 필연적으로 그들이 세상을 보는 방식과 연계된다: 7 예를 들어, 그들이 질적 지향성을 가지고 있는지 양적 지향성을 가지고 있는지 하는 것이다. 동료 연구원들과 대화하십시오. 그들은 이 질문에서 어떤 종류의 연구 디자인을 예상할 수 있을까? 어떤 이론과 방법론이 이 질문에 답하는데 유용할 수 있을까? 당신의 연구 프로젝트가 끝날 무렵에도 결론을 도출할 때는 연구의 일관성을 보장하기 위해 연구 질문을 다시 참고하라. 

Questions may also be shaped by researchers’ preferred methodological tools, which are inevitably interlinked with the way that they see the world: 7 for example, whether they have a qualitative or quantitative orientation. Talk to fellow researchers. What kind of study design would they anticipate from this question? What kinds of theories and methodologies might be useful in answering this question? Even towards the end of your research project, when drawing conclusions, refer back to the research question to ensure the coherence of the study. 

연구질문 쓰기 팁

TIPS FOR WRITING YOUR RESEARCH QUESTION 

연구 질문의 초안을 작성할 때, 당신이 하고 있는 것과 당신의 연구 질문의 구성요소에 대해 명확하게 생각하는데 도움이 되는 몇 가지 유용한 프레임워크가 있다. 독자들은 학습을 평가하는 커크패트릭의 모델과 탐구할 수 있는 다른 유형의 교육 결과를 고려하는 Bar et al.에 의해 설명된 확장된 버전에 익숙할 수 있다 8,9 

When drafting your research question, there are some useful frameworks that you can use to help you think clearly about what you are doing and about the components of your research question. Readers might be familiar with Kirkpatrick ’ s model for evaluating learning and the expanded version described by Barr et al., which considers different types of education outcome that may be explored. 8,9 

지금까지 많은 임상 교육 연구는 학습자의 만족도에 초점을 맞추었지만, 지식 이득, 행동 변화 또는 환자 결과를 고려한 연구를 설계하는 것은 가능하다. 블룸의 분류법은 교육적 결과와 관련하여 사용되는 서술자에 대해 생각하는 데 유용하다. 10 독자들은 또한 PICO(환자, 중재자, 대조군/비교, 결과) 프레임워크, 11 SPIDER (샘플, 관심 현상, 설계, 평가, 연구 유형)에 질적인 대안을 제공하는 것에 익숙할 수 있다. 12 SPIDER 프레임워크는 질적인 작업에 대한 질문의 핵심 요소들을 기술하는 데 도움이 될 수 있다.

Much clinical education research to date has focused on learner satisfaction, but it is possible to design research that considers knowledge gain, behaviour change or patient outcomes. Bloom ’ s taxonomy is useful for thinking about the descriptors used in relation to educational outcomes. 10 Readers might also be familiar with 

• the PICO (patient, intervention, control/ comparison, outcome) framework, 11 

• with SPIDER (sample, phenomenon of interest, design, evaluation, research type) providing a qualitative alternative. 12 

The SPIDER framework can help to spell out the key elements of a question for qualitative work. 

일단 연구 프로젝트를 시작했으면, 정기적으로 연구 질문을 다시 방문하라revisit. 일부 프로젝트는 연구 중에 진화하고 표류하며, 궁극적으로 연구 질문에 답하지 않는다. 모든 것을 흡수하는 연구 과정 속에서 질문을 놓치기 쉽다. 연구의 다른 요소들은 서로 일정한 재배치를 필요로 하며 에이지 교수는 이것이 연구 연구, 특히 질적 연구의 형성에 매우 중요하다는 것을 상기시킨다. 13 그 과정동안 연구문제를 최우선적으로 기억하라. 

Once you have started your research project, revisit the research question regularly. Some projects evolve and drift during the study, and ultimately do not answer the research question. It is easy to lose sight of the question in the midst of the all- absorbing research process. Different elements of research need constant realignment with each other and Agee reminds us that this is critical to the shaping of research studies, particularly qualitative studies. 13 Keep the research question foremost in your mind throughout the process. 

결론

CONCLUSION 

좋은 연구 질문은 만드는 데 시간이 걸리지만, 이 과정에 투자하는 시간은 언제나 가치가 있다.

A good research question takes time to create, but time invested in this process is always worthwhile.

---

Clin Teach. 2018 Apr;15(2):104-108. doi: 10.1111/tct.12776.

How to…write a good research question.

Mattick K1, Johnston J2, de la Croix A3,4.

Author information

1

Centre for Research in Professional Learning, University of Exeter, Exeter, UK.

2

School of Medicine, Dentistry and Biomedical Sciences, Queen's University Belfast, Belfast, Northern Ireland, UK.

3

LEARN! Academy, Vrije Universiteit Amsterdam, Amsterdam, the Netherlands.

4

VUmc School of Medical Sciences, Amsterdam, the Netherlands.

Abstract

This paper, on writing research questions, is the first in a series that aims to support novice researchers within clinical education, particularly those undertaking their first qualitative study. Put simply, a research question is a question that a research project sets out to answer. Most research questions will lead to a project that aims to generate new insights, but the target audience and the methodology will vary widely. The term 'evaluation question' is used less commonly, but the same principles apply. The key difference is that evaluation questions are typically more focused on the immediate context: for example, the effectiveness of an educational intervention in a particular setting. Whether your ambition is for research or evaluation, we hope that you will find this paper helpful for designing your own educational projects. A research question is a question that a research project sets out to answer.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

Comment in

• Lessons learned from an overambitious undergraduate research project. [Clin Teach. 2019]