설문지는 어떻게 작성해야 할까? (2) - 설문지의 길이, 질문배치, 파일럿 연구(Pilot study)

(출처 : http://www.123rf.com/photo_8939791_a-survey-questionnaire-for-customer-satisfaction-with-checkboxes.html)

답변의 형태(Format of responses)

개방형 질문이 있고 폐쇄형 질문이 있다. 폐쇄형 질문에 "기타"란을 둬서 두 형식을 혼합할 수도 있다.

The responses can be in open or closed formats. In an open ended question, the respondents can formulate their own answers. In closed format, respondents are forced to choose between several given options. The advantages of each of these formats are shown in box 1. It is possible to use a mixture of the two formats— for example, give a list of options, with the final option of “other” followed by a space for respondents to fill in other alternatives.

There are several forced choice formats. These are shown in box 2. Out of these formats, ranking is probably least frequently used, as the responses are relatively difficult to record and analyse.

설문지의 길이(Length of questionnaire)

정해진 답은 없다. 다만, 일반적으로 짧을수록 응답률이 높다. 

There are no universal agreements about the optimal length of questionnaires. It probably depends on the type of respondents. However, short simple questionnaires usually attract higher response rates than long complex ones. In a BMJ survey of stroke survivors both the response rate and the proportion of completed forms were higher for a shorter questionnaire (six questions with a visual analogue scale) compared with a longer and more complex questionnaire (with 34 questions).4

질문 배치하기 (Arranging the questions)

일반적인 것에서 세부적인 것으로

쉬운 것에서 어려운 것으로

사실과 관계된 것에서 추상적인 것으로

시작은 폐쇄형 질문으로.

시작은 메인 주제와 관련된 내용으로

인구학적/개인적 질문으로 시작하지 말기

The order of the questions is also important. Some general rules are:

- Go from general to particular.

- Go from easy to difficult.

- Go from factual to abstract.

- Start with closed format questions.

- Start with questions relevant to the main subject.

- Do not start with demographic and personal questions.

다양한 포멧을 활용하는 것이 좋다. 긍정에서 부정 순서로 가는 응답지와, 부정에서 긍정 순서로 가는 응답지를 섞어놓는 스케일을 활용하기도 한다.

It is useful to use a variety of question format as shown in box 2 to maintain the respondents’ interest. When a series of semantic differential scales are used, it may be a good idea to mix positive negative— for example, interesting to dull—with negative positive—for example, useless to useful—scales. This might make the respondents think more and avoid the tendency to tick the same response for every question.

Filter questions are useful to ensure that respondents answer only relevant questions. However, avoid a highly complex filter regime. Make good use of arrows and boxes to clarify the filter regime.

도입부, 개인별 편지, 마무리(Introduction, personalised letter, and ending)

설문조사의 목적이나, 참여의 중요성, 응답 내용의 비밀보장 등에 대한 개인별 맞춤 커버레터를 넣는 것은 좋다. mail-merge를 사용해서 손쉽게 작성할 수 있다. 감사를 표시하는 것도 중요하다.

It seems a good idea to have either a personalised covering letter or at least an introduction explaining briefly the purpose of the survey, the importance of the respondents’ participation, who is responsible for the survey, and a statement guaranteeing confidentiality.5 A personalised letter can be easily generated using mail-merge on a word processor. It is also important to thank the respondent at the end of the questionnaire.

어떻게 설문조사를 수행할 것인가(How to administer the questionnaires)

There are several ways of administering questionnaires. They may be self administered or read out by interviewers. Self administered questionnaires may be sent by post, email, or electronically online. Interview administered questionnaires may be by telephone or face to face.

자가기입식 방법 : 저렴하고, 비밀 보장이 되고, 응답자의 편의에 맞춰 작성

Advantages of self administered questionnaires include:

- Cheap and easy to administer.

- Preserve confidentiality.

- Can be completed at respondent’s convenience.

- Can be administered in a standard manner.

설문조사관을 활용한 방법 : 문맹도 참여가능, 애매모호항 문항에 대해 확실히 설명 가능

Advantages of interview administered questionnaires include:

- Allow participation by illiterate people.

- Allow clarification of ambiguity.

The exact method of administration also depends on who the respondents are. For example, university lecturers may be more appropriately surveyed by email; older people by telephone interviews; train passengers by face to face interviews.

파일럿 연구와 설문조사지 평가 (Piloting and evaluation of questionnaires)

설문조사지를 디자인 하는 것은 복잡한 일이기 때문에 첫 번에 완벽하게 만들기는 어렵다. 일단 설문지를 만들면 사전 조사(파일럿 연구)를 수행해보아야 하며, 작은 규모의 조사에서는 한 번이면 충분하나 대규모 조사에서는 세 phase의 파일럿조사가 필요하다.

Given the complexity of designing a questionnaire, it is impossible even for the experts to get it right the first time round. Questionnaires must be pretested— that is, piloted—on a small sample of people characteristic of those in the survey. In a small survey, there might be only pretesting of the drafted questionnaire. In a large survey, there may be three phases of piloting. 

첫 번째 단계는 한정된 질문에 대해서 매우 꼼꼼하게 물어본다 : 서로 다른 워딩의 영향이라든가, 특정 답을 할 때 생각하게 되는 것, 특정 단어를 어떻게 이해하는가 등.

In the first phase we might ask each respondent in great detail about a limited number of questions: effects of different wordings, what they have in mind when they give a particular answer, how they understand a particular word, etc. 

두 번째 단계에서는 전체 설문문항을 설문조사관에 의해서 설문해본다.

In the second phase the whole questionnaire is administered by interviewers.

응답자나 설문조사관의 반응을 분석하면 설문조사를 향상시키는데 도움이 된다. 이상적으로는 응답자간 응답에 variation이 충분히 있어야 한다. 각 설문문항은 서로 다른 것을 물어야 한다. 즉, 두 설문문항이 지나치게 강한 상관관계가 있으면 안된다. 또한 응답률이 너무 낮아서도 안된다. 

Analysis of the responses and the interviewers’ comments are used to improve the questionnaire. Ideally, there should be sufficient variations in responses among respondents; each question should measure different qualities—that is, the responses between any two items should not be very strongly correlated— and the non-response rate should be low. 

세 번째 단계에서는 파일럿 연구를 더 다듬어서 문항의 순서를 조정하고, 문항을 거르고, 전체적 레이아웃을 구성한다.

In the third phase the pilot test is polished to improve the question order, filter questions, and layout.

---

Leung, Wai-Ching. "How to design a questionnaire." student BMJ 9.11 (2001): 187-189.