교육자의 블루프린트: 설문 시행의 how-to 가이드(AEM Educ Train. 2023)

교육자의 블루프린트: 설문 시행의 how-to 가이드(AEM Educ Train. 2023)
Educator's blueprint: A how-to guide on survey administration
Kathleen Y. Ogle MD1 | Jeffery Hill MD, MEd2 | Sally A. Santen MD, PhD2,3 | Michael Gottlieb MD4 | Anthony R. Artino Jr. PhD1 

서론
INTRODUCTION

설문조사 기반 의학교육 연구의 복잡성을 고려할 때, 이 시리즈의 의도는 학술 응급의학 내에서 설문조사 연구를 수행하는 과정을 단순화하는 것이었습니다.1, 2 우리의 목표는 설문조사 방법론에 대한 접근 방식을 개선하는 것이었으며, 이에 따라 의학교육 연구자들을 위한 지침으로 일련의 모범 사례 기사를 개발하고자 했습니다. 다른 논문에서는 설문조사 관리에 대해 간략하게 다루었지만, 본 논문에서는 각 유형의 관리 옵션의 문제점과 이점을 자세히 살펴봄으로써 다른 접근 방식을 제시합니다.3, 4 추적, 개인화, 설문조사 기간, 인센티브 사용, 응답자 참여와 관련된 이점과 과제에 대해 자세히 논의합니다. 
Given the complexity of survey-based medical education research, our intention with this series was to simplify the process of conducting survey research within academic emergency medicine.1, 2 Our goal was to improve the approach to survey methodology; as such, we sought to develop a series of best practices articles as a guide for medical education researchers. While other papers have briefly touched on survey administration, our paper offers a different approach, delving further into the challenges and benefits of each type of administration option.3, 4 We further discuss the benefits and challenges with respect to tracking, personalization, survey length, use of incentives, and engaging with respondents.

대상 모집단 샘플링
SAMPLING THE TARGET POPULATION

설문조사 관리 및 전달 방법을 고려할 때 연구자는 먼저 대상 모집단과 샘플링 프레임을 식별해야 합니다.5

• 대상 모집단은 연구자가 궁극적으로 기술하고 잠재적으로 추론하고자 하는 개인 그룹입니다.
• 반면에 샘플링 프레임은 표본을 추출하는 그룹 또는 목록입니다.

완벽한 세계에서는 샘플링 프레임이 대상 모집단과 완벽하게 일치하지만 실제로는 거의 발생하지 않습니다. 예를 들어, 대상 모집단은 ACGME 인증 프로그램의 모든 응급의학 핵심 교수진일 수 있습니다. 이 대상 집단을 샘플링하기 위해 연구자는 응급의학과 레지던트 디렉터 협의회(CORD) 리스트서브를 사용할 수 있습니다. 모든 핵심 교수진이 리스트서브에 가입하지 않을 수 있으므로 이는 대상 집단에 대한 완벽한 근사치는 아니지만, 연구자는 리스트서브가 대상 집단에 근접한 근사치라고 합리적으로 주장할 수 있습니다. 
When considering survey administration and delivery methods, researchers must first identify their target population as well as their sampling frame.5 

• The target population is the group of individuals the researcher ultimately aims to describe and potentially make inferences about.
• The sampling frame, on the other hand, is the group or list from which the sample is drawn.

In a perfect world, the sampling frame would perfectly match the target population; but in practice, this seldom occurs. For example, the target population might be all the emergency medicine core faculty in ACGME-accredited programs. To sample this target population, the researcher might use the Council of Residency Directors in Emergency Medicine (CORD) listserv. This is not a perfect approximation of the target population, since all core faculty may not subscribe to the listserv; however, the researcher could make a reasoned argument that the listserv is a close approximation of the target population.

가장 적절한 대상 집단과 해당 샘플링 프레임을 결정하기 위해 연구자는 설문조사의 목적과 실용적인 문제를 모두 고려하여 대표성 있는 응답과 실현 가능성을 보장하기 위해 적절한 범위의 균형을 맞춰야 합니다. 또 다른 중요한 요소는 설문조사의 응답률입니다. 응답률은 잠재적 설문 응답자 중 완료된 설문조사에 응답한 비율 또는 백분율을 의미합니다. 다시 말해, 응답률은 설문조사에 응답한 개인 수를 전체 잠재 응답자 수로 나눈 비율입니다. 최종 응답률은 개방형 응답과 폐쇄형 응답의 수(즉, 응답자는 일반적으로 긴 개방형 항목을 작성하는 것을 좋아하지 않으므로 응답률이 떨어질 수 있음)를 비롯한 여러 가지 중요한 요소의 영향을 받을 수 있습니다.6, 7 응답률이 중요한 이유는 충분한 사람이 설문조사를 완료하지 않으면 해당 데이터가 전체 그룹의 태도, 의견, 신념 또는 행동을 대표하지 못할 수 있으므로(즉, 무응답 편향이 존재할 수 있음) 응답률이 중요해집니다. 따라서 대표성 있는 표본 추출은 의미 있는 추론을 할 수 있을 만큼 충분한 표본을 확보하는 데 달려 있으며, 응답률은 표본의 대표성을 파악하는 데 필요한 정보의 일부(전부는 아님)를 제공합니다. 
To determine the most appropriate target population and corresponding sampling frame, the researcher must consider both the objectives of the survey and practical issues to balance appropriate coverage to ensure representative responses and feasibility. Another important factor is the survey's response rate. Response rate refers to the fraction or percentage of potential survey respondents who return completed surveys. Stated another way, response rate is the ratio of the number of individuals who responded to a survey divided by the number of total potential respondents. The ultimate response rate can be affected by a number of important factors, including, among other things, the number of open-ended versus closed responses (i.e., respondents generally do not like completing long, open-ended items, and so response rates can suffer).6, 7 Response rates are important because if a survey is not completed by enough people, then that data may not be representative of the attitudes, opinions, beliefs, or behaviors of the entire group (i.e., nonresponse bias may exist). Therefore, representative sampling depends on having a large enough sample to make meaningful inferences, and the response rate provides some (but not all) of the information needed to know how representative the sample is likely to be.

일반적으로 연구자는 연구의 상황적 한계(예: 대상 인구의 전체 규모 및 연구의 재정적 제약)를 고려하여 가능한 한 가장 높은 응답률을 달성하는 것을 목표로 해야 합니다. 또한 일부 학술지에서는 최소 응답률을 요구한다는 사실을 알아두는 것이 중요합니다. 예를 들어, JAMA는 설문조사 연구에 "일반적으로 60% 이상의 충분한 응답률을 요구합니다."8 즉, 표본 규모에 관계없이(특히 응답률이 낮은 경우) 연구자는 웨이브 또는 후속 분석과 같은 기법을 사용하여 잠재적인 무응답 편향이 있는지 평가해야 합니다. 응답률과 무응답 편향에 대한 보다 자세한 설명은 AMEE 가이드 102번: 설문조사에서 응답률 향상 및 무응답 편향 평가.6을 참조하시기 바랍니다.
As a rule, researchers should aim to achieve the highest response rate possible, given their study's contextual limitations (e.g., the overall size of the target population and the study's financial constraints). In addition, it is important to know that some journals require a minimum response rate. For example, JAMA asks that survey studies “have sufficient response rates, generally ≥60%.”8 That said, regardless of the sample size (but especially when response rates are low), researchers should assess for potential nonresponse bias using techniques such as wave or follow-up analysis. For a more complete description of response rates and nonresponse bias, interested readers are directed to AMEE Guide No. 102: Improving Response Rates and Evaluating Nonresponse Bias in Surveys.6

설문조사 관리 매체
MEDIUM OF SURVEY ADMINISTRATION

대상 인구와 샘플링 프레임이 결정되면 연구자는 가능한 한 높은 응답률을 보장하기 위해 잠재적 응답자에게 설문조사를 시행하는 가장 좋은 방법을 고려해야 합니다. 이 결정에는 예산 제약과 기관의 자원도 고려해야 합니다. 설문조사를 관리하거나 배포하는 방법에는 대면 또는 우편을 통한 종이 설문조사, 이메일 또는 스마트폰(모바일 앱 또는 문자)을 통한 전자 설문조사, 대면 또는 가상 회의, 소셜 미디어 등 다양한 방법이 있습니다.5-7, 9, 10 궁극적으로 복합적인 접근 방식이 일반적으로 가장 높은 응답률을 제공합니다.11 이러한 다양한 관리 접근 방식의 장점, 문제점 및 기타 고려 사항은 아래에 설명되어 있습니다(이러한 요소에 대한 요약은 표 1 참조).

Once the target population and sampling frame have been determined, researchers should consider the best way or ways to administer the survey to potential respondents to ensure the highest possible response rate. This decision should also factor in budgetary constraints and institutional resources. There are multiple ways to administer or distribute a survey: paper surveys, in person or via postal mail; electronic surveys, by email or smartphone (mobile app or text); audience response systems, in-person or virtual meetings; and social media.5-7, 9, 10 Ultimately, a multimodal approach will typically yield the highest response rate.11 Some of the benefits, challenges, and other considerations with these various administration approaches are described below (see Table 1 for a summary of these components).

TABLE 1. Survey delivery tool.

Survey delivery mode	Examples	Benefits	Drawbacks	Potential solutions
Paper survey
In person	In a classroom or conference	100% delivery to intended audience Physical copy Improved response rate if time allotted	Increased cost Increased time investment May not be delivered by PI (if there is a power differential) Environmental impact	Query institutional resources earmarked for this purpose Engage research assistants for survey delivery
Electronic survey
Web-based survey software	Email delivery QR code Text message Social media* App based (respondents may need the app)	Low cost Desktop, mobile device, or smartphone Charts, images, graphs may be integrated Allows for branching logic Can be automated May utilize listservs	Email fatigue Possible technical issues for individuals who prefer paper Easily missed	Include a prenotification Personalize the invitation Include survey in subject line of email
Audience response systems	In a classroom or conference In a live webinar	100% delivery to attendees	Missed responses from those not in attendance	Use a multimodal survey approach and send follow up survey to those not in attendance

• Note: Adapted from Step 4: Survey Delivery.5

종이 설문조사
Hard-copy surveys

직접 대면하거나 우편으로 전달하는 종이 설문조사는 웹 기반 또는 다른 유형의 전자 설문조사에 비해 몇 가지 장점이 있습니다. 종이 설문조사는 응답자에게 촉각적 동기를 부여하여 응답률을 높일 수 있습니다.7 또한 대면 종이 설문조사를 통해 연구자는 비교적 단기간에 대규모 표본 프레임에 쉽게 도달할 수 있습니다(예: 교실에서 학생을 대상으로 대면 설문조사를 실시하는 경우). 또한 종이 설문조사는 응답자가 전화 설문조사에서 같은 질문을 받는 것과 달리 질문한 내용을 시각적으로 더 잘 검토할 수 있습니다. 
Paper surveys, administered in person or less commonly delivered by postal mail, have several advantages over web-based or other types of electronic surveys. Hard-copy surveys provide respondents with a tactile motivator, which may increase response rates.7 In-person paper surveys can also allow researchers to easily reach a large sampling frame in a relatively short period of time (e.g., an in-person survey delivered to a captive audience of students in a classroom). Moreover, a paper survey may allow respondents to better review a visual representation of queried content, as opposed to being asked such questions on a phone survey.

대면 또는 우편 종이 설문조사 사용 시 한 가지 문제점은 응답자가 기밀 유지에 대해 우려하여 민감한 질문에 응답하거나 정확한 답변을 제공하지 않을 수 있다는 것입니다.5 또한 대면 또는 우편 종이 설문조사는 설문지를 인쇄하고 우편으로 발송한 다음 통계 소프트웨어 또는 스프레드시트에 데이터를 입력하는 데 드는 간접 비용이 더 많이 들 수 있습니다. 스캔 가능한 양식과 함께 종이 설문조사를 사용하면 데이터 입력 비용을 줄일 수 있지만, 응답자 입장에서는 '버블 시트'에 응답하는 데 약간의 복잡성이 추가될 수 있습니다. 
One challenge with using in-person or mailed paper surveys is that respondents may be concerned about confidentiality and thus less likely to respond or provide accurate responses to sensitive questions.5 Further, in-person or mailed paper surveys can have higher overhead costs associated with printing the surveys, mailing them, and then entering the data into statistical software or a spreadsheet. Using paper surveys with scannable forms can reduce data entry expense but can also add a small layer of complexity in answering on a “bubble sheet” (from the respondent's perspective).

전자 설문조사
Electronic surveys

전자 설문조사 사용을 고려하는 경우, 연구자가 선택할 수 있는 설문조사 플랫폼은 다양합니다(예: SurveyMonkey, Google 설문조사, Qualtrics, REDCap). 연구자는 이러한 리소스를 사용하기 위해 독립적으로 자금을 투자하기 전에 기관이 후원하는 웹 기반 옵션을 탐색할 수 있습니다(구체적인 예는 표 2에서 확인할 수 있습니다). 전자적 관리 방식에는 플랫폼에 통합된 몇 가지 장점과 기능이 있습니다. 
If considering the use of electronic surveys, researchers have a multitude of survey platforms to choose from (e.g., SurveyMonkey, Google Forms, Qualtrics, REDCap). Researchers might explore institution-sponsored, web-based options before independently investing funds in the use of these resources (specific examples can be found in Table 2). Electronic modes of administration have several benefits and features incorporated into the platform.

TABLE 2. Digital survey platforms.

Service	Benefits	Drawbacks
Qualtrics	Flexible design options Export to various statistic programs May be available to faculty through institutional license	Generally needs an institutional license as the cost may be prohibitive for individuals Cost is dependent on desired features
SurveyMonkey	May be available to faculty through institutional license Free for surveys with <10 items	Visual display is limited Paid subscription required to export data for analysis For >10 survey items, packages variable
Google Forms	Free and easy to use	Survey output may not track column order in Google Sheets Limited options for display and branching logic
LimeSurvey	Free	Need knowledge of computer programming
REDCap	May be available to faculty through institutional license	More complex to learn Limited ability to format survey items

• Note: Adapted from Step 4: Survey Delivery.5

 

이러한 각 도구에는 다양한 전달 옵션과 기타 고려 사항이 있습니다:

Each of these tools has various delivery options and other considerations:

• 전자 설문조사는 이메일을 통해 각 잠재 응답자에게 직접 전송할 수 있습니다. 개별 이메일 주소로 설문조사를 보내면 연구자가 표본을 적절하게 타겟팅하고 응답률을 모니터링할 수 있습니다.5
  Electronic surveys can be sent to each potential respondent directly via email. Sending the survey to individual email addresses allows the researcher to appropriately target the sample and monitor response rate.5
• 현재 설문조사 기반 연구에 사용되는 대부분의 플랫폼에는 일회용 링크가 생성될 수 있는 보안 옵션이 있습니다. 이렇게 하려면 개인화, 이메일을 포함한 연락처 목록 생성, 잠재적으로 식별 가능한 정보 또는 IP 주소 수집이 필요합니다. 플랫폼에 따라 다운로드한 설문조사 결과는 기밀 또는 익명일 수 있으므로, 예를 들어 약속된 '익명 설문조사'가 실제로 익명인지 확인하기 위해 선택한 플랫폼의 보안 기능을 검토하는 것이 중요합니다. 
  Most of the current platforms used for survey-based research have security options in which a single-use link may be generated. Doing so requires personalization, likely generation of a contact list including emails and collection of some potentially identifiable information or IP addresses. Depending on the platform, the downloaded survey results may be confidential or anonymous; therefore, it is important to review the security features of the chosen platform to ensure, for example, that a promised “anonymous survey” is in fact anonymous.
• 전자 설문조사는 웹 세미나 채팅 또는 가상 미팅에 링크를 삽입하거나 슬라이드의 QR 코드로 전송할 수 있습니다. 그러나 가상 미팅이나 웹 세미나의 채팅 트래픽에 따라 설문조사 링크가 쉽게 놓치거나 무시될 수 있습니다. 또한 이 방식은 참석하지 않은 대상 집단에서 잠재적 응답자를 놓칠 수 있으며, 일부 잠재적 응답자는 QR코드 사용법에 어려움을 겪을 수 있습니다. 
  Electronic surveys can be sent as a link placed in a webinar chat or virtual meeting or presented as a QR code on a slide. Depending on the chat traffic in a virtual meeting or webinar, however, a survey link could be easily missed or ignored. This approach also misses potential respondents from the target population who are not in attendance, and some potential respondents may struggle with how to use a QR code.
• 설문조사는 소셜 미디어나 여러 응답자에게 보내는 메시지의 하이퍼링크(예: 리스트서브)를 통해 광범위한 대상에게 배포할 수 있습니다.7, 9, 12 
  Surveys may be distributed to broad populations by social media or a hyperlink in a message to multiple respondents, i.e., via a listserv.7, 9, 12
• 대면 또는 가상 강의실에서 사용되는 것과 같은 청중 응답 설문조사는 연구자가 고정된 청중으로부터 실시간 데이터를 얻을 수 있다는 이점이 있습니다. 또한 여러 시스템(예: PollEverywhere, Kahoot!, Socrative)을 통해 응답을 추적할 수 있으므로 연구자는 청중 개개인의 응답률을 실시간으로 정량화할 수 있습니다. 청중 응답 시스템은 방에 있는 사람(직접 또는 가상으로)만 참여할 수 있으므로 모집단을 부적절하게 제한할 수 있습니다. 
  Audience response surveys, like those used with in-person or virtual classrooms, have the benefit of allowing researchers to obtain real-time data from a captive audience. Several systems (e.g., PollEverywhere, Kahoot!, Socrative) can also track the responses, which can allow the researcher to quantify the response rate of the individuals present in the audience in real time. Audience response systems only allow those present in the room (either in person or virtually) to participate and may inappropriately limit the population.

전자 설문조사와 그 결과 보고에는 몇 가지 어려움과 특별한 고려사항이 있습니다.13 개별 이메일을 사용하는 경우, 연구자는 설문조사가 완전한 익명(즉, 개인화된 데이터가 수집되지 않음)이 아닌 기밀(즉, 비식별화) 설문조사인지 여부를 명시해야 합니다. Qualtrics, SurveyMonkey와 같은 대부분의 전자 설문조사 도구에는 다양한 유형의 기밀 또는 익명 데이터 수집을 허용하는 시스템 설정이 있습니다. 설문조사가 진정으로 익명인 경우(즉, 응답을 개인의 개인 정보와 연결할 방법이 없는 경우) 이를 명시적으로 명시해야 하기 때문에 이 구분이 중요합니다. 그러나 실제로는 설문조사 데이터를 다른 결과와 연결하기 위한 목적으로 개인 정보를 수집하는 경우가 많습니다(예: 의대생의 코스에 대한 의견을 코스 성적과 연결). 이러한 접근 방식은 응답하지 않은 응답자에게 다시 연락하거나 후속 조치를 취하는 데도 용이합니다.  
There are several challenges and special considerations with electronic surveys and in reporting of those results.13 If using individual emails, researchers should specify whether a survey is confidential (i.e., deidentified) as opposed to truly anonymous (i.e., no personalized data is collected). Most electronic survey tools, like Qualtrics and SurveyMonkey, have system settings that allow for various types of confidential or anonymous data collection. This distinction is key because if the survey is truly anonymous (i.e., there is no way to link responses to an individual's personal information), then this should be explicitly stated. In practice, however, personal information is often collected for the purpose of linking survey data to other outcomes (e.g., linking a medical student's opinions on a course to their course grades). Such an approach also facilitates recontact or follow-up for nonresponders.

소셜 미디어와 대규모 리스트서브를 통해 설문조사를 배포할 때 가장 큰 어려움 중 하나는 실제 표본 프레임이나 응답률을 추적할 수 없어 대표성이 제한되고 설문조사 결과를 게시하기 어려울 수 있다는 점입니다. 또한 이메일을 통해 배포되는 설문조사의 경우 분모가 불분명하기 때문에 응답률을 계산하기 어려울 수 있습니다. 어떤 연구자들은 이메일을 보낸 횟수를 계산하고, 어떤 연구자들은 이메일을 열어본 횟수를 계산하며, 또 다른 연구자들은 이메일에서 클릭한 링크 수를 분모로 계산합니다. 어떤 방법을 사용하든 연구자는 응답률과 설문조사 완료율을 계산한 방법을 정확히 설명하는 것이 중요합니다.14 
One of the major challenges of disseminating a survey by social media and large listservs is the inability to track the true sampling frame or response rate, which can limit representativeness and result in survey results that are difficult to publish. What is more, it can be difficult to calculate a response rate for surveys that are distributed via email because the denominator is sometimes unclear. Some researchers count emails sent, and others count emails opened, while still others count the number of links clicked in an email as the denominator. Regardless of the method used, it is important for researchers to describe exactly how they have calculated their response rate and surveys completed.14

또한 연구자는 샘플링 프레임에 속하지 않는 응답자의 응답을 샘플링하게 될 수도 있습니다. 따라서 이 매체가 특정 연구에 적합한 이유(예: 특수 집단에 대한 접근성)를 설명하고 응답자의 대표성을 적절히 확보하는 것이 중요합니다. 마찬가지로 리스트서버를 통해 이메일에 링크를 넣으면 특히 리스트서버가 오래된 주소로 채워진 경우 응답률을 파악하기 어렵습니다. 또한 리스트서브에는 의도한 표본에 포함되지 않은 개인이 포함될 수 있습니다(예: CORD 리스트서브에는 프로그램 디렉터만 있는 것이 아니라 그 이상의 사람들이 포함됨). 
Further, researchers may end up sampling responses from respondents who do not fall in their sampling frame. Therefore, it is important to demonstrate why this medium is appropriate for a specific study (e.g., access to special populations) and ensure adequate representativeness of the respondents. Similarly, placing a link in an email via listserv also makes it difficult to determine response rate, especially if the listserv is populated with outdated addresses. Additionally, the listserv may include individuals who are not part of the intended sample (e.g., the CORD listserv has more than just program directors).

참여자 참여에 영향을 미치는 요인
FACTORS IMPACTING PARTICIPANT ENGAGEMENT

위에서 설명한 바와 같이, 대부분의 연구자들은 무응답 편향을 줄이기 위해 높은 응답률을 얻기 위해 노력합니다. 따라서 연구자는 응답자의 동기를 부여하고 설문조사에 참여하도록 장려하는 전략을 사용할 수 있고 또 사용해야 합니다. 다음은 응답자의 동기를 강화하고 전반적인 응답률을 향상시키는 데 사용할 수 있는 몇 가지 전략입니다. 
As described above, most researchers strive to obtain a high response rate in an effort to reduce nonresponse bias. As such, researchers can and should use strategies to encourage respondent motivation and participation in the survey. The following are several strategies that can be used to bolster respondent motivation and improve overall response rates.

추적
Tracking

설문조사 전달 방법을 선택할 때 연구자는 수신 및 응답을 추적할 수 있는 기능을 고려해야 합니다. 이를 통해 연구팀은 응답하지 않은 참가자에게 리마인더를 보낼 수 있습니다. 대부분의 경우 설문조사 요청에 응답하는 대부분의 참가자는 참여 초대를 받은 후 처음 2주 이내에 응답한다는 점을 기억하는 것이 중요합니다.7, 9 
In selecting a survey delivery method, researchers should consider their ability to track receipt and responses. Doing so allows the research team to send reminders to nonresponding participants. It is important to remember that, in most cases, many participants who respond to a survey request will do so within the first 2 weeks of an invitation to participate.7, 9

개인화
Personalization

대화식 인사말을 사용하여 설문조사 초대를 개인화하면 응답자에게 긍정적인 동기 부여 효과를 줄 수 있으며, 특히 응답자가 아는 사람이 초대를 보낸 경우 더욱 그렇습니다. 경우에 따라서는 영향력이 있거나 기존 관계를 맺고 있는 사람이 수신 설문조사에 대한 사전 주석을 달면 긍정적인 영향을 미칠 수 있습니다. 설문조사가 연구에 사용되는 경우 이러한 접근 방식은 현지 기관 심의위원회의 검토가 필요합니다. 
Personalizing survey invitations using conversational salutations can have a positive motivational effect on respondents, particularly if the invitation also comes from an individual the respondent knows. In some cases, a prenotification of an incoming survey, delivered by a person who has either influence or an existing relationship, may have a positive impact. If the survey is being used for research, then such an approach will require review by the local institutional review board.

설문조사 길이
Survey length

설문조사 길이는 참여자의 참여를 결정하는 데 가장 큰 영향을 미치는 요소 중 하나입니다. 응답률을 높이는 방법에 대한 최근 메타분석에서 Edwards와 동료들은 짧은 설문조사를 사용할 때(긴 도구에 비해) 응답률이 거의 두 배나 높다는 사실을 발견했습니다.9 또한 설문조사 초대장에 "간단한" 또는 "짧은"과 같은 한정어를 제공하는 것이 설문조사에 질문 수를 명시하거나 설문조사 완료에 필요한 시간을 추정하는 것보다 더 도움이 될 수 있습니다.5-7, 17 
Survey length is one of the most influential factors in determining participant engagement. In a recent meta-analysis of methods to increase response rates, Edwards and colleagues found that responses were almost twice as likely to occur when shorter surveys were used (as compared to longer tools).9 In addition, providing a qualifier such as “brief” or “short” in the survey invitation may be more helpful than specifying the number of questions on the survey or estimating the amount of time required to complete the survey.5-7, 17

인센티브
Incentives

현금, 선물 또는 기프트 카드 형태의 인센티브는 연구자들에 의해 다양한 성공 사례와 함께 널리 사용되고 있습니다. 에드워즈 등은 메타분석을 통해 금전적 인센티브를 사용할 경우 응답 확률이 두 배 이상 증가했으며, 이러한 인센티브가 응답에 조건이 없는 경우 그 확률이 다시 두 배 가까이 증가한다는 사실을 발견했습니다.15, 16, 18 즉, 가장 효과적인 인센티브는 조건이나 조건 없이 미리 제공되는 인센티브입니다. 이러한 무조건적인 접근 방식은 연구자와 응답자 사이에 "사회적 계약"을 맺는 효과를 가져옵니다. 즉, 연구자가 잠재적 응답자에게 아무런 조건 없이 돈을 주었기 때문에 응답자는 설문을 완료할 필요가 없더라도 이에 보답하고 설문을 완료해야 할 의무를 느낍니다.18, 19 금전적 인센티브(특히 모든 사람에게 조건 없이 선지급하는 인센티브)를 제공하는 것이 설문조사 완료를 요구하는 인센티브나 추첨 기반 인센티브(예: "참여하면 추첨에 응모하여 경품을 드립니다")보다 훨씬 효과적인 접근 방식인 경향이 있습니다. 
Incentives in the form of cash, a gift, or a gift card are widely used by researchers with varying success. In their meta-analysis, Edwards et al. found that the odds of response were more than doubled when a monetary incentive was used, and those odds nearly doubled again when such incentives were not conditional on response.15, 16, 18 In other words, the most effective incentives are those that are given up front with no conditions or strings attached. This unconditional approach has the effect of creating a “social contract” between the researcher and the respondent. That is, the researcher has given the potential respondent money with no conditions attached, and so the respondent feels obligated to return the favor and complete the survey, even though completion is not required.18, 19 Providing monetary incentives (and especially up-front incentives for everyone, with no conditions) tends to be a much more efficacious approach than incentives that require survey completion or lottery-based incentives (e.g., “if you participate, you will be entered into a lottery to potentially win a prize”).

참여자의 관심도
Participant interest

흥미로운 설문조사는 흥미롭지 않은 설문조사보다 높은 응답률을 보입니다. 실제로 에드워즈와 동료들15은 참가자의 흥미를 염두에 두고 설계된 설문조사의 응답률이 두 배 이상 높다는 사실을 발견했습니다.9 연구자는 잠재적 응답자의 흥미를 끌 수 있는 고품질 설문조사 도구를 만들어 이 결과를 활용할 수 있습니다. 또한 연구자는 광범위한 연구 활동에서 설문조사의 중요성을 명시적으로 언급하고 응답자에게 이 작업이 관심 있는 주제 영역과 어떻게 연결될 수 있는지 설명할 수 있습니다. 반면에 민감한 질문을 하는 설문조사는 응답자 익명성을 약속하더라도 응답 편향이 발생하고 응답률이 훨씬 낮은 경향이 있습니다.9
Interesting surveys garner higher response rates than uninteresting surveys. In fact, Edwards and colleagues15 found that surveys designed with the participant's interest in mind were more than twice as likely to be returned.9 Researchers can use this finding to their advantage by creating high-quality survey tools that are interesting to potential respondents. Researchers can also explicitly address the importance of the survey to their broader research efforts and tell respondents how this work might link to topic areas of interest to them. On the other hand, surveys that ask sensitive questions tend to create response bias and have much lower response rates, even when respondent anonymity is promised.9

커뮤니케이션 및 재연락 프로세스
COMMUNICATION AND RECONTACT PROCESSES

설문조사 관리와 관련하여 응답자와 소통할 때는 신중한 생각과 고려가 필요합니다. 처음부터 설문조사 초대장에는 설문조사와 그 목적에 대한 일관되고 직관적인 설명이 포함되어야 합니다. 연구자는 설문조사와 개별 참가자와의 관련성을 명확하게 설명해야 합니다(위에서 설명한 대로 참가자의 관심을 끌기 위해). 모든 응답자에게 가장 효과적인 특정 초대 시기는 없지만, 초기 초대와 후속 초대 시기를 달리하면varying 응답률 향상에 도움이 될 수 있습니다. 또한, 문헌에 따르면 전체 응답률을 높이려면 최소 3번의 시도(또는 리마인더)를 해야 한다고 합니다.4, 15, 16 Willis 등.20 또한 잠재적 응답자에게 3번 이상의 요청을 보낸 후 응답률이 크게 개선되지 않는 것으로 나타났습니다.15, 20, 21 
Communicating with respondents surrounding survey administration requires careful thought and consideration. From the outset, the invitation must have a coherent and straightforward description of the survey and its purpose. Researchers should articulate the relevance of the survey study to the individual participant (in the hopes of piquing their interest as discussed above). Although there is no specific invitation timing that tends to work best for all respondents, varying the time of delivery of initial and follow-up invitations may help to improve response rates. Moreover, the literature suggests that a minimum of three attempts (or reminders) should be made to improve the overall response rate.4, 15, 16 Willis et al.20 also found no significant improvement in response rates after more than three requests are sent to potential respondents.15, 20, 21

결론
CONCLUSIONS

연구자는 설문조사 관리에 영향을 미치는 요소를 고려해야 합니다. 이러한 요소에는 연구자의 대상 모집단과 표본 추출 프레임, 각각의 장점과 문제점을 고려하여 선택한 관리 방식, 응답자 참여에 영향을 미치는 요소, 마지막으로 커뮤니케이션 및 후속 조치 방식이 포함됩니다. 연구자가 연구 결과를 대상 집단에 적용하려면 샘플링 프레임이 해당 집단을 대표할 수 있어야 합니다. 또한 참여도와 의미 있는 응답을 높이려면 연구가 대상 집단과 관련이 있고 흥미로운 것이면 도움이 됩니다. 선택한 관리 모드에 관계없이 멀티모달 접근 방식이 응답률이 가장 높은 경우가 많으므로 권장됩니다. 또한 개인화, 인센티브 사용, 잠재적 응답자와의 빈번한 고품질 커뮤니케이션도 응답률을 향상시킬 수 있습니다. 결국, 연구자는 대상 집단에 대한 대표 데이터를 수집하기 위해 의도적으로 노력해야 하며, 의도한 추론을 뒷받침하는 응답을 얻기 위해 신중한 선택을 해야 합니다.  

Researchers should consider factors that influence survey administration. These factors include the researcher's target population and sampling frame; their selected modality for administration, taking into account the respective benefits and challenges of each; factors that influence respondent participation; and finally, modes of communication and follow-up. For researchers to apply their results to the target population, the sampling frame should be representative of that group. Further, to enhance engagement and meaningful responses, it is helpful if the research is relevant and interesting to the target population. Regardless of the chosen administration mode, a multimodal approach is recommended, as it often results in the highest response rates. In addition, personalization, the use of incentives, and frequent, high-quality communication with potential respondents can also improve response rates. In the end, researchers should be intentional about collecting representative data about their target population and make deliberate choices when it comes to garnering responses in support of the inferences they intend to make.

 

---

Abstract

In this paper, we take the lessons learned from designing a survey and collecting validity evidence and prepare to administer the survey for research. We focus specifically on how researchers can reach individuals in the target population, methods of contact and engagement, evidence-informed factors that enhance participation, and recommendations for follow-up with nonrespondents. We also discuss the challenges of survey administration and provide guidance for navigating low response rates. Surveys are a common tool used to evaluate educational initiatives and collect data for all types of research. However, many clinician educators conducting survey-based evaluation and research may struggle to efficiently administer their survey. As a result, they often struggle to obtain appropriate response rates and thus may have difficulty publishing their survey results. Previous papers in this series focused on the initial steps of survey development and validation, but it is equally important to understand how best to administer your survey to obtain meaningful responses from a representative sample.