의학교육 연구에 델파이나 NGT와 같은 합의 그룹 방법 사용하기(AMEE Guide, 2017)

의학교육 연구에 델파이나 NGT와 같은 합의 그룹 방법 사용하기(AMEE Guide, 2017)

Using consensus group methods such as Delphi and Nominal Group in medical education research

Susan Humphrey-Murtoa, Lara Varpiob, Carol Gonsalvesa and Timothy J. Wooda

aDivision of Rheumatology, University of Ottawa, Ottawa, Canada; bSchool of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA

도입

Introduction 

의학 교육자는 보건 전문가의 교육 및 평가에 관한 결정을 내릴 때 과학적 근거가있는 최신 연구 결과를 사용하기 위해 노력합니다. 그러나 교육 연구의 경험적 증거는 종종 제한적이거나 모순적이다 (van der Vleuten 2014). 불확실성이나 불완전한 증거가있는 상황에서 Delphi, 명목 집단 기술 (NGT), RAND corporation / University of California Los Angeles 적합성 평가 방법 (RAND / UCLA)과 같은 합의 집단 방법이 전문가 의견을 종합하고 의사 결정을 향상시키는 데 널리 사용됩니다.

Medical educators strive to use the latest findings from scientifically grounded research when making decisions regarding education and assessment in the health professions. Empirical evidence from educational research, however, is often limited or contradictory (van der Vleuten 2014). When faced with conditions of uncertainty or incomplete evidence, consensus group methods such as Delphi, nominal group technique (NGT), and the RAND corporation/ University of California Los Angeles appropriateness method (RAND/UCLA) are widely used to synthesize expert opinions and enhance decision making (Jones & Hunter 1995; Murphy et al. 1998, p. 4; Campbell et al. 2001; Fitch et al. 2001). 

표준 교과서는 연구자가 이러한 방법을 이용할 수 있도록 명확한 가이드 라인을 제공하는 경우는 드물지만, 방법 론적 엄격함이 부족한 경우가 많습니다 (Boulkedid 외 2011, Sinha 외 2011, Diamond 외 2014, Wagoner 외 2016). AMEE 지침서는 "방법"접근법을 제공하고, 방법론 및 보고의 공통된 약점을 강조하고, 미래의 합의를 기반으로 한 연구보고에 대한 개요를 설명하기 위해 이러한 방법을 설명합니다.

Standard textbooks rarely provide clear guidelines to help researchers utilize these methods, and studies using them often lack methodological rigor (Boulkedid et al. 2011; Sinha et al. 2011; Diamond et al. 2014; Waggoner et al. 2016). The AMEE Guide describes these methods to provide a “how to” approach, highlight common weaknesses in methodology and reporting, and outline recommendations for reporting future consensus based studies. 

교육에서 합의 방법을 사용하는 이유는 무엇입니까?

Why use consensus methods in education? 

임상의가 정기적으로 치료 옵션에 대해 어려운 선택을하는 것과 마찬가지로 보건 전문 교육자는 불확실성에도 불구하고 의사 결정을 내려야합니다. 의학 교육에서는 합의 된 그룹 방법을 사용하여 

• 새로운 또는 개정 된 커리큘럼의 구성 요소를 결정하고,

• 평가 도구를위한 항목 개발,

• 역량을 정의하고,

• 교육 자원을 개발(Humphrey-Murto 외 2014).

Just as clinicians regularly make difficult choices about treatment options, health professional educators must make decisions in the face of uncertainty. In medical education, consensus group methods are used to 

determine components of a new or revised curriculum, 

develop items for assessment tools,

define competencies, and 

develop educational resources (Humphrey-Murto et al. 2014). 

컨센서스 그룹 방법론 - 정의와 이론적 근거

Consensus group methods – definition and rationale 

합의 방법은 합의를 측정하고 발전시키기위한 체계적인 수단으로 정의된다. 이 방법의 목표는 전문가가 특정 쟁점에 얼마나 잘 동의 하는지를 확인하는 것이며, 전문가 패널과상의하고 그룹 합의를 수락함으로써 정확하고 신뢰할 수있는 평가가 가장 잘 이루어질 수 있다는 생각에 기반한다 (Campbell et al. Tammela 2013). 공식적인 합의 그룹 방법을 사용하는 경우는 그룹의 의사 결정에 대한 가정에 기초한다. 잠재적 우위는 

• 이용 가능한 광범위한 지식과 경험,

• 논쟁은 아이디어에 도전하고 새로운 아이디어를 자극 할 수 있습니다.

• 그룹 공감대가 더 믿을만한 것으로 여겨 질 수있다.(Murphy et al. 1998, p.1).

Consensus methods are defined as a systematic means for measuring and developing consensus. The goal of these methods is to establish how well experts agree on a particular issue, and is based on the idea that accurate and reliable assessment can be best achieved by consulting a panel of experts and accepting the group consensus (Campbell et al. 2001; Tammela 2013). The case for using formal consensus group methods is based on assumptions about decision-making in groups; potential advantages include 

• a wider range of knowledge and experience available, 

• debate may challenge ideas and stimulate new ones, and 

• group consensus may be seen as more credible (Murphy et al. 1998, p. 1). 

합의 그룹 방법은 익명 성, 반복, 통제 된 피드백, 통계적 그룹 응답, 구조화 된 상호 작용 (Jones & Hunter 1995; Murphy et al. 1998; Vernon 2009)과 같은 공통된 특징을 가져야한다. 이것은 비공식 집단 회의를 공식적인 합의 방법과 구별한다.

The consensus group methods should have the following common features: anonymity, iteration, controlled feedback, statistical group response and structured interaction (Jones & Hunter 1995; Murphy et al. 1998; Vernon 2009). This differentiates informal group meetings from formal consensus methods. 

합의 그룹 기법

Consensus group methods 

Several consensus methods have been described. Two consensus methods that predominate are the Delphi and NGT. The RAND/UCLA is a hybrid of these two methods. 

델파이

Delphi 

델파이 기술은 1950 년대 미국의 RAND 공군 공사 (Murphy 등 1998)에 의해 처음 기술되었다. Delphi는 과학 기술, 보건, 비즈니스, 의사 소통, 교육, 정책 분석 등 다양한 분야에서 사용되고 있습니다 (de Loe 외 2016; Vazquez-Ramos 외 2007). 의학 교육에서 합의 그룹 방법을 사용한 논문 중 75%에서 델파이와 수정 된 델파이를 사용하였다(Humphrey-Murto 외 2014).

The Delphi technique was initially described by the RAND Air Force Corporation in America in the 1950s (Murphy et al. 1998). The Delphi has been used in many fields including science and technology, health, business, communication, education, policy analysis (de Loe et al. 2016; Vazquez-Ramos et al. 2007). In medical education, the Delphi and modified Delphi account for 75% of papers using consensus group methods (Humphrey-Murto et al. 2014). 

델파이 방법과 절차

The Delphi method and process 

델파이 방법은 

1. 연구 문제 식별, 

2. 참여자 선택, 

3. 성명서 설문지 개발, 

4. 익명의 반복적 인 우편 또는 전자 우편 설문지 작성, 

5. 라운드 간의 개인 및 그룹 피드백 수집 

6. 결과 요약 (Jones & Hunter 1995; Murphy et. al., 1998; Campbell et al., 2001). 

The Delphi method includes the following stages: 

1. identifying a research problem, 

2. selecting participants, 

3. developing a questionnaire of statements, 

4. conducting anonymous iterative postal or email questionnaire rounds, 

5. collecting individual and group feedback between rounds and 

6. summarizing the findings (Jones & Hunter 1995; Murphy et al. 1998; Campbell et al. 2001). 

이 과정은 최선의 합의 수준에 도달 할 때까지 또는 사전 결정된 횟수의 라운드가 완료 될 때까지 반복됩니다. 고전적 델파이 방법에서 참가자들은 결코 서로 만나지 않는다. (Murphy et al. 1998)

This process is repeated until the best possible level of consensus is reached, or until a predetermined number of rounds have been completed. Participants never meet or interact directly in the classically described Delphi method (Murphy et al. 1998) (see Table 1 available online as Supplemental Material). 

연구 문제의 초기 식별에는 일반적으로 특정 문제에 대한 솔루션이나 권장 사항을 찾는 데 관심이있는 전문가 그룹이 포함됩니다. 예를 들어, 한 그룹의 연구자는 캐나다 내과의 주민들을위한 전국적인 신경과 교과 과정을 개발하기를 원했다 (Lazarou et al., 2011). 연구 팀은 신경 교과서를 검토하고 연구팀이 생성 한 추가 주제를 추가하여 설문지를 작성했습니다. 초기 설문 조사는 신경학의 모든 주제에 대한 포괄적 인 목록으로 구성되었습니다.

The initial identification of the research problem usually involves a group of experts who share an interest in seeking solutions or recommendations to a particular problem. For example, a group of researchers wanted to develop a national neurology curriculum for internal medicine residents in Canada (Lazarou et al. 2011). The research team developed the questionnaire based on reviewing neurology textbooks and adding additional topics generated by the research team. The initial survey was composed of a comprehensive list of all topics in neurology. 

델파이 1라운드에는 각 진술에 동의 한 전문가 참가자에게 설문지를 우편으로 발송하고 목록에 새 항목을 추가 할 수 있습니다. Delphi 참가자 수는 4 명에서 3000 명까지 다양합니다 (Campbell 외 2001). 국가 신경학의 예에서 참가자들은 각 항목을 5 점 척도로 평가하도록 요청 받았다 (분명히 포함 할 수도 있고, 중립적 인 가능성 배제, 확실히 제외 할 수도 있음). 이 연구의 참여자는 캐나다 전역의 모든 대학교의 내과 프로그램 및 신경 프로그램 디렉터와 해당 기관의 내과 의사 거주자로 구성되었습니다. 일부 델파이 연구에는 초기 설문지 개발이 없습니다. 대신, 초기 라운드는 참가자들의 아이디어 생성을위한 것입니다. 이는 특정 주제에 대해 거의 알려지지 않은 경우 매우 관련이 있습니다.

Round 1 of a Delphi involves mailing out the survey to expert participants who rank their agreement with each statement, and may be allowed to add new items to the list. The number of participants in the Delphi has ranged from 4 to 3000 (Campbell et al. 2001). In the national neurology example, the participants were asked to rate each item on a 5-point scale (definitely include, possibly include, neutral, possible exclude, and definitely exclude). The participants in this study consisted of directors of internal medicine programs and neurology programs for all Universities across Canada as well as internal medicine residents from those institutions. In some Delphi studies, there is no initial questionnaire development; instead, the initial round is for idea generation from the participants. This is very relevant when little is known about a particular topic. 

라운드간에 연구 팀은 순위를 대조하고 익명화한 결과를 검토를 위해 참가자에게 돌려 보냅니다. 양적 데이터에는 각 항목의 평균, 중간 및 / 또는 빈도 분포가 포함될 수 있습니다. 참가자는 대개 다른 참가자와의 상대적인 순위를 볼 수 있으며 항목의 순위를 다시 매길 수 있습니다. 일부 연구에서는 참여자가 자신의 견해가 다른 연구와 크게 다를 때 서면 피드백을 제공하도록 요청 받게됩니다.

Between rounds, the research team collates the rankings and the anonymous collated results are sent back to participants for review. The quantitative data might include the mean, median and/or frequency distribution for each item. Participants would usually be able to see their ranking relative to other participants, and have an opportunity to re-rank the items. In some studies participants would also be asked to provide written feedback when their views differed substantially from the others. 

항목 및 참가자 목록은 각 라운드마다 다를 수 있습니다. 

• 일부 연구에서는 항목의 전체 목록이 각 라운드에 보내지는 반면, 어떤 연구에서는 합의가 부족한 항목 만 재전송됩니다. 

• 참가자 그룹은 각 라운드마다 같을 수도 있고,이 예와 같이 프로그램 디렉터만 2 라운드에 포함될 수도 있습니다. 

• 라운드 수는 2에서 10을 초과 할 수 있습니다. 

• 최종 순위 또는 항목 목록은 최종 확인을 위해 참가자에게 전송 될 수 있습니다.

The list of items and participants may vary for each round. In some studies the entire list of items would be sent for each round, while in others only those items in which there was a lack of agreement would be re-sent. The participant group may be the same for each round, or, as in this example, only the program directors are included in the second round. The number of rounds may vary from 2 to over 10. The final ranking or list of items may be sent to the participants for final verification. 

델파이 방법의 장점은 지리적으로 분산되어있는 다수의 참여자가 잠재적으로 포함될 수 있다는 점을 포함하며 국제 연구에 선호되고 있습니다. 그것은 상대적으로 저렴하고 익명 성을 최대로 보장함으로써 특정 개인에 의한 과도한 지배력을 피하지만 토론과 토론을 제한 할 수 있습니다.

The benefits of the Delphi method include the potential inclusion of a large number of participants who are geographically dispersed, and clearly are favored for international research. It is relatively inexpensive and avoids undue dominance by specific individuals by providing the greatest degree of anonymity but may limit discussion and debate. 

명목그룹기법

Nominal group technique (NGT) 

NGT는 1960 년대 Delbecq와 Van de Ven에 의해 개발되었다 (Murphy et al., 1998, p.3). NGT는 Delphi의 여러 기능을 공유하지만 대조적으로 5-12 명이 참여하는 구조화 된 대면 상호 작용이 있습니다. 이것은 종종 항목 생성에 사용되며 토론 기회를 제공합니다 (Jones & Hunter 1995). 이 단계는 표 1에 요약되어 있습니다. 

The NGT was developed by Delbecq and Van de Ven in the 1960s (Murphy et al. 1998, p. 3). The NGT shares several features of the Delphi, but in contrast is a structured face-to-face interaction usually involving 5–12 participants. It is often used for item generation and provides an opportunity for discussion (Jones & Hunter 1995). The steps are outlined in Table 1 (available online as Supplemental Material). 

연구 팀은 명목상의 질문을 작성하고 전문가 참가자 패널을 모집합니다. 델파이와 달리 문헌 검토는 현재 완수되지는 않았지만 참가자들에게 배경 정보가 제공됩니다. 참가자들은 얼굴을 마주 보며 만남을 갖고 독립적으로 아이디어를 녹음함으로써 명목상의 질문에 답합니다. 

• 이러한 아이디어는 라운드 로빈 형식으로 그룹과 공유되며 각 참가자는 목록에서 하나의 항목을 공유합니다. 

• 이러한 아이디어는 모든 참가자가 더 이상 독창적 인 생각을 갖지 못할 때까지 응답을 문서화 한 촉진자가 기록합니다. 

• 플립 차트 또는 응답 목록이 모든 사람에게 표시되도록 게시됩니다. 

• 진행자는 그룹 토론을 진행하여 각 아이디어가 차례로 논의되고 유사한 아이디어가 그룹화되며 설명이 제공됩니다. 

The research team formulates a nominal question and gathers a panel of expert participants. Unlike the Delphi, a literature review is not always completed at this time, but background information is provided to the participants. The participants meet face to face and respond to the nominal question by recording his/her ideas independently and privately. 

• These ideas are then shared with the group in a round-robin format, with each participant sharing one item from their list. 

• These ideas are recorded by a facilitator who documents the responses until all participants have no more original ideas. 

• Often, a flip chart or list of the responses is posted for all to see. 

• The facilitator then leads a group discussion where each idea is discussed in turn, with similar ideas grouped together, and clarification provided. 

일부 설정에서는 프로세스가 여기서 끝날 수 있습니다. 그러나 일반적으로 개인은 항목에 대해 비공개 투표를하고 결과는 집단으로 (익명으로) 그룹에 피드백됩니다. 더 많은 토론과 투표가있을 수있다 (Murphy et al., 1998). 전체 과정은 1.5 시간에서 최대 6 시간까지 지속될 수있다 (Campbell et al., 2001). 진행자는 효과적으로 세션을 실행해야합니다.

In some settings, the process may end here. Usually, however, individuals then vote privately on the items and results are then fed back to the group in aggregate (anonymously). Further discussion and voting may take place (Murphy et al. 1998). The entire process may last from 1.5 to up to 6 hours (Campbell et al. 2001). A facilitator is required to effectively run the session. 

NGT의 장점에는 더 많은 아이디어가 생성되고 토론 및 토론의 잠재 성이 포함됩니다. 제한 사항에는 델파이보다 참가자 수가 적으며 지배적 인 참가자가 그룹에 과도하게 영향을 줄 가능성이 있습니다.

Advantages of the NGT include the generation of a larger number of ideas and the potential for discussion and debate. Limitations include a smaller number of participants than the Delphi, and the potential for dominant participants to unduly influence the group. 

RAND기법

RAND/UCLA appropriateness method (RAND/UCLA) 

RAND / UCLA 방법은 의료 및 수술 절차의 남용 및 과용을 측정 할 수 있도록 개발되었습니다 (Fitch et al., 2001). concept of appropriateness란 예상되는 건강상의 이익이 예상되는 부정적인 결과를 초과해야한다는 사실을 의미합니다. RAND / UCLA는 델파이와 NGT의 하이브리드라고도합니다. 델파이와 마찬가지로, 연구 문제의 확인, 문학 검색의 완성, 성명서의 설문지 작성으로 시작되어 참가자들에게 전달됩니다. 설문지에는 특정 치료를 받을 수 있는  a list of specific clinical scenarios or indications of patients가 포함될 수 있습니다. 참가자는 배경 정보 (문헌 검토, 정의)도받습니다. 

The RAND/UCLA method was developed to enable the measurement of the overuse and underuse of medical and surgical procedures (Fitch et al. 2001). The concept of appropriateness refers to the fact that the expected health benefits should exceed the expected negative consequences. RAND/UCLA has also been referred to as a hybrid of the Delphi and NGT. Like Delphi, it begins with identification of a research problem, completion of a literature search, and development of a questionnaire of statements, which is sent out to participants. The questionnaire might involve a list of specific clinical scenarios or indications of patients who may present for a certain treatment. Participants also receive background information (literature review, definitions). 

첫 번째 라운드에서 참가자들은 대면하지 않습니다. 대신 전자 메일 또는 우편 설문 조사를 통해 개별적으로 각 항목의 순위를 매 깁니다. 원래의 설명에서, 각 적응증에 대해 참가자들은 1-9의 척도로 절차의 편익 대비 비율을 평가합니다. 여기서 1은 예상되는 피해가 예상되는 편익보다 훨씬 크다는 것을 의미하고, 9는 예상되는 편익이 예상되는 피해보다 훨씬 큽니다. 중간 등급은 해악과 이득이 설명 된 환자와 거의 동일 함을 의미한다 (Fitch et al., 2001).

In the first round, participants do not meet face-to-face; instead, they rank each item individually via email or mailed survey. In the original description, for each indication, the participants rate the benefit-to-harm ratio of the procedure on a scale of 1–9, where 1 means that the expected harms greatly outweigh the expected benefits, and 9 means that the expected benefits greatly outweigh the expected harms. A middle rating means that the harms and benefits are about equal for the patient described (Fitch et al. 2001). 

NGT와 마찬가지로 다음 단계는 대면 결과를 그룹의 각 구성원에게 피드백하는 대면 회의를 포함합니다. 참석자들은 다른 참가자들이 어떻게 투표했는지에 비추어 자신의 평점에 대해 토론 할 기회를 가지며, 그 후에 사적인 투표가 다시 발생합니다. 합의가 강제되어서는 안되며 결과가 "적절", "불확실"또는 "부적절한"으로 분류 될 수 있습니다. 사용 된 일반적인 척도는 중앙값이 1-3 범위면 부적절한 것으로 분류되고, 4-6 범위는 불확실하고, 7-9 범위는 적절한 것으로 분류된다. 의견 불일치가있을 경우 uncertain도 할당됩니다. 다시 말하면, 모든 참여자 등급은 3 점 범위에 속하지 않았다 (Fitch et al., 2001). 참여자의 수는 전통적으로 9명이었는데, 표현의 다양성을 위해서는 충분히 크지 만 토론을 허용 할만큼 충분히 작았습니다.

Like the NGT, the next step involves a face-to-face meeting where collated results are fed back to each individual member of the group. The participants have an opportunity to discuss their ratings, in light of how other participants have voted after which private voting occurs again. Consensus should not be forced and the outcome may lead to a classification of “appropriate”, “uncertain”, or “inappropriate”. A common scale used is median scores in the 1–3 range are classified as inappropriate, 4–6 range as uncertain and 7–9 range as appropriate. A rating of uncertain would also be allocated if there was disagreement; in other words, all participant ratings did not fall within any 3-point range (Fitch et al. 2001). The number of participants has traditionally been 9, large enough for diversity of representation yet small enough to allow discussion. 

RAND / UCLA 방법은 아이디어 생성을 목적으로하지 않으며 고도로 구조화 된 목록의 초기 설문지를 작성하는 데 사용할 수있는 지원 데이터가 있다고 가정합니다 (Fitch et al., 2001). NGT와 마찬가지로 효과적인 촉진자가 필요합니다. 표 2는 메소드 간의 주요 차이점 중 일부를 보여줍니다.

The RAND/UCLA method is not intended for idea generation and assumes there is supporting data available to create the initial questionnaire of a highly structured list (Fitch et al. 2001). As with the NGT an effective facilitator is required. Table 2 (available online as Supplemental Material) highlights some of the key differences between the methods. 

컨센서스 그룹 방식의 문제점

The problem with consensus group methods 

이러한 단순한 연구 방법의 광범위한 사용에도 불구하고, 합의 집단 방법에 관한 관심은 오래되었다 (Sackman, 1975; Goodman 1987; Hasson et al., 2000). 고전적인 델파이에 대한 많은 수정은 상당한 혼란을 가져왔다 (Crisp et al. 1997; Keeney 2001)

Despite the extensive use of these seemingly simple research methods, concerns regarding consensus group methods are longstanding (Sackman 1975; Goodman 1987; Hasson et al. 2000). The large number of modifications to the classical Delphi has led to considerable confusion (Crisp et al. 1997; Keeney 2001) 

건강 관리와 정책 관련 연구에서 Delphi를 사용한 최근의 4 가지 리뷰는 합의 그룹 방법의 사용과보고의 결함을 체계적으로 탐구했다. 총체적으로이 연구들은 Delphi 시작시 참가자들에게 제공되는 정보, 응답 률, 참가자들에게 피드백, 익명 성 수준, 각 라운드 이후의 결과 및 합의의 정의에 대한 결함을 지적했습니다 (Boulkedid 외, 2011; Sinha et et al., Diamond et al., 2014, de Loe et al., 2016). 의학 교육 분야에서 최근 합의 된 방법의 범위를 정한 검토에서 비슷한 결과를 보여 주었다 (HumphreyMurto 외 2014). 이 연구는 라벨 사용을 멀리하고 특정 연구에서 취한 단계에 대한 포괄적 인 설명으로 이동하는 것이 중요하다는 것을 분명히 암시합니다.

Four recent reviews using the Delphi in health care and policy-related research have systematically explored deficiencies in the use and reporting of consensus group methods. Collectively, these studies have noted deficiencies regarding: information provided to the participants at the start of Delphi, reporting response rates, feedback to participants, level of anonymity, outcomes after each round and the definition of consensus (Boulkedid et al. 2011; Sinha et al. 2011; Diamond et al. 2014; de Loe et al. 2016). In the field of medical education, a recent scoping review of consensus methods demonstrated similar findings (HumphreyMurto et al. 2014). This research clearly suggests that it is important to move away from the use of labels and move toward a comprehensive description of the steps taken in a specific study. 

정 성적 또는 정량적 : 합의 그룹 방법의 기초 방법론

Qualitative or quantitative: underpinning methodology of consensus group methods 

일부 저자는 이 방법이 질적 방법론과 정량 방법론에 걸쳐 있다고 생각한다 (Stewart 2001; De Villiers 2005, 642 쪽). 델파이 방법이 구성주의적 탐구를 지원한다고 믿는다면, 엄격성은 객관성, 즉 타당성 및 신뢰성의 실증 주의적 기준이 아니라 질적 연구 (확인 가능성, 신뢰도, 이전 가능성 및 의존성)에서 사용되는 신뢰도 기준으로 정의되어야한다 (Campbell et al., 2001). 적절한 철학적 토대가 없으면 방법의 일관성없는 개념화가 발생하고 방법론의 불일치에 기여할 수 있습니다 (Guzys 2015).

Some authors consider these methods to be straddling both qualitative and quantitative methodologies (Stewart 2001; De Villiers 2005, p. 642). If one believes that the Delphi method supports a constructivist enquiry, then rigor should be defined in terms of trustworthiness criteria used in qualitative research (confirmability, credibility, transferability, and dependability) and not by positivist criteria of objectivity, namely validity and reliability (Campbell et al. 2001). The absence of an appropriate philosophical foundation results in inconsistent conceptualizations of the methods and may contribute to the inconsistency in methodology (Guzys 2015). 

방법론적 Rigor를 위한 권고

Recommendations for demonstrating methodological rigor for consensus group methods 

합의 방법을 사용하여 연구를 수행 할 때 연구 프로세스 및 결과에 신뢰성을 추가하기 위해 다음 권장 사항을 고려해야합니다.

When undertaking research using consensus methods, the following recommendations should be considered in order to add credibility to the research process and ensuing results (Table 3 available online as Supplemental Material). 

연구의 목적과 목표를 정의하십시오.

Define the purpose or objective of the study 

모든 연구와 마찬가지로 저자는 연구 또는 조사 라인에 명확한 목적을 제공해야합니다. 이것은 미래의 의사 결정을 안내 할 것입니다. 예를 들어 적절한 합의 그룹 방법의 선택과 전문가 참여자의 정의와 같은 것들이다. 그 목적이 명확하게 밝혀지면 다른 합의 방법을 선택하는 것이 분명해야한다. 예를 들어, Rheumatologists (Pineda 외. 2010)에 대한 초음파 교육에 관한 국제 지침을 개발하는 것이이 연구의 목적이라면 델파이 방법을 필요로하는 지리적으로 멀리 떨어져있는 많은 지역에서 정보를 얻는 것이 좋습니다.

As with all research, the authors must provide a clear purpose for their study or line of inquiry. This will guide future decision-making regarding, for example, selection of the appropriate consensus group method and the definition of expert participants. Selection of one consensus method over another should be evident if the purpose is clearly stated. For example, if the purpose of the study is to develop international guidelines regarding ultrasound training for Rheumatologists (Pineda et al. 2010), it would be highly favorable to have input from a large number of geographically remote regions which would require a Delphi method. 

프로세스의 각 단계 개요 : 수정이 이루어진 경우 선택에 대한 이론적 근거를 제공하십시오.

Outline each step of the process: if modifications were made, provide a rationale for the choices made 

앞서 언급했듯이, 합의 집단 방법에 대한 수정 및 표준화 부족은 연구자가 연구의 각 단계에서 사용 된 단계와 과정을 충분히 상세히 기술하는 것을 필수적으로 만든다. 간단히 말해서 "수정 된 델피"라는 말은 실제 프로세스에 대한 설명이 충분하지 않아 독자가 연구의 질을 판단하는 것이 어렵 기 때문에 빈약 한 연구보고라고 볼 수 있습니다. 선택에 대한 정당성을 제공하면 신뢰성이 추가됩니다. 과정과 선택을 명확히 설명하는 대표적인 예로는 일본에서 필요한 최소한의 간호 윤리 교육 내용과 숙달 수준을 명확히하기위한 연구가있다 (Ito et al. 2011).

As previously stated, the number of modifications and lack of standardization to the consensus group methods makes it essential that researchers clearly describe in sufficient detail the steps and processes used for each stage of the study. Simply stating a “modified Delphi” was performed with insufficient explanation of the actual process is, in our opinion, poor research reporting as it makes it difficult for a reader to judge the quality of the research. Providing justification for the choices made will also add credibility. One exemplary instance of clearly outlining the process and choices is a study that sought to clarify the minimum necessary nursing ethics educational content and mastery level in Japan (Ito et al. 2011). 

또한 컨센서스 그룹 방법은 다중 방법 연구 프로젝트에서 사용되는 하나의 연구 방법으로 점차 고려되고 있음에 주목해야한다. 결과적으로 각 단계에서 단계와 참가자를 요약하는 흐름도 또는 표를 넣으면 더욱 명확해질 것이다. 예를 들어, 연구원은 종종 국제 NGO에서 시작하여 나중에 국제 델파이 (CoBaTrICE Collaboration 2011)에서 사용되는 항목을 생성합니다.

It should also be noted that consensus group methods are increasingly being considered one research method to be used within multi-method research projects (Harvey & Holmes 2012; Fletcher & Marchildon 2014; Bloor et al. 2015; Brady 2015; de Loe et al. 2016). As a result, a flow diagram or table to summarize the steps and participants at each stage adds clarity. For example researchers often begin with a local NGT to generate items that are later used in an international Delphi (CoBaTrICE Collaboration 2011). 

참가자들에 대한 과학적 증거의 선택과 준비를 기술하십시오.

Describe the selection and preparation of the scientific evidence for the participants 

연구 정보는 과정 초기에 모든 참가자에게 제공되어야한다 (Murphy et al., 1998). 이 정보는 검토가 용이하도록 요약 된 형태로 제공하는 것이 가장 좋습니다. 제공된 연구문헌 및 정보의 등급을 매기면 편향을 줄일 수 있습니다. NGT가 기존 문헌을 검색 할 필요가 없다는 몇몇 저자의 원래의 설명에도 불구하고 (Campbell et al., 2001),이 단계는 엄격한 연구를 위해 필수적이다. 기존 문헌이 없다면 저자는 명시적으로 검색 범위를 명시해야합니다. 서로 다른 참가자 그룹이 사용되는 경우 저자는 각 그룹에 제공되는 정보를 분명하게 기술해야합니다.

Research-based information should be provided to all participants early on in the process (Murphy et al. 1998). This information is best provided in a summarized form to facilitate review. Grading the quality of studies and information provided may reduce bias. Despite the original description by some authors that NGT does not require a search of the existing literature (Campbell et al. 2001), it is our opinion that this step is essential for a rigorous study. If there is no existing literature, then the authors must explicitly state the extent of the search. If different participants groups are used, the authors should clearly state what information was provided to each group. 

초기 설문지에 항목이 포함되도록 선택한 방법을 설명하십시오 : 프로세스를 상세히 기술하십시오

Describe how items were selected for inclusion in the initial questionnaire: describe the process in sufficient detail 

원래 델파이와 NGT는 참가자들을 편향시키는 것을 피하기 위해 개방형 질문으로 시작하는 것으로 묘사되었고, 여전히 몇몇 저자들은 그렇게 제안한다 (Murphy et al., 1998; Sinha et al., 2011). 설문 조사의 항목은 문헌 검토 및 현장 전문가와의 토론을 기반으로 생성되는 경우가 많습니다. 연구원은 연구에 어떤 프로토콜이 사용되었는지 분명히해야합니다 (아이디어 생성, 기존 목록, 생성+기존 목록). 저자는 이러한 품목을 개발하는 데 사용 된 방법과 품목 선택에 사용 된 절차를 충분히 자세히 기술해야한다. 유용한 예제는 이토 (Ito)의 연구로 저자는 델파이 (Ito 외. 2011)에서 초기 항목이 어떻게 결정되었는지 설명합니다.

The original Delphi and NGT were described as beginning with an open-ended question to avoid biasing the participants, and is still suggested by some authors (Murphy et al. 1998; Sinha et al. 2011). Often, the items in the survey are generated based on a literature review and discussion with experts in the field. Researchers should make it clear which protocol – idea generation, providing a pre-determined list or a combination of both – was used in their study. The authors should describe, in sufficient detail, the methods used to develop these items and the process used for item selection. A useful example is the study by Ito where the authors clearly describe how the initial items were determined for their Delphi (Ito et al. 2011). 

명확성을 보장하기 위해 초기 질문과 항목을 주의 깊게 작성word 해야합니다. 작은 개인 그룹과의 파일럿 테스트는 구현 전에 제안됩니다. 고려해야 할 또 다른 중요한 측면은 응답 속도에 영향을 줄 수 있으므로 설문지의 길이와 복잡성입니다 (De Villiers 2005, p. 641)

The initial question and items must be carefully worded to ensure clarity. Pilot testing with a small group of individuals is suggested before implementation. Another important aspect to consider is the length and complexity of the questionnaire because this may affect response rates (De Villiers 2005, p. 641)

실질적으로 말하자면, 참가자는 "분명히 포함해야하며 반드시 포함 시키거나 결정해서는 안됨"을 선택하여 진술에 응답하도록 요청하거나 Likert 척도를 사용하여 각 진술과의 수준을 평가해야 할 수도 있습니다.

Practically speaking, participants may be asked to respond to a statement by selecting “should definitely include, should definitely not include or undecided” or they may be required to rate their level of agreement with each statement using a Likert scale. 

참가자가 선정 된 방법과 자격 : NGT,  RAND / UCLA가 사용되는 경우 facilitator의 자격 증명을 설명하십시오

Describe how the participants were selected and their qualifications: if the NGT or RAND/UCLA is used, describe facilitator’s credentials 

컨센서스 집단 방법을위한 참가자 선정은 신중히 고려해야합니다. 대부분 "전문가"를 사용하지만 전문가의 정의는 연구의 목적에 따라 다를 수 있습니다. 참가자는 일반적으로 지식이 풍부하고 탐구 영역을 대표하며 실무 경험이있는 개인입니다. 연구 결과는 패널의 구성이 결과에 영향을 미치고 방법 론적 관심을 불러 일으킬 수 있음을 입증했다 (Black et al., 1999; Campbell et al., 1999; Fitch et al., 2001; Kutchey 2001; Hutchings & Raine 2006; Hutchings et al.) 어떤 연구자는 패널의 다양성이 더 나은 성과를 이끌어낸다고 주장한 반면, 어떤 경우에는 참가자간에 양립 불가능한 갈등이 있다면 이질성이 악영향을 미칠 수 있다고 제안했다 (Murphy et al., 1998).

Selecting participants for consensus group methods requires careful consideration. Most use “experts”, but the definition of an expert can vary depending on the purpose of the study. Participants are usually individuals who are knowledgeable, representative of the area of inquiry and have practical experience. Studies have demonstrated that the composition of the panel can impact results and raises methodological concerns (Black et al., 1999; Campbell et al. 1999; Fitch et al. 2001; Keeney 2001; Hutchings & Raine 2006; Hutchings et al. 2006). Other studies have looked at diversity within a panel and suggest that diversity in the panel leads to better performance while in some instances heterogeneity may have an adverse effect if there is irreconcilable conflict between participants (Murphy et al. 1998). 

그룹 크기는 조사의 목적과 사용 된 합의 그룹 기술의 유형에 따라 크게 다를 수 있습니다. NGT는 일반적으로 5-12 명의 회원을 사용하는 반면 델파이는 6-1,000을 사용할 수 있습니다. Delphi에서 6 명 미만의 참가자는 너무 적지만, 12 명 이상은 합리적입니다 (Murphy 외. 1998). 블룸 (Blor) 등 2015)은 균형 잡히거나 여러 관점과 전문 지식의 표현을 중요하게 생각한다.

Group size can vary tremendously depending on the purpose of the inquiry and the type of consensus group technique used. NGT typically uses 5–12 members, whereas Delphi can use 6 to thousands. Fewer than six participants in a Delphi is likely too few, whereas 12 or more is reasonable (Murphy et al. 1998). Arguably balance, or representation of multiple viewpoints and expertise, is more important than size (Bloor et al. 2015). 

Delphi는 매번 약간의 수정 된 설문지를 사용하여 동일한 주제에 대해 라운드 후 질문을받는 참가자들로부터 지속적인 헌신을 요구한다는 점을 인식하는 것이 중요합니다. 참가자 선발시 작업에 전념 할 참가자를 선택하는 것을 고려해야합니다. 한 가지 비판은 과정에 참여하고 계속하기를 원하는 참가자일수록 결과에 직접적으로 영향을받을 가능성이 높아, 결과적으로 편향되어 있다는 점이다 (Keeney, 2001).

It is important to be aware that the Delphi requires a sustained commitment from participants who are questioned round after round on the same topic with a slightly modified questionnaire each time. Selection should consider choosing participants who will be committed to the task. One criticism is that participants willing to engage and continue in the process are more likely to be affected directly by the outcome and therefore are biased (Keeney 2001). 

전문가 패널의 구성이 어떻든 저자는 이론적 근거를 제공하고 선택을 정당화해야합니다. 한 그룹의 저자는 의료 연구의 잠재적 참여자를 제공자, 교수, 환자, 지불 자, 정책 결정자, 민간 부문, 공공, 구매자 및 언론 (Boers 등 2015)과 같이 9 "p"로 식별했습니다. 이것은 쉽게 교육으로 옮길 수 있습니다.

Whatever the makeup of the expert panel, the authors must provide a rationale and justify their choices. One group of authors has identified potential participants in health care research as the 9 “p”s: providers, professors, patients, payers, policy makers, private sector, public, purchasers and press (Boers et al. 2015). This can be easily transferred to education. 

NGT 또는 RAND / UCLA를 사용하는 경우, 진행자는 현장에서 인정받은 전문가이거나 믿을만한 사람이 아니어야합니다 (Campbell 외 2001). 촉진자는 모든 견해가 동등하게 논의되도록해야합니다.

If using NGT or RAND/UCLA, the facilitator should be either a recognized expert in the field or a credible nonexpert (Campbell et al. 2001). The facilitator should ensure that all viewpoints are equally discussed. 

계획된 라운드 수 및 / 또는 프로세스 종료 기준 설명

Describe the number of rounds planned and/or criteria for terminating the process 

현재 권장되는 라운드 수는 2 ~ 3 개입니다. 그러나 이것은 아주 적은 과학적 증거에 기초하고있다 (Boulkedid et al. 2011). Attrition은 특별한 관심사이며 연속적인 라운드에서 응답률이 현저하게 감소하는 것으로 나타났습니다 (Tammela 2013). 일부 저자들은 참가자들이 피곤해지는 바람에 과정을 끝내기로 동의하는 "잘못된 합의"를 피하기 위해 선결 횟수를 미리 결정해야한다고 강하게 느낀다.

The currently recommended number of rounds is two to three; however, this is based on very little scientific evidence (Boulkedid et al. 2011). Attrition is a particular concern, with studies demonstrating significant decreasing response rates in successive rounds (Tammela 2013). Some authors feel strongly that the number of rounds should be determined a priori to avoid “false consensus”, where participants become fatigued and agree just to end the process. 

작성자는 미리 합의 된 기준에 도달하거나, 최대 라운드 수가 완료되었거나, 응답의 안정성이있는 경우와 같이 (Diamond et al. 2014) 델파이 프로세스 종료의 대체 중지 기준을 지정해야한다고 제안되었습니다. 안정성은 라운드를 통해 각 질문에 대한 참가자의 반응이 변하지 않고 특정 임계 값 이하의 평균 변화와 같은 사전 정의 된 정의가 필요함을 시사합니다 (Vazquez-Ramos 외 2007).

It has been suggested that authors should specify alternate stopping criteria such as terminating the Delphi process when a predetermined definition of agreement is reached, a maximum number of rounds had been completed or there is stability of responses (Diamond et al. 2014). Stability suggests that participant responses to each question across rounds is not changing and requires a pre-determined definition such as a change in mean that is below a certain threshold (Vazquez-Ramos et al. 2007). 

합의의 정의가 무엇인지 명확히 기술한다.

Clearly describe how consensus was defined 

일부 저자는 '합의'가 가장 민감한 방법론적 쟁점이며, 그 정의는 프로세스가 시작되기 전에 결정되어야 한다고 생각한다 (Boulkedid et al., 2011; Diamond et al. 2014). 합의의 일반적인 정의는 응답자의 70 %가 항목을 포함해야한다고 동의하거나 강력하게 동의한다는 것입니다. 70 %가 동의하지 않거나 강력하게 동의하지 않는 항목은 폐기해야하며,이 기준을 충족시키지 못하는 항목은 다음 순위로 재 순위 지정을 위해 보내집니다. 다른 사람들은 정의된 기준을 초과하는 median 점수가 적절하다고 결정할 수 있습니다 (Tammela 2013). 합의에 대한 정의는 연구자마다 다양하여 , 51-80%에 이른다(Hasson et al. 2000).

Some authors consider how consensus was defined as one of the most sensitive methodological issues and should occur before the process begins (Boulkedid et al. 2011; Diamond et al. 2014). A typical definition of agreement would be that 70% of respondents agreed or strongly agreed that an item should be included. Items where 70% disagreed or strongly disagreed should be discarded, and items not meeting these criteria would be sent to the next round for re-ranking. Others may decide a median score above a defined threshold is adequate (Tammela 2013). There is great variability in the definition, with a range of 51–80% (Hasson et al. 2000). 

각 라운드 종료 후 응답률 및 결과보고

Report response rates and results after each round 

응답 및 결과보고와 관련하여 고려해야 할 중요한 두 가지 측면이 있습니다. 첫 번째는 참가자의 응답률입니다. 익명을 유지하면서 각 라운드 이후의 응답률을보고해야합니다. 응답자의 유형도 중요한 의미를 가질 수 있으므로 포함시켜야합니다. 예를 들어, 국제 델파이에서는 각 국가의 응답자 비율이보고와 관련이 있습니다. 한 가지 우려는 소수 의견을 가진 참가자가 갈수록 더 빠질 가능성이 있으며, 이것은 최종 라운드에서의 합의 정도가 과대 평가되었음을 의미할 수 있습니다 (Sinha 외. 2011).

There are two important aspects to consider with respect to the reporting of responses and results. The first is participant response rates. Response rates after each round should be reported while maintaining anonymity. The type of respondents should also be included, as it may have significant implications. For example, in an international Delphi, the percentage of respondents from each country would be relevant to report. The concern is that participants with minority opinions may be more likely to drop out, which may mean the degree of consensus reached in the final round is an overestimation (Sinha et al. 2011). 

두 번째는 각 라운드 후에 실제 결과입니다. 어떤 사람들은 각 라운드를 별도로보고하면 생성 된 주제와 각 라운드에 대한지지의 힘을 명확하게 볼 수 있다고 제안했습니다. 예를 들어, 쇄골하도부 중심 정맥 도관 삽입에 대한 레지던트를 평가하는 도구를 개발 한 연구에서는 Delphi 라운드 1과 2의 결과를 요약하여 설명합니다 (Huang 외 2009)

The second is the actual results after each round. Some have suggested that reporting each round separately gives a clear view of the themes generated and the strength of support for each round. For example, a study developing an instrument to assess a resident in subclavian central venous catheter insertion outlines the results for Delphi rounds 1 and 2 including which items were dropped or modified at each round (Huang et al. 2009) 

각 라운드 후에 제공되는 피드백 유형 설명

Describe the type of feedback provided after each round 

피드백은 Delphi의 필수 구성 요소로 간주됩니다. 참가자들에게 피드백은 정량적 및 / 또는 정 성적 데이터를 포함 할 수 있습니다. 또한 개별 참여자가 쟁점에 동의하는 정도와 참여자가 서로 동의하는 정도의 두 가지 유형의 합의가 포함됩니다. 정량적 피드백에는 참가자의 점수, 참가자의 중앙값, 점수의 범위 및 각 점수를 선택하는 참여자의 비율과 같은 요약 통계가 포함될 수 있습니다. 참가자는 순위를 변경할 수있는 기회가 주어 지지만, 그들이 꼭 대세에 따를 필요가 없다는 것을 분명히해야합니다. 연구원은 특이한 응답을 보이는 참가자에게 선택에 대한 서면 진술 (질적 데이터)을 제공 할 것을 요청할 수 있습니다.

Feedback is considered an essential component of Delphi. Feedback to participants can include quantitative and/or qualitative data. It also involves two types of agreement: the extent to which individual participants agree with an issue, and the extent to which participants agree with one another. Quantitative feedback may include summary statistics such as the participants’ score, participants’ medians, range of scores and the proportion of participants selecting each point on a scale. Participants are provided an opportunity to change their ranking, but it should be made clear that they do not need to conform. Researchers may ask the participants who are outliers to provide written justification for their choices (qualitative data). 

일부 연구는 모든 참여자 또는 단일 집단으로부터의 공동 의견 등 프로세스의 결과에 상당한 영향을 미칠 수있는 피드백 유형이 있음을 보여 주었다 (Campbell et al., 2001).

Some studies have demonstrated that the type of feedback provided, for example collective feedback from all participants or from a single group, may have a substantial influence on the outcome of the process (Campbell et al. 2001). 

익명성 유지 방법 설명

Describe how anonymity was maintained 

합의 그룹 방법의 가장 중요한 측면 중 하나는 익명성 유지입니다. 예를 들어 권력이 있는 회원들이 dominant하지 않게 유지하는 것이 필수적입니다. 저자는 이것이 어떻게 성취되었는지 명확하게 기술해야합니다. 델파이와 RAND / UCLA의 우편물 사용 및 NGT의 개인 순위를 통해 달성됩니다.

One of the most important aspects of consensus group methods is the maintenance of anonymity. It is essential to avoid dominance by members who, for example, may be in a position of authority. Authors must clearly state how this was accomplished. It is achieved through the use of mail outs in Delphi and RAND/UCLA and private ranking in NGT. 

고찰 부분에서 잠재적인 방법 론적 문제를 다룬다.

Address potential methodological issues in the discussion 

앞서 언급했듯이, 합의 집단 방법이 "양적 또는 질적"인지 여부에 대한 합의가 없기 때문에 이러한 방법의 타당성이나 신뢰성을 평가하는 방법에 관한 혼란이 발생했다. 아마도 첫 번째 단계는이 가이드에서 다루는 방법 론적 문제에주의를 기울이는 것입니다. 토론에서 저자는 라운드 간의 빈약 한 응답률, 선별 된 그룹 또는 지리적 영역의 참여 부족, 합의 부족과 같이 결과에 영향을 미칠 수있는 문제를 다루어야합니다. 합의가 이루어지지 않을 때, 이것은 종종 미래 연구 주제에 대해 특정 주제에 대한 정보를 제공합니다.

As previously noted, the lack of consensus of whether consensus group methods are “quantitative or qualitative” has led to confusion regarding how to assess validity, or credibility of these methods. Arguably, the first step is attention to the methodological issues such as those covered in this Guide. In the discussion the authors should address issues that may have impacted the results such as 

• poor response rates between rounds, 

• lack of participation from a select group or geographic region, or 

• lack of consensus. 

When there is a lack of consensus, this often informs the future research agenda for a particular topic. 

결론

Conclusions 

합의 방법 그룹 방법이 일반적으로 사용되지만, 이러한 방법의 정의, 사용 및보고에있어서 표준화의 상당한 부족은 그 효율성을 저해 할 수있다. 위에서 논의 된 문제에 대한 적절한 주의는 연구자가 그 이름만 사용하는 것에서 벗어나 연구에서 취한 조치에 대한 포괄적 인 설명과 정당화를 위해 도움이 될 것이며 연구 결과가 신뢰할 수 있고 유용하다는 것을 확신시켜 줄 것입니다.

Consensus group methods are commonly used, but the considerable lack of standardization in definitions, use and reporting of these methods may hamper their effectiveness. Adequate attention to the issues discussed above will help researchers move away from the use of labels and toward a comprehensive description and justification of the steps taken in their study, ensuring that the results of the research are as credible and as useful as possible.

---

Med Teach. 2017 Jan;39(1):14-19. doi: 10.1080/0142159X.2017.1245856. Epub 2016 Nov 12.

Using consensus group methods such as Delphi and Nominal Group in medical educationresearch.

Humphrey-Murto S1, Varpio L2, Gonsalves C1, Wood TJ1.

Author information

1

a Division of Rheumatology , University of Ottawa , Ottawa , Canada.

2

b School of Medicine , Uniformed Services University of the Health Sciences , Bethesda , MD , USA.

Abstract

Consensus group methods are widely used in research to identify and measure areas where incomplete evidence exists for decision-making. Despite their widespread use, these methods are often inconsistently used and reported. Using examples from the three most commonly used methods, the Delphi, Nominal Group and RAND/UCLA; this paper and associated Guide aim to describe these methods and to highlight common weaknesses in methodology and reporting. The paper outlines a series of recommendations to assist researchers using consensusgroup methods in providing a comprehensive description and justification of the steps taken in their study.

PMID:

 

27841062

 

DOI:

 

10.1080/0142159X.2017.1245856