합의 방법론에 대한 합의가 있는가? 묘사와 권고 (Acad Med, 2016)

합의 방법론에 대한 합의가 있는가? 묘사와 권고 (Acad Med, 2016)

Is There a Consensus on Consensus Methodology? Descriptions and Recommendations for Future Consensus Research

Jane Waggoner, MS, Jan D. Carline, PhD, and Steven J. Durning, MD, PhD

Consensus Methods는 미래의 결정이나 행동을 뒷받침 할 경험적 증거가 아직없는 주제에 관한 일반적인 합의를 이끌어내는 방법으로 지난 60 년 동안 점차적으로 사용되어왔다. 종종 이러한 주제는 모호하거나 논쟁의 여지가 있습니다.

Consensus methods have been used increasingly within the last 60 years as a way to gather general agreement on topics that do not yet have empirical evidence to support future decisions or actions; often, these topics are ambiguous or controversial.

일반적으로 말하자면, NGT, CDO 및 DT과 같이 여러 분야에 걸쳐 연구자가 사용하는 3 가지 주요 합의 방법이있다 .1 이러한 합의를 결정하는 방법은 각각 지난 40 년 동안 점점 더 헬스케어 환경에서 사용되어왔다 . 그러나 합의 방법의 폭넓은 유용성과 이용 가능한 다양한 접근법에도 불구하고 그러한 연구를 수행하기위한 지침이 부족하다.

Generally speaking, there are three main consensus methods in use by researchersacross multiple fields: nominal group process, consensus development panels, and the Delphi technique.1 Each of these methods of determining consensus has been used in health care settings increasingly in the past 40 years. However, despite the widespread utility of consensus methods and the variety of approaches available, there is a lack of guidelines for conducting such studies. 

우리는 합의 방법론 연구 수행을위한 다양한 접근법을 종합하고 표 1의 각 방법에 대한 간략한 개요를 제공한다.

We synthesize the various approaches to conducting consensus methodology research and give a brief overview of each method in Table 1.

Nominal Group Process

Nominal Group Process (전문가 패널 방법이라고도 함)는 전문가 그룹이 그룹 내에서 아이디어 / 솔루션을 개발하고 제안 할 수있는 합의 방법이지만 이러한 아이디어는 비공식적으로 형성되어 익명으로 그룹에 제안됩니다. 이 방법에서 패널은 전문가들로만 구성됩니다. 

• 일반적으로 전문가 패널이 모여 특정 질문에 대한 답변으로 아이디어와 해결책을 제시하도록 요청받습니다. 이것이 첫 번째 단계입니다. 주제에 따라 응답자는 초기 결정을 내리는 데 도움이되는 관련 문건이 제공되거나 제공되지 않을 수 있습니다. 

• 두 번째 단계에서 각 참가자는 자신이나 자신의 솔루션을 중재자에게 제출 한 다음 전체 패널이 볼 수 있도록 솔루션을 제시합니다. 이 시간 동안 각 회원은 앉아서 각 아이디어 나 해결책을 듣고 토론을 할 수 없습니다. 

• 세 번째 단계에서는 중재자가 진행하는 토론을 통해 제안 된 각 솔루션을 더 명확하게clarify 할 수 있습니다. 

• 네 번째이자 마지막 단계에서, 각 아이디어는 패널 멤버가 미리 정한 규모로 익명으로 순위를 매 깁니다. 가장 높은 순위를 가진 사람들이 보관됩니다. 공감대의 결정은 명목상의 그룹 회의를 진행하는 연구자들에 의해 미리 결정된다.

The nominal group process (which has also been called the expert panel method) is a consensus method that allows a group of experts to develop and suggest ideas/solutions within a group, but these ideas are privately formed and suggested anonymously to the group as a whole.2 In this method, the panel is composed exclusively of experts. Typically, a panel of experts meets and is asked to generate ideas and solutions in response to a specific question—this is the first phase. Depending on subject matter, the respondents may or may not be presented with pertinent literature to help them make their initial decision. During the second phase, each participant is asked to submit her or his solutions to a moderator, who then presents the solutions to make them visible to the entire panel. During this time, each member is to sit and listen to each idea or solution, and no discussion can occur. In the third phase, a discussion led by a moderator covers and clarifies each solution suggested. In the fourth and final phase, each of the ideas is ranked by the panel members anonymously on a predetermined scale; those with the highest ranking are kept. The cutoff for consensus is predetermined by the researchers running the nominal group process meeting.1,3

이 특별한 방법은 익명성에 의존하기 때문에 학술 의료 연구에 사용됩니다. 궁극적으로 전문가의 실제 의견 이외의 외부 영향을 줄입니다. 이 익명 성 외에도, 패널은 연구의 적시성을 저해하지 않으면서 사고 과정과 제안을 명확히 할 수있는 시간이 주어집니다. 마지막으로,이 방법은 시간이 효율적이며 전문가 패널이 작업 기간을 유지하고 회의 기간 동안 집중적으로 작업하기 때문에이 특정 프로세스는 상대적으로 빠릅니다.

This particular method is of use in academic medical research because it relies on anonymity, which ultimately reduces any outside influence other than the true expert opinion. In addition to this anonymity, the panel is given time to clarify thought processes and suggestions without hindering the timeliness of the study. Lastly, this method is time efficient, and this particular process is relatively fast because the panel of experts is kept on task and focused throughout the duration of the meeting.

이 특정 방법의 많은 이점에도 불구하고 몇 가지 한계가 있습니다. 첫째,이 과정은 특히 비용이 많이 들고 조직하기가 복잡합니다. 시간, 회의 장소 및 돈과 같이 사용할 수없는 자원이 필요합니다. 이러한 장애물 외에도 대면 회의는 전문가 패널 사이의 신뢰성에 문제를 야기 할 수있다. 아이디어의 생성은 독립적이지만, 토론은 패널 멤버의 대다수와 일치하지 않을 수도있는 특정 신념이나 관행을 폭로 할 수있는 잠재력을 가지고 있습니다. 이것은 또한 협업이 결여되고 그로 인하여 결과의 품질을 잠재적으로 방해합니다.

Despite the many advantages of this particular method, some limitations do exist. First, this process is particularly expensive and complicated to organize. It takes resources that may not be available, such as time, meeting place, and money. In addition to these obstacles, the face-to-face meeting may pose a problem for credibility among the panel of experts; while generation of ideas is independent, the discussion that ensues has the potential to expose certain beliefs or practices that may not be in line with the majority of the panel members. This also causes a lack of collaboration and K thus potentially hinders the quality of the results.

연구의 필요성과 디자인에 따라 수정 될 수있는 NGT의 몇 가지 구성 요소가 있지만 Clayton2는 패널 구성원에게 초기 프롬프트가 가능한 한 명확하고 간결해야 패널의 의도 된 다양한 응답을 얻을 수 있다고 주장한다. 수정 될 수있는 구성 요소 중 아마도 가장 가변적 인 것은 패널 자체의 크기입니다. Horton6은 이상적인 크기는 7 ~ 10 명으로 6 명, Delp 외 7 명은 5 명에서 9 명으로 5 명 미만으로 의견의 질과 다양성을 막을 것을 제안했다. 반면에, 그들은 더 큰 그룹 (10 개 이상)은 본질적으로 결과의 질을 보상적으로 증가시키지 않으면 서 프로세스를 불필요하게 길게하는 의견의 차이가 더 많다는 것을 제안한다.

Although there are several componentsof the nominal group process that can be modified according to the needs and design of the study, Clayton2 states that it is necessary for the initial prompt to the members of the panel to be as clear and concise as possible to get the intended variety of responses from the panel. Of the components that may be modified, perhaps the most variable is the size of the panel itself. Horton6 suggests that the ideal size is between 7 and 10 members,6 while Delp et al7 recommend 5 to 9 members, suggesting that any fewer than 5 members would prevent quality and diversity of opinions. On the other hand, they suggest that larger groups (10 or more) inherently have more differences of opinion, unnecessarily lengthening the process without a compensatory increase in quality of results.7 

Delp 등 7은 명목상 그룹 프로세스에서 그룹의 구성이 결과에 어떻게 영향을 미칠 수 있는지에 대해서도 논의한다. 보다 다양하고 이질적이라고 알려진 그룹은보다 다양한 제안을 내놓았으며 궁극적으로 좀 더 독창적 인 방식으로 명목상의 질문에 접근했습니다 (동질적 그룹과 비교하여). 그러나 그룹이 커지고 이질적으로 성장함에 따라 의사 소통은 더욱 어려워졌으며 그룹의 대인 관계 차이가 결과를 저해하는 것으로 생각되었습니다. 궁극적으로, NGT의 목표는 명목상의 질문에 대한 반응으로 가설과 제안을 생성하고 우선 순위를 매기는 것이므로, 이러한 다양한 접근법이 질문 자체의 성격을 수용하는 데 필요할 수있다.

Delp et al7 also discuss how the composition of the group in the nominal group process may impact the results. Those groups that were known to be more diverse and heterogeneous came up with more varied suggestions and ultimately approached the nominal question in a more creative manner (compared with homogeneous groups). However, as groups grew larger and more heterogeneous, communication became more difficult, and obvious interpersonal differences in the group were thought to have hindered outcomes. Ultimately, the goal of the nominal group process is to generate and then prioritize hypotheses and suggestions in response to the nominal question, so these varying approaches may be necessary to accommodate for the nature of the question itself.7

가이드라인

a set of guidelines for using the nominal group process

• 패널 질문에 사용 된 연구 질문은 패널 위원들로부터 유효한 제안을 얻으려면 명확하고 간결해야합니다.

• 패널의 크기는 5 명에서 10 명 사이여야합니다. 5 명 미만의 회원이라면 누구도 새로운 제안이 부족할 것이며, 10 명 이상이라면 합의가 이루어지지 않을 것입니다 (즉, 주방에 요리사가 너무 많음).

•보다 창의적인 솔루션을 제공하려면 그룹이 heterogeneous이어야합니다. 과

• 재현 가능한 결과를 얻으려면 그룹이 어떻게 선정되었는지와 합의가 언제 어떻게 충족되었는지를 결정하는 데 사용 된 기준을 설명하십시오.

• The research question used to prompt the panel must be clear and concise to obtain valid suggestions from panel members;

• The size of the panel should range from 5 to 10 members; any fewer than 5 members would lead to a lack of novel suggestions, and any more than 10 would lead to lack of consensus (i.e., too many cooks in the kitchen);

• Groups should be heterogeneous to allow for more creative solutions; and

• To allow for reproducible results, explain how groups were chosen as well as the criteria used to determine how and when a consensus was met.

합의 개발 패널

Consensus Development Panels

컨센서스 개발 패널 (컨센서스 개발 회의라고도 함)은 특정 분야의 전문가 모임을 조직하고 있으며, 주제에 따라 다양한 분야의 전문가가 혼합되어 주제 분야에 대한 다 분야 접근법을 만들 수 있습니다 . 이 합의 방법은 헬스케어 연구에서 일반적으로 사용됩니다. 즉, 정책을 수립하고 전략적 계획을 수립하는 것입니다. 컨센서스를 개발하는이 접근 방식은 문제를 해결하거나 정책을 수립 할 수있는 여러 분야의 접근을 허용하기 때문에 헬스케어 분야에 유용합니다. 컨센서스 개발 패널을 수행하기위한 구체적인 방법은 다양하며 주제 유형과 권장 사항을 작성하는 데 적합한 전문가 유형에 따라 다릅니다. 가장 잘 발달 된 방법은 NIH에서 사용되었습니다.

Consensus development panels (which are also known as consensus development conferences) are organized meetings of experts in a given field, and depending on the topic of the conference may require a mixture of experts from various fields to create a multidisciplinary approach to the topic at hand. This consensus method is commonly used in health care research—namely, to formulate policies and come up with strategic plans. This particular approach to developing a consensus is useful in health care because it allows a multidisciplinary approach to solving a problem or creating a policy. There are a variety of specific methods for conducting consensus development panels, specific to the type of topic and the type of experts deemed appropriate to make recommendations. The most well-developed method has been used by the NIH.

이 방법과 관련된 직접 대면 (face-to-face) 상호 작용으로 인해 컨센서스 개발 회의를 사용하는 데 몇 가지 주요 이점이 있습니다. 첫 번째 장점은 해당 분야에서 가장 유용한 정보를 종합 한 것이고, 두 번째는 주제가 직접적으로 영향을 미치기 때문에 전문가가 자료에 대해 소유권을 갖는다는 것입니다. 즉, 패널 구성원이 프로세스를 심각하게 받아 들일 것이며, Halcomb 등 8)은이 합의 방법의 타당성을 증대시킬 것을 제안하고있다. 마지막으로,이 특별한 일치 방법은 빠른 결과를 제공합니다.

Because of the face-to-face interaction associated with this method, there are some key advantages to using a consensus development conference. The first advantage is the synthesis of the best available information in that field, and the second is the fact that experts take ownership over the material because the topic tends to impact them directly—that is, members of the panel will take the process seriously, which Halcomb et al8 suggest adds to the validity of this consensus method. Lastly, this particular consensus method delivers rapid results.

다른 한편,이 특정 접근법의 방법, 방법의 이점 / 한계 및 합의 개발 회의의 성과의 신뢰성 / 타당성에 관한 연구는 거의 이루어지지 않았다 .8 NIH가 성공적으로 수행하는 동안 컨센서스 개발 회의에 참여하고 궁극적으로 명확하고 간결한 컨센서스 선언을 내놓을 때, 그러한 기능을 성공적으로 수행하는 데 필요한 자원은 많은 연구자들에게 특히 비용과 시간을 고려할 때 적합하지 않을 수있다 .8 또한, 이벤트 조직과 관련된 물류 마지막으로 컨센서스 개발 회의의 한 가지 중요한 단점은 패널의 목소리가 큰 멤버로 인한 편향 가능성의 도입 일 수 있다는 것입니다.

On the other hand, there has been little research done regarding the methods of this particular approach, advantages/ limitations of the method, and the reliability/validity of outcomes from consensus development conferences.8 It is important to note that while the NIH successfully holds consensus development conferences and ultimately produces clear and concise consensus statements, the resources required to successfully run such a function may not be feasible for many researchers, especially when factoring in both cost and time.8 Additionally, because of the logistics associated with organizing an event and obtaining a moderator and locations to hold the conference itself, this method can be quite expensive and requires excellent organization.1 Lastly, one important disadvantage of consensus development conferences is the possible introduction of bias due to overly vocal members of the panel.

컨센서스 개발 회의 방법 사용 지침 세트

a set of guidelines for using the consensus development conference method

• 패널 구성 : 패널은 현장의 전문가들로 구성되어야합니다. 출판물은 그들이 어떻게 선정되었고 왜 그 이유에 대해보고해야합니다.

• 패널 크기 : 패널의 크기는 8 ~ 12 명이어야하며 Nair et al3은 10을 최적 수로 제안합니다. 과

• 통계 분석 : 통계 분석은 연구 질문에 대해 합리적이어야하며 가능한 한 엄격해야합니다. 무엇이 합의를 형성했으며 이것이 어떻게 평가되었는지 설명한다.

• Panel composition: the panel should be made up of experts in the field; the publication should report on how they were chosen and why;

• Panel size: the panel should have between 8 and 12 members, with Nair et al3 suggesting 10 as the optimum number; and

• Statistical analysis: must be reasonable for the research question, and should be as rigorous as possible. Explain what constituted consensus and how this was assessed.

델파이 테크닉

Delphi Technique

Bloor와 Wood9는 "익명화 된 의견과 그룹 사회자가 제안한 타협안을 반복적으로 반복하여 전문가 패널리스트 간의 합의에 도달하는 방법"이라고 정의한 Delphi 기술은 Delphi에서 Oracle의 이름을 따서 명명되었습니다. 여러 차례의 질문서를 사용하고 궁극적으로 주어진 분야에서 전문가의 의견과 피드백을 사용하여 합의에 이르는 것을 목표로합니다. 1948 년에 RAND Corporation이 군사적 사건을 예측하는 방법으로 개발 한이 기법은 주로 의료 환경에서 진단 기준을 개발하는 방법으로 의학 교육 및 의학 그 자체를 포함하여 여러 분야에서 빈번하게 사용되는 합의 방법입니다 인터넷의 출현과 전자 우편 시스템의 용이성과 함께이 방법은 시간과 비용면에서 효율적이기 때문에 여러 분야의 연구자들에게 압도적으로 인기가 있습니다 .12-18

Defined by Bloor and Wood9 as “a method for achieving consensual agreement among expert panelists through repeated iterations of anonymized opinions and of proposed compromise statements from the group moderator,”9 the Delphi technique is named for the Oracle at Delphi. It uses multiple rounds of questionnaires and ultimately aims to come to a consensus using the opinions and feedback of experts in a given field. Originally developed by the RAND Corporation in 1948 as a way to forecast military events, this is a consensus method that has been used with increasing frequency across multiple fields, including medical education and medicine itself, primarily as a way to develop diagnostic criteria within clinical settings.10,11 With the advent of the Internet and ease of electronic mailing systems, this method has become overwhelmingly popular with researchers across multiple fields because it is both time- and cost-efficient.12–18

설문지 배포 방식이 바뀌 었음에도 불구하고 기본 방법론은 1948 년 RAND Corporation에서 창립 된 이래로 동일하게 유지되었습니다. 응답자는 자신의 분야에서 전문가이어야하며 (여러 연구 분야 전문가가 필요할 수도 있음), 응답은 익명으로 유지되어야하며, 합의가 이뤄지려면 두 번 이상의 라운드가 있어야하며, 마지막으로 각 라운드의 응답은 연구자들에 의해 분석되어 각 라운드 후에 응답자들에게 보고됩니다. 

이것은 앞서 설명한 다른 합의 방법과 비슷하지만 전문가 패널은 서로 상호 작용하지 않으며 각 패널 구성원은 프롬프트에 응답하는 다른 사람을 알지 못합니다. 때때로 연구자들은 그들의 발견을보고하고 그들의 방법을 설명하기 위해 "수정 된 델파이"라는 용어를 사용합니다. "수정 된 델피"는 각각의 연구가 다른 수정을 사용하기 때문에 간결한 정의가없는 비 특정 용어입니다. 우리가 검토 한 많은 출판물은 전통적인 델파이 기술의 수정이었습니다. 그런 방식으로 명시 적으로 정의되지 않았습니다.

Despite a shift in how questionnaires are distributed, the basic methodology has remained the same since its inception in 1948 by the RAND Corporation. The respondents are to be experts in their field (and the study may require a multidisciplinary set of experts), their responses are to remain anonymous, there must be two or more rounds before a consensus can be reached, and finally responses from each round should be analyzed by researchers and reported back to respondents after each round. Although this is similar to the other consensus methods previously described, in this approach the panel of experts never interacts with one another, and each panel member is unaware of who else is responding to the prompts. Occasionally, researchers report their findings and use the term “modified Delphi” to describe their method. It appeared to us that “modified Delphi” is a nonspecific term with no concise definition because each study uses different modifications. Many of the publications we reviewed were modifications of a traditional Delphi technique, just not explicitly defined in that manner.

의과대학에서 커리큘럼을 다루는 수정 된 델파이 기술의 예에서 Turner와 Weiner20은 의학 교육에서 통증 관리를 다루는 전문가 패널을 대상으로 설문 조사를 실시했습니다. 1 차 질문서는 전문가 패널에게 통증 관리에 중점을 둔 커리큘럼에서 고려해야 할 여러 주제를 평가하도록 요청했습니다. 그들의 연구에서 주요 수정은 2 차 질문지의 초점이었습니다. 두 번째 라운드에서는 참가자들에게 첫 번째 라운드의 엄격함을 통과 한 각 주제에 대한 지식, 태도 및 기술이 얼마나 중요한지 평가하도록 요청했습니다 .20 연구의 목적은 커리큘럼 내의 가장 중요한 주제가 무엇인지에 대한 합의를 얻는 것이 었습니다. 또한 각 주제의 어떤 측면이 의학 커리큘럼 내에서 가장 많은 주목을받을 자격이 있는지를 설명합니다.

In an example of a modified Delphi technique that deals with the curriculum in a medical school setting, Turner and Weiner20 surveyed a panel of experts on addressing pain management in medical education. The first-round questionnaire asked the expert panel to rate different topics for consideration in a curriculum focusing on pain management. The main modification in their study was the second-round questionnaire’s focus. The second round asked the participants to rate how important knowledge, attitudes, and skills were for each topic that passed the rigors of the first round.20 The purpose of the study was to gain consensus on what the most important topics within the curriculum were and then to address which aspects of each topic deserved the most attention within the medical curriculum.

델파이 기법은 의사 결정 프로토콜 개발부터 의과대학 커리큘럼에서 특정 주제의 중요성 결정에 이르기까지 학술적 의료 환경에서 다양한 목적으로 사용될 수 있습니다. 델파이 기술을 사용하여 합의를 얻는 데는 여러 가지 이점이 있습니다. 즉, 응답자가 익명을 유지하면서 대면 회의에서 발생할 수있는 편향과 영향을 제거합니다. 이를 통해 응답자의 자신의 분야에서 모욕이나 신뢰의 상실에 대한 두려움없이보다 자유롭게 의견을 표현할 수 있습니다. 또한 응답자가 자신의 견해가 다수와 일치하지 않으면 "jump on the bandwagon"할 가능성이 적습니다. 실제 의견 일치에 비해 결정이 훼손되는 것을 피하기 위해 여러 번의 회람을 통해 사려 깊은 고려가 이루어지며 응답 그룹 전체의 각 항목 순위는 궁극적인 결론을 단일 회의보다 더 신뢰할 수있게합니다 .21,22 마지막으로 회의 및 대면 회의를 동반 할 수있는 피로감을 줄이기 위해 델파이 기법은 응답자가 신중하게 결정을 내리고 준비가되었을 때 응답 할 수 있도록 지정된 회의 시간을 필요로하지 않습니다.

The Delphi technique can be used for various purposes in an academic medical setting—from developing decision- making protocols to deciding the weight of certain topics in a medical school curriculum. There are several advantages to using the Delphi technique to obtain consensus—namely, that it eliminates the bias and influence that can occur in face-to-face meetings as the respondents are to remain anonymous. This allows for the respondents’ opinions to be expressed more freely without any fear of reproach or loss of credibility in their field. In addition, respondents are less likely to “jump on the bandwagon” if their views are not in line with the majority. To avoid a compromised decision versus an actual consensus of opinions, multiple rounds ensure thoughtful consideration, and the ranking of each item by the entire response group helps make the ultimate conclusions more reliable than a single meeting.21,22 Lastly, in response to the fatigue that can accompany conferences and face-to-face meetings, the Delphi technique does not require specified meeting times, which allows respondents to thoughtfully make their decisions and respond when they are ready.21

학술 의학 연구에 델파이 기법을 사용하는 데는 많은 이점이 있지만 논란의 여지가 있지만 몇 가지 중요한 단점이 있습니다. 첫째, 두 번째 (및 후속) 라운드에서의 판단은 전반적인 피드백이 각 참가자에게 주어지기 때문에 라운드 동안 연구자가 제공 한 피드백에 의해 영향을 받을 수 있습니다. 둘째, 라운드 횟수가 늘어남에 따라 참가자 소진burnout 가능성이 높아지면서 협업이 결여되어 있습니다. 마지막으로, 이러한 연구의 성공은 주로 설문지 디자인의 질에 달려 있습니다.

Although there are many advantages to using the Delphi technique in academic medicine research, there are arguably some important drawbacks. First, judgments in the second (and subsequent) rounds may be influenced by feedback given by researchers over the course of the rounds because overall feedback is given to each participant. Second, there is a decided lack of collaboration coupled with the increased potential for participant burnout as the number of rounds increases. Lastly, the success of these studies is largely dependent on the quality of the questionnaire design.

NGT 및 합의 개발 패널 방법과 달리 델파이 기법의 방법론을 다루는 몇 가지 문헌을 찾았습니다.

Unlike the nominal group process and consensus development panel methods, we found some literature addressing the methodology of the Delphi technique.

대부분의 델파이 연구에서 패널의 크기는 매우 다양하고 신뢰성은 측정 될 수 있지만, 패널의 크기는 통계적으로 신뢰할 수있는 연구원이 결과를 원했던 방식에 기초한 결정보다는 초기 연구 질문을 반영하는 것처럼 보입니다. .

It seems the size of the panel in most Delphi studies is incredibly variable and its reliability can be measured, but the size seems to often be a reflection of the initial research question rather than a decision based on how statistically reliable researchers want their results to be.

Nair 등 3)은 컨센서스를 정의하는 3 가지 방법을 제안한다. 미리 합의 된 비율 (예 : 80 %), 각 주제에 대해 1 ~ 5 등급의 평가 척도 또는 참가자 대다수는 주제를 포함시켜 평가해야한다. 사 분위 범위의 평균을 측정했으나 주제가 합의에 이르렀음을 시사하는 결정적인 가치를 제공하지 못했다.

Nair et al3 suggest three ways to define consensus: a predetermined agreement percentage (e.g., 80%), a rating scale of 1 to 5 for each topic, or a majority of participants must rate a topic for inclusion.3 Another study determined consensus by measuring the means of the interquartile range but did not give a definitive value that would suggest that a topic had reached consensus.26

보건 과학 교육 연구에서 델파이 기술에 초점을 맞춘 또 다른 연구는 분석 기술을 설명했다. 연구자는 데이터를 수집하고 평균과 표준 편차를 결정했으며 거기에서 이러한 주제를 특정 범위 내에서 합의를 이끌어 내기위한 의미로 표시했다. 엄청나게 복잡하지는 않지만 특정 범위가 사용 된 이유와 향후 설문지에 남을 주제를 결정하는 방법에 대해 자세히 설명합니다. 특히 4 점 척도 시스템을 사용하여 2와 3 사이의 평균값은 불확실성을 나타내었고 3.5와 1은 양의 확실성 (3.5)과 부정적인 확실성 (1)을 나타 냈습니다. 작은 표준 편차는 어느 정도의 확실성 (긍정적 또는 부정적)을 나타냅니다. 2-3 범위 내에서 득점 한 주제는 여전히 합의가 부족한 것으로 간주되어 다가오는 설문지에 사용되었습니다.

Another study focusing on the Delphi technique in health sciences education research described its analytical techniques: Researchers collected data and determined the mean and standard deviations, and from there flagged these topics with a mean that fell within a certain range to determine consensus. Although not incredibly complicated, the study details why certain ranges were used and how they determined which topics would remain on future questionnaires. Specifically, using a four- point scale system, those mean values between 2 and 3 indicated uncertainty, while 3.5 and 1 pointed to positive certainty (3.5) and negative certainty (1). Small standard deviations pointed to a degree of certainty (either positive or negative). Topics that scored within the 2–3 range were considered still lacking a consensus and were therefore used in the forthcoming questionnaire.9

미래의 델파이 연구 개선 권고

recommendations for improving future Delphi studies

• 패널 구성 : 주어진 분야의 전문가 - "전문가"가 정의 된 방법과 참가자를 확보하는 방법을 설명합니다.

• Panel composition: experts in a given field—explain how “expert” was defined and method of obtaining participants;

• 패널 크기 : 6 명에서 11 명으로 권장;

• Panel size: 6 to 11 members recommended;

• 라운드 : 두 개가 필요하며 이는 최적의 숫자입니다. 연구가 두 차례를 넘어 서면 그렇게하는 이유를 설명하십시오.

• Rounds: two are required, and this is the optimal number; if a study goes beyond two rounds, explain reason for doing so; and

• 통계 분석 : 연구 질문에 대해 합리적이어야하며 가능한 한 엄격해야합니다. 무엇이 합의를 형성했으며 이것이 어떻게 평가되었는지 설명한다.

• Statistical analysis: must be reasonable for research question, and should be as rigorous as possible. Explain what constituted consensus and how this was assessed.

Conclusions

• NGT을 위해, 우리는 패널을 자극하기 위해 주어진 연구 질문이 명확하고 간결해야하며, 패널의 크기는 5 명에서 10 명까지이며, 패널은 가능한 한 heterogenous이어야하며, 그들의 그룹이 그들의 논문에서 어떻게 선택되었는지, 구체적으로 말하자면, 각 회원에 대한 추론, 그리고 무엇이 합의를 구성했는지 설명하십시오. 

• 컨센서스 개발 패널에서 우리는 패널이 (이 회원이 어떻게 그리고 왜 선정되었는지에 대한보고와 함께) 8 명에서 12 명 사이의 패널 크기로 현장에서 전문가로 이루어져야한다고 제안했다. 어떻게 그리고 무엇이 합의를 결정했는지에 대한 설명과 함께 연구에 적절한 통계 분석을 사용하도록 제안했다. 

• 마지막으로, 델파이 기술에 관해서, 우리는 패널이 분야의 전문가들로 구성 될 것을 제안했다. (전문가가 어떻게 정의되었고 참가자들이 어떻게 채용되었는지에 대한 설명이있다.) 최적의 2 라운드에 참가하는 6 명에서 11 명까지의 패널 규모 (더 많은 라운드가 실시 된 경우 그렇게하는 이유); 마지막으로 연구 질문에 적합한 통계 분석을 실시하여 연구 결과에 대한 합의가 무엇인지 명확하게 설명합니다.

For nominal group process, we concluded that the research question given to prompt the panel must be clear and concise, that the size of the panel could range from 5 to 10 members, that the panel should be as heterogeneous as possible, and that they should explain how their groups were chosen in their paper—specifically, the reasoning for each member, and what constituted consensus. In consensus development panels, we suggested that panels should be made primarily of experts in a field (again with reporting on how and why these members were chosen), with a panel size between 8 and 12 members, and that they use a statistical analysis appropriate for their study with an explanation of how and what determined consensus. Finally, for the Delphi technique, we suggested that the panel be made up of experts in a field (with an explanation of how expert was defined and how participants were recruited); a panel sizeof 6 to 11 members participating in an optimum number of two rounds (and if more rounds were conducted, reasons for doing so); and finally a statistical analysis appropriate for the research question, with a clear explanation of what consensus meant for their study. 

---

Acad Med. 2016 May;91(5):663-8. doi: 10.1097/ACM.0000000000001092.

Is There a Consensus on Consensus Methodology? Descriptions and Recommendations for FutureConsensus Research.

Waggoner J1, Carline JD, Durning SJ.

Author information

• 1J. Waggoner is research scientist, Biomedical Informatics and Medical Education, University of Washington School of Medicine, Seattle, Washington. J.D. Carline is professor of biomedical informatics and medical education and director of educational evaluation, University of Washington School of Medicine, Seattle, Washington. S.J. Durning is professor of medicine, Uniformed Services University of Health Sciences School of Medicine, Bethesda, Maryland.

Abstract

The authors of this article reviewed the methodology of three common consensus methods: nominal group process, consensus development panels, and the Delphi technique. The authors set out to determine how a majority of researchers are conducting these studies, how they are analyzing results, and subsequently the manner in which they are reporting their findings. The authors conclude with a set of guidelines and suggestions designed to aid researchers who choose to use the consensus methodology in their work.Overall, researchers need to describe their inclusion criteria. In addition to this, on the basis of the current literature the authors found that a panel size of 5 to 11 members was most beneficial across all consensus methods described. Lastly, the authors agreed that the statistical analyses done in consensus method studies should be as rigorous as possible and that the predetermined definition of consensus must be included in the ultimate manuscript. More specific recommendations are given for each of the three consensus methods described in the article.

PMID:

 

26796090

 

DOI:

 

10.1097/ACM.0000000000001092

[PubMed - in process]