하나보단 둘이 낫다? (Adv Health Sci Educ Theory Pract, 2019)

하나보단 둘이 낫다? (Adv Health Sci Educ Theory Pract, 2019)

Two heads are better than one?

Geoff Norman1

강의에 대한 소규모 그룹 강의의 우위는 교육자들이 모이는 거의 모든 장소에서 교직원 개발 워크숍과 컨퍼런스에서 반복적으로 되풀이되는 만트라다. 전형적으로, "강의에서 배우는 사람은 아무도 없다"는 단호한 진술로 시되는데, 이 "axiom"을 산문화한 바로 그 사람들이 강의로부터 사실상 모든 자신의 교육(또는 그렇지 않은)을 받았을 가능성이 높기 때문에, 인지부조화의 심각한 사례를 만들어낸다.

The superiority of small group instruction over lectures is a mantra repeated over and over at faculty development workshops and conferences, almost any place that educators assemble. Typically, it is prefaced by a flat statement that “No one learns anything from lectures”, which creates a serious case of cognitive dissonance, since the very folks who are proselytizing this “axiom” were likely to have received virtually all their own education (or not) from lectures.

놀랄 것도 없이, 소규모 집단 지도에 대한 증거는 상당히 광범위하지만, 전혀 일관되진 않다. 체계적인 검토에서 나온 일부 증거는 소규모 그룹 지도의 효과 크기가 중간 수준(Lipsey와 Wilson 1993)이지만, 특정되지 않은 통제 조건과 쿡(2009)이 보여준 것처럼 어떤 교육(강의조차)도 없는 것보다 우수하다는 것을 보여주었다. 더욱이, 일부 연구는 non-expert 강사가 운영하는 소규모 그룹의 부정적인 영향을 보여주었다(Eagle et al. 1992; Davis et al. 1992).

Not surprisingly, the evidence about small group instruction, while fairly extensive, is far from uniform. Some evidence from systematic reviews showed that the effect size of small group instruction is moderate (Lipsey and Wilson 1993), however the control condition as not specified and as Cook (2009) showed any education (even lectures) is superior to no education. Moreover, some studies have shown a negative effect of small groups with non-expert tutors of about the same magnitude (Eagle et al. 1992; Davis et al. 1992).

최근의 광범위한 검토는, unguided instruction(발견 학습)는 열등한 교육 전략이며, worked example이 우월하다고 주장했다(Kirschner et al. 2006). 이것 역시 논쟁거리가 되었다(Hmelo- (2007); 슈미트 외 (2007). 하지만 결국 누가 옳았든 간에, 소그룹 교수법이 여러 사람이 주장하는 것처럼 배움의 마법의 총알은 아니다.

A recent extensive review claimed, with evidence, that unguided instruction (discovery learning) is an inferior instructional strategy, and that worked examples are superior (Kirschner et al. 2006). This too was contested (Hmelo-Silver et al. (2007); Schmidt et al. (2007). Still whoever eventually turns out to be right, small groups are not the magic bullet for learning that they are purported to be.

그러나 소그룹들은 그들의 교육적 효과에 대해 유일한 필수적 요소로 간주되지 않는다. 우리는 모두 해결하기 어려운 문제는 작은 그룹에 의해 더 잘 해결될 수 있다는 생각을 가지고 성장했다. "함께 모여서 그것을 브레인스토밍하자"는 모든 질병의 해결책으로 여겨진다. 성공적인 브레인스토밍 전략에 관한 책들이 쓰여져 왔다. 소그룹의 전성기 시절이던 60년대에, 우리가 모든 것을(문자 그대로 모든 것을) 소그룹으로 했던 때에, "창조적 문제 해법synectics"과 같은 불명확한 이름로 불렸던 elaborate ritual은 소그룹들이 모든 것을 제대로 할 수 있다는 것을 보여주는 듯 했다.

However, small groups are not viewed only as a sine qua non for their educational effects. We have all grown up with the idea that any problem that is tough to solve can be solved better by a small group. “Let’s get together and brainstorm that” is viewed as the solution to all ills. Books have been written about successful strategies for brainstorming. In the heyday of small groups, the sixties, where we did everything—EVERYTHING—in small groups, elaborate rituals called obscure names like “synectics” evolved to ensure that the small group would do everything just right.

그러나 문제가 있었다. 나는 증거를 검토한 작은 책을 읽었던 것을 분명히 기억한다. 특히 한 연구는 정말로 황제의 옷을 벗겨냈다. 그들은 브레인스토밍 그룹에 대한 문제 해결책과 분리된 방에 갇혀서 어쩔 수 없이 스스로 생각해 낸 같은 종류의 사람들을 비교했다. 각 개개인이 자기 나름대로 솔루션을 생성하게 한 경우, 브레인스토밍 그룹보다 더 많은(놀랍지 않다) 더 나은(놀랍다) 솔루션을 가지고 있었다.

There was a small fly in the ointment however. I distinctly remember reading a small book that reviewed the evidence. One study in particular really stripped off the emperor’s clothes. They compared problem solutions on brainstorming groups to solutions by the same number and kind of people who were locked in separate rooms and forced to come up with them on their own. When you looked at solutions generated by individuals left to their own devices, they had more (no surprise) and better (surprise) solutions than the brainstorming groups.

사람들을 각각 따로 분리해두고, 아이디어를 생각해 낸 다음, 결과를 종합한다는 생각이 완전히 사라진 것은 아니다. 그것은 이제 "NGT"라고 불린다. 즉, 이는 이름뿐인 그룹이다. 전략은 최종 최적 솔루션 집합에 도달하기 위해 여러 번 반복하면서 그러한 접근법을 수행하도록 진화했다. 최근의 검토 기사(Van De와 Delbecq 1971)는 정확히 같은 결론에 도달한다.

the idea of leaving people alone to come up with ideas and then aggregating results has not been entirely lost. It is now called the “nominal group process”—that is, a group in name alone. Strategies have evolved to conduct such an approach over multiple iterations to arrive at a final optimal set of solutions. A recent review article (Van De and Delbecq 1971) comes to precisely the same conclusion:

...문제 해결 위원회를 위한 그룹 프로세스의 최적 조합: 

(1) 1단계: 사실 조사, 아이디어 생성, 초기 주관적 가능성 추정을 위한 명목상의 그룹 프로세스 사용 

(2) 2단계: 구조화된 피드백을 사용하고, 상호작용적 논의

(3) 3단계: 최종 독립적 개별 판단에 대한 명목 그룹 투표.

…the optimal combination of group processes for a problem-solving committee is: 

(1) the use of nominal group processes for fact-finding, idea generation, or initial subjective probability estimation in the first phase of a committee’s work; 

(2) the use of structured feedback and interacting discussion in the second phase; and 

(3) nominal group voting for final independent individual judgments in the final phase.

그러나, 이러한 결과는 대부분 눈에 띄지 않게 되었다. 반대로, 건강 관리 시스템의 변화로 인해 "건강 관리 팀"과 같은 다분야 그룹에 의해 점점 더 많은 보살핌이 전달되면서 그룹의 우월성에 대한 일부 아이디어들이 최근에 다시 태어났다. 실제로 국립의학원은 진단 오류에 대한 하나의 해결책은 협력적 팀 기반 진단이라고 제안했다(Ball et al. 2015).

However, these results have gone largely unnoticed. Conversely, some of the ideas about superiority of groups have been reborn recently as changes in the health care system result in more and more care being delivered by multidisciplinary groups like “health care teams.” The National Academy of Medicine has, in fact, proposed that one solution to diagnostic errors is collaborative, team-based diagnosis (Ball et al. 2015).

최근까지, 많은 헬스케어가 그룹이나 팀 단위로 이뤄졌다는 증거는 많았지만, 이것이 좋은 일이라는 증거는 많지 않았다. 그러나 3월에 JAMA에 집단진단이 개인진단보다 확실히 우수하다는 것을 보여주는 연구가 나타났다(Barnett et al. 2019).

Until recently, while there was lots of evidence that much health care was delivered in groups or teams, there was not much evidence that this was a good thing. But in March, a study appeared in JAMA that purported to show that group diagnosis was demonstrably superior to individual diagnosis. (Barnett et al. 2019).

...군집단은 접근방식에 관계없이 지속적으로 개인보다 높은 성과를 거두었다. 2명의 사용자(77.7% 정확도)에서 9명의 사용자(85.5% 정확도)로 구성된 그룹은 하위 전문 분야에서 개별 전문가(66.3% 정확도, P < .001년)를 능가했다.

…groups consistently outperformed individuals regardless of approach…. Groups from 2 users (77.7% accuracy) to 9 users (85.5% accuracy) outperformed individual specialists in their subspecialty (66.3% accuracy; P < .001).

큰 표본 크기에 근거하여 얻은 이러한 이득은 실로 인상적이다. 그것은 정말로 당신이 서둘러서 모든 진단은 적어도 두 명의 의사가 해야 한다고 요구하기를 원한다. 그러나 이것은 사실이 아니다.

These gains, based on large sample sizes, are truly impressive. It really wants you to rush out and demand that every diagnosis should be done by at least two physicians. What a pity that they’re not true.

실제로 일어난 일은 다음과 같다. 이 연구는 의사와 레지던트가 표준화된 형식으로 사례를 제출할 수 있고 데이터 뱅크의 사례를 진단할 수 있는 온라인 플랫폼 "휴먼 Dx"를 포함했다.

Here’s what actually happened. The study involved an online platform “Human Dx” where physicians and residents could submit cases in standardized format and could also attempt to diagnose cases in the data bank.

"그룹"이라는 꼬리표가 명목이라는 점이 주목할 만하다. 실제 그룹 프로세스는 없었고, 개개인의 기여에 대한 사후 평균화만 있었다. 이와 같이, 그것은 소규모 그룹의 효과에 대해서는 아무 것도 언급하지 않는다. 오히려, 우리가 이미 알고 있는 크라우드소싱이 효과가 있다는 증거로 볼 수도 있다.

It is notable, that the label “group” is nominal. There was no actual group process; only post hoc averaging of independent contributions. As such, it says nothing about the effectiveness of small groups; rather, it might be viewed as evidence that crowdsourcing works, which we already know.

조금 더 정교한 수준에서, 당신이 그것들을 종합하기로 선택하더라도, 어떤 단일 추정치보다 정보에 입각한 임상의 "n"명이 추정한 확률의 평균이 진실에 더 가까울 것이라는 것은 이치에 맞는다. 그것은 단순히 평균의 표준오차와 표준편차 사이의 "1/√n" 관계를 반영한다.

On a slightly more sophisticated level, it stands to reason that the average of “n” informed clinicians’ estimates of probability is going to be closer to the truth than any single estimate, however you choose to aggregate them. That simply reflects the “1/√n” relation between the standard error of the mean and the standard deviation.

요컨대, 그 논문은 잘못된 질문에 대한 확고한 답을 만들어 낸다. 그들이 해야 할 일은 독립적으로 획득한 "n" 진단(사용한 것과 같은 방법을 사용함)의 정확성을 한 방에서 싸웠던 "n" 집단의 일치로 얻은 단일 차등 진단과 비교하는 것이다.

In short, the paper yields a robust answer to the wrong question. What they should have done is compare the accuracy of “n” diagnoses obtained independently (using methods like the one they did use) to a single differential diagnosis obtained by consensus of a group of “n” who fought it out in a room.

"1954~2014년 기간에 걸쳐 6,500만 개의 논문, 특허 및 소프트웨어 제품을 분석한 결과, 이 기간 동안 

• 소규모 팀은 새로운 아이디어와 기회로 과학기술에 지장을 주는 경향이 있는 반면, 

• 더 큰 팀은 기존 것을 개발하는 경향이 있었다."(Wu 등,2019년). 

그룹 규모와 생산성의 역관계는 보편적인 것으로 보인다.

a study that appeared in Nature that week, based on an analysis of “65 million papers, patents and software products that span the period 1954–2014 and demonstrate that across this period 

• smaller teams have tended to disrupt science and technology with new ideas and opportunities, whereas 

• larger teams have tended to develop existing ones.” (Wu et al. 2019). 

It seems that the inverse relation between group size and productivity is universal.

예로 이것 발견을 확인할 마지막으로, 나는 1964년(1964년 힉스)에 피터 힉스에 의해, 혼자 발표된 이 원래 이론적인 기사로 힉스 입자를 제안하고, 찾았다. 그 당시 나는 문서에서는 2012년 이상 3000명의 작가들(ATLAS검출기를 공동 작업(알.,(알.,(알., 끝도 없이 지겹도록)다로 힉스 입자의 존재를 확인하라셔.

Finally, to confirm this finding by example, I sought out the original theoretical article proposing the Higgs boson, which was published by Peter Higgs, alone, in 1964 (Higgs 1964). I then located the article confirming the existence of the Higgs boson, which appeared in 2012 and had over 3000 authors (ATLAS Collaboration et al., et al., et al., ad infinitum ad nauseam).

결론적으로, 이 editorial의 제목은 거의 옳다. 보다 정확하게 말하면 이렇다. 두(독립적) 머리는 하나의(그룹으로 이뤄진 두 개의)머리보다 낫다.

To conclude, my title is almost right. A more accurate revision: Two (Independent) Heads are Better Than One (Group of Two Heads).

---

Adv Health Sci Educ Theory Pract. 2019 May;24(2):195-198. doi: 10.1007/s10459-019-09888-3.

Two heads are better than one?

Norman G1.

Author information

1

McMaster University, Hamilton, ON, Canada. norman@mcmaster.ca.

PMID:

 

31025268

 

DOI:

 

10.1007/s10459-019-09888-3