표본크기, 스쿱, 교육과학(Adv Health Sci Educ Theory Pract. 2010)

표본크기, 스쿱, 교육과학(Adv Health Sci Educ Theory Pract. 2010)

Sample sizes, scoops and educational science

Geoff Norman

(2) 지난 주, 나는 우리의 입문 역학 과정에서 학생들이 생성한 연구 질문을 검토하고있었습니다. 한 학생이 개발 도상국의 모든 출산 문제를 해결하기를 원했습니다. 또 다른 환자는 다발성 경화증에서 치료에 대한 끔찍하게 복잡한 연구를하고 싶었습니다. 그러나 그 둘 모두 자신의 연구를 전체적인 맥락 속에 두거나, 그 분야에 대해 이미 알고있는 것을보려고 하거나, 그들의 질문이 논리적으로 다음 단계로 어떻게 진행되는지 보여주려는 시도는 하지 않았다. 문제는 단순히 질문에 답할 수 없다는 것이 아닙니다. 적어도 과학적 관점에서 연구할만한 가치가 있다고 추정 할 이유가 없었습니다. 목숨을 구제하고 고통스럽게 예방하는 등의 면에서 매우 중요했을 지 모르지만 과학적 이해에 기여했는지는 분명하지 않았습니다.

(2) Last week, I was reviewing study questions generated by students in our intro- ductory epidemiology course. One student wanted to solve all the problems of childbirth in the developing world; another wanted to do a horrendously complex study of remissions in multiple sclerosis. Neither had made any attempt to put their study in context, to see what was already known about the area, to show how their question was a logical next step in understanding. It was not simply that the questions were unanswerable; it was also that there was no reason to presume that they were worth answering, at least from a scientific perspective. They might have been hugely important in terms of lives saved, anguish prevented, and such, but it was not clear if they represented any contribution to scientific understanding.

'Scooped'? 이것은 저널리스트들이 걱정하는 것입니다. 누군가가 자신의 이야기를 인쇄하기 전에 얻었습니다. 그러나 리차드 티 베리우스 (Richard Tiberius)가 말했듯이 이것은 자연 과학에서도 동일하게 발생하며, 정확히 같은 것을 의미한다. 누군가가 빛의 핵 중성자 단면적에있는 출입구 상태의 ''이야기 '를 발표하면 (이것은 내 박사학위 주제이다), 그러면 저는 그렇게 할 수 없습니다. 물리학 분야에 replication의 자리는 거의 없습니다. 체계적인 리뷰는 전례가 없습니다. 뭔가가 되면 된 것이고, 드문 경우를 제외하고는 다시 그것을 재수행하지 않습니다. 아무도 그들의 중성자가 다른 녀석과 다르거 나 다른 감광기로 감마선의 에너지를 측정했다고 주장하지 않거나 다른 개념 틀에서 왔습니다. 누구도 다음과 같이 말하지 않는다. "이전에 사우스 콜럼비아주의에서 뮤 중간자의 에너지는 측정되지 않았기 때문에 이 연구를 했습니다."

‘‘Scooped’’? That’s something journalists worry about; someone got their story into print before they did. But as Richard Tiberius describes, this is also a common concern in natural science, with exactly the same meaning. If someone publishes the ‘‘story’’ of the doorway states in the neutron cross-sections of light nuclei (for this they gave me PhD), then I can’t. Replication has almost no place in physics. Systematic reviews are unheard of. If it’s done, it’s done and, with rare exceptions, it does not get redone. No one tries to argue that their neutrons are different from the other guy’s, or they measured the energy of their gamma rays with a different detector, or they came from a different conceptual framework. And no one would dare say, ‘‘The energy of mu mesons has not been measured in South Columbiana before, so we did a study.’’

이 세 가지 이야기의 공통된 요소는 무엇입니까? 그것은 모두 연구 질문의 역할에 대한 것이다. 과학이 성숙함에 따라 지식의 corpus는 더욱 coherent해지고, 과학자 네트워크에 의해 공유됩니다. 연구 문제는 무에서 창조되는 것이 아니라 공동체에 공유된 지식으로부터 발생합니다. 문헌 검토는 논문의 마지막 부분에 참고 문헌의 반 페이지를 보장하는 보잘것 없는 것이 아니다. 그것은 왜 연구질문이 가치가 있는가를 보여주는 필수적인 주장입니다.

What is the common element in these three stories? It all comes down to the role of the research question. As a science matures, the corpus of knowledge becomes more coherent and is shared by the network of scientists. Research questions arise from the shared knowledge of the community, not from whole cloth. The literature review is not just a bit of scholarly fluff to ensure that there is a half page of references at the end of the paper; it is the essential argument leading to why the question is worth asking.

많은 논문들이 '우리의 학교에서 우리는 이런 문제가 있었다...'로 시작하던 때가 있었다. 그러나 이제는 시대가 변화했으며, 이러한 rationale는 더 이상 받아 들여지지 않는다. 의학 교육에서 최소한 두 권의 저널이 제출 가이드 라인을 변경하여 저자가 자신의 연구가 지식에 어떻게 기여하는지 명시해야합니다. 평가자는 연구의 고유 한 기여도에 대해 직접 의견을 제시해야합니다. 그리고 나도 방법론적 견지에서 완벽했지만 새로운 지식을 추가하지는 않았던 연구들을 turned down한 경험이 있다.

There was a time when many papers in our field began with something like, ‘‘At ourmedical school we had a problem with…’’ Well, the times they are a’changin’ and thiskind of rationale is no longer acceptable. At least two journals in medical education have now changed their submission guidelines so that authors must explicitly show how their study contributes to knowledge. Reviewers are asked to make direct comments on the unique contribution of the study. And on more than one occasion, I have turned down a paper that was perfectly adequate from a methodological perspective, but did not add new knowledge.

두 가지 명확한 함의 :

Two clear implications:

(1) 내가 이 분야에 들어왔을 때, 최적의 연구팀은 자신의 경험으로부터 좋은 연구질문을 가지고 있는 임상 교육자와, 그 질문에 대답할 수 있는 방법론을 가지고 있는 교육자의 조합이었다. 그들은 질문을 가지고 있었고, 우리는 방법론적 답을 가지고 있었다. 그것은 분산 분석, 타당성 구축, 회귀 등이었다.

(1) When I entered the field, we viewed that the optimal research teamwas a partnership between a practitioner or clinical educator, who knew, from her personal experience, the good questions to be asked, and an ‘‘educationist’’ like me, who knew the methodologies available to answer them. They had the questions; we had the methodological answers, clothed in arcane terms like analysis of variance, construct validity, regression.

이 모델이 여전히 유효하지만, 분야가 성숙함에 따라 역할 구분이 바뀌므로, 이제 연구질문은 개인의 경험과 관찰보다는 연구 프로그램의 다음 단계로서 등장한다. 그리고 연구 프로그램은 전형적으로 "교육자"또는 보다 정확하게 말하자면 행동과학자 또는 사회과학자 (Norman 2010)에 의해 주도됩니다. 이 변화의 한 지표로서, 초기에는 종종 그렇지 않았습니다(=임상가가 주도했다). 조지 밀러, Hilliard Jason, 하워드 배 로우, Victor Neufeld, Paula Stilman, Ron Harden (여전히 누구입니까?). 그러나 더 최근의 모습을 보면 예를 들어 저널에 열 명의 가장 인용 된 저자 중 8 명은 PhD이다. 이것이 임상의가 아무런 역할이 없다는 것을 의미하지는 않습니다. 정반대입니다. 효과적인 연구는 훨씬 더 긴밀한 협업을 통해 이루어 지므로 각각의 관점은 다른 관점을보다 세밀하게 이해할 수 있습니다.

While the model is still prevalent and functional, as we mature, the role distinction changes, so that far more frequently, questions do not arise from individual experiences and observations, but instead emerge as the next step in a research program. And the program is typically led by an ‘‘educationalist’’ or more accurately, a behavioural or social scientist (Norman 2010). As one indicator of this change, the leaders of the field in the early days were often as not, clinicians—George Miller, Hilliard Jason, Howard Barrows, Victor Neufeld., Paula Stilman, Ron Harden (who still is). However, more recent ‘‘snap- shots’’ of the field (Schmidt and Rotgans 2010) show that, for example, eight of the ten most cited authors in our journals are PhDs. This does not mean that there is no role for clinicians; indeed quite the opposite. Effective research will come from a much closer collaboration, so that each has a more intimate understanding of the other’s perspective, at a more fine-grained level.

(2) 최근 몇몇 학자들은 일반화가능한 이론의 역할을 최소한으로 보는 교육 연구의 변화 패러다임에 대해 (Regehr 2010; Mennin 2010) 주장했다. 예를 들어 Regehr은 다음과 같이 씁니다.

(2) Recently some authors have argued (Regehr 2010; Mennin 2010) for a changing paradigm of educational research, where there is a minimal role for generalizable theories. For example, Regehr writes:

Science of education이란 우리의 근원적인 은유와 가정을 폭로하고, 우리가 개별적, 집단적으로 지역적 맥락에서 다루고 자하는 교육 이슈를 해석하기 위하여, 이 은유와 가정의 상대적 가치를 조사하는 것이다. (p.37)

It [the science of education] is about exposing our underlying metaphors and assumptions, and examining the relative value of these metaphors and assumptions for interpreting the education issues that we are individually and collectively trying to address in our own local contexts. (p.37)

이 담론은 local solution은 다른 local solution에 대한 은유로서 가치가 있음을 강조하며, 특히 일반화에 대한 모든 시도를 평가절하한다. 

"교육의 과학은 일반적인 문제에 대한보다 보편적 인 해결책을 창출하고 공유하는 것이 아니다"

This discourse places value on local solutions as metaphors for other local solutions, and specifically discounts any attempt at generalization. To quote, ‘‘the science of edu- cation is not about creating and sharing better generalisable solutions to common prob- lems.’’ 

액면 그대로 보자면, '교육 과학'은 개인의 demonstration들의 무작위 집합이며, 지식의 coherent body가 아니다. 교육 학자로서의 우리의 역할은 모범적인 사례exemplar의 모음을 축적하고, 그것들을 꼼꼼히 살펴서 우리 자신의 근사치에 가까운 해결책을 찾아내는 것입니다. 우리는 (과학자처럼 행동하기보다는) 마치 법률가들처럼 현재의 상황에 적용 할 선례를 위한 기록 보관소를 훑어보고 있다. 그러나, 위에서 확인한 경향이 사실이라면, 반대가 되어야 한다.

Taken at face value, the ‘‘science of education’’ amounts to a random collection of individual demonstrations, not a coherent body of knowledge. Our role as educational scholars amounts to accumulating large collections of exemplars, then sifting through the demonstrations to find some solution in some setting that approximates our own. We become more like legal scholars, looking through the archives for precedents to apply to the current situation, than scientists. However, to the extent that the trends I identified above hold true, the opposite is the case.

도널드 캠벨 (Donald Campbell)은 "할 가치가 없는 연구는 잘 할 가치가 없다"고 말했다. 이 간단한 문장 뒤에있는 깊은 의미를 이해하고 행동하는 데 오랜 시간이 걸렸습니다.

Donald Campbell once said, ‘‘A study is not worth doing well if it’s not worth doing’’. It has taken us a long time to understand and act on the profound meaning behind this simple sentence.

---

Adv Health Sci Educ Theory Pract. 2010 Dec;15(5):621-4. doi: 10.1007/s10459-010-9258-z. Epub 2010 Nov 25.

Sample sizes, scoops and educational science.

Norman G1.

Author information

1

MDCL 3519, McMaster University, 1200 Main St. W., Hamilton, ON, L8N3Z5, Canada. norman@mcmaster.ca

PMID:

 

21107684

 

DOI:

 

10.1007/s10459-010-9258-z