근거란 무엇인가? 2011 AMEE 심포지움 논의(Med Teach, 2012)

근거란 무엇인가? 2011 AMEE 심포지움 논의(Med Teach, 2012)

What is evidence? Reflections on the AMEE symposium, Vienna, August 2011

JILL THISTLETHWAITE1, HUW DAVIES2, TIM DORNAN3, TRISHA GREENHALGH4, MARILYN HAMMICK5 &

ROSS SCALESE6 

1University of Queensland, Australia, 2University of St Andrews, UK, 3University of Maastricht, the Netherlands, 4Barts and The London School of Medicine and Dentistry, UK, 5University of Bournemouth, UK, 6University of Miami, USA

보건 전문가, 교육자 및 연구자로서 우리는 근거 기반 실천 (EBP), 근거 중심 교육 및 최상의 근거 의학 교육 (BEME)의 맥락에서 '근거'라는 단어를 자주 사용합니다. 우리는 의문의 여지없이 모두의 전문적 삶과 개인 생활에 모두 의심의 여지가 있습니다. 그 근거라는 것은 무엇입니까?

As health professionals, educators and researchers, we use the word ‘evidence’ frequently in the contexts of evidence-based practice (EBP), evidence-guided education and best evidence medical education (BEME). We have all, no doubt, been challenged in both our professional and personal lives by the question: what is the evidence for that?

BEME 평론가들은 Medicine에서 EBP로 널리 사용되는 방법론 (무작위 이중 맹검 제어 시험, 시험 데이터의 메타 분석)이 교육 연구 및 평가에서 실현 가능하지 않다는 사실을 깨달았다.

BEME reviewers soon realize that the ubiquitous methodology of EBP in medicine, the randomized double blind controlled trial and subsequent meta-analyses of trial data, is not feasible in education research and evaluation.

그러나 근거가 실제로 적용되고 행동으로 옮겨지는 것이 중요하다. 연구를 통한 근거의 생성은 그 자체로 끝나는 것이 아닙니다.

However, a common theme emerged that it is important for evidence to be applied in practice and translated into action: the generation of evidence through research is not an end in itself.

근거의 여러가지 의미

The multiple meanings of evidence

근거는 절대적이거나 '하나의' 단순한 정의가 아니다. 근거는 어떤 것과 관련되어, 또는 마릴린 해밋 (Marilyn Hammick)이 제안한 것처럼, '무언가를 대리하는 것having agency'이다. 게다가 포스트 모던과 논란의 여지가있는 견해로는 근거에 대한 단 하나의 meta definition은 없다는 것이다. (어떤 것이 사용되는) 목적에 따라서 서로 다른 경험적, 이론적 또는 경험적 일 수있는 다양한 출처 및 유형의 근거를 요구합니다. Tim Dornan은 Cochrane collaboration을 설립하게 된 것은 "어떤 약물이 일상적으로 처방되기 훨씬 전에 효능이 존재한다는 근거들이 발표된 것"이 었음을 상기 시켰습니다. 약물의 효과에 대한 근거를 통계적으로 합성해야한다는 주장argument이 그러한 관찰에 논리적으로 뒤따랐다. 그 이후로, 어떤 가정들은 불가피하게 '근거'라는 단어에 묶여 있지만, 반드시 그것과 관련이있는 것은 아니다.

 Evidence is not an absolute, a ‘one thing’,a simple definition. It is better described as relative or, as Marilyn Hammick proposed, ‘having agency’. Moreover, a postmodern and, for some, controversial view would be that there is no one meta definition of evidence. Different purposes call for different sources and types of evidence, which may be empirical, theoretical or experiential. Tim Dornan reminded us that a stimulus to the formation of the Cochrane collaboration was the publication of research showing that evidence for the efficacy of drugs exists long before they are routinely prescribed. An argument for the statistical synthesis of efficacy evidence followed logically from that observation. Since then,certain assumptions have become inextricably tied to the term’evidence’, yet they are not necessarily linked to it.

내러티브로서의 증거

Evidence as narrative

트리샤 그린 할 (Trisha Greenhalgh)은 학문적 경계를 넘어 증거를 개념화하는 차이를 강조하는 경험을 이야기했다. 증거의 본질을 탐구하는 프로젝트에서 두 개의 주요 그룹이 형성되었습니다. 

• Bayesians라는 별명을 가진 사람들은 통계학, 경제학,인지 정신 의학, 공학 및 의학계의 구성원들이었으며, 주제, 문맥 조건 또는 특정 질문이 무엇이든 적용 할 수있는 '근거의 통일된 이론'을 만들어 냈습니다. 이 그룹은 '근거'가 필연적으로 확률론적이며 체계적 검토와 제어 된 실험을 통해 연구 설계의 계층 구조와 연결되어 예측 과학을 향상시키는 데 주력한다는 전제로 시작되었습니다. 

• 다른 그룹 (non-Bayesians)은 보다 이질적이었는데, 철학, 영어, 사회학, 고대사, 의학 (트리샤의 인물), 인류학, 교육학 등을 대표하며, 법학은 여전히 ​​unaligned 하였다. non-Bayesians는 증거에 대한 통일 된 이론을 만들려하지 않았다. 그들은 그러한 이론은 환원적이고 도움이되지 않는다는 입장이었다. 오히려, 그들의 사명은 명시적으로 다원주의 탐구 적이며 서사적인 접근이었다.

Trisha Greenhalgh recounted an experience that highlights the difference in conceptualizing evidence across disciplinary boundaries. During a project exploring the nature of evidence, two main groups formed. 

• One (nicknamed the Bayesians) with members from statistics, economics, cognitive psychol- ogy, engineering and medicine set about producing a ‘unifying theory of evidence’ which would apply whatever the subject matter, contextual conditions or specific questions. This group began with the premise that ‘evidence’ was necessarily probabilistic and linked to hierarchies of study designs with systematic reviews and controlled experiments at the top, and focused on improving the science of prediction. 

• The other group (the non-Bayesians) was more heterogeneous, with representatives from philosophy, English, sociology, ancient history, medicine (in the person of Trisha), anthropology and education, while law remained unaligned. The non-Bayesians had no desire to produce a unified theory of evidence – indeed, they began from the position that any such theory would be reductive and unhelpful. Rather, their mission was explicitly pluralist and exploratory, with a narrative approach.

심지어 법률 사례에서조차도, 증거의 상당 부분이 어떤 식으로는 수치적 또는 기술적 척도로 구성되어 있더라도, 궁극적으로는 그 모든 것들을 하나로 모으는 내러티브의 일관성에 달려있다. 배심원은 검찰이 제시한 이야기 또는 변호사가 제시한 이야기 중 어떤 것이 더 그럴듯한 지 여부를 결정해야합니다. 아마도 Trisha가 제안했듯이 모든 증거는 근본적으로 서술적이다.

Even in legal cases, and even when much of the evidence consists of numerical or technical measurements of one form or another, the case ultimately rests on the coherence of the narrative that draws it all together. The jury must decide whether the story presented by the prosecution or that presented by the defence is more plausible. Perhaps, therefore as Trisha suggested, all evidence is fundamentally narrative in form.

또는 수사학으로서의 증거

Or evidence as rhetoric

그러나 Trisha는, 법학 교수는 '욕조의 신부'라는 유명한 법률 사건을 서술했습니다. 1912 년 조지 스미스는 자신의 아내의 저녁 식사를 위해 토마토를 사러 갔다고 말했고, 돌아 왔을 때 목욕에서 죽은 채로 발견되었다고합니다. 아마도 간질이 맞았을 것입니다. 1913 년 이맘때까지 집으로 이사 왔고 재혼 한 같은 남자는 새 아내의 저녁 식사를 위해 토마토를 사러 갔다고 주장했고, 돌아 왔을 때 목욕에서 그녀의 죽음을 발견했다. 그리고 1914 년 다시 재혼하고 다시 이사했는데, 그는 아내의 저녁 식사를 위해 토마토를 사러 갔다는 것을 세 번째로 주장했고, 돌아 왔을 때 그녀는 목욕에서 그녀의 죽음을 발견했다. Narrative 인과 관계를 바탕으로 각 신부의 죽음을 평가할 수 있지만, 세 명의 죽음의 중요성을 평가할 때 Bayesian 추론의 원칙이 의식적으로 또는 무의식적으로 적용됩니다.

But then, as Trisha continued, the law professor narrated the famous legal case of ‘Brides in the Bath’. In 1912, George Smith claimed that he had gone shopping to buy tomatoes for his wife’s supper, and that when he returned he had found her dead in the bath, presumably from an epileptic fit. In 1913, the same man, who by this time had moved house and remarried, claimed that he had gone shopping to buy tomatoes for his new wife’s supper, and that when he returned he had found her dead in the bath. And in 1914, again remarried and again relocated, he claimed for a third time that he had gone shopping to buy tomatoes for his wife’s supper, and that when he returned he had found her dead in the bath. While one can evaluate each individual bride’s death on the basis of  narrative causality, when one assesses the significance of all three deaths, the principles of Bayesian reasoning are applied either consciously or unconsciously.

따라서 "Narrative"라는 명칭은 "Rhetoric"으로 절하되었고, '레토릭'이란 아리스토텔레스가 기원전 4 세기에 설득의 예술에 대해서 기술하면서, 세 가지로 구성되어있다고 말햇다. 로고스(사실), 에토스(화자의 신뢰성), 파토스(감정에 대한 호소). 그들의 저서 'The New Rhetoric'에서 Perelman과 Olbrachts-Tyteca (1969)는 이러한 세 가지 차원의 수사학을 인정했지만 네 번째(청중에 대한 이해)를 추가했다. 즉, 어떤 논증이든, 그 주장을 접하는 청중은 공유된, 당연시되는 가정에서부터 시작할 것입니다 (또는 아마도 이것을 가치관value라고 부를 수도 있습니다). 

• 재무 이사가 가득한 방에 필요한 실제 정보는 사업 계획 및 재무 스프레드 시트입니다. 신뢰할 수있는 연설자 란 매우 큰 예산을 관리하는 사람입니다. 감정에 가장 호소하는 것은 X가 수행되지 않으면 발생할 수있는 재정적 재앙에 대한 추측의 형태를 취할 것입니다. 

• 그러나 기후 변화 운동가들로 가득 찬 방에서 핵심 사실은 탄소 발자국과 관련이 있어야합니다. 신뢰할 수있는 연설자는 천막에 살며 자기 자신의 채소를 재배하는 사람입니다. 감정에 호소하는 것은 오존층의 구멍 크기와 관련이 있습니다.

So, the appellation ‘narrative’ was dropped in favour of ‘rhetoric’, which as Aristotle wrote in the fourth century BC is the art of persuasion, comprising three components: logos (the facts), ethos (the credibility of the speaker) and pathos (the appeal to emotions). In their book The New Rhetoric, Perelman and Olbrachts-Tyteca (1969) acknowledged these three dimensions of rhetoric but added a fourth: an understanding of the audience. The audience for any argument will begin with some shared, taken-for-granted assumptions (or perhaps we may call these values). 

• To a room full of finance directors, the factual information needed is a business plan and financial spreadsheet; a credible speaker is one who is known to manage a very large budget; and the best appeal to emotions will take the form of speculation about some financial catastrophe that could occur if X is not done. 

• But to a room full of climate change activists, the key facts need to relate to carbon footprint; a credible speaker is one who lives in a teepee and grows her own vegetables; and the appeal to emotions will be something to do with the size of the hole in the ozone layer.

현실 주의적 접근

The realist approach

• 어떤 종류의 근거는 통계학과 실험 과학의 베이 즈식 추론에서와 같이 아마도 사실 일 수 있으며, 우리는 그 근거가 다른 상황에서도 재현 가능하고 일반화되기를 희망한다. 

• 어떤 종류의 근거는 (내러티브 추론과 수사학적 논증에서와 같이)고유 한 개별적 사례에 대해서만 사실일 수 있다. 

현실주의적 접근법은 이 두 철학적 세계를 함께 가져와, 특정 상황이 전제되었을 때, 어떤 것이, 어떤 사람들에게, 대부분의 경우에  일반적으로 작동하는가에 대한 증거를 제시한다. 이러한 중간계의 근거는 종종 심층적 사례 연구와 성찰적 질문에 기반을 두며, 이 때 reflexive question이란 왜 하나의 특정한 상황에서 특정한 인풋이 특정한 결과를 가져오는데, 다른 상황에서는 다른 결과를 가져오는지에 대한 이유에 대한 질문이다.

• Thus, some kinds of evidence relate to what is probably true, as in the Bayesian reasoning of statistics and the experimental sciences, and which we hope is reproducible and general- izable fromone setting to another. 

• And other types of evidence relate to what is plausibly true for a unique individual case, as in narrative reasoning and rhetorical argument. 

The realist approach brings these two philosophical worlds together to produce evidence on what generally works for whom, most of the time and given certain contextual preconditions. This evidentiary middle ground is often based on in-depth case studies and reflexive questioning about why on this occasion a particular input produced a particular outcome but on a different occasion it produced the opposite outcome.

연구와 근거의 관계

The relation of research to evidence

Huw Davies는 연구 결과라는 것은, 단순히 생명력이 없는inanimate 데이터로서, 어떤 행동을 일으킬motivate 때에만 의미가 있다고 주장한다. 즉, 인간 행위자에 의해 처리될 때에만 그 데이터가 '지식' 또는 '근거'로서 이해될 수 있다는 것이다. 따라서 Huw는 연구 조사 결과가 그 자체로 무언가를 말해주지는 않는다고 했다speak for itself. 즉, 그 결과가 translate되고, 어떤 맥락에 놓여지고, 다른 종류의 데이터와 지식 (암묵적 지식과 전문적 경험을 포함하여)과 융합되어야 한다. 따라서 체계적인 검토와 근거의 합성이 필수적이면서, 동시에 연구는 지역 시스템, 문화 및 자원의 맥락에서 해석되어야합니다.

Huw Davies observed that the findings from research are merely inanimate data, which only acquire meaning and the potential to motivate action – that is, they become construed as knowledge or evidence – when  processed by a human actor. Thus, Huw noted that research research findings need to be does not speak for itself: translated, set in context and amalgamated with other sorts of data and knowledge (including tacit knowledge and professional experience). So, while systematic review and syntheses are essential, research must also be interpreted in the context of local systems, cultures and resources.

그 다음 이어지는 주장은, 연구에서 얻은 지식이 사회적이고 맥락적인 과정이라는 점에있다. 해석과 통합의 과정은 지역 문제, 도전 과제, 의사 결정의 필요성을 인식함으로써 유도되며, 사회-문화적 맥락에서의 대화를 통해 발생한다. 어떤 (연구) 데이터가 모여서 '근거'로서의 힘을 갖게 되는지는 사회적 맥락과 그 사회 내부의 의사 소통 패턴의 함수이다. 더욱이 근거라는 것은 힘이 있는 사람이 '근거'라고 말할 때 그렇게 된다. 모든 사회 문화적 시스템 내에는 정당성을 강화하거나 약화시키는 권력 역학이 존재한다. 힘이 있는 사람들(그 힘을 어떻게 얻었든)은 힘이 없는 사람들보다 특정 데이터가 더 설득력이 있다고 주장할 수 있는 능력을 갖추고 있다..

The argument made then is that knowledge production from research is a deeply social and contextual process: the process of interpretation and integration happens through dialogue in a sociocultural context, driven by awareness of local problems, challenges and decision needs. The extent to which (research) data gather influential power as ‘evidence’ is a function of this social context and the communication patterns within it. Moreover, evidence is what the powerful say it is: within any sociocultural system, there are power dynamics that confer or attenuate legitimacy. Powerful people (however that power has been accrued) are more able to assert that certain data acquire the persuasive mantle of evidence than those less powerful.

마지막으로, Huw는 '의사 결정을 위한 근거'를 과도하게 강조하면서, 새로운 사고 방식을 알릴 수있는 훨씬 광범위한 연구 기반이 상대적으로 무시될 수도 있다고 지적했다. 그 결과, 개념 범주와 정신 모형을 재구성하는 연구가 장기적으로는 더 큰 영향을 미칠 수도 있습니다. 그러한 연구는 오랫동안 받아들여진 가정에 도전하며(unlearn을 촉진한다), 해결해야 할 사안의 재 개념화 (심지어 그 과정에서 가치value를 재구성 할 수도 있다)를 허용하거나, 이러한 이슈를 이해하기위한 새로운 모델과 프레임 워크를 제공 할 수 있습니다.

Finally, Huw noted an overemphasis on ‘evidence for decision making’ might lead to a relative neglect of the much broader research base that can inform new ways of thinking. So, research that reshapes conceptual categories and mental models may have more influence in the longer run. Such research may challenge long-held assumptions (prompting unlearning), allow a reconceptualization of the issues that need to be addressed (perhaps even reshaping values in the process) or provide new models and frameworks for under- standing these issues.

BEME 리뷰와 관련된 증거

Evidence in relation to BEME reviews

Marilyn은 BEME 제안의 감정인으로서의 역할에서, 조사 팀에게 연구 질문에 대답 할 수있는 근거를 수집 할 계획에 대해서 질문합니다. 논증에서 사용할 연구 증거와 이러한 논증의 본질 사이의 강력한 연관성은 기본이다.

In her role as appraiser of BEME proposals, Marilyn asks the question: does the review team plan to collect evidence that will enable them to meet their research aim or answer their research questions? A strong link between the research evidence they plan to use in their arguments and the nature of those arguments is fundamental to the process.

분명히 우리 모두가 증거로 적합하지 않다는 것에 모두 동의 할 수있는 것도 있다. 예를 들면 한 교육자가 자신의 교육 개입이 어떻게 임상 행동을 변화 시켰는가에 관한 일화와 같은 것이다.

In systematic review research of the type BEME advocates, there is a line below which we might all agree that something is most definitely not eligible as evidence: for example, one anecdote from one partisan educator, about how their education intervention changed clinical behaviour.

BEME의 경우, 어떤 것이 근거로 간주될 수 있는가는, 우리가 보건 전문 교육에 대해 어떤 종류의 결정을 내리고자 하느냐에 달려 있다.

For BEME, what can be considered as evidence is determined by what sort of decisions about health professional education we are interested in

• 다수의 학생들이 참여하는 최초의 온라인 학습 프로그램이라는 맥락에서, 현재 면대면으로 제공하는 프로그램을 온라인으로 제공해야 하는 여부를 결정할 때에는, 어떤 것이 누구에게 효과가 있는가에 대한 근거가 필요하다.

• 대조적으로, 실제 전달방법과 학습자의 수용가능성이 검증 된 교육 개입을 구현하는 상황 (학생은 새로운 방식을 좋아한다)을 결정하기 위해서는, 다른 유형의 근거가 필요하다. 이때에는 새로운 교육 전달법이 기존의 방법에 비해서 학습자의 지식이나 기술 측면에서 최소한 동일한 효과를 갖는가에 대한 근거가 필요하다.

• The decision may be whether a programme, presently delivered face to face, should be delivered online in the context of this being the institution’s first online learning programme involving a large number of students. The evidence sought should be of the what works for whom, in variety. 

• In contrast, the decision to what circumstances implement an educational intervention that has been road- tested for practical delivery and learner acceptability (students liked the new way) but not for improvements in learner knowledge or skills demands a different kind of evidence: evidence that shows the new education delivery is at least as effective in terms of learner knowledge or skills or that it improves knowledge and skills, working more effectively than the traditional way.

근거의 퀄리티

The quality of evidence

보건 전문 교육에서 중요한 논쟁은 근거의 퀄리티에 대한 단 하나의 결정권자arbiter가 있는지와 커크 패트릭 (Kirkpatrick, 1967)의 4 단계 모델이 그러한 방식으로 사용될 수 있는지 여부입니다. Tim Dornan은 Kirkpatrick의 레벨을 '계층 구조'로 간주하는 것이 부적절하다고 주장했습니다.

An important debate in health professional education has been whether there is a single arbiter of the quality of evidence, and whether Kirkpatrick’s (1967) four-level model can be used in that way. Tim Dornan argued that it is inappropriate to regard Kirkpatrick’s levels as a ‘hierarchy’

교육 연구의 질이 좋지 않다는 증거로 여겨지는 것들은, 실제로는 교육 연구의 다양성을 보여주는 것이다. 실제로 BEME 검토자는 Kirkpatrick 모델을 품질 지표가 아닌 결과에 대한 증거를 정리하는 용도로 사용한다.

What is said to be evidence of the poor quality of education research is, in reality, a reflection of its diversity. BEME reviewers, in fact, use the Kirkpatrick model to organize evidence on outcomes rather than as a quality indicator.

• 
  

실용적 관점

Practical perspectives

'실용적'이라는 한 가지 정의는 '이론과 사상보다는 실제 무언가의 수행이나 사용에 관한 것'(OED 2003)과 같은 더 깊은 논의에 유용하다. "실용적인 관점을 유지한다"는 개념은 

• 체계적인 검토가 수행되는 방식 ( '실제 수행')과 

• 수집 된 증거가 합성되고 보고되는 ​​방식 ( '결과 / 결론 사용'을 고려) 모두에 적용될 수 있다.

One definition of ‘practical’ is useful for further discussion: ‘of or concerned with the actual doing or use of something rather than with theories and ideas’ (OED 2003). This notion of maintaining a practical perspective is applicable then to both 

• the manner in which a systematic review is conducted (‘the actual doing’) and 

• the way the gathered evidence is the synthesized and reported (considering the ‘use of’ results/conclusions). 

전자의 경우 Tim과 Marilyn은 각각 연구 질문을 신중하게 정제하는 중요성과 조사 방법의 의미에 대해 설명했습니다. 문헌 검색, 데이터 추출 및 코딩 등을 계획하고 실제로 수행 할 때, 검토자는 systematicity와 feasibility의 균형을 유지해야하며 '근거가 추가 될 때마다 얼마나 더 많은 이해를 얻을 수 있습니까?'를 물어야 한다.

Regarding the former, Tim and Marilyn each commented on the importance of carefully refining the research question and the implications of how the inquiry is framed. In planning and actually carrying out the literature search, data extraction and coding, etc., reviewers must balance systematicity and feasibility, and ask ‘How much more understanding do we gain by uncovering every additional shred of evidence?’ 

초기 연구 이후 6 년간의 의료 시뮬레이션에 대한 보고서의 기하 급수적 인 증가로 인해 Ross 그룹은 완전히 철저한 문헌 검색을 수행 한 경우 업데이트 된 검토를 완료하지 못할 수도있었습니다. 그 대신 여전히 어느 정도 systematic하면서 보다 선별적인 방식으로 '비판적 검토'를 실시했으며, 이는 Trisha 등이 묘사한 현실 주의적 접근 방식을 채택한 것이다.

The exponential increase in published reports about medical simulation in the 6 years after their initial study meant that Ross’s group might never have completed the updated review if they had performed an absolutely exhaustive literature search; instead, although it was still systematic, they conducted a more selective, ‘critical review’, adopting something of the realist approach described by Trisha and her colleagues.

학술 활동 결과물과 관련하여 교육 연구자는 최종 사용자의 실질적 요구를 염두에 두어야합니다. 이전에 언급했듯이 청중에 대한 이해는 필수적입니다. 모든 DNA, 탄도 및 기타 과학적 '근거'가 견고하더라도, 지나치게 이론적이거나 이해할 수없는 것은 일반인 배심원lay jury에게는 유용하지 않다. 마찬가지로, 특히 교육 저널의 최신 기사를 따라갈 시간이 없을 수도있는 임상 교사의 경우, 최종 서면 보고서에 과도한 전문 용어, 통계적 'hocus-pocus'(일부 메타 분석 에서처럼) 또는 철학적인 내용이 있으면 유용하지 않을 것이다. 이것은 우리의 연구 및 실행에 대한 건전한 이론적 토대가 중요하지 않으며 체계적인 검토에서 결과 및 결론을 'dumb down'해서는 안된다는 것도 아닙니다. 오히려 교육 연구가가 직면한 문제는, 단순히 다양한 형태의 근거를 밝히는 것이 아니라, 그 근거들의 복잡성, 뉘앙스 및 문맥 적 풍부함을 증류distil하여, 단순히 consumable할 뿐만 아니라, digestible하고, 심지어는 HPE의 동료들에게 satisfying하도록 만드는 것입니다. 보건 전문가 교육은 교사의 실천에 최고의 증거를 적용하고자합니다.

Regarding the output from scholarly activities, educational researchers must keep the practical needs of end-users in mind. As mentioned earlier, an understanding of the audience is essential: harkening back to the legal metaphor, even if all the DNA, ballistics and other scientific ‘evidence’ is solid, it will be useless for making a case if overly theoretical or incomprehensible to a lay jury. Likewise, especially for clinical teachers who may not have time to keep up with the latest articles in education journals, even the most elegantly designed and well-executed systematic review will not yield useful results if the final written report contains excessive jargon, statistical ‘hocus-pocus’ (as in some meta-analyses) or philosophizing. This is not to say that a sound theoretical underpinning to our research and practice is unimportant, nor that we should ‘dumb down’ the results and conclusions from systematic reviews. Rather, the challenge for educational researchers is not simply to uncover the evidence in its various forms, but somehow to distil all its complexity, nuance and contextual richness into something that is more than just consumable, but also digestible and even satisfying to our colleagues in health professions education who are looking to apply the best evidence in their teaching practices.

---

Med Teach. 2012;34(6):454-7. doi: 10.3109/0142159X.2012.671561. Epub 2012 Apr 11.

What is evidence? Reflections on the AMEE symposium, Vienna, August 2011.

Thistlethwaite J1, Davies H, Dornan T, Greenhalgh T, Hammick M, Scalese R.

Author information

1

University of Queensland, CMEDRS, Herston Road, Brisbane 4006, Queensland, Australia. j.thistlethwaite@uq.edu.au

Abstract

In this article, we present a summary of the discussion from the symposium on 'what is evidence', which took place at the AMEE conference in 2011. A panel of five academics and clinicians, plus the chair, considered the nature of evidence, in particular in relation to the 'evidence' in the best evidence medical education reviews. Evidence has multiple meanings depending on context and use, and this reflects the complex and often chaotic world in which we work and research.

PMID:

 

22494077

 

DOI:

 

10.3109/0142159X.2012.671561

[Indexed for MEDLINE]