리뷰어는 언제나 옳다: 의학교육의 피어리뷰 (Med Educ, 2009)

리뷰어는 언제나 옳다: 의학교육의 피어리뷰 (Med Educ, 2009)

The reviewer is always right: peer review of research in Medical Education

Kevin W Eva

글렌 레헤르가, '평론가는 항상 옳다'고 했을 때, 나의 반응은 이 말을 읽는 대부분의 작가들의 반응과 비슷했을 것이라고 생각한다.

When I first heard Glenn Regehr, say‘The reviewer is always right’, I imagine my reaction must have been similar to those of most authors upon reading the quote

이 사설은 첫째, 피어리뷰의 구조에 어떻게 생산적으로 접근할 수 있는지에 대한 나의 관점에서 작성되며, 둘째, 피어리뷰가 활용되는 방법을 시도하고 강화하기 위해 저널에서 우리가 구현하고 있는 전략의 일부를 강조하기 위해 작성된다.

this editorial is written, firstly from the perspective of an author regarding how one might productively approach the construct of peer review and, secondly, in order to highlight some of the strategies we are implementing in the journal to try andstrengthenthe way in which peer review is utilised.

그렇다면, 검토자가 잘못했던 경우가 그렇게 많음에도 불구하고, 어떻게 리뷰어가 항상 옳을 수 있을까? 대답은, 다소 원형으로, 불쾌한 사례에서조차, 리뷰어가 틀리지 않았다는 것이다.

So, how can it be that the reviewer is always right when it is so easy to recall instances in which the reviewer has been wrong? The answer, somewhat circularly, is that, even in those infuriating instances, the reviewer was not wrong.

처음 한 말에 이어, 레게르는 '만약 검토자가 어떤 것을 오해했다면, 내가 검토자의 주장을 명백히 문자그대로 반박하는 문단을 짚어낼 수 있다 하더라도, 저자로서 나는 그 주장을 clear하게 짚어내는데 실패한 것이다'고 명확히 했다. 리뷰어들이 무엇인가를 놓치거나 오해할 수 있지만, 리뷰어들은 저널의 어떤 일반적인 독자보다 훨씬 더 신중하고 의도적으로 우리의 논문을 읽는 경향이 있다는 것을 기억할 필요가 있다.

beyond his initial statement, Regehr clarified that: ‘If the reviewer has misunderstood something, even if I can point to a paragraph in the text that explicitly and literally counters the reviewer’s claim, then I as the author have failed to make the point clearly.’ Reviewers can miss or misinterpret things, but we as authors need to remember that peer reviewers tend to read our papers much more carefully and deliberately than the general readership of any journal does.

혼란을 최소화하는, 즉 영향을 극대화하는 방법으로 메시지를 전달할 방법을 찾기 위한 저자로서의 책임은 우리에게 있다.

the onus is on us as authors to find a way to pitch the message in a way that minimises confusion and, in turn, maximises impact

결국 평론가들은 우리의 청중이기도 하다. 그들은 우리가 우리의 연구 노력을 읽고 사용하기를 원하는 사람들이다. 그리고 만약 우리가 그들에게 우리의 연구를 명확하고 의미 있는 방식으로 하지 않는다면, 우리는 그것이 출판되더라도 그것의 영향이 optimal하지 않을 것임을 확신할 수 있다.

The reviewers, after all, are also our audience. They are the people we want to read and use our research efforts and if we do not pitch our work to them in a way that makes it clear and meaningful, then we can be sure that its impact will be less than optimal, even if it is published.

본능적인 반응들을 잠깐 접어두고, 어떻게 우리의 원고가 리뷰어의 피드백을 기반으로 개선될 수 있는지 이해하려고 노력하는 것이 절대적으로 중요하다.

it is absolutely vital to set our visceral reactions aside and try to understand how our work could be improved based on the feedback received.

시간이 흐르고 감정이 가라앉으면, 받은 의견을 바탕으로 어떻게 원고를 더 잘 개선할 수 있는지에 대해 열린 마음으로 질문하며 다시 논문으로 돌아가라. 피어리뷰가 갖는 모든 결점에도 불구하고, 나는 그 과정을 거치면서 개선되지 않은 논문을 본 적이 없다.

allow time to pass and emotions to subside, and then return to your paper with a spirit of openly questioning how it can be made better based on the comments received. For all the flaws inherent in peer review, I have never seen a paper, that was not improved as a result of going through the process.

이런 것을 고려하더라도, 우리는 여전히 리뷰어가 항상 옳도록 보장할 의무가 있다고 믿는다, 내용을 통제하는 것이 아니라, 피어리뷰의 과정을 효율적이고 전문적이며 건설적으로 실행하기 위해 우리가 할 수 있는 모든 것을 해야 한다는 의미이다.

Having said all that, we at the journal still believe that we have an obligation to ensure that the reviewers are always right, not at the level of controlling content, but at the level of doing whatever we can to run the process in an efficient, professional and constructive manner.

리뷰어로서, 어떤 경우든지 궁극적인 목표는 '내가 무엇을 배웠는가?'와 '저자들로 하여금 어떻게 내가 더 많이 배우도록 도울 수 있을까?'를 심사위원으로서 스스로에게 물어보는 것이어야 한다. 즉 '저자들이 전달하고자 하는 주장을 내게 납득시킬 수 있으려면 무엇을 해야했을까?' 만약 당신이 검토자로서 그 질문에 대답할 수 없다면, 애초에 해결될 수 없는 문제인지, 연구 방법이 수행가능하지 않은 것인지, 아니면 리뷰어가 불합리한 것인지를 결정할 필요가 있다.

The ultimate goal, in all instances, should be to ask yourself, as the reviewer, ‘Did I learn anything?’ and ‘How could the authors have helped me learn more?’ In other words, ‘What could the authors have done that would convince me of the argument they are trying to convey?’ If you cannot answer that question as a reviewer, it is necessary to determine whether the problem is unsolvable, the research method is untenable, or the reviewer is irascible and unreasonable.

동시에, 당신은 피어리뷰 과정에 적극적으로 참여하는 것이 이타적인 행동이라는 느낌을 가질 필요가 없다. 내가 학업을 시작할 때, 나는 내가 부탁받은 만큼 자주 동료 평가를 제공하는 것에 동의하는 것을 권고받았다. 나의 스승인 리 브룩스가 내게 한 주장은 피어리뷰는 아래를 위한 훌륭한 방법이라는 것이었다. 

• (a) 지역사회의 관심사를 보다 폭넓게 파악하는 수단

• (b) 연구분야에서 추가 연구할 가치가 있는 특정 문제에 대해 연구자 간 생각의 차이를 아는 수단

• (c) 해당 분야의 의견 리더들에게 당신이 시기적절하고 사려 깊은 동료 평가를 쓸 수 있다는 것을 보여줌으로써, 자기자신의 권리에 공동체에 보여주는 수단

At the same time, you don’t need to feel altruistic to want to actively engage in the peer review process. When I was starting my academic career I was advised to agree to provide a peer review as often as I was asked. The argument put to me by my mentor, Lee Brooks, was that reviewing is a great way to 

(a) get a broader view of the issues of interest in the community, 

(b) identify gaps in the way the community is thinking about particular issues worthy of further study, and 

(c) become established in the community in your own right by showing opinion leaders in the field that you are capable of writing timely and thoughtful peer reviews.

2 Roediger HL. Twelve tips for authors. APS Observer 2007;20 (6): http://www.psychologicalscience. org/observer/getArticle. cfm?id=2185. [Accessed 9 December 2008.]

https://www.psychologicalscience.org/observer/twelve-tips-for-authors

6 Roediger HL. Twelve tips for reviewers. APS Observer 2007;20 (4): http://www.psychologicalscience. org/observer/getArticle.cfm?id= 2157. [Accessed 9 December 2008.]

https://www.psychologicalscience.org/observer/twelve-tips-for-reviewers

---

Med Educ. 2009 Jan;43(1):2-4. doi: 10.1111/j.1365-2923.2008.03243.x.

The reviewer is always right: peer review of research in Medical Education.

Eva KW.

PMID:

 

19140991

 

DOI:

 

10.1111/j.1365-2923.2008.03243.x

[Indexed for MEDLINE]