저널에서 논문을 리젝하거나 억셉하는 이유: 의학교육리포트의 강점과 약점(Acad Med, 2001)

저널에서 논문을 리젝하거나 억셉하는 이유: 의학교육리포트의 강점과 약점(Acad Med, 2001)

Reasons Reviewers Reject and Accept Manuscripts: The Strengths and Weaknesses in Medical Education Reports

Georges Bordage, MD, PhD

길버트와 추빈은 학문 간 전문지인 사이언스의 사회학에서 거부된 원고들에 대한 평론자들의 논평 샘플을 위해 이 같은 분석을 실시했다. 그들은 원고를 거절한 것에 대해 가장 빈번한 검토자들이 제시한 이유가 "부실한 주장" 즉, 설득력 있는 주장을 펴지 못했다는 것임을 발견했다. 자주 주어진 다른 이유로는 서투른 글쓰기, 기존 문헌에 대한 무지, 참신함의 결여, 자료나 문헌에 대한 오해나 오용 등이 있었다. 평론가들은 논평을 쓰지만, 평론가의 합의 수준은 여전히 매우 다양하다. 추빈과 해킷은 서로 다른 과학 분야에서의 연구를 평가하면서 리뷰어들 사이의 낮은 합의를 보고했으며, 0.25 범위 내에서의 신뢰도를 나타냈다.1 이 연구는 편집자들이 알고 있는 것을 확인시켜준다: 주어진 원고에 대해서 리뷰어들은 각기 다른 문제에 초점을 맞춘다.

Gilbert and Chubin1, p. 108 conducted such an analysis for a sample of reviewers’ comments on manuscripts that had been rejected from Social Studies of Science, an interdisciplinary specialty journal. They found that the most frequent reason reviewers offered for rejecting a manuscript was ‘‘poor argumentation,’’ that is, failing to make a convincing case. Other reasons frequently given included poor writing, ignorance of the literature, lack of novelty, and misunderstanding or misapplying the data or the literature. While reviewers do write comments, the level of agreement among reviewers remains highly variable. Assessing studies from different areas of science, Chubin and Hackett reported poor agreement among reviewers, with inter-rater reliability in the 0.25 range.1 The research confirms what editors have known: Reviewers for any given manuscript focus on different issues.

방법

METHOD

이 연구에 한 데이터 세트가 사용되었는데, 1997년과 1998년에 미국 의학대학협회(AAMC)가 매년 후원하는 의학 교육 연구(RIME) 컨퍼런스를 위해 제출된 연구 원고 검토가 그것이다.

One data set was used for this study: reviews of research manuscripts submitted in 1997 and 1998 for the Research in Medical Education (RIME) conference sponsored annually by the Association of American Medical Colleges (AAMC).

분석은 전적으로 저자에 의해 수행되었다. 분류편향을 피하기 위해 연도별로 등급과 코멘트를 비틀어 분석했다(즉, 1997년부터 20회, 1998년부터 20회, 기타). 이유는 검토자 한 명당 한 번만 집계되었다. 코멘트(예: "문제성 무작위화")가 둘 이상의 이유 범주(예: 연구 설계 또는 샘플링)에 속할 때마다 코멘트는 코멘트가 나타난 맥락에서 가장 잘 지시되는 범주에 할당되었다.

The analysis was performed solely by the author. To avoid categorization bias, the ratings and comments were analyzed in a staggered fashion according to years (i.e., 20 from 1997 followed by 20 from 1998, etc.). Reasons (comments) were tallied only once per reviewer. Whenever a comment (e.g., ‘‘questionable randomization’’) could belong to more than one category of reason (e.g., research design or sampling), the comment was assigned to the category best dictated by the context in which it appeared.

결과

RESULTS

내용 분석 중에는 주요 리젝의 이유나 '치명적 결함'을 사소한 이유와 구별하는 것이 불가능했다. 일부 부정적인 논평은 분명히 다른 것들보다 덜 중요했으며, 그것의 대부분은 저자들을 돕기 위한 교육적 마인드 차원에서 언급된 것이었다. 다수의 리뷰어가 게재불가를 판단했을 때, 반대 의견의 수는 전체 리뷰어의 절반 이하 또는 한 명의 검토자만 게재불가를 권고했을 때와 비교하여 두 배(약 6개의 부정적 의견에서 12개까지) 증가하였다.

During the content analysis, it was not possible to distinguish major reasons or ‘‘fatal flaws’’ from minor reasons; some of the negative comments were definitely less important than were others and were stated mostly in an educational spirit to help the authors. When a majority of reviewers recommended rejection, the number of negative comments overall doubled (from approximately six negative comments to 12) compared with when fewer than half of the reviewers or a single reviewer recommended rejection.

원고 거부에 대해 심사자가 제시한 사유 수와 비율은 광범위한 범주와 연도별로 표 1에 제시되어 있다. 검토자가 작성한 부정적 의견의 거의 3/4 (70.1%)는 20가지 이유로 분류되었다(표 2 참조). 이유와 부정적인 논평의 전체 목록은 부록 A에 제시되어 있다.

The numbers and percentages of reasons given by the reviewers for rejecting manuscripts are presented in Table 1 according to broad categories and by years. Almost three fourths of the negative comments written by the reviewers (70.1%) were categorizable to 20 reasons (see Table 2). The complete list of reasons and negative comments is presented in Appendix A.

논문을 리젝하는 20개 이유

Top 20 Reasons (Negative Comments) Written by the Reviewers Recommending Rejection of 123 Medical Education Manuscripts*

통계: 부적절, 불완전 또는 불충분하게 기술된 것 등 

Statistics: inappropriate, incomplete, or insufficiently described, etc. 

결과의 과대 해석 

Overinterpretation of the results 

부적절하고, 최적화되지 않았으며, 불충분하게 설명된 도구

Inappropriate, suboptimal, insufficiently described instrument 

샘플이 너무 작거나 편향됨 

Sample too small or biased 

이해하기 어려운 텍스트 

Text difficult to follow, to understand 

불충분하거나 불완전한 연구문제 기술

Insufficient or incomplete problem statement 

부정확하거나 일관성이 없는 데이터가 보고됨 

Inaccurate or inconsistent data reported 

불충분하거나 불완전하거나 부정확하거나 시대에 뒤떨어진 문헌 검토 

Inadequate, incomplete, inaccurate, or outdated review of the literature 

데이터가 부족함 

Insufficient data presented 

불량표 또는 수치 

Defective tables or figures 

신뢰성이 부족하거나 알 수 없는 신뢰성 점수를 매긴다. 

Scores insufficiently reliable or unknown reliability 

중요치 않거나 관련 없는 주제 

Unimportant or irrelevant topic 

간섭(독립 변수)이 불충분하게 설명되거나 혼동 

Intervention (independent variable) insufficiently described or confusing 

제목이 불충분하게 설명됨 

Subjects insufficiently described 

개념적 또는 이론적 프레임워크 부족 

Lack of conceptual or theoretical framework 

결과의 과소 해석, 결과 무시 

Underinterpretation of results; ignoring results 

잠재적 교란 변수 해결 안 됨 

Potential confounding variables not addressed 

불완전, 추상적 정보 부족 

Incomplete, insufficient information in abstract 

연구를 대표하지 않는 제목 

Title not representative of the study 

샘플링 방법이 부적절하거나 불충분하게 설명됨

Sampling method inappropriate or insufficiently described

검토자가 작성한 긍정적인 의견의 4분의 3(76%)이 9가지 이유로 포함되었다(표 3 참조). 긍정적인 논평의 전체 목록은 부록 B에 제시되어 있다.

Three fourths of the positive comments written by the reviewers (76%) were contained in nine reasons (see Table 3). The complete list of positive comments is presented in Appendix B.

아홉 가지 억셉 이유

Top Nine Reasons (Positive Comments) Written by the Reviewers Recommending Acceptance of Medical Education Manuscripts*

중요, 시기적절, 관련, 중요, 널리 퍼진 문제 

Important, timely, relevant, critical, prevalent problem 

잘 쓴 원고(명료하고, 직설적이고, 따라하기 쉽고, 논리적으로) 

Well-written manuscript (clear, straightforward, easy to follow, logical) 

잘 설계된 연구(적절하고 엄격하며 포괄적인 설계) 

Well-designed study (appropriate, rigorous, comprehensive design) 

깊이 고민한, 초점이 뚜렷한, 최신의 문헌 검토 

Thoughtful, focused, up-to-date review of the literature 

표본 크기가 충분히 큼 

Sample size sufficiently large 

실용적이고 유용한 시사점 

Practical, useful implications 

연구의 한계를 고려한 해석

Interpretation took into account the limitations of the study 

문제가 잘 설명됨, 공식화됨 

Problem well stated, formulated 

데이터 분석에 대한 새로운 접근 방식

Novel, unique approach to data analysis

고찰

DISCUSSION

긍정적인 논평과 부정적인 논평의 전반적인 패턴은 연구된 2년 동안 상당히 유사했다. 그러나 리뷰어의 논평의 다양성은 원고마다 다른 측면에 초점을 맞추었거나, 반대 의견마다 가중치가 달랐음을 시사했다. 따라서 편집자는 콘텐츠 전문성, 방법론 전문성 및 교육적 관련성 사이에서 균형을 이루도록 검토자를 선택해야 한다.

The overall patterns of positive and negative comments were quite similar across the two years studied. However, the diversity of the comments made by the reviewers suggested, once again, that they had focused on different aspects of the manuscripts or weighted their objections differently. Consequently, editors should select reviewers in such a way as to strike a balance between content expertise, methodologic expertise, and educational relevance.

이 연구의 검토자들이 원고를 거절한 이유는 길버트와 추빈의 리스트 1, 페이지 109를 확인시켜 주었지만 훨씬 더 상세하다. 또한 이 연구에서 원고를 reject하는 이유는 단순히 원고를 accept하는 이유에 대한 반대가 아니었다. 연구자와 저자는 [좋은 연구와 좋은 글쓰기의 자질(예: 관련성과 잘 짜여진 원고)]과 [부실 연구와 형편없는 원고(예: 부적절한 통계와 결과의 과잉 해석)의 단점] 모두에 주의를 기울일 필요가 있다. 

The reasons given by the reviewers in this study for rejecting manuscripts confirmed Gilbert and Chubin’s list,1, p. 109 but are even more detailed. Also, the reasons for rejecting manuscripts in this study were not simply mirror images of the reasons given for accepting manuscripts. Researchers and authors need to pay attention both to qualities of good studies and good writing (e.g., relevance and well-crafted manuscripts) and to shortcomings of poor studies and poorly written manuscripts (e.g., inappropriate statistics and overinterpretation of the results). 

리뷰어는 연구자가 본인 연구의 한계를 무시하기보다는 연구의 한계를 인정하는 것(예: 선택 편견, 전력 부족 또는 낮은 신뢰성)의 중요성을 강조했다. 일부 평론가에 의해 지적된 바와 같이, 설계와 결과를 과학적 문장으로 만드는 "정직한" 접근방식은 출판될 확률을 증가시킬 가능성이 있다. 

A number of strengths identified by the reviewers emphasized the importance of researchers’ acknowledging the limitations of their studies (e.g., possible selection biases, lack of power, or low reliability) rather than ignoring these deficiencies. An ‘‘honest’’ approach to design and results in scientific writing, as noted by some reviewers, is likely to increase one’s chances of being published. 

따라서 연구자들은 연구의 설계 단계에서, 그리고 결과 분석 이후 모두에서 가능한 편견과 교란 변수를 식별하기 위해 의식적인 노력을 기울여야 한다. 연구원들은 스스로에게 '경쟁적인 가설로는 무엇이 있으며, 대안적 설명은 무엇이 있는가? 그리고 어느 정도까지 그것들을 통제하거나 설명할 수 있는가?’’

Consequently, researchers need to make a conscious effort to identify possible biases and confounding variables, both during the design phase of the study and once the results are in. Researchers should ask themselves, ‘‘What are the competing hypotheses3 or alternative explanations and to what extent can they be controlled or explained?’’

많은 평론가들은 글쓰기의 퀄리티(좋은 것과 나쁜 것)를 문제삼았으며, 잘 짜여진 원고를 제출하는 것이 필수임을 시사했다. 좋은 글쓰기는 원고를 받아 들이는 데 중요한 자산인 반면, 서투른 글쓰기는 평론가를 짜증나게 하고 저자의 출판 기회를 감소시킬 가능성이 있다.

Many reviewers raised the issue of quality of writing (good and bad), suggesting that submitting well-crafted manuscripts is vital. Good writing is an important asset in getting one’s manuscript accepted, while poor writing is likely to annoy reviewers and decrease the author’s chance of getting recommended for publication.

결론적으로, 300년 전과 마찬가지로, 과학의 상호의존성과 훌륭한 원고를 제작하는 데 있어서의 글쓰기의 기술은 오늘날에도 여전히 유효하다. 보일라우의 두 인용구를 떠오르게 한다: 

• "분명히 이해되는 것은 잘 표현되어 있으며, 쉽게 이해할 수 있다." 

• "20번씩 글쓰기에 투자해서, 끊임없이 연마하고 다시 윤색하라."

In conclusion, the interdependence of science and the art of writing in producing good manuscripts brings to mind two quotes from Boileau7 that are as true today as they were over three centuries ago when they were written about the art of poetry: ‘

• ‘What is clearly understood is well expressed and the words to say it come easily’’; and 

• ‘‘Twenty times on the stocks put your work, polishing it unceasingly and repolishing it.’’ 

과학적인 글쓰기는 [좋은 과학의 수행]과 [좋은 원고 작성], 둘 다를 요구한다.

Scientific writing demands both conducting good science and writing good manuscripts.

---

Acad Med. 2001 Sep;76(9):889-96.

Reasons reviewers reject and accept manuscripts: the strengths and weaknesses in medicaleducation reports.

Bordage G1.

Author information

1

Department of Medical Education, College of Medicine, University of Illinois at Chicago, IL 60612-7309, USA. bordage@uic.edu

Abstract

PURPOSE:

Scientific journals rely on peer review to maintain the high quality and standards of papers accepted for publication. The purpose of this study was to explore the strengths and weaknesses of medical education reports by analyzing the ratings and written comments given by external reviewers.

METHOD:

The author conducted a content analysis of reviewers' comments on 151 research manuscripts submitted to the 1997 and 1998 Research in Medical Education conference proceedings. The negative comments on 123 manuscripts that received "questionable, probably exclude" or "definitely exclude" overall ratings from at least one reviewer were evaluated. A similar analysis was performed on reviewers' positive comments for 28 manuscripts recommended unanimously for acceptance.

RESULTS:

On average, four peers (4.1, SD = 0.97, range = 2-6) reviewed each manuscript. Of those recommended for exclusion, a mean of 2.3 reviewers recommended exclusion and each reviewer wrote a mean of 8.1 (SD = 5.7) reasons. The top ten reasons for rejection were: inappropriate or incomplete statistics; overinterpretation of results; inappropriate or suboptimal instrumentation; sample too small or biased; text difficult to follow; insufficient problem statement; inaccurate or inconsistent data reported; incomplete, inaccurate, or outdated review of the literature; insufficient data presented; and defective tables or figures. The main strengths noted in accepted manuscripts were the importance or timeliness of the problem studies, excellence of writing, and soundness of study design.

CONCLUSION:

While overstating the results and applying the wrong statistics can be fixed, other problems that the reviewers identified (ignoring the literature, designing poor studies, choosing inappropriate instruments, and writing poor manuscripts) are likely to be fatal flaws warranting rejection.

PMID:

 

11553504