샌프란시스코 연구 평가 선언
San Francisco Declaration on Research Assessment
과학자의 연구 성과를 평가하는 방식이 개선되어야 한다는 요구가 날로 커지고 있다. 이를 논의 하기 위하여 2012년 12월 16일, 캘리포니아주 샌프란시스코에서 열린 미국세포생물학회(American Society for Cell Biology) 연례 회의에 몇몇 학술지 편집자들과 출판인들이 모였다. 이들이 만든 제안서를 ‘연구 평가에 관한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’이라 부른다. 영문 약어로 DORA인 이 선언을 우리는 ‘새로운 연구 평가 선언’이라 부르고자 한다. 우리는 모든 과학 분야의 이해관계자들이 이 선언에 그들의 이름을 올려 함께 지지해 주길 바란다.
과학 연구의 성과물은 매우 방대하고 다양하다. 이 성과는 새로운 내용 (지식, 데이터, 시료, 소프트웨어)을 담은 학술 논문, 지적 재산권, 그리고 고도로 숙련된 젊은 과학자들을 양성하는 것을 포함한다. 연구 성과의 질과 영향력은 연구비를 지원하는 기관들이나 과학자를 고용하는 연구소들, 그리고 과학자들 간에서도 끊임없이 평가된다. 따라서 이러한 평가 방법은 정확하면서도 현명하게 이루어 져야 한다.
연구 성과를 평가할 때 가장 많이 사용하는 주요 지표는 학술지 인용지수(Journal Impact Factor; JIF; 임팩트 팩터)다. 톰슨 로이터(Thomson Reuters) 사가 만든 이 지표는 본래 도서관 사서들이 도서관에 비치할 학술지를 구매하는데 참고하도록 만들어진 것으로, 어떤 연구 논문의 과학적 질을 평가하기 위한 것은 아니었다. 그러므로 연구 성과를 평가하는 도구로 현재 흔히 쓰이는 이 학술지 인용지수에는 몇 가지 결함이 있다는 점을 꼭 이해해야 한다. 그 한계는 다음과 같다.
- A) 학술지 내의 개별 논문의 인용 분포가 극단적으로 왜곡되어 있다[1-3];
- B) 학술지 인용지수의 특성이 각 분야마다 다르다. 게다가 인용지수는 학술논문과 종설논문 등 여러 종류의 글을 복합적으로 아우른 결과이다[1,4];
- C) 학술지 인용지수는 편집 방침에 따라 조작될 수 있다[5];
- D) 학술지 인용지수를 계산하는 데 사용되는 자료의 공개가 투명하지 않고, 대중이 쉽게 구할 수 없다[4,6,7].
따라서 연구 성과의 질을 평가하는 방식을 개선할 것을 다음과 같이 제안한다. 우리는 앞으로 연구 성과를 입증하는 데 연구 논문만이 아닌 다른 성과들의 비중 역시 커지길 바란다. 여전히 동료 평가(peer-reviewed)를 기반으로 하는 학술 논문은 연구 성과를 평가하는 핵심 요소가 될 것이다. 그러므로 우리의 제안은 동료 평가를 기반으로 한 학술 논문을 중심으로 하되, 논문만이 아니라 기초 데이터와 같은 결과물들도 중요한 연구 성과로 포함될 수 있도록 확대하자는 것이다. 이 제안은 연구비 지원 기관, 연구 기관, 학술지, 각종 학술 지표를 제공하는 단체, 그리고 개별 연구자 모두를 대상으로 한다.
본 제안에는 다음과 같은 세부 주제가 있다.
- 연구비 책정, 고용, 승진 등을 심사할 때 학술지 인용지수(IF)와 같이 학술지 지표 사용을 제한할 필요성
- 연구 평가시 그 연구가 출간된 학술지가 아니라 그 자체의 가치로 평가할 필요성
- 논문의 온라인 출간을 장려할 필요성 (논문의 글자 수, 그림 수, 참고문헌 수의 불필요한 제한이 사라지고, 연구의 영향력과 중요성을 판단할 새로운 지표를 확인할 기회 등)
우리는 여러 연구비 지원 기관, 연구 기관, 학술지 출판사, 그리고 연구자들이 이미 연구 평가시 개선안을 장려하고 있는 것을 알고 있다. 그런 노력들은 더 정교하고 의미 있는 연구 평가 방식을 위한 첫걸음이자 앞으로 주요 구성원들 모두가 함께 정립할 평가 방식의 기반이 될 것이다.
‘연구 평가에 관한 샌프란시스코 선언’의 서명인들은 연구 평가에서 다음의 지침을 행동으로 옮기는 것을 지지한다.
일반 제언
- 학술지 인용지수(JIF)와 같이 학술지 자체의 지표를 과학자 개인의 기여도나 임용, 승진, 연구비 수여 결정을 위해 연구 논문의 품질을 평가하는 대리 지표로 사용하지 않는다.
연구비 지원 기관들은
- 연구비를 신청하는 이들에게 과학적 생산성을 평가하는 기준을 명확하게 설명하고, 특히 경력이 짧은 연구자들에게는 학술 논문에 담긴 과학적 내용이 출판 지표나 그 논문이 발표된 학술지의 정체성보다 훨씬 중요하다는 것을 분명히 알린다.
- 연구 평가를 위해 학술 논문만이 아니라 기초데이터나 소프트웨어 등 모든 연구 결과물의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향력처럼 연구 결과가 가져올 영향을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.
연구 기관들은
- 경력이 짧은 초기 단계 연구자들에게 출판 지표나 논문이 발표된 학술지의 정체성보다 논문의 과학적 내용이 중요하다고 설명하고, 연구 기관 고용, 테뉴어 결정, 승진 결정 등의 기준을 명확히 밝힌다.
- 연구 평가 시 학술 논문만이 아니라 모든 연구 성과물 (데이터셋이나 소프트웨어 등)의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향 등 연구의 파급력을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.
출판사들은
- 학술지 인용지수를 홍보용으로 강조하는 것을 현저히 줄인다. 이상적으로는 인용지수 홍보를 멈추거나 학술지의 성과를 보다 풍부하게 제공할 수 있도록 인용지수를 다른 학술지 기반 지표(5년간 인용지수, Eigen지수, SCImago, h-index, 학술지의 편집 및 출간 기간 등)들과 함께 보여준다.
- 개별 논문의 성과를 보여주는 여러 지표들을 제공함으로써 논문이 발표된 학술지 출판 지표보다 개별 논문의 과학적 내용을 바탕으로 평가되도록 변화를 촉진한다.
- 책임감 있는 저자권 습관을 촉구하고 저자들의 구체적인 기여도 정보를 제공하게 한다.
- 개방형(open-access) 학술지와 구독형(subscription-based) 학술지 모두에 대하여 학술 논문 내 참고문헌 목록에 대한 재사용 제한을 모두 제거하고 이를 크리에이티브 커먼즈 퍼블릭 도메인 기증(Creative Commons Public Domain Dedication) 라이선스로 모두에게 공개한다.
- 학술 논문에 쓸 수 있는 참고문헌 개수 제한을 없애거나 줄이고, 가능하다면 해당 사실을 처음으로 보고한 사람들이 인정받을 수 있게 리뷰논문 대신 1차 저작물을 인용하게 한다.
지표를 제공하는 단체들은
- 지표를 계산하는 모든 방법과 사용한 자료들을 제공하여 투명성을 유지한다.
- 자료를 제공하되 제한 없이 재사용할 수 있게 하고, 가능하면 개인이 자료를 가지고 직접 계산을 할 수 있게 한다.
- 평가를 위해 학술지의 여러 지표를 부적절하게 조작하는 것은 절대 허용되지 않음을 명확히 한다. 부적절한 조작이 정확히 무엇인지, 그리고 이에 대응하기 위해 어떤 조치들을 취할 것인지 명백히 한다.
- 학술지 지표를 사용하고, 집계하고, 비교할 때에는 글의 종류가 다름을 염두에 두고(종설 논문과 학술논문), 학술 분야마다의 차이도 고려한다.
개별 연구자들은
- 연구비 수여, 고용, 테뉴어, 혹은 승진을 결정하는 위원회에 소속되어 있을 때에는 평가의 기준을 출판 지수가 아니라 과학적 내용으로 한다.
- 가능한 한 인정을 받아야 할 이가 인정받을 수 있도록, 리뷰보다는 관찰 결과가 처음으로 보고된 1차 저작물을 인용한다.
- 자기 소개서 등을 쓸 때는 출간된 논문의 영향력과 다른 연구 성과를 다양한 개별 논문 지수나 지표 등을 이용해 보여준다.
- 학술 인용지수에만 부적절하게 의존하는 연구 평가 방식에 이의를 제기하고, 특정 연구 성과의 가치와 영향력에 초점을 두는 최선의 방식을 가르치고 홍보한다.
There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. We invite interested parties across all scientific disciplines to indicate their support by adding their names to this Declaration.
The outputs from scientific research are many and varied, including: research articles reporting new knowledge, data, reagents, and software; intellectual property; and highly trained young scientists. Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely.
The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters*, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include:
- A) citation distributions within journals are highly skewed [1–3];
- B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4];
- C) Journal Impact Factors can be manipulated (or “gamed”) by editorial policy [5]; and
- D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7].
Below we make a number of recommendations for improving the way in which the quality of research output is evaluated. Outputs other than research articles will grow in importance in assessing research effectiveness in the future, but the peer-reviewed research paper will remain a central research output that informs research assessment. Our recommendations therefore focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers.
A number of themes run through these recommendations:
- the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations;
- the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and
- the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).
We recognize that many funding agencies, institutions, publishers, and researchers are already encouraging improved practices in research assessment. Such steps are beginning to increase the momentum toward more sophisticated and meaningful approaches to research evaluation that can now be built upon and adopted by all of the key constituencies involved.
The signatories of the San Francisco Declaration on Research Assessment support the adoption of the following practices in research assessment.
General Recommendation
1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.
For funding agencies
2. Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
3. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.
For institutions
4. Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
5. For the purposes of research assessment, consider the value and impact of all
research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.
For publishers
6. Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.
7. Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.
8. Encourage responsible authorship practices and the provision of information about the specific contributions of each author.
9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication [10].
10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding.
For organizations that supply metrics
11. Be open and transparent by providing data and methods used to calculate all metrics.
12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to data, where possible.
13. Be clear that inappropriate manipulation of metrics will not be tolerated; be explicit about what constitutes inappropriate manipulation and what measures will be taken to combat this.
14. Account for the variation in article types (e.g., reviews versus research articles), and in different subject areas when metrics are used, aggregated, or compared.
For researchers
15. When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.
16. Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due.
17. Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs [11].
18. Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.