旧金山科研评价宣言(San Francisco Declaration on Research Assessment)

当前，资助机构、科研机构等有关方面评价科研成果的方法亟待改进。针对这一问题，2012年12月16日，在美国加利福利亚州旧金山举办的美国细胞生物学学会年会上，一些学术期刊的编辑和出版商会晤后，提出了一系列建议 (称为“旧金山科研评价宣言”,英文简称DORA)。在此，无论您属于哪个学术领域，如有意于支持本宣言，诚挚邀请您以单位或个人名义加入到签署宣言的行列中。

科研成果种类多样，例如用以报道新知识的论文，数据，试剂，软件，知识产权，以及青年科学家培养。无论是资助机构、聘用科学家的科研机构，还是科学家自身，都迫切希望能够对科研成果的质量和影响进行评价。因此，准确恰当地评价科研成果是极为重要的。

现阶段，期刊影响因子被广泛应用于个人和机构的科研成果评价。期刊影响因子由汤森路透计算得出，最初只是作为一个工具来帮助图书管理员鉴定要购买的期刊，而非用来评价论文本身的研究质量。鉴于此，我们非常有必要理解期刊影响因子在用于科研评价过程中存在的一系列显著缺陷，主要包括：

  • 第一，期刊的引文分布高度不平衡[1][2][3]；
  • 第二，期刊影响因子的性质有很强的学科领域属性：它是多种多样的文章类型的组合，包括一般研究论文和综述类论文[1][5]；
  • 第三，期刊影响因子可以被出版政策操纵或“设计”[6]；
  • 第四，用以计算期刊影响因子的数据既不透明也不可公开获取[7][8][9]。

下面，我们将提出一系列提升科研成果质量评价方法的建议。未来，学术论文外的其他科研成果的重要性会在研究质量评价中逐步提升，但经同行评议的学术论文仍然是用于科研评价的核心科研成果。因此，下列建议将主要针对发表在同行评议学术期刊的论文，但也可以且应该延伸至其他被认可的重要科研成果，例如数据集。这些建议主要针对资助机构、学术研究机构、期刊、计量指标的提供方和单个研究人员。

在提出建议时主要考虑的几个原则：

  • 在资助、聘用和晋升科研人员时，需要摈弃使用基于期刊的计量指标，例如期刊影响因子；
  • 需要评价研究工作本身的价值，而非出版物所在期刊的价值；
  • 要充分利用在线出版的机会，例如放宽对于论文字数、数据和参考文献不必要的限制，并探索评价重要性与影响力的新指标。

我们认识到，许多资助机构、科研机构、出版社和科研人员已经开始鼓励应用新的方式进行评价。这些措施正逐步促进科研评价方法向着更科学、更符合实际的方向发展，以供各有关方采纳或改进。

《旧金山科研评价宣言》的签署者支持在科研评价中采用以下做法。

总体建议

  1. 禁止使用基于期刊的定量指标如期刊影响因子作为评价单篇论文质量的替代指标，来衡量科学家个人的研究贡献，以及在人员聘用、晋升或资助决策中直接使用。

对资助机构的建议

  1. 关于评价的标准，在评价项目申请者（特别是职业生涯早期研究人员）科研产出能力方面，要 明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多。
  2. 除学术论文之外，评价还应考虑所有科研成果（包括数据集和软件），以及更广泛的社会影响（包括定性指标），如对政策和实践的影响，以更好地达成评价的目的。

对科研机构的建议

  1. 关于评价的标准，在服务于人员招聘、终身聘用和晋升（特别是职业生涯早期研究人员）等方面的决策时，要明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多。
  2. 除学术论文之外，评价还应考虑所有科研成果（包括数据集和软件）的价值和影响，以及更广泛的社会影响的评价方法（包括定性指标），如对政策和实践的影响的评价方法，以更好地达成评价的目的。

对出版机构的建议：

  1. 大幅减少将期刊影响因子作为宣传手段的行为。理想情况应当是停止推广影响因子，或者只将其作为众多基于期刊的计量指标（如5年期影响因子、特征因子[10]、SCImago期刊排名[11]、H指数、编辑与出版次数等）的其中一项指标，以便更全面地评价期刊质量。
  2. 提供广泛的基于论文自身的评价指标，促使评价更侧重于科学内容本身，而非其发表的期刊。
  3. 鼓励责任制署名，并提供每位作者的个人贡献信息。
  4. 无论该期刊属于开放获取或是订阅制，都应取消在研究论文的参考文献列表上重复使用的限制，应遵循“创作共享公共领域使用协议”[12]使其公开。
  5. 取消或减少对研究论文参考文献数量的限制，并在适当情况下，要求引用原始文献而非二手评述文献，以便凸显首次公布该研究发现的科研团队的贡献。

对计量指标提供方的建议

  1. 通过提供计量指标所采用的数据和方法，保证计算过程的开放和透明。
  2. 提供计算数据，并允许不受限制地重复使用，在可能的情况下提供方便计算机可读的数据。
  3. 要明白不恰当地操纵评价指标的行为不可容忍；明确非正当操纵的行为类别，并打击非正当操纵的措施。
  4. 计量指标在使用、汇总统计或比较时，应充分考虑不同文献种类（如综述类论文与一般研究论文）和研究领域之间的差异性。

对研究人员的建议

  1. 在委员会进行人员资助、招聘、终身聘用或晋升等方面决策时，评价应基于科学内涵本身而非出版物计量指标。
  2. 在适当情况下，应引用首次公布研究成果的原始文献而非综述类文章，以凸显前者的贡献。
  3. 在个人陈述材料或证明材料中应使用丰富多样的论文定量指标，作为个人发表论文及其影响的证明。
  4. 反对过分依靠期刊影响因子作为科研评价指标的做法，推广传播关注科研成果本身价值和影响的评价实践。

参考文献:

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. ↩︎
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502. ↩︎
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004. ↩︎
  4. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. ↩︎
  5. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238. ↩︎
  6. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291. ↩︎
  7. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238. ↩︎
  8. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092. ↩︎
  9. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255. ↩︎
  10. http://www.eigenfactor.org/ ↩︎
  11. http://www.scimagojr.com/ ↩︎
  12. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers ↩︎

Related Posts

滚动至顶部