为应对国际竞争，提升科技发展质量，中国鼓励在条件允许情况下探索开展国际评估。国际评估实践的焦点在于“评什么、谁来评、怎么评”这3个关键问题。本文通过中国科学院卓越创新中心的国际评估实践，分析了国际评估的反馈与成效，并针对如何提升国际评估效果提出3条建议：一是国际评估需要个性化设计；二是需明确国际评估的适用范围和实施条件；三是要探索完善国际评估的理论与方法。
当前中国科技整体发展处于数量世界领先、质量有待提升的阶段。在世界科技水平快速发展和国际化趋势加强的形势下，为应对国际竞争，满足国家发展需求，中国科技评估导向转变为追求卓越、鼓励科技促进发展，政策之一是在科技评估中引入国际专家的力量，鼓励在条件允许情况下探索开展国际评估。2018年，在中共中央办公厅、国务院办公厅印发的《关于深化项目评审、人才评价、机构评估改革的意见》中，提出“推行同行评价，引入国际评价”的基本原则，同时提出在科研项目评审中，“部分前沿与基础科学等领域逐步按适当比例引入国际同行评议。”“加强国家科技计划绩效评估，根据需要引入国际评估。”中国当前对国际评估的需求日益增长，但关于国际评估的理论与方法研究尚处于起步阶段，而这对优化与指导国际评估实践、提升国际评估效果有着不可或缺的重要作用。
开展国际评估存在的若干关键问题
随着科技的快速发展，在国际化趋势的大背景下，国际评估吸引了越来越多的关注，但关于国际评估的政策意义及实践操作仍然存在诸多讨论。 国际评估的必要性与可行性 首先，是否有必要开展国际评估？有人认为，国际专家客观公正，有足够的能力和专业知识开展科技评价，同时国际评估也有利于提高声誉和实力。也有人认为，中国科技是一个庞大而复杂的系统，国际专家对此知之甚少，无法发挥有效作用，国际评估对中国而言并无太大意义。对于评估组织者来说，国际评估是科技管理的一种重要手段，但考虑到在规划、设计、组织和管理等方面需要大量资源，同时在方法论、程序设计和结果的使用等方面仍然具有挑战性，对是否有必要开展国际评估仍有异议。 其次，国际评估能发挥作用吗？国内很多研究单位通常承担着多样化且处于创新链不同部分的研究工作，即使是国内专家也很难在短时间内完全了解整体情况，更不必说对其开展科技评价了。对于国际专家来说难度更大，如果国际专家对中国科技整体情况不甚了解，无法出具针对性的评估意见，那国际评估也就失去了意义。此外，国际评估也有可能出现一般性专家评议的弊端，包括利益冲突的问题，如何尽量规避从而提升国际评估有效性，也是在理论方法上和实践操作中需要不断探索的问题。 国际评估如何评 具体到国际评估的实践，讨论焦点落在“评什么、谁来评、怎么评”这3个关键问题。 国际评估的内容一般因评估目的不同而呈现多样化的趋势。从适用范围与条件看，国际评估适用于前沿基础类科学研究、研究水平已处于国际领先行列的非涉密研究工作，以创新性和影响力评价为核心，以检查发现问题、提咨询建议为目的。国内部分优势机构和高校早在 2000年起就在科技评估中探索实施形式多样化的国际评估。中国科学院率先在机构层面探索开展国际评估，最早可追溯到 2004年知识创新工程二期时的研究所国际评估试点。上海交通大学、清华大学和北京大学等高校近年来探索科研人员职称晋升的国际评估；北京理工大学等探索开展了学科（院系）发展水平的国际评估。2011 年，在国家自然科学基金委员会成立 25周年之际，中国迄今为止规模最大的综合性科技绩效评估——科学基金资助与管理绩效国际评估顺利完成。从国际实践看，国际知名科研机构早就探索开展了形式多样化的国际评估，如德国马普研究所的评估、学科带头人的遴选、英国的学科科研质量评估等。 在一定程度上，国际评估专家质量如何，决定了国际评估的质量。国际惯例一般由评估组织方确定国际评估专家组成原则，通常包括领域专家和同行专家。领域专家主要根据被评单位的定位，遴选具有国际视野、拥有较高声誉和影响力，同时也拥有一定评价或管理经验（如担任过大型科研机构或大学院系的管理职务），或是重大科研项目的管理专家/评审专家等。同行专家侧重要求对领域研究工作有判断力，在相关领域有深厚研究积累和认识，同时活跃在科研一线并且具有一定的评估经验。 国际评估至少包括两方面内容：一是评估材料的准备，通常包括评估情况介绍、自评报告、相关证明材料、专家手册等；二是评估程序的设计，同时要注重评估的可靠性、质量、公正、道德和伦理等问题。参照马普学会研究所评估的实践，国际评估专家会评主要程序包括预备会议、重点学科领域报告、参观与座谈、专家组讨论、专家组反馈等环节。其中，预备会议主要由评估组织方向评估专家介绍此次评估的背景、目的和对专家的要求，而专家组也可利用预备会议讨论确定专家组组长并讨论与分配评估任务。可以说，预备会议成功与否在很大程度上决定了评估是否能够产生预期效果。
中国科学院卓越创新中心国际评估案例分析
卓越创新中心情况概述 根据实施创新驱动发展战略、建设创新型国家和全面深化改革的新要求，面对新一轮科技革命和产业变革带来的机遇和挑战，在审视与分析现有的基础、优势和差距前提下，对照习近平总书记 2013年视察中国科学院时提出的“四个率先”要求，2014年中国科学院制定了《“率先行动”计划》。该计划提出研究所分类改革措施，并启动建设 4类机构，包括卓越创新中心、创新研究院、大科学研究中心和特色研究所。建设卓越创新中心旨在“树标杆、促跨越、聚人才”，在一些重要领域树立中国科技创新旗帜，率先实现重大突破，汇聚优秀人才团队，建设形成国际一流的创新平台。从功能与定位看，中国科学院卓越创新中心主要致力于科学和技术原创，研究方向侧重基础与前沿，以明确的重大科学问题为导向；研究水平国内同领域领先，目标是建成同领域世界级科学研究中心；研究队伍少而精，具有国际或国内公认的领军科学家、高水平的学术带头人和科研骨干；在成果产出方面，要解决重大科学问题、开辟新的研究方向、发明重大科学仪器、创新重大实验方法、造就国际一流科学家、提出产生重要影响的前瞻科学思想。围绕中国科学院“创新 2020”和“一三五”规划的科技战略重点，中国科学院于 2014—2017年，在若干前沿方向和国家战略必争领域分批次共筹建了包括脑科学卓越创新研究中心在内的 10余个卓越创新中心。表1概括了卓越创新中心的基本标准。 表 1 中国科学院卓越创新中心基本标准
国际评估实践 根据管理要求，2016年中国科学院对 9个筹建期满的卓越创新中心进行国际函评。在总结 2016年经验基础上，2017年开展 8个卓越创新中心建设试点工作的验收评估，邀请熟悉卓越创新中心主要研究领域的国内外专家到现场参加会评（1~2天）对中心筹建期总体目标完成情况和取得的成效展开评议。考虑到卓越创新中心定位于基础和前沿领域，以重大成果的发源地、杰出人才聚集地和体制改革试验田为发展目标，因此现场评估采用国际与国内专家相结合的专家会评方式，其中国际评估重点考察中心的战略定位、重大成果和人才队伍水平，以管理专家为主的专家评议重点考察中心的体制机制创新。以下将围绕“评什么、谁来评、怎么评”等三大关键问题，从方法角度分析中国科学院卓越创新中心国际评估实践。 国际评估评什么？从评估目的看，验收评估旨在落实4类机构建设程序要求，严把建设质量标准，同时系统总结和推广改革经验，及时研究解决存在的问题。基于此，此次验收评估内容聚焦于卓越创新中心筹建期总体目标完成情况和取得的成效，包括机构使命、定位、领域方向布局、发展目标、国内外地位、体制机制、保障条件等，同时对卓越创新中心优势、不足和未来发展提出建议。考虑到卓越中心验收评估中同时有国际专家参与的国际评估，因此对国际评估内容做了进一步确定。国际专家重点针对卓越创新研究中心选择的重点领域方向，开展两项专项评估：一是判断其人才队伍情况，包括人才队伍质量和水平、人才结构的合理性等；二是判断重大产出（突出代表性成果，一般不超过 3项）的意义和影响力。实践证明，对人才队伍和重大产出的水平和质量的判断也恰恰是国际专家熟悉和擅长的评估内容，与国际上其他评估实践有相通之处。 国际评估谁来评？此次验收评估专家组包含国际高水平同行专家和来自机关的管理专家，专家组同时包括 1~2位华裔专家，以便充分发挥其熟悉国内科技政策与科技发展环境的优势。在专家遴选程序方面，主要参照德国马普学会的专家遴选方式，由研究所针对确定的被评重点领域方向推荐若干适合的领域专家和同行专家、用户专家，同时由第三方评估中心对初选名单中的专家水平和活跃度做情报分析。初选名单和分析报告同时提供至院管理部门供决策使用。据统计，8个卓越创新中心共邀请了 86位国际专家，其中，非华裔专家 53位（占 62%），华裔专家 33位（占 38%）。机关 46人次管理专家参加了评议（图1）。
图1 国际评估专家遴选程序示意
国际评估怎么评？首先，评估材料的准备由卓越创新中心和院评估中心共同完成。其中，卓越中心负责准备自评报告（中英文版）、填写《验收自评表》，同时提供重大产出英文简介和证明材料（一般不超过 3项）以及领域方向带头人和学术骨干英文简介。评估中心统一准备研究所数据状态报告，以及其他通用材料如中国科学院基本情况介绍、验收评估介绍、专家手册和工作手册等，以便评估专家对院情、所情有全面的掌握。其次，在程序设计方面，在借鉴国际上机构评估的一般做法基础上，为提升国际评估效率和效果，评估组织方和被评机构共同与专家组长召开了预沟通碰面会，就评估整体情况进行交流和答疑，可以有效促进专家组长对国际评估的认识。国际专家组和管理专家完成现场评估后，形成的初步评估意见当场向卓越中心反馈，同时国际专家组也会在评议结束 1个月内，向评估组织方提交国际专家的正式书面评议意见。 国际评估的反馈与成效 2017 年，中国科学院 8 个卓越中心共有 25 项代表性成果、31位领域方向带头人和 80位骨干接受国际评估。国际专家组听取了中心筹建工作汇报、领域方向带头人和学术骨干报告，分别与科研和管理骨干进行了座谈交流，并查阅了文件资料。在此基础上，每位专家填写了《国际专家个人评议意见》，重点评议卓越中心的战略定位、重大产出和人才队伍，同时专家组共同撰写了《国际专家组评议报告》。为了解国际评估的成效，采用问卷调查和深度访谈方式，分别与国际专家组、卓越中心和院管理部门进行交流，听取他们对国际评估的反馈意见。 从返回的 42份（实发问卷 86份，49%回收率）有效问卷情况看，国际专家认为国际评估过程始终是独立和无偏见评估的保证。由来自国际卓越机构的资深科学家评估卓越中心是非常重要的，他们可以评估卓越中心的现状及未来发展潜力，从而促使其成为领域内解决基础科学问题的一流研究机构，而通过这样的会评来收集评估意见和建议以保持研究质量和动力是非常重要的。从专家个人的角度看，本次评估也为专家们提供了一次较为系统地了解和认识中国科学院及其研究所的机会。如某中心的国际专家表示，“以前与团队也有交流和合作，但那是在某个课题组或研究室层面进行，这次是对整体状况一个全面系统地了解，对它有了更加深入的认识”。 同时，83%的国际专家认为，此次国际评估的具体操作综合情况为优秀及良好。具体而言，评分最高的是国际评估组织和实施方面, 90%的国际专家认为是优良。即使评分最低的国际评估表格和标准方面，也有 79%的国际专家给出了优良的评价。其他 3个方面，包括国际评估的程序和安排、材料准备、专家组构成等，则分别有 86%、81%和86%的国际专家认为优良。国际专家的具体评分见图 2。同时，国际专家也就国际评估的组织和实施提出优化建议：在程序设计和安排上，建议预备会时间更充裕以便更好地了解背景情况；希望为一对一的讨论时间预留更多时间，以帮助专家评估；在评估标准和表格设计上，建议更加简洁明了，更符合国际惯例。在材料准备上，希望获得更多基础数据如人员和经费信息；在专家组构成上，希望有女性科学家以及更多小同行专家的参与。
图 2 国际专家问卷评分统计情况
从院管理部门和卓越中心角度看，此次国际评估成效主要体现在以下4方面。 一是促进了 4类机构的建设，比如多渠道反馈评估结果，有利于对优势方向进一步增加支持。整个评估过程，对研究所领导和科研人员而言都是对卓越中心规划及重点领域方向“再认识”的过程。评估材料的准备过程中，为了向专家们充分展现中心筹建进展情况，各中心从所长到领域方向带头人，再到研究人员，都在充分研讨的基础上，对研究所的战略定位、重大成果以及各部分研究工作之间的关系进行再梳理，加深了对卓越创新中心的认识。 二是有利于中心进一步完善发展规划。专家评估报告对中心各重点领域方向的发展，特别是在国内外地位给出了评议意见，同时也遴选出优秀的重大成果（或有望产出重大成果的研究工作）以及有潜力的人才，有利于中心在下一步资助布局和管理工作中提供决策支撑。 三是进一步促进了追求卓越的理念。在现场评估中，国际专家更关注卓越的研究质量而不是量化的数字或成绩。通过询问研究人员是否了解本领域的佼佼者、竞争者及他们的研究内容，询问研究者对自身竞争优势的判断等信息，专家们判断研究人员的研究现状和水平，而这些问题也促使研究人员开阔视野，深入思考，了解自身的优势与不足。 四是促进了国际交流与合作。国际评估为卓越中心提供了一个全面展现和宣传的机会，推动中心迈向国际前沿，拓展了国际合作的渠道。 近年来，中国科技影响力快速提升。例如，近年来中国科技投入保持了年均 10%的高速增长，2007—2017 年 SCI 论文累计发表数量及引文量均居世界第 2。但是人们也看到，中国科技的发展越来越受到以数论文、专利及人才“帽子”等为标志的量化评价的制约，这种过度量化的评价导向已严重影响和破坏了正常的学术生态。中国科技评价处在迫切需要转变发展道路的关键时刻，即抑制过度量化评价倾向、发展更加关注科技质量的评价制度和方法，以保证能够有更多原创性科学与技术的突破性成果产出，实现从“量变到质变”的转化。事实上，改革科技评价业已成为中国科技界、政府和公众的广泛共识。一方面，科技评价制度改革文件及措施频频发布，如去年两办印发的“三评”意见，五部门联合开展的“清四唯”专项行动等；另一方面，改革量化评价的探索接踵而至。在此形势下，国际评估或许能够有望纠偏过度量化评价导向。但不可否认，当前以及未来一段时期内，中国开展国际评估仍然会面临严峻挑战。为更好开展国际评估，提升国际评估的效率和效果，提出以下建议。 一是国际评估需要个性化设计。国际评估通常考察的是研究工作的原创性和卓越性以及研究水平的高低和国际地位。在具体评估实践中，要结合管理工作需求和评估目的，对国际评估进行个性化设计，这也是与当前科技发展目的相适应的。除了服务于科学知识的积累，科技还需要为经济社会做贡献。因此，在国际评估中，对科研工作的考察除了卓越性和原创性，还包括对经济社会做贡献的内容。在实践中，中国科学院对国际评估进行了个性化设计，使之与管理专家会评相结合，从而满足验收评估的要求，更好地服务科技管理工作需要。 二是明确国际评估的适用范围和实施条件。目前，国家已明确出台相关政策文件，鼓励在适当情况下可开展国际评估，其难点在于如何明确国际评估的适用范围和实施条件。一般来说，国际评估适用于前沿基础类科学研究及研究水平已处于国际领先行列的非涉密研究工作；以创新性和影响力评价为核心，以检查发现问题、提咨询建议为目的。具体到不同研究单元，如科学家个人、团队、机构、项目等层面，如何从复杂的科研活动中剥离出适用国际评估的内容，需要进一步探索与挖掘。 三是探索完善国际评估的理论与方法。国际评估优势在于发挥国际智力和国际标准的作用，弱化量化指标对专家（即人）的影响，从而促使更多地关注科学研究的卓越性和原创性，而非简单量化的结果。正因如此，国际评估的理论与方法亟待完善，比如国际专家的邀请问题。如何在保证专家水平和权威性的同时尽可能避免专家与被评机构之间的利益冲突，这对专家遴选提出了挑战；又如评估结果的使用问题，如果国际专家能评但不评，那么评估在推进管理工作、资源配置、组织调整等方面只能发挥弱作用，国际评估并没能真正充分发挥作用。因此，需要进一步探索和完善包含国际评估的理论和方法以及规范化、标准化的评估操作程序，从而提升国际评估效率和效果，更好地为决策制定提供支撑。 基金项目：中国科学院战略研究和决策支持系统建设专项（GHJ-ZLZX-2019-32-9）；中国科学院青年创新促进研究会项目（Y9J0361601）；中国科学院战略咨询研究院院长基金项目（Y8X1171Q01）
参考文献（略）
作者简介
本文作者：徐芳，李陛，崔胜先，周长海，李晓轩
作者简介：徐芳，中国科学院科技战略咨询研究院，中国科学院大学公共政策与管理学院，副研究员，研究方向为科技管理与评价、科技政策；李晓轩（通信作者），中国科学院科技战略咨询研究院，中国科学院大学公共政策与管理学院，研究员，研究方向为科技管理与评价、科技政策等。
注：本文发表于《科技导报》2019 年第19期，敬请关注。
（责任编辑 刘志远）
