智库评价中的几个问题

　　开展认证型智库评价是当下较为急迫的任务。对于智库的“消费者”而言，他们需要弄清楚各地各行业各领域有哪些值得信赖的智库，有哪些值得信赖的专家，以便消除政策研究供给方和需求方之间的“信息不对称”。如果智库评价能够把这些问题解决了，那比以争夺话语权为初衷的排名有价值得多。

　　党的十八届三中全会以来，各级党委政府把新型智库建设作为完善决策咨询体系、构建现代治理体系、增强现代治理能力、推动政策共同体更加开放化的重要抓手，新型智库建设取得长足的进展。那么，如何衡量评价新型智库建设的成效自然也成为一个重要话题。智库评价的三类主体

　　理论界就智库下的定义虽然千差万别，但对智库的公共属性也就是非营利性的认同却高度一致。正因为智库的宗旨在于提供公共政策研究和咨询的产品，因而不能完全按照市场机制来衡量智库以及智库产品的价值。那么对这一类公共产品的价值测量，最常用的方法就是公共评价。智库产品的评价分为内部评价和外部评价。内部评价的主要目的是保障产品质量和测算员工绩效。西方一些历史悠久的智库已经形成了系统有效的产品质量和员工工作量测评体系与方法。

　　外部评价的第一类主体是智库产品的直接消费者——在我国主要是党政军机关、企事业单位和媒体。此类评价主体甚少公开声明对有关智库及智库产品（研究咨询报告等）的评价性意见，他们最直接的表达方式是继续用还是不用。可以说通过“用脚投票”来进行评价，鞋子合不合脚穿一次就知道了，不合脚下次就不用了。

　　外部评价的第二类主体是党委政府主管智库的机构，他们评价智库的方式是“给身份”、给项目和给经费。在放松监管、鼓励社会机构发展的大氛围下，主管智库的机构并不愿在智库评价上走在第一线，以避免成为各方批评的对象。一旦中央层面的智库主管机关不愿做全国性的智库评价，那也就不会出现一个全国性的、依靠行政力量研制的智库考核评估体系。这就给第三方评价留下了一定的空间，这也是当前在业界声音最大的一类机构。

　　目前有一定影响力的第三方智库评价报告有五种，一是国际上的麦甘课题组的《GGTTI》，这个报告通常被翻译成《全球智库报告》（其实按照字面应该翻译成《全球实用智库索引》）；二是上海社会科学院智库研究中心发布的《中国智库报告——影响力排名与政策建议》；三是中国社会科学院中国社会科学评价中心研制的《全球智库评价报告》；四是四川省社会科学院、中国科学院成都文献情报中心联合成立的“中华智库研究中心”发布的《中华智库影响力报告》；五是南京大学中国智库研究与评价中心和光明日报智库研究与发布中心联合研制的《CTTI来源智库MRPA测评报告》。对智库的评价有两个基本的维度，即绩效和声望，前四份报告虽各有千秋，差别较大，但基本上属于“声望评价类”报告，智库排名的主要数据来自问卷，主要基于智库的社会声望和学术声望。而《CTTI来源智库MRPA测评报告》属于“绩效评价类”报告，评价数据依赖的是智库提供或者采集的各类客观数据。智库评价中的主要问题

　　首先，无论是“声望评价类”报告，还是“绩效评价类”报告都受到了各种质疑。在近半个世纪的智库研究史上，智库能不能进行评价的本身就是一个有争议的话题。包括美国企业研究所的大卫·弗洛姆在内的许多学者曾经直截了当地表示，学者不应该在评估智库（短期、中期或者长期的）影响力上浪费时间，他认为没有什么指标能够对智库影响力进行全面的评估。中国国际经济交流中心的陈文玲也指出：一些智库评价根本不了解智库做什么，有的时候发生的事情或者做的事情是重要的，但并不便公布，没有向社会宣传，而且也不能说，这些又如何评价？他们其实提出了“智库影响力评价如何可能”的基本理论问题。智库研究界虽然对智库影响力形成了一些研究，比如提出了政策影响力、学术影响力、国际影响力、公众影响力、媒体影响力的划分。但当一个概念可以用数值来量度时，这个数值就被称之为变量，有时候，需要先从概念到指标再到变量。问题就出在智库影响力概念是不是都可以转为可量度的指标和变量。现在几乎所有的智库评价报告对这个问题都没有很好的解决。从另一个侧面说，智库评价的基本理论问题尚未很好解决。

　　其次，无论是“声望评价类”报告还是“绩效评价类”报告，都存在方法和技术上的困难。“声望”是一个混合的认知和体验概念，被调查者可能有使用智库产品的体验，可能是智库领域的专业人士，也可能只是一般的学者和媒体人士。被调查者对智库声望高低的判断主观性很强，很容易受到“品牌营销”的影响——一个在媒体营销上大笔投钱的智库，其品牌影响力肯定要高于在某一领域有极高建树却从不做品牌推广的智库。“行业声望”和“行业知名度”虽然不是一回事，但其中的区别很难细分。因此，“声望评价类”报告的问卷投放如果不局限在“行业小同行”，而是“大同行”，甚至没有选择，那所获得的声望数据可靠性就令人怀疑。麦甘报告的问卷要求填写者对全球5000余家智库作出选择，这项工作过于艰巨，几乎没有人能完成这种问卷。国内有几份报告做得越来越好，在科学性上超过了麦甘报告。但有些报告的数据抽样过于集中在特定地区，问卷也有些复杂，需要专家花费较多的时间填写，就影响了专家填写的积极性。

　　“绩效评价类”报告也存在数据收集上的实际困难。大部分CTTI来源智库对数据采集非常配合，安排专人从事数据在线填写工作。但是，有些中央部委智库的体量太大，加上部分智库日常的科研数据文档管理的累积性较差，把CTTI 需要采集的数据在规定时间都填完的确有困难。另外，有些数据还处于保密期，暂时不便提供。当然也有一些知名智库本身就反对智库评价，不提供数据，单纯从网上抓取这些智库的数据是远远不够的。因此，单纯依靠定量数据进行智库评价，忽视同行评价、用户评价和公众评价的维度也有偏颇。可见，目前的主流智库评价报告在评价方法和评价技术上都还有很大的改进空间。

　　再次，有些智库评价报告起不到“以评促建”的社会效果。在互联网时代，信息的传播是瞬息可达的，吸引眼球的排行榜更是各类新闻媒体乐于传播的。智库报告传播不能不考虑社会效果之正负。如果上榜智库总是那么几十家老面孔，地方上的重点智库不能冒出来，那么就达不到“以评促建”的目的，无法调动地方智库建设的积极性。智库评价需提升专业化水平

　　加强评价主体有关评价的知识储备。评价是一门大学问，美国、加拿大等国都有全国性的评价学会，协调评价理论的研究和评价工作。我国虽然有资产评估等专门学会，却无全国性的评价组织，这说明评价学在我国尚未形成一个专门的知识领域，也没有足够数量的专门从事评价学研究的专家群体。美国评价学会的评价者提出了五条行规，其中就有评价者要有从事评价工作的核心能力，“要确保评价团队拥有开展相关评价的教育背景、能力、技术和经验”。坦率地说，我国目前从事智库评价的专家都缺少评价学的基本训练。加强评价学的知识储备，弄清评价工作的基本规律是首先要解决的问题。

　　中国新型智库发展历史短暂，一切尚未定型，需要一个积淀的时间。如果从布鲁金斯学会的成立开始算起，美国智库已有一百多年的历史了，而美国第一个有影响力的排行榜是麦甘课题组2008年发布的，也就是说美国智库产生后90多年、智库定型以后才出现的。而我国智库评价和新型智库建设启动几乎是同步的，这固然是好事，但也是造成我国智库评价先天不足的原因。因为作为评价客体的智库特征并不典型，并不稳定，按照这种流变的客体特征抽取的指标体系自然也是不够完善的。评价客体和评价主体彼此都要有耐心。智库评价目前只能做到显性特征显性指标的评价，对高端智库为党政机关所做的高端和保密的服务这种隐性指标是无法评价的。一些高端智库既然不能把隐性指标公布于众，那现行评价报告的“不公正”问题就不是评价主体故意造成的，不必吹毛求疵。

　　智库评价主体改善评价手段，拓展评价产品，严格质量审查。目前智库评价的主要方式是排名，甚至把排名等同于智库评价，这就出现了一个悖论。评价本来是要根据对象的多重维度对智库的绩效和专业水平作出精准的评鉴，并不在意个体之间的比较。而所有的排名都是对同类事物之间的比较，而且是局限于非常有限的几个指标的比较。有些智库评价报告虽然也构建了指标体系，也给予了权重系统等，但是在最终排序时并不呈现具体指标分值，只提供一个排序结果。智库从这些报告中无法了解各项指标的得分，对智库的持续质量改进帮助不大。所以，不能把评价等同于排名。因此，开展认证型智库评价是当下较为急迫的任务。对于智库的“消费者”而言，他们需要弄清楚各地各行业各领域有哪些值得信赖的智库，有哪些值得信赖的专家，以便消除政策研究供给方和需求方之间的“信息不对称”。如果智库评价能够把这些问题解决了，那比以争夺话语权为初衷的排名有价值得多。当然，由于我国的政治传统，人民更信赖政府，政府出面或者政府委托第三方机构做一些具有官方色彩的智库认证目录，会更具权威性。这也是我们一再倡议成立全国智库研究会的原因。当然这一点短时间内难以实现，需要几个评价机构之间多合作，开展理论研究和方法研究，共享数据，以期来提高智库评价的专业水准。