第三方评估靠谱吗？我们做了一次排名
第三方评估靠谱吗？我们做了一次排名
李克强总理高度重视第三方评估。他邀请第三方机构对政府政策进行评估，并要求相关部委整改落实。与政府部门的自查自纠相比，第三方机构相对独立、专业、科学，其评估报告也更为真实可靠。但是，第三方评估真的像人们想象的那样靠谱吗？
最近，笔者与南洋理工大学的助理教授于文轩合作发表了多篇论文，对中国第三方政府绩效评估进行评估，即“评估的评估”或元评估。对11种第三方政府绩效评估的分析显示，它们在相关性、独立性和易懂性等方面表现较佳，但在效度、功能性和信度等维度上有待提升。
如何评估第三方评估？
第三方评估或外部评估是由包括新闻媒体、智库、咨询公司、利益集团和学术机构等非政府机构发起和实施的政府绩效评估。无论是国际组织对各国政府绩效的评估，还是许多机构对地方政府绩效的排名，都属于第三方评估，例如大学排名、医院排行榜、公共服务满意度调查、政府清廉指数、宜居城市排名，等等。
我们总结了政府绩效评估的6类行动者，包括政府自身、公众、媒体、学术机构、非营利组织、私营企业等。这些行动者在独立性、信息可及性、专业水准、影响力和问责性等5个方面都存在不同程度的差异，使他们可以扮演的角色殊异。第三方评估可以多种形式呈现，而上述行动者的不同组合，则使第三方评估表现出不同的特征。有鉴于第三方评估的复杂性，我们认为只要是政府缺位的外部评估，都应归于第三方评估的范畴。
那么，如何对第三方评估进行评估？综合已有文献，我们提出了一个评估框架，包括6个维度：独立性、相关性、效度、信度、易懂性、功能性。每个维度又设置具体的评估指标，各维度的得分介于0到1分（参考文献1）。
- 独立性指评估机构在人事和财务上是否独立于政府部门，从而不受其干扰或影响。
- 相关性指评估主题是否关切国家的重大问题和政府的政策着力点。
- 效度指评估项目是否有充分的理论基础，是否涵盖了评估主题的主要方面，抽样是否在具有代表性，是否使用了合适的统计技术，以及是否论证了指标赋权和数据加总方法。
- 信度指评估项目是否跨年比较，是否披露了所有评估结果，是否公布了原始数据。
- 易懂性指评估项目是否使用图表、摘要、手册、简报等，以使其易于理解。
- 功能性指评估项目是否获得了媒体披露、社会关注和政府采用。
第三方评估怎么样？
基于上述评估标准，我们遴选和比较了中国11种第三方政府绩效评估项目。从各个维度来看，平均得分从高到低依次是相关性（1.00）、独立性（0.95）、易懂性（0.91）、效度（0.74）、功能性（0.64）和信度（0.59）。由此可见，平均得分最低的是功能性和信度。换句话说，第三方评估的结果是否可信，以及能否得到关注和采用，是最为突出的问题。
从我们分析的第三方评估项目而言，表现最好的是华南理工大学的广东省市县两级政府整体绩效评价。它的总分为5.75分，仅在信度上得分为0.75分，其他维度均为满分。其次是中国社会科学院发布的中国公共服务报告，总分为5.65分，它在信度和效度上有待提升。排名第三的是南洋理工大学的连氏中国城市服务型政府指数（5.50），它在信度上需要大幅提升。
排名第4-7位的依次是：北京大学的中国行政透明度观察（5.05）、上海财经大学的中国财政透明度报告（5.05）、中国社会科学院的中国城市基本公共服务力评价（5.00）、中国软件评测中心的政府网站绩效评估（4.85）。排名8-11位的是：零点咨询公司的中国公共服务公众评价指数（4.70）、《小康》杂志的中国公共服务小康指数（4.60）、兰州大学的甘肃省非公有制企业评价政府绩效评价（4.10）、《瞭望东方周刊》的中国最具幸福感城市评选（3.60）。
总体来看，11个第三方评估项目的平均分为4.90分，换算为百分制为81.67分，表现差强人意。特别是第三方评估的信度，还需要大力提升。一些评估项目只披露排名靠前的政府，对数据来源和计算方法语焉不详，也没有公开评估所依据的原始数据，使评估结果的可信程度大打折扣。
如何改善第三方评估？
虽然第三方评估可以相对独立自主地去“说真话”，但并不意味着其评估结果就可以令人信服。我们调查的一些第三方评估并没有披露其数据来源和计算方法，这样就无法重复其评估过程和结果，并可能影响其公信力。以两个较为流行的中国城市公共服务满意度调查为例，我们发现二者在许多公共服务领域的评估结果差异较大（参考文献3）。这 与两者使用的调查方法和加权技术有关，但由于无法获得原始数据，外部很难理解其真正原因。
尽管独立性的得分不低，但第三方评估机构能否真正做到独立、自主和无偏也同样令人关注。无论是学术机构还是新闻媒体，都同政府部门有着千丝万缕的勾连，“体制内”的约束仍然无法回避。我们对连氏中国城市服务型政府指数的案例研究也显示，即便是海外机构发起的第三方评估，也仍然无法做到完全独立自主（参考文献2、4）。与此同时，如何理解和衡量独立性，还需要进一步研究。 </br>
国务院和各级政府部门曾花费大量精力去清理整顿各类评比达标表彰活动，以使政府部门摆脱不必要和饶人的评选活动。备受推崇的第三方评估是否会重蹈覆辙，而成为政府清理的对象，则仍然有待观察。但是，如果不能进一步提升第三方评估的信度、功能性和效度，那么就可能使评估走样、变形或“束之高阁”，甚至产生适得其反的负面影响。
参考文献
- Yu, W., & Ma, L. (2015). External government performance evaluation in China: A case study of the ‘lien service-oriented government project’. Public Money & Management, 35 (6), 431-437.
- Yu, W., & Ma, L. (2016). External government performance evaluation in China: Evaluating the evaluations. Public Performance & Management Review, 39 (1), 144-171.
- 马亮, & 于文轩. (2013). 第三方公共服务绩效评价的评价：一项比较案例研究. 南京社会科学 (5), 55-63.
- 马亮, 于文轩, & 吴伟. (2014). 外部参与、绩效评估与服务型政府建设：连氏指数的探索与实践. In 颜佳华 (Ed.), 湖湘公共管理研究 (Vol. 5, pp. 3-15). 湘潭: 湘潭大学出版社.
文章版权归原作者所有。
