袁岳：公共项目独立评估方法

猴子

　　包括公益项目、公共援助项目与公共财政项目在内的公共项目，均需设计适当的评估方法，通常在有有效的评估方法的时候，则项目的执行者的压力增大，项目成效有明显上升，而项目出现懈怠与舞弊的可能性会减小。反之，则问题出现的可能性很大，而且由于没有可评估的渠道，问题笼罩在黑箱中不得而知，因此公共项目的可评估性是公共项目透明化的关键。由于立场关联性，公共项目的理想评估方法是由非项目实施单位所属的独立第三人经过公开公正的招标程序而进入评估流程，而且在可能的情况下评估结果应对公共公开。前时本人受到质疑的利益冲突，正与在我本人作为中国红十字会的社监委委员的身份下，还是否适合为红会的公益项目提供评估方法设计与技术支持有关。在这一争议之中，我想除了本人的反省之外，特别需要值得重视的是大量公益项目与公共项目是处在无评估状态的。在通常的公共评估项目中，涉及到三类专业评估机构：专业财务审计会计机构、专业调查咨询机构、专业技术诊断监测检测机构。


　　参照美国评估协会的资料，结合我所在专业机构的工作经验，可以看到包括社会工作、心理实验、管理科学等学科都为公共项目评估贡献了不少工具与模式，但是实用的公共评估方法往往是这些学科的综合运用。大量的政府援助、救济与NGO组织、独立研究机构与思想库，积累了不少实用的评估方法，这些方法往往有所依据，但更能直接面对实际问题，值得我们收集。在公共评估项目中，方法本身的选择可以导致对于结果的控制，所以项目评估技术的选择需要相对独立于被评估对象与出于宣传目的而进行干预的委托者。实际生活中，处于公关传播目的而试图左右评估方法与评估结果的现象很多，专业评估机构应在事先就充分说明自己的专业立场。媒体与其他监督机构，对于由项目单位本身委托与组织的评价结果本身就应保持必要的警惕。为推动公益项目独立评估的发展，特在此介绍一些专业的评估方法供大家参考。


　　1目标衡量法：主要以特定的目标为基准来衡量项目成效，此目标可能是项目资助单位开始设定而项目执行单位也承诺接受的，或者是项目单位自己提出的，也有可以以类型项目目标来参照设定的。理想的目标衡量法在一开始就应约定未来目标的评估方法、标准化指标体系，并根据设计的需要收集材料，在评估期进行针对具体对象的直接调查。在相对长期的项目中，可以区分项目的分期目标，分阶段加以评估。一度是流行方法，主要问题是评价结果在结尾，对于项目改善的指导性弱。


　　2产出衡量法：以项目的实际产出作为评价内容。在这类评估中往往包含所有的受益者与参与者，并根据他们的报告来汇总各类产出总量。这一方法适合项目执行者用之不断调整与完善自己的项目设计，而且也便利外部评估者进行独立评估。这一方法的不足是会制造较多的项目不稳定，而且项目执行者可能试图影响评估对象以产生有利结果。


　　3、测评衡量法：这一方法既可能是以项目监督或者管理单位设计的考评标准(评估单位可以进行技术性修正)为评价准则，或者针对项目参与者进行直接的考评，比如在规则普及评估中就可以进行规则的知识测评，对于学生则可以使用考试法来测试相关知识的获得情况。需要考虑原来的水平与项目后水平，所以评估应有纵向对比，标准化是其长处，缺点是可能忽略标准外的其他方面。


　　4、表现衡量法：尤其适合表现多元职业技能、生活技能等训练效果的项目，要求评估对象展示他们获得的计算机、绘画、生产线处理、现场反应等能力，来评价项目成效。这类评估具有很强的现场感，但是对于大规模评估往往有一定难度，比较化时间，对于评价标准往往争议也比较大。


　　5、指标衡量法：综合多方面意见形成一套广为接受的指标体系，然后进行超越具体的项目操作者控制的常规与定期评价，这类方法的好处是具有很强的超然性，便于形成基本的公众公识，不足是对于具体项目的特殊情况的考虑往往比较有限。


　　6、实验衡量法：这一方法主要是把情况接近的评价单位设计成干预组与对照组，在项目行动展现后，比照项目成效。可比性来源于对照单位的情况接近，而且有不同的干预方法的存在。比照可以在横向进行，但是同时无论干预与对照组均有自身的纵向比较，因此需要有基线评估。实验方法展现成效很直观，但对于项目管理的要求比较高，成本也比较高。


　　7、信息管理系统法：随着IT技术与电子政务商务系统的普及，信息管理系统在很多范围日益普及，这一系统不仅可以提供大量日常的标准化数据与基于这些数据的深化分析，同时也使针对具体问题的及时征询也成为可能。即使没有信息系统，单位日常数据分析也是一种类似的方法。这一方法既可用于评估，也可以用于作为评估的背景分析支持。它的好处是及时与关联数据广泛，缺陷可能是数据过于标准化，对于包括过程、场景这类的信息很难反应出来。


　　8、投入产出分析法：以项目的财务投入与财务产出作为评价内容。这类评估以财务数据为基准，在成本分析、成分成效分析与成本产出分析的基础上得到结论。这一方法在财务型项目（如小额贷款项目）中相当普遍，但是也有以下问题：一是财务账册的规范性与可获得性，二是非财务产出的衡量与评价方式，三是可期成本的计算方法会存在很大争议。


　　9听证澄清法：这一方法借鉴自司法审判，评估团队提出问题，质疑项目成效；项目团队提供证据，辩护项目成效，由专家与收益人和关联单位人士组成的陪审团是核心的听审者，项目监督单位代表扮演主持人的角色。这一方法还可以接受更多相关人士作为可提问发言的听众。这一方法可以形成问题聚焦，也具有很强的透明度，不足之处是质辩双方的争议不只取决于项目实质，也可能与辩才有关。


　　10个案透析法：该方法往往重在用描述的方法,清晰、细致、全面地分析项目场景、关键角色、过程、相关故事及其形成的影响、具体的投入的管理方式、所形成的预期内与预期外结果、受益者的需求及其得到满足的程度。可以根据需要使用不同的获得资料的方法，同时项目中的人物可以对于信息内容有比较大的影响力，这一方法得到的推崇比较高，在多个案分析的情况其威力更大。但是项目的开放性也影响到这一评估方法的质量一致性，在大规模评估的应用中有局限，且对研究者的要求比较高。


　　11权威评价法：这一方法借鉴了文学艺术批评的模式，邀请特定领域的权威评估专家根据他们的个人敏感、经验、见识与洞察力，来进行对项目的解剖、比较与分析，并提供他们的评价意见。为弥补主观偏差，也可以使用多位权威评论，甚至在意见不一致的情况下，还可以进行专门的会议讨论。专家权威性本身有相当的说服力，这在中国的场景中尤其如此，但是受批评的是这一方法较主观，对于专家权威性的认识也需要共识。


　　12理论模型法：这一方法类同于学位论文的方法，在某个或者一系列特定理论的基础上，评价项目相应的做法是不是吻合理论的要求，以此来确定项目做法合理性。这一方法的价值与是否存在一个成熟合理的理论构架有很重要的联系，由于理论模式本身容易被质疑，基于非成熟理论的评估结论也往往很有争议。


　　13综合评价法：这一方法根据实际需要，选择与组合多种方法进行测评，比单一方法能够减少偏差，不足之处是对项目整合管理要求高，成本也会较高。


　　14过程评价法：这一方法要求项目的全过程要有完整的记录、文件与关键事件的现场评估资料、图片、数据，关键活动的参与者个人信息，以确保具有回溯性。过程评价要求过程资料具有复原整个项目过程的可能性，因此为后期的印证评估有很好的准备，对于有经验的项目管理者来说，过程资料也很容易复制。


　　15环境评价法：这一方法关注项目在同行、媒体、关联人士反应，把这些资料完成收集，作为项目评估的辅助资料。环境评价也应特别关注投诉等负面资料。


　　16这一方法要求把项目的管理者、支持者、顾问、受益者、相关专家均纳入研究范围，在整个项目的演进过程中，用多种方法（会议、访问、头脑风暴等）可以不断地与他们沟通，了解他们的感受，并可以不断地把他们的感受与需要反应在项目的改进措施中。这个方法把评估与决策调整密切结合，效率很高，缺陷是往往评估者与行动者关联紧密，其独立性受到影响。


　　17顾客取向法：这一方法重点关注项目受益人或者公共服务中的顾客的价值观、心理需求、条件需要，以此作为衡量项目与公共服务成效的基本要求。这一方法不预设检验标准，而以研究顾客的动态需求为准则来衡量项目成效，基本上是一种类似于商业服务中的顾客满意度的评价模式，也是现在比较流行的独立评价方法。但是如果项目事实过迟，完全有可能导致项目实施价值很长难透过这一方法体现，因此应有初期与终期对比评价，项目期长的话甚至应该有中期评价。


　　18认证评价法：这一方法有事先设定的质量指标，然后由项目执行者或者组织管理者根据相关指标进行自我报告。评价者根据对于相关指标的要求，来进行实地考察验证。ISO9000与ISO8001等就是类似的认证方法。这一方法注重对于流程与工作要素的考察，对于产出考察较少。一个很大的问题是这类项目评价中的评估弹性很大。


　　19顾客中心法：又可以成为反应性评价。该方法是顾客取向法的细化，其核心是根据具体的公共服务与项目情况所涉及的顾客，以及相应的具体服务措施，设计相应的评价指标。在这一方法中，不同服务部门的评价指标是不同的，必须与其自身的业务相吻合，但由顾客根据其需要与服务感受加以评价。在其中既可做抽样定量调查，也可进行案例研究。这一方法可能的缺陷是对于专业行政考虑不够，同时顾客本身的评价所基于的信息非常有限。


　　20构建式评价法：这一方法中的评价者不仅深入到项目过程中，还参与项目行动，甚至参与辅导与支持工作，从而成为行动场景的组成部分，同时也更重视关键利益人的意见，他们甚至对于评价工作贡献出更多他们的信息与意见。这一方法鼓励评估者不只是一个外部观察与征询者，还是一个内部知情者，扩大的即时信息量的获得，缺陷是其中立与客观性将受到质疑。


　　21互动式评价法：这一方法让评价者与评价结果的使用者一起工作，包括选择需要询问的问题与未来关注的重点，这样把评价结果与使用者直接结合提高评价结果的使用价值。但是使用者可能意见变化或者在评价结果可能显示他们工作的问题的时候有意识地回避某些问题。


　　其实没有一个完美的评估的方法，不同方法有很大的互补性，本处介绍的各类方法均有其独立使用的特殊价值，需要结合项目情况细致选择，同时评估者与使用者应尽量考虑组合使用不同的评估方法。在所有的项目中有比较多体现项目管理者的个人智慧的，也有更多体现受益人需要的。公共评价越来越体现突出受益人需要的取向，而对少数精英理念的推崇则受到限制。评估方法还要体现经济与效率的原则，这是应用型研究不同于学术型研究的重要区别，评估要尽可能为提升项目价值服务。公共项目与公共服务需要创新，公共评价方法同样需要创新.