DMEL第50问：本专栏1-49期精华汇编

猴子

　　社会资源研究所（SRI）自去年十月开通【DMEL每周一问】专栏至今已有一年之久，时逢第50期，我们也吸取DMEL的思维，反思这个栏目的效果，计划于近期对专栏进行改版。第50期将分为上下两期汇总之前所有文章的精华，供读者对1-49期内容进行总结和概览，全文列表请点击左下角“阅读原文”或查看本账号历史消息。

　　1


　　为什么要评估？


　　张帆

　　评估有两大目的：1）呈现目标达成情况，例如已经取得的成果，产生的影响等；2）识别项目在设计、执行、监测等不同环节中的改进方向，以提升目标达成度。从第一点来说，公益实践者有义务向资助方呈现公益项目的效果，而不仅仅是资金使用情况，当然受限于各种资源和条件，效果呈现的全面性和深入度可以量力而行。从第二点来说，大多数公益项目并非一锤子买卖，大多数社会问题的解决也是漫长的、持续的过程，因而评估更为重要的作用是学习，在可靠客观事实的基础上学习什么有效，什么无效，以及如何才能更有效。


　　2


　　什么是好的评估？


　　高瑞

　　1.以事实为基础——可靠性：例如，当我们询问一个提升妇女领导力提升项目产生的实际效果时，如果得到的答案是“有很大提升”，我们就需要追问“有哪些具体体现呢（在生活中、工作中）？”“在（上述的）这些方面，你以前的处理方式是？你认为现在的处理方式有何不同？”“是什么让你产生了这样的改变呢？多大程度来自于这个项目？”

　　2.纳入多方观点——完整性：例如，对于“学生发展类项目”，评估方既可以直接向受项目干预的学生了解信息；也不可忽略其他未参与项目的同学、老师、家长等对他们成长的观察和体会；作为“旁观者”，他们对于“变化”可能更敏感、更客观。

　　3.贡献于项目有效性的提升——应用性：评估不能仅仅停留在收集和展示信息，应追问评估对项目有效性提升的作用，例如：已经达成的目标是什么？距离我们的长期目标还有多远？上一个阶段中，有哪些利益相关方对我们的目标实现起到了推动作用，哪些阻碍了项目目标的实现？未来他们的角色如何？外部环境、内部环境是否在上一个过程中发生了什么样的变化，这些变化对我们未来会有重大影响吗？

　　3


　　评估有哪些步骤？


　　张帆

　　明确评估目标。即希望通过评估回答什么问题，以及知道了这些问题的答案会怎么样。评估只是回答问题的一种方法，其本身并不是目的所在，因而必须先明确想通过评估回答的问题——而这些问题，必须是由公益实践者自身提出，因为他们才是需要这些问题的答案来做出决策的人。

　　制定评估方案。即收集什么样的信息能够回答上述问题，以及如何能收集到这些信息。

　　实施评估。即按照评估方案收集、整理和分析信息，最终得出评估结果——第一步中问题的答案。

　　使用评估结果。即将问题的答案应用于决策。这一步骤常常被忽略或是无意识地进行，然而这才是实现评估目的的关键所在。

　　第一步和第四步才是评估的关键所在，而第二、三步则是重要保障。如果忽视了第一、四步，会大大降低评估的效力；如果没做好第二、三步，得出的评估结果你可能会不敢用。同时，被评估方在评估的每个环节都扮演着至关重要的角色，一个好的评估一定是以被评估方很好地履行了自己在评估中责任为前提的。

　　4


　　好的评估者有哪些特点？


　　张浩诗

　　好的评估实施者需要将自身鲜明的特点展现在以下两个维度上，即建立维护良好的评估关系与提供真实有益的评估结果。两个维度既有交叉重叠，又各有侧重。

　　建立维护良好的评估关系，是评估得以进行的前提条件，也是收获好的评估结果的先决条件。提供真实有益的评估结果，是评估实施者的工作使命所在。

　　5


　　什么是发展性评估？


　　张峻玮

　　基于信息的使用方式，而划分出的两种传统评估模型：总结性评估和形成性评估。通俗而言，总结性评估的对象是结果或效果；而形成性评估的对象则是达成效果的全过程，效果本身则位居其次。这两类传统评估范式，都要求干预的模式（包括目标和实现目标的方式方法）在“形成”前进行“预设”，但在真实世界中，并不是所有的干预工作都能预先设定，工作者往往面对的是复杂多变的现实，这就自然引出了发展性评估（DevelopmentEvaluation），它针对的是具有创新性、探索性、环境多变的干预工作，不使用、也无法使用基于目标和手段而设定的评估框架，只能随着干预工作的深入，随时开发评估框架，随时识别和搜集有价值的信息，引导干预工作做出有针对性的调整。

　　6


　　DMEL离我们有多远？


　　张帆

　　一方面DMEL的理念在日常生活中其实随处可见，大家不必觉得高深莫测，一则不到30秒的牙膏效果广告中就可以涉及DMEL中的“设计、监测、评估”这三个环节；另一方面，公益领域使用DMEL提升有效性还有几大难点需要突破，例如社会问题的成因复杂、社会问题的解决方案多元、公益领域的评估是以学习改进为目的等，所以尽管DMEL提供了一些可操作的工具方法，上手并不困难，但唯有公益实践者持续学习、练习，才能最大程度发挥其功效。

　　7


　　什么是总结性评估？


　　张峻玮

　　接受过评估或有评估需求的读者或许发现，目前国内绝大多数评估都是围绕产出和结果开展。背后的一个重要目的是问责（Accountability），即向某一群体（或向工作团队自身，或向资助方，或向更广泛的社会大众）证明干预的有效性。这一类评估其实就是我们所讲的总结性评估。所谓总结性评估，是在干预结束后，搜集信息回溯干预的全过程，来评估干预目标的实现情况、干预的成本-效率等。

　　8


　　什么是形成性评估？


　　张峻玮

　　上期介绍“总结性评估”（SummativeEvaluation）是最基本的评估方式，应用总结性评估有两个重要前提条件：干预目标和指标体系在干预前就相对完备，干预行动与计划行动变动不大。但实际中，公益项目很难具备上述两个前提，这就导致总结性评估无法最大限度发挥其梳理成果的功能。形成性评估（FormativeEvaluation）则尝试从项目设计时就介入，以期对项目的干预目标、指标及行动计划在早期就施加影响，避免及减少执行过程不必要的调整。所谓形成性评估，即在干预的全流程搜集信息，识别出阶段性结果和干预的不同方式对结果的影响，以此为干预的全过程提出改进建议。


　　9


　　小母牛评估官做什么？


　　张帆

　　小母牛监测评估官员的工作是：根据全球目标，制定中国的评估指标库；深入参与项目审批环节，从头开始促进有效；制定监测流程，开发监测工具，并对监测内容给予反馈；负责具有持续性项目的末期评估。小母牛PME部门监督与支持并重的工作方式、以参与式为核心的监测流程，以及以学习为导向的评估策略。正如小母牛中国项目PME部门主任牟平所说的：“组织内部的监测评估部门面临的最大困境，就在于在服务和把控之间做好平衡。首先要有心，即态度上是为中国项目整体服务的，而不要老想着监管、评价他们；其次要有货，即必须持续学习、实际接触各地区的各类项目，提建议时要言之有物，不能理论化和理想化。”

　　10


　　为何区分产出\成果\影响？


　　张帆

　　资源投入和干预活动得到的是产出，这一部分属于“管理区”，即项目可以控制的，公益实践者需要确保投入到位，活动按时、按量、按质完成；目标的实现情况对应的就是成果，这是评估的重点，公益实践者既要关注预期中的成果，还应对预期外的成果保有敏感，加以分析研究，从意外的成功中学习成长；而影响则是长期的社会变化，属于“想象区”，指对影响的预期更多是基于理论推导，以及类似的就已发生的长期变化所做过的实证研究。如果不对这三者进行区分，很可能进入以下几种误区：1)把产出当成果，偏离了心目中的目标。2)将有限的时间、资源放在整理产出，而非衡量成果，以至于各项活动做得都很好，却不清楚目标是否实现。3)动辄就期望影响发生，而对于持续不断的工作缺乏耐心。4)没有长期影响观，对短期内取得的成果沾沾自喜。

　　11


　　建立有效公益思维的书籍？

　　李志艳推荐《失败的逻辑》：为什么大多数发展项目往往以失败告终，有些甚至酿成巨大灾难？本书以计算机模拟实验的方式研究人类应对复杂社会问题时的表现，发现这主要和人类的思维模式有关。整本书像极了对公益人士的反讽，因此也可以看做是公益人士的解毒药。

　　张峻玮推荐《简单的逻辑学》：推荐这本书，是因为监测评估的过程，说到底还是逻辑思维的过程。这本书通过有趣的案例来分析如何有逻辑的讲话和写文章，如何让我们的论证严谨规范。

　　高瑞推荐《创新的解答》：本书通过企业失败、成功创新案例的分析，提出创新产生的突破点首先在于“关注客户使用产品要解决的问题”，而不是“客户属性，即他们是谁”。

　　张浩诗推荐《非暴力沟通》：那些做不好的项目、处理不好的资助关系、留不住人才的机构、解决不了的社会问题与冲突等等，可能正是因为我们无意识地“暴力沟通”。

　　张帆推荐《卓有成效的管理者》：德鲁克认为组织只有为外部环境做出贡献，才有存在的价值，而组织对外部贡献的成效高低则取决于其管理者的有效程度。他还提出，并不是机构负责人才是管理者，所有负责行动和决策而又有助于提高组织工作效能的人，都应该像管理者一样思考和工作。

　　12


　　你有量化迷思吗？


　　高瑞

　　在我们对公益项目评估时，为了保证成果识别的客观、可靠，往往会倾向于采用量化指标来衡量。同时，我们也会遇到一些不那么容易量化的信息，如孩子们的自信，于是，我们费尽心力地寻找，探索、甚至开发各种量化工具，如自信量表。但是，每个孩子对自信量表中每一题的打分——是可能带有主观偏见的，这种主观偏见可能来自其所接受的教育，朋辈关系，也可能来自某个“美好品德，如谦逊”。量化过程除了带有主观性以外，量化数据还有可能会忽略“关键信息”。即也许经过测试，85%的孩子都因我们的干预活动产生了明显的变化——从“自卑”转为“自信”，那么，这种转变来自于什么呢（成功因素，我们可以或许可以加强干预，以加强效果）？另外的那些孩子的自信又是为什么没能得到提升呢？量化的数据显然并不能很好地回答这些问题，而这些问题又对我们改善项目成效至关重要。

　　13

　　“指标”能目标化么？

　　张峻玮

　　不管是政府官员还是公民社会，首先应当思考的，是围绕目标开展工作，思考如何从根本上解决社会和弱势群体的问题，而不应当让考核指标的执行情况成为工作目标。关注指标而不是目标，把指标完全等同于目标，是舍本求末，是思考和行为懒惰的表现。例如在童工的问题上，要解决的不是“将童工遣返”，这仅仅是一个指标，而是思考如何在制度上让孩子能够留在学校接受教育这一根本目标，比如向贫困地区加大转移支付的力度，向初等教育中的贫困儿童和家庭投入更多生活性补贴，向工作儿童提供更多教育和成长服务等。公益组织是否在工作中，也会面对类似目标“唯指标”化的困境，在追求指标所确定的绩效时，偏离了最初的梦想？

　　14


　　受益人变化故事有什么用？


　　张帆

　　收集受益人的变化故事，大概是公益实践者最常用的评估方法之一。让我们来看看同样以收集故事为起点的“最重要变化法”（MostSignificantChange，以下简称MSC）是怎么做的：简单来说，MSC分为以下三个基础步骤：第一步：收集大量的“最重要变化故事”；第二步：利益相关方在大量“最重要变化故事”中，选出最重要的几个；第三步：将选择过程和结果反馈给讲故事的人。MSC本质上是一种以组织学习为目的、参与式的监测评估方法。受益人故事是反思的起点，同时不满足于产生了变化和影响，还要追问这些变化有多重要，那些最重要的变化是否已经发生，通过做什么才能让最重要的变化发生。MSC能帮助公益机构对其使命在组织内外进行更广泛的讨论，并尝试建立共识，同时它是从实际的变化出发，时刻提醒我们目标与现实之间、公益人的愿望与服务对象的需求、真正的社会问题之间，可能存在的差距与错位。

　　15


　　如何确定评估问题？


　　郭冉

　　评估工作是围绕着具体的评估问题开展的。评估委托方的问题越明确，就越有利于评估者做出有针对性的评估设计，评估结果的应用价值也就越高。一个好的评估问题不仅要明确评估所回答的问题，也要确保有可行的方法回答它，并且这个答案一定是对利益相关方解决项目所针对的社会问题有价值的。这意味着它蕴含了三部分信息：1.评估范围；2.信息收集的策略、方法；3.评估结果的使用对象与目的。确定评估问题三步走：Step1明确评估目的；Step2拟定总体评估问题；Step3形成可测量的具体评估问题。在确定评估问题的过程中，还需要注意时间和预算，以及信息收集过程中可能存在的政策或道德上的风险。

　　16


　　如何用DMEL思维写一份“好”的结项报告？


　　高瑞

　　结项报告并不只是简单的汇报，更是自我评估的呈现。报告非财务部分包括项目逻辑、项目产出、项目成果、反思四个核心内容。第一部分项目概述：这部分交代项目逻辑，主要说明以下三个问题：1.项目是在什么背景下，为解决什么样的问题而设立的？2.在项目期内，预期达成怎样的目标？3.项目采用什么样的策略，以达成预期目标？第二部分活动-产出：以“我们所执行的内容”为核心，交代在项目期内完成了哪些活动，即项目产出；并对照项目计划书中的预期产出，说明产出完成情况。第三部分成果：和产出部分不同的是，该部分以“受益对象的改变”为核心，说明项目的成果。第四部分反思&对未来的价值：这一部分是项目执行团队基于对产出、成果的反思，回顾项目设计策略、执行过程、项目管理等内容，从而呈现本期项目的成功经验/失败教训对下一阶段的价值。

　　17


　　如何用DMEL的思维求职？


　　张浩诗

　　我们相信从某种意义上讲，“你如何认识和管理自己，也将如何认识及管理你即将上任的项目”。用DMEL思维求职的方法，第一，设计你的拼图：设计过公益项目的人，想必都知道哈佛大学著名的“三圈理论”，即“价值、能力和支持——分析框架”，同样的，在求职时你也要始终对自己的三块拼图保持敏感，即“资产、追求和市场现实”。第二，彰显你的成就：大多数人在简历中会有两个惯性行为，即线性叙述过往所有工作、实习及社团志愿经历，无论其与应聘工作的联系是否紧密，这种行为会使招聘者觉得你并未厘清自己职业发展的里程碑，就如同在监测一个公益项目时缺少重要监测点。第三，分享你的反思：正如一个项目需要反思和改进一样，当你将受益人群变化、消费者满意度、创造利润额、筹集资金额等等信息用数字或文字传递出来后，这便使简历筛选者或面试官对“过去的你”有了初步了解。但他们想聘用的是“现在及未来的你”，所以对于“过去”的反思与学习能力将更加凸显你胜任新工作的潜力。

　　18


　　你的问题界定足够好吗？


　　李志艳

　　一份标准的项目设计书，一般包含项目背景、目标、成功指标、活动、团队、时间进度、预算等内容。首当其冲的项目背景，其重点就是问题分析，没有问题分析，就无所谓目标，也就无所谓成功指标、活动和预算。问题分析最为重要，但却最容易被忽视。太多时候，我们轻描淡写地掠过了背景与问题，而迫不及待地策划起项目活动，甚至操心起项目预算来。过于关心活动和预算，这与公益组织社会问题发现者的定位是极不相符的。以下提供问题分析的5个原则：1.感同身受，内心震动；2.反复出现，系统存在；3.创新独到，可能会错；4.很有嚼头，不含答案；5.如果解决，那又怎样。


　　19


　　何谓有效公益？


　　李志艳

　　无论国际或是国内，有效公益都还不是严格的术语。在我看来，它更像是一种价值主张，它希望把公益人的视角从“透明性”、“专业性”以及对公益资源的渴望，转移到成果或社会影响的关注上。因此，有效公益的焦点一定是社会问题的解决方案，而非公益人的能力、职业素养，也非公益组织的成长和发展。后面这些都是投入、手段或者是切入点，而非最终的目的地。“有效公益”指的是公益的资源和能力能够产生更多更好的成果。“有效公益五要素”包括：针对性、效果、效率、可持续、宜推广。“有效公益”的价值主张是遵循“从问题出发”、“目标对象为先”、“成果导向”三个基本点的。

　　20


　　你的机构能成为“学霸”吗？


　　张浩诗

　　DMEL中的Learning（学习）是整个系统能够发挥效能的关键一环。有时候，在一个项目阶段性完成后，组织草草写就一个结项报告，便进入了下一个执行周期或开始了另一个项目；也有时候，组织邀请了专业人员进行项目评估，却错把一纸评估报告当成了目的，或将伴随评估而来的问责当成了唯一目的。这些态度与行为都不利于改进公益项目的质量，升级公益产品与服务。组织需要认识到，项目不会自我治愈，评估过程与结果也并不会自动演化出更好的解决方案，只有组织主动去研究过往项目经验、将评估信息内化为组织的知识，才能推动项目的质量螺旋上升，而确保这种“主动研究进而改进”的是组织具备的三个特质，我们称之为支撑学习与改进的“三大基石”。第一大基石：支持鼓励的组织环境；第二大基石：分秒必争的时间保障；第三大基石：身体力行的领导风范。

　　21


　　怎样做“有用的评估”？


　　高瑞

　　我们经常听到这样的需求，“做了这么长时间，想知道我们到底产生了什么影响（Outcome+Impact）？”“做了这么长时间，不知道效果如何，哪些地方可以改进？”“资助这个项目有一段时间了，想知道效果如何，是否需要/应该继续资助？”可见，在评估的一开始，委托方是带有期待的，即希望将评估应用于决策制定、项目改进。然而，在大家眼中，评估却常和“专业复杂的定量分析”、“冗长繁杂的报告”划上等号，甚至，对于经过漫长、复杂的工作过程而产生的评估报告，看都懒得看，更遑论应用了。如何做有用的（useful）评估、可用的（workable）评估？第一，明确主要使用者，要回答的问题便是“谁是评估报告的主要阅读者和使用者，他们希望通过评估解答什么问题？”第二，用户参与的评估设计。在确定评估问题时，和用户一起挖掘、识别真需求；在开发评估指标时，暂时放下标准化指标，听听使用者对“标准化指标”的理解和评价；在开发信息搜集工具时，多和他们讨论，了解利益相关方可接受的、乐于使用的信息搜集工具方法。

　　22


　　你把收集到的海量信息用起来了吗?——以美新路大朋友项目为例


　　张帆

　　美新路公益基金会（以下简称美新路）非常重视项目的监测评估工作。它所发起的“大朋友项目”，除了定期通过问卷方式向“小朋友”收集反馈外，还对服务满一年的“大朋友”进行结构式电话访谈。他们对这些信息进行统计、分析、讨论，并真正用于指导工作。收集信息永远只是开始，如果收集到的信息不能被利用起来，对决策产生影响以提升有效性，那么不如不要浪费时间和精力去收集。我们不能期待信息收集完了自然就会用，而必须预先想好如何使用信息，也必须及时跟进总结和思考，并作出行动调整。对行动有用，是信息搜集的真正价值所在。


　　23


　　评估如何更加有用？


　　李志艳

　　我们认为DMEL作为一种思维与方法体系，对于公益机构的有效性极为关键。公益组织过于拘泥于项目活动，在分析社会问题、定义项目价值、反思项目策略、改进与提炼项目战略方面所花的时间太少，相应的能力也比较欠缺，这已经成为公益组织发展的重要制约。我们并不是在推销一种工具或者所谓科学的方法，而是要推销一种“思维”和“精神”，方法和工具并不重要，严谨不严谨也不重要，重要的是我们在什么思路下工作。正确的思路可以指引我们最终走向有效的公益。这种精神就是“绩效精神”或者称之为“社会影响”精神。我们要不断扪心自问：“我们在为谁服务”，“我们在应对什么问题”，“我们希望带来什么变化”，“怎样算项目成功”，“我们可以做得更好吗”、“我们是否建立了一种机制可以让成效在项目结束后延续”，“为了更好的成效，我们需要做出哪些关键决策”，“我们在组织、资源、能力、流程方面需要提供哪些支持来推动改变”。

　　24


　　没有目标，可以吗？


　　李志艳

　　应对复杂问题的干预方式，第一种，暂且称为“响应式”，也就是干预者自身不设定目标，他的任务就是满足服务对象的需求；第二种，暂且称为“目标式”，他制定某些特定的目标，然后带动服务对象实现预期的变化。在公益领域里，由于更容易受到理念和价值观的主导，纯粹“响应式”的干预非常多见。但是，因为人和资源因目标聚在一起，如果自身定位不清楚，服务人群会无所适从，如果我们没有目标，那么身边即使有众多资源，我们也可能发现不了。感受需求，需要主心骨，这个主心骨，就是目标。一个号称响应百姓需求的市长是不可信赖的，即使他真心实意这么做，没有目标的公益机构，没有目标的公益项目也是很难让人信赖的，即使我们真心实意地做公益。

　　25


　　你知道你已经在做评估吗？


　　郭冉

　　有不少项目团队觉得评估是一件独立于项目本身，在项目结束后才需要考虑的事情，其实不然。你的团队是否对项目活动做记录？活动结束是否收集组织者与参与者的反馈信息？项目人员是否定期沟通工作中取得的进展、交流遇到的困难与可能的解决办法？如果答案是肯定的，那么你的团队其实已经在做评估工作了。如果你的团队有设计方案、活动记录和反馈信息，也进行定期沟通与交流，却不认为这是监测评估，那么问题可能是团队并没有将这些工作进行系统的归纳总结，也未能与项目改进建立联系。你的日常工作能够在评估中发挥多大的作用，取决于你是否能够意识到它们与评估之间的联系，并有意识地去建立和完善这种联系。

　　26


　　如何开发出好的成功指标？


　　张帆

　　好的成功指标，要满足以下几点：衡量的是“目标的实现”；能“看到”；能“反映”；个数不要太少，也不要太多；标准不要太低，也不要太高。开发指标，绝不能是胡乱地将项目建议书中的相应空白填满。好的指标，能够度量我们的工作成果，反映问题解决的程度；而开发出好指标的过程，还可以提醒我们要从问题中来，不可偏离目标；敦促我们建立基线，实事求是地工作；鼓励我们不断从已有成果、前沿研究中汲取营养。

　　27


　　没有项目目标可做评估吗？


　　郭冉

　　对于没有预期目标的项目而言，评估的工作内容在于找出项目干预对现实情况实际产生了什么影响，并尝试描述这种影响是如何产生的。它本质上也是对项目逻辑进行梳理的一种方式，其结果直接贡献于下一轮的项目设计，有助于明确项目目标。它在以下两个方面与有目标的评估不同：1.提问的方式：在有目标的评估中，评估只需要回答项目预期目标是否实现了，问题都是围绕预期目标来设计。对无目标评估而言，除了时间上有所限定外并无其他既定的答案范围。2.信息收集对象：无目标评估对项目的影响保持开放的态度，所收集的信息实际上包含了有目标评估中的预期变化和未预期变化，而未预期的变化很多时候是在非目标对象身上发生的。因此无目标评估除了收集最终受益人的反馈信息外，还需要收集其他可能受项目影响的人群的反馈信息。


　　28


　　什么是监测？


　　李志艳

　　监测是发生在项目执行过程中的一种持续性管理行为，它搜集并定期报告关于项目投入、活动、产出以及近期成果等信息，以便为管理层、执行团队以及其它核心利益相关方提供项目策略及执行决策的依据。监测具有以下特征：监测发生在执行环节，因此只能收集在执行阶段显现的信息；监测是一种持续行为，不是偶然或者阶段性的，它伴随着项目执行的全过程；监测发生在组织内部；监测是一种管理行为，是项目执行团队及管理层了解项目进展，避免风险以及抓住机会的一种手段；监测要能为决策所用。

　　29


　　这些成果都是你的项目带来的吗？


　　张帆

　　归因可以分为三类：一是不管干预活动是否发生，都会出现的成果，称为“无谓因子”（Deadweight）。二是干预活动的发生，只是改变了成果出现在哪个目标群体身上，而成果的总量不变，称为“转移因子”（Displacement）。三是成果的发生，是由于其他组织的干预活动带来的，称为“归因因子”（Attribution）。排除了这些之后的成果，才是你的项目所产生的成果。归因工作给我们带来的重要启示是：追求更精细的有效。探寻真实时，就有发现“自己并不那么重要”的风险，但考察真实的成果，不是为了说明自己有多重要，而是找到那些重要的、而又被忽略了的事情，继续去做。

　　30


　　项目评估指标越多越好吗？


　　高瑞

　　信息数量的多寡和其价值并没有必然联系。即便信息搜集与项目执行过程并行开展，但高质量、有价值的信息获得依然需要额外的人员和时间投入。越多越好的倾向也许为我们建立了近乎完美的信息搜集体系，但繁杂的条目同时也破坏了项目监测的趣味、效度和价值，使过程流于形式。首先要回到信息搜集的本源：我们期望通过这些信息解答什么问题，为什么决策做参考呢？聚焦要回答的关键问题，我们再从指标与关键问题的相关性、信息的价值等角度重新审视原有的指标体系，删减、合并那些可有可无的指标。指标多少并不重要，重要的是指标衡量的信息是不是我们真正关注的，对于我们是否有价值。

　　31


　　方法背后的逻辑你了解吗？


　　郭冉

　　项目参与者尤其是受益人的反馈，对于项目的改进极为重要，于是在项目完成后，大家都利用定性、定量等各种方法去收集信息，但结果往往是拿到一堆反馈却不知如何利用，原因在于大家对这些方法背后的逻辑认识不清楚。我们相信，项目活动对目标对象是有影响的，目标对象在项目期内会发生某些变化，而这些变化至少有一部分是由项目活动造成的，同时我们也承认，这些变化也可能有其他原因，因此有些人变化明显，有些不那么明显。根据这一逻辑，我们知道在信息收集时：第一，我们需要让目标对象将自己的变化与项目活动联系起来；第二，我们可以通过提取“显著”的变化，更经济地说明项目成果；第三，我们可以主动去发掘更多促进目标对象出现预期变化的原因，考虑将有利的因素纳入项目活动，排除或控制阻碍因素。

　　32


　　三步设计出“学习型评估”的评估计划


　　张帆

　　麦肯锡公司的社会部门为资助者、非营利组织开发的——设计“学习型评估（LearningDrivenAssessment）”评估计划的三步法：第1步，厘清目标：他们开发的4*6矩阵，囊括了社会领域的几乎所有的项目目标类型，实践者做评估计划的第一步，就是深刻理解自己项目在上述矩阵中所处的位置，以判断这一时刻的关键目标是什么，进而确定相应的评估学习问题；第2步，选择具体指标：定位之后，我们需要将框架性的学习问题转化为针对自己项目的学习问题。转化至少有两个层面，一是针对你的具体项目，二是针对你项目面临的具体挑战；第3步，考虑优先级，完成评估计划：麦肯锡认为判断优先级的标准有四方面：价值观与使命、相关性、可信度、可行性。根据这四方面的考虑，修订第2步中确定的学习问题、评估指标和信息收集方法，就完成了学习型评估的评估计划的设计工作。

　　33


　　如何检验项目活动与目标是否匹配？


　　张婷婷

　　麦肯锡把所有项目分为6种类型（知识开发、能力提升、提供产品、行为改变、体系搭建、政策倡导）作为横轴、将解决方案所处的4个阶段（识别、设计、试点、推广）作为纵轴，横纵轴一对一交叉所汇集形成的方框则呈现出所有公益项目所属的24种目标类型，称为4*6目标矩阵。通过以下四步，让项目目标与活动相匹配：Step1,罗列出你的机构已有的项目及其目标；Step2,对应4*6目标矩阵，分别对项目活动与目标进行检验并列出结果；Step3,通过“活动VS目标”2*2象限分析检验结果，判定你的项目所属的象限；Step4,进行目标或活动的调整使之相互匹配。

　　34


　　如何说清楚你的评估需求？


　　郭冉

　　由于时间、精力、专业性及客观性等多方面的原因，评估工作常会委托给项目团队之外的人来做。但拿到评估报告后，往往发现不能满足自己的需求。这一问题很大程度上，是由评估需求表达不清晰所造成的。因此，为保证评估结果能够达到预期的使用效果，说清楚自己的需求就显得非常重要。而评估需求的核心无非是以下三方面内容：1.评估结果使用者；2.评估目的；3.评估问题。需要注意的一点是，在明确评估需求的过程中，除了委托方和评估团队，还要纳入不同相关方的意见，让其参与其中。尤其是在委托方并非是最终评估结果使用者的时候。了解评估使用者的意见，在评估设计中纳入他们的声音，评估结果才可能为他们所接受并使用。

　　35


　　项目设计=项目计划书？


　　高瑞

　　项目计划书≠项目设计，项目设计应回归问题分析。项目计划书只是资助者和NGO沟通的一个载体，它不是项目活动合理性的解释文本，而是项目设计过程的集中呈现。通过这个载体，资助者得以了解项目设计的逻辑——“问题界定—》预期目标—》执行策略—》活动规划”及其所需资源投入，从而为决策做参考。作为项目申请者，我们就更要坚守“社会问题解决方案探索者”的定位，相比于资助方，我们更需要回答自己“为什么要做”。

　　36


　　美国军队怎么学习？


　　张帆

　　美军中有一支特殊的队伍被称为OPFOR，他们能力非凡，原因在于使用了一种从已有行动中总结经验，并用于提升未来表现的方法——“事后回顾”（简称AAR）。继1998年壳牌石油在理事会成员之一——一位退役将军的建议下开始使用AAR之后，它就开始广泛被应用于其他领域。AAR分为：1、计划；2、简要反馈；3、演练；4、AAR会议；5、知识分享。AAR的基本原则：经验的第一、以及最重要的受益人应是那些总结经验的人；AAR的过程必须从项目开始时开始；总结出的内容必须与未来行动明确相关；领导者应与大家一起进行学习。AAR不是一种会议、一份报告或是一次事后检讨，它能帮助组织在多变的环境中，获得如何学习总结的能力，而这比任何一条总结出的经验都更有价值。

　　37


　　项目监测，监测些什么？


　　李志艳

　　项目都有一系列活动组成，这些活动经由一定的送达系统递送到目标人群。项目活动需要必备的后勤支持系统，包括资金、外部关系、执行团队、项目管理等，而项目又都在某种社会经济以及社区环境开展。我们依此分析出项目需要监测的7个主要方面分别是：目标人群、传达系统、项目活动、近期成果、支持系统、外部环境、建议与反馈。每家机构可以根据项目的特性以及机构的资源和能力，量体裁衣选择出自己监测的重点。

　　38


　　为什么监测？


　　李志艳

　　监测是与项目执行平行的过程，它站在项目之外看项目执行，本身耗时耗力，因此它必须具备某些功效才有意义。整体说来，监测有四种功用：1.增进问责与透明；2.改善设计；3.提升拥有感；4.为评估打下基础。

　　39


　　苹果如何讲述变化故事？


　　高瑞

　　在苹果公司官方网站“Apple与教育”的子页面，有一个“真实案例”页面，每一个案例呈现上都包括启发、实践、成果三大部分，分别呈现项目缘起、学生/教师/学校的基线概况、实施过程，和教学成果因此发生的改变。我们可以看到，有两个要素缺一不可：1）基于证据的服务对象改变，2）这种改变和我们服务/项目的关系。只有如此，我们才可能呈现出一个言之有物且生动的改变故事。我们需要走近服务对象，与他们有更紧密的互动，才能及时、充分地感受到他们的变化。如管理学大师德鲁克所说，一切成果都存在于组织之外。因此，对于一切成果的感知也一定在组织之外。

　　40


　　什么是评估金字塔？


　　李志艳

　　评估金字塔自下而上依次是：需求评估、设计评估、过程评估、成果评估、影响评估、效率评估。金字塔的不同层次，评估所需要解决的关键问题也不一样。在评估金字塔中，下一层次是上一层次的基础，如果下一次层次不牢靠，上次层次的评估则一般没必要开展。首先，针对需求是所有项目的基础。其次，如果项目设计的不好，那么考察项目执行是否符合项目设计就没有意义。再次，成果评估是影响评估和效率评估的基础。然后，本处的影响评估采用的是比较严格的定义，指的是归因于该项目的，纯粹由项目带来的“净成果”。最后，效率评估，也即人们经常谈论到的“社会投资回报率”，在所有评估中位列最顶端。

　　41


　　项目设计时，你是否忽略了假设？


　　李志艳

　　变革理论中非常重要但也十分困难的一步，就是识别隐含假设。所谓假设，是指它不一定是“真”的，但设计项目却以其“为真”为前提。如果假设并不为真，整个项目从理论到执行都将沦为失败。假设共分为三类，第一类：目标的实现要依赖于其下属的几个目标或行动，这其中往往暗含着某些假设；第二类：关于总体变革理论的假设；第三类：关于外部环境的假设。假设像是无形的手，隐藏于项目设计之中。虽然我们的项目并不针对“假设”直接开展工作，但它们是否成立却直接影响了项目的成败，因此，我们需要觉察这些隐含的假设，并时刻保持着对它们进行检验的意识。

　　42


　　美国基金会怎么做评估？


　　张帆

　　近年来一些领先的基金会已经重新界定了评估在慈善领域的作用，并主要在以下五个方面开展了新的实践：1、评估关乎提高改进，而不仅仅是提供证据；2、评估关乎如何贡献于社会影响，而非归因；3、评估关乎与他人一起学习，而非独善其身；4、不仅仅是评估单个项目；5、评估关乎拥抱失败。

　　43


　　什么是欣赏式探寻？


　　熊春妹

　　做社区工作的时候，有一种方式是欣赏式探寻。通过确认一个社区过去的最好时期，侧重于社区积极的方面，是这种方式的基本理念。欣赏式探寻帮助人们聚焦在他们所拥有的，他们所取得的以及他们日常生活中产生的正面影响。它在承认问题可能存在的同时，以发现社区中存在的正面的力量为焦点。这是比较激励人心也比较有赋权性的。欣赏式探寻在运用中一般包括四个步骤：发现、梦想、设计和达标。

　　44


　　什么是变革理论？


　　李志艳

　　变革理论，顾名思义就是一整套关于如何让变化发生的理论。它从本质上说是一种逻辑推演，是相对宏观的超出操作层面的关于如何解决某个社会问题的推理。变革理论不是实践，而是一种头脑中或纸面上的构思，正确与否则有待于实践去检验。为了解决某个问题，为了让变化得以发生，至少应回答四个关键问题：目标对象所面临的问题是什么？原因是什么？期待目标对象发生什么变化？为了实现这些变化需要做什么？项目或机构是在什么样的环境下运作，对外部环境、行业趋势、合作伙伴甚至目标对象有哪些假定？如何衡量和判断期望的变化切实发生了？对这些问题的回答构成了变革理论的主体内容，它们分别对应问题、目标、指标、干预、假设五项内容，称之为变革理论五要素。

　　45


　　如何使学习更有效？

　　对于组织学习，我们的目的不单是探索未知，让大家知道的更多，更重要的是能够建立学习和工作的联结，了解大家工作的实际情况，辨别在哪里、用什么方法，才能让我们的决策和行动更有效。我们将这个过程分解为以下几个关键步骤和问题：1）检验：a)实际发生的情况是什么？b)我们曾经的预期是什么？c)实际与预期有怎样的差距？2）反思：d)从这样的差距中，我们学到什么？e)对于我们下一步决策、行动有怎样具体的影响？3）跟进&进一步检验：f)制定改进计划，并进一步跟进、检验改进效果：改进效果如何？4）一般化：总结经验与教训，形成知识积累。

　　46


　　如何让改变他人的策略更有效？


　　郑聪

　　改变的发生往往以遵从行为主体自身的变化规律为前提。开始行动之前先问问自己：你的直接工作对象是谁？你希望TA发生什么样的变化？你知道什么是TA产生这样改变的动力与条件吗？在真实的情境中把握工作对象的行为逻辑，基于其变化规律设计有针对性的工作策略。如此这般，项目目标达成的可能性就会大大提升。改变从理解开始，这一点或许对所有的公益实践者都能有所启迪。

　　47


　　如何做培训评估？


　　高瑞

　　柯氏四级培训评估模式（KirkpatrickModel），主张从反应(Reaction)、学习（Learning）、行为（Behavior）和结果（Result）四个层面上对培训开展评估。具体是：1.反应层：满意度测量；2.学习层：在多大程度上实现知识扩充、技能提升或态度改变；3.行为层：在多大程度上实现行为转变；4.结果层：项目或组织的绩效有哪些改变。

　　48


　　重新发现监测


　　李志艳

　　最近五六年来在公益界，评估备受关注，监测则颇受冷落。但如果在真实情境中，仔细考量如何推动有效公益，我们就会发现，监测的价值被大大低估了。在资源有限的情况下，我们应该重视监测的价值。如果资源充分，监测和评估可以结合起来，当然能更系统性的记录和呈现项目的社会影响。对公益评估咨询机构而言意味着，需要将监测和评估两种业务区分开。一种是协助公益组织开发可自我运作的内部社会绩效监测体系，此体系的目的是快速学习和反馈，以改进项目设计和执行；另一种是针对较为稳定的项目开展中长期社会影响的归因式评估，从而为项目规模化或者战略升级做准备。

　　49


　　如何写好监测报告？


　　张婷婷

　　监测报告包括项目执行过程中的所有进展/阶段性报告及结项报告，不仅要满足项目管理决策的信息需要，也要满足学习改进的需要。首先，在内容上，可由以下四个方面进行延伸，包括：1．进展及阶段性成果；2.困难挑战与经验学习；3.下一步计划及可改进之处；4.预算与实际支出情况。其次，在原则和技巧上，可考虑：1．避免术语、善用图表、报告简明扼要；2．根据报告使用者来决定内容侧重点。第三，敢于尝试：用“变化故事”（StoryOfChange）体现项目成果。

　　来源：社会资源研究所