软件项目，尤其是定制软件，具有明显的非标准化:从项目价格预算的确定，到项目需求的定义，到项目过程的管理，到项目成果的验收等。由于行业缺乏统一的标准，各个采购预算部门和服务商的管理标准会有很大的个性化差异。这也导致政府采购活动中软件服务项目评估存在一定难度，项目后期履约进度和质量存在一定风险。想象软件的实际使用效果与预期相差很大也是常有的事。
01绩效评估的概念和意义
财政支出绩效评价是指根据设定的绩效目标，运用科学合理的评价方法、指标体系和评价标准，对财政支出的产出和效果进行评价。
举个比较通俗的例子:因为口渴，你需要花两块钱买一瓶矿泉水，其中产出是一瓶矿泉水，效果是解决口渴问题，两块钱是实现产出和效果的投入。
财政支出绩效评价不仅要关注产出和效果本身，还要关注投入是否合理，因此财政支出绩效评价应关注支出效果和支出效率。
那么，政府采购绩效评估应该注意什么呢？
在我看来，政府采购的两个重要词是“公平正义”和“物有所值”。公平正义是政府采购的基本目的，物有所值是政府采购的活动目标。因此，政府采购的绩效评估至少要关注两个方面。一是采购活动本身是否合法合规、公平公正，采购活动各方的合法权益是否得到充分保护；二是采购成果的数量、规格、质量和使用效果等。，是否达到预期目标，是否与投入的采购资金相匹配。
以笔者所从事的软件服务行业为例，软件服务项目，尤其是定制软件，存在明显的非标准化:从项目价格预算的确定，到项目需求的定义，到项目过程的管理，到项目成果的验收等。由于行业缺乏统一的标准，各个采购预算部门和服务商的管理标准会有很大的个性化差异。这也导致政府采购活动中软件服务项目评估存在一定难度，项目后期履约进度和质量存在一定风险。想象软件的实际使用效果与预期相差很大也是常有的事。
将绩效评估的理念融入政府采购管理，笔者认为至少可以产生三方面的效果:
一是通过对项目绩效得分的分析和调查，找出问题症结并提出改进建议，实施绩效整改，优化采购项目绩效目标的实现程度，提高采购绩效；
其次，将采购项目的绩效评价结果应用于管理决策，如项目后续年度预算的安排、项目后续新增建设内容采购申请的审批等。，把更多的财政资金配置到绩效更好的优质项目上，提高财政资金的支出效果和效率；
第三，大量绩效评估结果的沉淀和经验的积累，可以作为管理政策和制度的优化和更新的参考，从而提高问题管理和应对的准确性。
02绩效评估的基本方法
根据项目所处的阶段，绩效评价可分为事前评价、事中评价和事后评价。预评价是指项目实施前的评估，主要论证项目是否必要和可行；过程中评价是对项目实施过程中项目绩效目标的阶段性实现情况进行评价，主要是发现偏差并及时纠正；后评价是在项目完成后，对项目绩效目标的实现情况进行评价。本文暂时只讨论后评价。以下绩效评价指的是后评价。
绩效评估项目可分为评估方案设计和评估报告输出两个阶段。
1.评估方案设计
评价方案的设计阶段主要是完成绩效目标的设定，也包括分值的计算方法和参与分值计算的基础数据收集要求。此外，评估计划还将规划绩效评估的人员安排和组织流程。
绩效目标是指利用项目资金在一定期限内规划的目标。在财政支出预算管理中，绩效目标主要包括产出目标和效果目标。产出目标是指项目计划的数量、质量、及时性、成本等要素，效果目标是指经济效益、社会效益、生态效益、收入群体的满意度。在对标政府采购领域，笔者认为可以补充项目预算的合理性、采购方式的合理性、采购流程的合规性、采购活动的效率等管理要素。
为了根据绩效目标实现科学、客观的绩效评价，我们对构成项目的要素进行细化和量化，对项目进行系统的描述，这就是所谓的绩效评价指标体系。绩效评价指标尽量是定量指标，一些必须设置的定性指标要配有可测量、可执行的评分标准。行业内设定绩效评价指标有一个SMART原则，即指标必须具体、可衡量、可实现、与项目相关、有时限。
指标要素至少应包括指标名称、目标值、指标权重、实际值计算公式、基础数据和评分计算公式。
或者从作者所从事的软件服务行业举一个例子来进一步说明指标要素，比如一个“呼叫中心系统运营项目”:
1.比如输出质量指标“热线电话接通率”，目标值是指计划值，假设设为“90%”；指标权重是指该指标在评分时应占据的权重，反映该要素的重要性，假设为“20%”；实际值计算公式是指实际值的计算方法，应为“* 100%”；基础数据是指评分阶段需要收集的数据，包括“接通电话数”和“总通话数”；评分公式是指最终计算指标得分的公式。比如“当实际值达到目标值的90%时，您将获得全额权重，每减少5%将扣除10%的权重。小于等于50%的，不得分”。
2.比如采购管理指标为“采购流程标准化”，目标值应为“标准化”，权重假设为“15%”；由于该指标为定性指标，为保证评分结果的客观性，应将其转换为定量值参与指标分值的计算，因此需要进一步分析规范。假设有四个条件需要通过分析来满足，则视为范数，四个条件对应的参数分别为A，B，C，D。当条件满足对应的参数值为1，否则为0，四个条件各占25%，那么实际值指的应该是数据基于A、B、C、d四个参数的计算公式，需要通过考察是否满足对应的条件来判断数值。评分公式应为“绩效值*指标权重得分”，即绩效值*15。
3.比如效果指标中的“用户满意度”，这里就不细说了，只说数据收集方法。因为是满意度指数，所以需要以问卷调查的形式收集数据，保证客观性。每个满意度指数都要设计一个匹配的问卷，问卷的设计方法和待调查样本量的计算在本文中不再进一步讨论。
2.评估报告的输出
评估报告的输出至少应包括三个环节:基础数据的收集、绩效得分的计算和评估报告的撰写。
基础资料收集是指根据方案设计中的基础资料进行项目信息的收集，一般通过项目访谈、现场考察、资料检查等方式进行。项目申请人、建设单位和服务提供者应当配合，提供所需的信息和数据；对于满意度指标，要根据设计好的问卷和调查方案进行问卷调查，并对结果进行分析，得出需要收集的数据结果。
绩效得分的计算是根据方案阶段设计的指标得分公式和实际收集的基础数据，计算实际值和指标得分，将指标得分汇总相加，得到项目最终的绩效得分结果。
绩效评估报告的撰写过程是对评分结果和项目情况进行分析，找出问题症结并提出解决方案，这也是绩效评估更重要的意义所在。因此，一份好的评估报告的撰写者，至少应该对被评估的项目行业有一定的专业知识基础。
目前业内普遍组织的绩效评价工作，尤其是委托第三方评价机构进行的绩效评价工作，一般在方案阶段和报告阶段分别组织和邀请绩效专家对绩效评价方案和绩效评价报告进行评审，评价机构应根据专家给出的评价意见进行相应的修改和完善。
03绩效评估的组织方法
目前，绩效评估主要有两种组织方式:
首先是委托第三方进行的绩效评价工作，业内也称之为第三方评价。财政部门或预算部门通过招投标在社会上选择第三方评估机构进入资质库。项目完成后，从库中选择评价机构委托绩效评价项目。
第二种是项目申请人自行组织绩效评价工作，财政部门进行监督，可称为自我评价。一般与财务绩效管理工作相结合，在项目申请阶段设定绩效目标，项目完成后评价项目绩效目标的实现情况。
这两种方式在本质上也有一些明显的区别:
第一，绩效目标设定的出发点不同。申请单位在设定绩效目标时主要考虑项目方案，第三方评估机构从行业专业角度考虑要达到的程度。
第二，基础数据的收集方式不同。申请人自行组织绩效评价工作，数据收集主要依靠自我申报，而第三方评价机构在收集基础数据时会从第三方角度进行深入的项目研究和数据验证。
第三，分析的专业水平不同。以软件服务业为例，项目申请单位的绩效评估负责人普遍缺乏软件行业的专业知识，难以分析问题。而有资质的第三方绩效评估机构，在市场竞争的推动下，一般都会储备和培养各领域的专家，问题分析相对更深入，从而找出正确的解决问题的方法。
综上所述，可以看出两种组织方式也各有利弊。委托第三方评估机构开展绩效评估，工作质量和效果较好，但成本较高，资源投入相对较高，难以扩大覆盖面。申请人组织绩效评价的投资成本相对较低，但评价结果的质量和真实性难以保证。
04绩效评估的未来展望
为解决上述问题，财政部门和预算部门主要考虑引入信息系统来支持绩效评价的发展。
本人从事绩效评价业务管理系统建设工作五年。根据我的经验，传统的信息业务系统并不能完全解决绩效评估所面临的问题。
第一，解决不了专业性的问题。
传统的信息业务系统更多的是流程工具的支持，明显提高了业务开发的效率。市场上的竞争产品将包含指标数据库，该数据库涵盖了行业中常见的评价指标和相关要素。部分指标可在绩效目标申报时直接选择并引用，这将促进绩效目标申报难度的降低和申报质量的提高。但绩效评估更重要，对专业性要求更高。要根据评分情况对项目进行分析，找出问题，提出建议。这是系统解决不了的，还是要靠人来完成。
第二，不能解决数据真实性问题。
传统的信息业务系统提供了一个管理工具，它设置了数据报告框架。但是数据采集过程还是线下的，采集结果也需要项目申请人自己上报。没有第三方视角，数据的真实性无法保证。笔者曾经梦想绩效业务系统能够与金融、政府等各行业的业务系统对接，实现数据的自动采集和传输。作为蓝图，想起来很美好，但目前不可能实现，也不可能有效。
那么，如何才能保证绩效评估的质量，实现更好的覆盖呢？我觉得可以引入互联网思维突破瓶颈，还是以软件服务业为例:
首先，通过互联网平台实现数据的在线管理。
政府采购绩效评价所需的基础数据主要分布在项目的采购过程和交付管理中。以南京为例，南京市财政局与解放公司共建的“互联网加软件交易服务平台”，旨在支持信息技术产业限额以下项目的采购服务和所有信息技术项目的交付验收服务，与南京市公共资源交易中心限额以上项目集中采购管理形成互补。可以实现软件服务项目采购和交付管理数据的全覆盖在线管理，从中提取绩效评估所需的基础数据，甚至可以将绩效评估的数据采集需求嵌入到管理业务中。采购单位和服务商通过互联网平台开展业务时，绩效评价的数据采集会自然完成，且真实、准确、实时。
其次，通过互联网平台聚集社会专家资源。
有了基础数据，有了评价规则和标准，就可以计算出项目的绩效得分，但目前还缺少的是对得分结果的分析，以及对项目问题的分析。在互联网平台建立性能专家生态圈，聚集行业性能专家，不仅可以丰富性能专家资源，实现专家资源的跨区域共享，还可以通过在线数据管理，完成过程数据，方便项目回溯。评估分析经验的沉淀，大数据的积累分析，可以进一步降低分析解决项目问题的难度和成本。
随着互联网技术的不断发展、互联网商业模式的成熟、互联网思维的普及，笔者相信无论是财政支出预算管理还是政府采购管理的绩效评估，都必将在其支撑下迈上新的台阶。
