新闻中心
公司新闻
行业新闻
媒体报道
理论前沿
项目公告
法律法规
首页 >> 公司新闻
财政支出绩效评价中调查问卷的设计及应用
发布时间:2015-1-23 13:51:03    信息来源:    作者:
内容摘要、关键词:
     财政支出绩效评价的基本方法包括目标比较法、成本效益法、历史比较法、横向比较法、专家评议法、问卷调查法等。其中问卷调查法是指通过公众问卷及抽样调查等对财政支出效果进行评判,评价绩效目标实现程度等。问卷调查能够获得比较客观的外部证据,被广泛的用来作个性指标的评价,如社会效益和公众满意度方面,同时也经常被用来对共性指标中内容进行核实,如项目的操作是否符合规范、是否存在质量问题等,是非常重要的评价手段之一。 
 
       一、调查问卷内容
 调查问卷所收集的数据和内容通常有两方面作用:一是据以对评价指标进行打分;二是据以对项目实施中的各方面情况进行分析。所以问卷的内容必须具有相关性,应紧紧围绕这两方面进行设计,避免未能就项目主要绩效目标和项目重点分析内容提出问题的情况出现。如果问卷设计者无法把某个问题与分析计划的目标和角色匹配起来,那就不应该询问这个问题。
 1、与指标相关的调查内容
    根据绩效相关原则,绩效评价应当针对具体支出及其产出绩效进行,评价结果应清晰反映支出和产出绩效之间的紧密对应关系。产出绩效中的重要内容之一就是社会效益,这一部分效益通常要通过调查问卷的结果来进行评价。例如:一个财政科技扶持项目,对符合条件的企业给予了一定的项目研发资助,项目产出包括:研发项目取得的科研成果数量、相关的经济效益,被扶持企业对资助政策、资助方式、资助金额等方面的满意度和意见建议等,均是与评价指标紧密相关的内容。这些信息均可以通过问卷调查方式获取资料并核实。
2、可以用来做项目分析的调查内容
通过问卷,我们还能获得很多与评价指标不直接相关,但对被评价项目来说重要的信息,如上面所举例子,可能未将扶持政策的宣传效果列为评价指标,但通过调查企业获得财政扶持政策信息的渠道,可以了解政策宣传是否到位,方式是否合适,为以后该项目的继续实施提供参考。
 
二、调查问卷设计的基本原则和方法
财政支出绩效评价项目涉及国民经济、社会生活方方面面,评价者必须先取得相关资料,与政策制定方、被评价单位、受益群体等进行事先的接触,对项目相关政策、制度、实施方式、实施进展等内容作详尽地了解,在此基础上设计出初步的评价指标和问卷。问卷设计有其专业的原则和方法,和财政支出绩效评价工作相结合,应注意以下要点:
   1、根据评价项目具体情况,对调查对象和所调查问题分类
    首先,是对调查对象分类,如项目实施方、受益方,有时还有第三方,比如对困难群众的帮扶项目,可能需要调查困难群众所在社区的干部群众的看法。对不同的调查对象,需要分别设计问卷,确定不同的侧重点,同一问题对不同的调查对象,应采用不同说法、分层次来表达。财政支出项目的管理层对项目的政策和整体实施情况比较了解,文化水平、理解能力也相对差异较小,应多设计一些与财政政策合理性、可行性相关的问题,内容也可以相对丰富一些,以便绩效评价实施者了解更多情况;而政策受益群体可能对政策的了解程度和文化水平差异均较大,调查的问题应与政策具体实施环节紧密相关,并通俗易懂,预期大多数受调查者均知悉相关情况并能够理解问卷中的问题。
    其次,根据绩效评价指标,将所调查内容进行分类,一般包括:受访者的基本情况,如姓名、身份、联系方式等;与业务指标、财务指标相对应的一些具体数据,如企业职工人数、获得的知识产权数量、具体财务状况等;一些主观评价,如对政策的看法、对实施情况的意见、对未来的希望等。按照这些分类确定问卷所包括的基本问题,再按不同调查对象予以细化。
   2、对关键概念和术语作出界定
    为了让受访者准确地提供真实的或客观的信息,一个基本环节就是要确保所有受访者对所要报告的内容有一致的理解,好让实施调查者确信所有的受访者都使用了同样的定义。这是调查问卷的设计者所面临的最艰巨的任务之一。
    以下两种基本方法可以确保受访者对术语有一致的理解:
    (1)在问卷中或实际调查时提供完整的定义,以消除全部或大多数语义上的含糊不清。例如,对某市的城管执法专项经费进行绩效评价,在很多人的感觉里,所有市容市貌都是城管执法管理的范围,实际上城管执法范围是不含住宅小区和单位内部道路的,具体城市管理违法行为也是有明确范围的,不是所有影响市容市貌的行为都由城管执法部门来管理。在调查问卷中,首先就必须对上述内容进行界定,并在实际调查时向受访者解释,以避免调查结果出现较大偏差。
    (2)可以让受访者提供全部所需要的信息,以便研究者对受访者事件进行恰当地分类。换句话说,如果受访者提供了充分的信息,与其尝试与所有受访者沟通复杂的定义,还不如在某个问卷问题上采用一致的计算或定义标准。例如:某个扶贫培训项目,目的是为了提高农村富余劳动力的就业能力,受益范围应为青壮年的劳动力,如果问题设计为:您是否是本项目的扶持对象?可能因为受访者对具体政策并不了解而造成困惑。这种情况就不如询问受访者年龄、户口所在地、接受的培训内容,多项信息结合就可以做出判断。
   3、设计问题的注意事项
    首先,选择性的问题优于评价性的问题。由于主观评价容易受到问题设计的措辞、调查方式等多种因素的影响,尽量多一些选择性的问题,相对评价性的问题更好一些,更有利于客观地对相关指标予以评价。
    其次,选择性的问题的答案应尽量包括各种情况在内。如果觉得某个问题可以给出的选择难以包括所有情况,那么就尽量列出所有最常见的情况(同时要避免选项过多),最后加一项“其他”,并要求受访者填写具体内容,以获取充分的信息。
    第三,用来测量主观状态的评价性问题应合理设计。财政支出绩效评价的社会效益部分,是评价指标中的重要内容,这一部分内容很多情况下都是需要通过调查受访者主观感受来进行评价的,比如对某一财政支出项目政策设计的合理性是否满意,对实际实施效果是否满意等。而测量主观状态的评价性问题,通常设计一组由最正面到最负面的答案序列,供受访者选择。一般应注意以下方面:一是要均衡设置答案选项,让受访者感到答案之间的距离是等距的;二是避免答案不平衡情况出现,例如:可选答案为“非常同意,同意,有些同意,无意见,不同意”,由于负面答案选项仅有一个,受访者对某事件持“同意”态度的比例,必定高于持“不同意”意见的比例;三是答案数量适宜,对大多数评价任务而言,5-7个类别可能是大多数受访者能够有效使用的类别数量。如果可以预计调查对象给出的答案都差不多,这个问题就没有意义。例如:对某财政资助企业的科技专项资金项目评价,社会效益—企业满意度指标为3分,问卷中针对这一指标的问题有5个之多,包括政策效果好不好、补助标准是否合理等,但每个问题的答案均只有三个,均为“好,一般,不好”的形式。可以预见大多数受访者都会选第一个答案,事实也如此,这一指标最终得分为满分3分,但实际上这一调查没有任何指导意义。
     第四,问卷应篇幅适宜,结构清晰,语言及文字通俗易懂。从财政支出绩效评价工作的经验来看,问卷篇幅应控制在两页以内,避免篇幅过长、无侧重点、结构混乱的情况。财政支出项目特别是民生类项目受益对象多是普通民众,文字描述不宜过于专业,以免调查对象难以理解其确切含义。
   4.调查问卷的预调查评估
    每个研究者的视域都会有一定的局限性,特别是财政支出项目本身具有复杂性,评价者不可能是所有方面的专家,调查问卷难免存在缺陷。因此,在可能的条件下,应选择有代表性的部分受访者,将问卷初稿进行预调查评估,以弄清人们是否能理解问题、通过调查是否能够得到预期的信息、是否遗漏了重要内容。在此基础上修正问卷,确定最终全面实施的调查内容。
 
       三、调查问卷的发放及回收
       一份考虑周全、质量优良的调查问卷,如果不注意调查方法,导致发放对象及回收问卷不具有代表性和统计学方面的价值,可能得到的是无效的调查结果。
1、 确定调查对象抽样方法
       统计学的多种抽样方法,可以应用在调查问卷对象抽样确定上。评价者应根据评价项目具体情况,采用适当且便于操作的抽样方法,科学确定调查对象类型和数量,保证样本有效性。案例1、某县农户下山搬迁救助项目的问卷调查,根据实际完成搬迁户数,确定了调查比例为5%。具体按照完成救助花名册每隔十个作为调查对象。同时明确了调查对象要覆盖以下范围:包括不同救助方式(新建、改建、租用等),包括四类救助对象(五保户、低保边缘户、因灾救助户、其他困难户等),要覆盖的50%的村,并覆盖项目实施的各个年度。这样取得的调查结果会有较好的代表性。案例2某道路改造工程,项目投资4.8亿元,改造路段长度6.6公里,受益面广,沿途的商家、住户等数量很大,每日车流量也很大。但回收评价调查问卷仅30份,且是沿路随机发放,调查结果其实不具有任何参考价值。
       2、调查方式的选择
       问卷调查实施方式多样,包括实地调查、电话调查、邮寄调查、网络调查等。绩效评价工作一般均要求在限定时间内完成,按照成本效益原则及实践经验,针对个人的调查,较多地采用实地调查、电话调查、网络调查多种方式相结合;而对单位的调查,由具体实施项目的政府部门配合,组织会议布置、回收问卷的方式效果较好。
       另外,对于财政支出项目的事前评价,在项目设计阶段就设定了预计要达到的绩效目标,以此为依据设计问卷内容,在实施过程中即发放给受益群体,通过网络平台、短信、信件等多种方式在项目实施过程中收集调查问卷,也许可在一定程度上解决问卷代表性不够的问题。
       3、调查问卷是否记名
       实施调查时,记名可能让调查对象不敢说真话,不记名则存在调查人员随意造假的可能。简单可行的方法是:对需要填写的问卷事先编号,采用无记名方式;对姓名、电话、身份证号、所在地等敏感内容,另设一张调查日志进行同样顺序的记录。调查人员和评价人员同时应恪守相关的职业道德,承诺对调查结果保密,以消除受访者的疑虑。
 
       四、调查结果在评价和报告中的应用
       调查问卷所获得的信息是其他评价方式所不可替代的,充分加以利用,对财政支出项目的客观评价起到重要作用。
1、 对问卷调查结果进行统计,用以对项目进行评价
       问卷设计得当,经过科学的统计处理后,所获得的大部分信息都可以作为评价的依据。由于我们已经在设计问卷时将大多数问题与评价指标对应,目的性较明确,调查得出的结果可以直接用在指标评分中。但仅此还不远远不够,更重要的是在评价报告对这些调查结果加以恰当描述,以支持得出的评价结论。有些评价报告中对项目绩效、问题、建议的描述,泛泛而谈,套话多,看不到对调查结果的引用,所描述的绩效和问题没有相关数据和信息支撑,让评价报告阅读者怀疑评价结论的可信度。
2、 对通过调查问卷得到的其他信息予以重视,加以分析和利用
除了用来给项目评分,问卷调查统计出的一些特征和信息,可以利用来作大量有益的分析。特征一般从问卷统计中得来,比如受益群体的年龄段分布特征、学历、职业特征等;其他信息一般从问卷中的一些开放式的问题的答案中得来,比如让受访者自行填写“您对此政策有和建议和意见”等。应重视这些信息,并充分利用。案例1、某市2009年度某技术创新专项补助项目共到位资金1300万元,补助项目数量103个,平均每个项目补助额度仅12.62万元,通过收回的85份有效问卷,多家企业在“意见与建议”部分反映撒胡椒面式的扶持方式效果较差,没有侧重的行业,资金量小,导致受资助企业积极性不高,自身也不愿投入过多配套资金。评价报告中反映了这个信息,并提出了应确定重点扶持对象、加大对单个项目扶持力度的建议,对以后该项目政策调整提供了重要参考。案例2、在校车项目的调查问卷中,通过统计乘坐校车的学生占在校学生总数的比例,结合老师、家长的建议,发现有相当比例的学生的上下学交通问题,通过发展公共交通来解决是更好的方法,而不应仅靠校车一种途径。
                                        
 
参考文献:
1、〔美〕弗洛德·J.福勒,201010月《调查问卷的设计与评估》,重庆大学出版社
2、郝大海,20054月《社会调查研究方法》,中国人民大学出版社
 
 
作者简介:
姓名:沈冰
工作单位:浙江新中天会计师事务所有限公司   邮政编码:310030
职称:高级会计师      职务:副所长         学历:本科
联系电话:0571-56509966 13067773539
邮箱:82383602@qq.com  
联系新中天 法律声明 网站地图 管理登入 @ 2013 浙江新中天信用评估咨询有限公司 浙ICP备050246300 上慧