科技服务平台质量评价体系构建的过程和方法

郑燕 吴一旻 李宏汀

摘 要：“不可衡量，则无法管理。”这个理念指出任何一项事物想要发展、想要完善就要有一套评价的制度和体系。本文结合现有关于网站评价、科普平台、政务平台的评价指标，拟定了一套质量评价体系。该体系统共包括4个一级指标（分别是站内内容、服务情况、网站便利性、使用效果）和细化后的27个二级指标，通过问卷调查法和层次分析法分别调研用户和专家，对指标进行权重赋值，从而建立了一套适合科技服务平台的评价体系。研究结果表明用户偏向站内内容，专家则更关注服务情况，两者都认为网站便利性中，一系列网站技术指标所占权重可以置后。

关键词：科技服务平台;用户体验;评价体系

中图分类号：F27 文献标识码：A doi：10.19311/j.cnki.1672-3198.2021.11.029

科技服务平台（Science and Technology Service Platform）作为一种非常重要的政府服务网站，随着“互联网+”的发展越发重要和成熟。在推进中国科技创新的道路上，科技服务平台既是链接用户和政府之间的桥梁，也是用户和用户之间交流成果、共享技术的绿洲。它既有一般网站的性质，也有政府服务网的特点。目前我国还没有公认的对科技服务平台的评价体系;因此，为了科技服务平台能够更好的管理和适应用户需求，本文拟定了一套评价体系，并通过用户评价和专家评价两种方法进行权重计算。

1 科技服务平台质量评价体系建立

1.1 总体目标

建立一套针对性强，且便于科技服务平台之间相互比较，查缺补漏，更好的服务用户的评价系统。因此评价体系不宜过于繁琐，实际测评时应尽量简单，并且各指标若有不足之处，应该都是能改进的。其次，也要注意评价的整体性，也就是能全面评价平台的优缺点，而不是孤立片面的考虑某一因素。以上目标基本符合吴琼提出的科学性、系统性、可行性、前瞻性的四原则。在分析和总结现有科普网站和政府服务平台的评价体系之后。兼顾定性指标和定量指标，结合以往文献所列举的指标和科技服务平台本身特点，拟定如下4个一级指标：A1：站内内容;A2：服务情况;A3网站便利性;A4：使用效果。

1.2 目标分解

确定了需要评价的4个维度后，将一级指标继续细化为以下27个二级指标，层级和所属关系如图1所示。

明确评价体系和各个评价指标的定义后，分别通过问卷调查和层次分析的方法调研用户和专家意见，最终确定各指标所占的权重值。

2 权重确立

2.1 基于问卷调查法的用户评价

通过问卷网，发放网络问卷的形式，收集用户群体对平台评价指标的看法。问卷题目编选时，使用权重题考察用户的需求。例如有一个以A、B、C三个指标构成的评价体系，用户需要根据自身观点给三个指标进行权重打分，若用户的评价结果A为50分，B为20分，C为30分（评价权重之和为100），则认为三个指标中，A的重要性占整体评价的50%，B和C指标的重要性分别占20%和30%。本次问卷共收集数据191份。剔除题目中选择对科技平台不熟悉的数据，计算各项指标权重，以均值±2个标准差为依据，剔除极端数据。最后获得有效数据128份，回收率67%。

从用户的角度出发，一级指标中网站的内容是最重要的，其中权重最高的两项指标分别是可获得性（00613）和及时性（0.0537），而在下载量（0.0259）和功能性（0.0287）两个方面权重值较低。充分反映了目前用户对科技服务平台的需求，还是集中在政策查询和项目申报中，因此需要科技服务平台及时公布和更新科技相关的政策和项目信息。从用户自身角度出发，平台的下载量其实和用户关系不大，因此权重偏低可以理解。科技项目的申请量（0.0651）和平台的访问量（0.0617）是所有二级指标中占权重最大的。因为平台的项目申请量和访问量能反映出一个科技服务平台的规模大小和质量好坏。一个集成式的科技服务平台如浙江省科技大脑相较于浙江省县市级的科技服务平台，会有更多的资源和知名度，也由此会有更高的申请量和访问量。此外占比较小的是反向链接数（00135）、网站兼容性（0.0160）在内的网站技术指标。其实这并不意味着网站的技术指标不重要，而是得益于当今社会互联网技术的发展，普遍的技术水平提高，由此带来重要性的相对减小。

2.2 基于层次分析法的专家评价

2.2.1 层次分析法概述

层次分析法（Analytic Hierarchy Process，AHP）在20世纪70年代初，由美国运筹学家萨蒂提出，该方法将一个复杂的决策问题梳理出多个与问题相关的目标或准则，进而将这些准则分成若干层次，再通过求解判断矩阵特征向量的办法，求得每一层次的各元素对上一层次某元素的优先权重，最后再用加权求和的方法递阶归并各备择方案对总目标的最终权重，权重最大者即为最优方案。

2.2.2 操作步骤

（1）确定决策目标和准则，并构建模型：将各影响因素分别分为目标层、准则层（或指标层）、对象层（或方案层），同一层之间的因素基本上相对独立，上层因素受下层因素的影响。在实际操作中可以通过文献检索或专家商议的方法构建评价指标体系。

（2）构造判断（成对比较）矩阵：根据1-9标度法（本文采用1-5标度法）和成对比较法，构造两两对比矩阵，用同等重要（1分）、有一点重要（2分）、重要（3分）、很重要（4分）以及非常重要（5分）（用倒数表示相反的重要性判断）9个等级做判断表示各层上的每一个因素两两对比的情况。

（3）层次单排序：计算单一判断矩阵的最大特征根和特征向量，然后进行一致性检验，如果符合一致性检验要求，那么计算出的特征向量可以作为该层的权向量。在进行两两比较的判断矩阵时，背后有一定的数理逻辑。比如在重要性上A>B;B>C，则可推断A>C。然而，实际评价时采用的方法是两两比较法，而不是排序法，因此可能存在某些指标数据中出现A>B;B>C，而A

（4）层次总排序：在层次单排序的基础上，从上到下逐次计算每一层的组合权重。每一层指标的权重等于上一层的权重乘以该层指标的权重。既Wn=W1W2…Wn，n为指标层数，通常不超过3。

（5）一致性检验：计算步骤如下：

①计算每一行元素乘积的n次方根wi，wi=n∏nj=1aij其中aij为判断矩阵中的元素，n为矩阵阶数（即该层次中指标个数），i和j=1，2，…，n。

②对wi归一化，得到：Wi=wi∑ni=1wi，w=（w1，w2，…，wn），Wi就是选取的评价体系中量化后各个参选因素的权重值。

③计算判断矩阵的最大特征根λ，λ=1n∑ni=1（Aw）i/wi

④对判断矩阵进行逻辑一致性检验，先计算CI，CI=（λ-n）/（n-1），再计算CR，CR=CI/RI。当CR<0.1时，认为判断矩阵满足逻辑一致性，可进行后續权重计算，当CR>0.1时，则说明判断矩阵内部存在较大的判断矛盾，需要联系专家进行修改或对数据进行适当取舍。

2.2.3 计算结果

邀请八位专家进行两两比较的判断矩阵打分，最终六位专家的逻辑一致性系数CR<0.1，纳入权重计算。结果如下（数据处理采用yaahp决策分析软件）。

表1展示了六位专家对一级指标重要性的判断矩阵评分数据。（注：每位专家原始判断矩阵的数据只有包含1到5及其倒数在内的9个等级。表1中的分数和小数为整合专家数据后得出的结果）。此时必须要通过前文介绍的逻辑一致性指标CR进行判断，逻辑一致性检验通过才能说明权重计算是有效的。

专家评价更强调科技服务平台的功能性，尤其是政务服务功能。服务情况所占比重为34.8%（0.348）。科技项目的申请量（0.0998）和平台的操作流程（00936）是占比最高的二级指标。可以反映出平台设计的出发点就是简化申请流程、提高办事效率和办件量。专家评价数据中，网站的技术性指标所占权重同样偏低，可达性（00021）、垃圾链接和广告（00133）。原因可能同用户评价结果。

对比专家评价和用户评价两组数据后发现，差异较大的在站内内容，用户评价中所占权重最高，而专家评价中所占权重最低。其原因可能，其一双方立场不同，出于对平台的不同诉求，考虑角度不同;其二对于专家而言，科技服务平台本身所包含的内容大多是科技政策和科技资讯，科技政策在各平台中大相径庭，往往是转发国家或者省委要求和指示，因此不能光凭借站内内容来区别一个科技服务平台的优劣。而对于用户来说，却需要掌握这些信息才能有针对性的申请自己需要的项目。

2.3 整体权重

通过用户评价和专家评价的数据，既能看出两者的共同之处，也能发现背后双方基于自身实际出发所表达的不同诉求。因此最终的整体权重计算采用用户和专家数据求算术平均的方法，权值如表2。

根据评价层的各指标建立线性评价函数：y=W1X1+W2X2+…WiXi，（i=1，2，3，…，n）其中Wi为表2中的合成权重，i为二级指标层的指标数（此评价体系中i=27），Xi为评测时的评分，y为网站综合评分。通过赋值、层次分析法的方法将各指标重要性进行量化，从而使得各指标能够放在一起评分，简化了科技服务平台之间的比较，今后还需要运用评价体系对各科技服务平台进行评估做进一步考察。

3 未来展望

3.1 科技平台质量的提升

（1）整合更多创新资源。平台的功能从原有较为有限的发布政策和项目申请，慢慢发展为多中科技服务功能相结合的产研高地。如今有了科技服务平台的支持，使原来“单打独斗”的企业可以联合起来，降低参与门槛，共享创新资源，甚至可以不同产品之间联合，打造新型产业链。

（2）继续精简办事流程。以往申请科技项目、验收科研成果，都需要提交大量的纸质材料，甚至由于材料审核涉及多个部门，需要重复递交材料。如今通过科技服务平台网上申请，网络大数据实时共享企业上交材料的方式，精简了办事流程，减少了企业负担。企业现在可以通过网上申请的科研项目验收结果，直接打通和财务部门、税务部门的联系。在之后的发展中，仍可以继续精简办事流程，提高效率。例如可以由人工智能代替一部分的人工审核。当然，科技服务也有其自身特点，例如在项目申请时，人工智能无法识别项目的创新性，需要进行专家评审。

（3）提升用户的使用体验。平台的设计也是一门学问比如设置明确的分类导航，灵活使用图片和文字排版，在项目进程中设置明显的进程反馈，在操作时有清晰的流程介绍和模板文件等。希望科技服务平台能够更好的完善自身，吸引更多创新人才，为祖国的科技发展做更有力的保障。

3.2 科技平台质量评价体系的完善

正如专家所说的，无法测量就无法管理，科技平台质量评价体系非常需要完善。除了个别指标的取舍外，更重要的应是以下两个方面：

（1）实践应用：通过对多个平台的评价探究平台的好坏，同时也探究评价体系的好坏。

（2）发展变更：随着网络技术的发展、科技服务平台自身的发展，用户对平台的需求也在发生变化，因此评价体系也需要相应地间隔一段时间做出部分修改。就目前而言，手机端和电脑端适配还会出现问题，因此技术因素仍需加强。但是未来可能网站技术性地指标最终并不需要纳入评价体系。

参考文献

[1]张成福，唐钧.电子政务绩效评估：模式比较与实质分析[J].中国行政管理，2004，（05）：21-23.

[2]常建娥，蒋太立.层次分析法确定权重的研究[J].武汉理工大学学报（信息与管理工程版），2007，（01）：153-156.

[3]邓雪，李家铭，曾浩健，等.层次分析法权重计算方法分析及其应用研究[J].数学的实践与认识，2012，42（07）：93-100.

[4]周涛，鲁耀斌.层次分析法在b2c电子商务网站评价中的应用[J].图书情报工作，2005，（12）：111-114.

[5]庄锁法.基于层次分析法的综合评价模型[J].合肥工业大学学报（自然科学版），2000，（04）：582-585.

[6]汪勇，魏巍.电子商务网站的层次分析法评价模型构建[J].湖北大学学报（自然科学版），2010，32（01）：50-53.