摘要： 近年来，随着用电信息采集系统的大力推广，用电信息采集规模日渐庞大，数据深化应用不断加强，对系统的运行维护工作也随之扩大，迫切的运维需求与落后的运维能力不匹配等问题逐渐凸显出来。 文章提出运用大数据多维分析技术，从异常工单智能化派发、异常工单智能处理和采集运维多维度质量评价 3 方面入手，对整体采集运维工作进行优化，从而提升整体运维效率和质量，提高管理水平。
关键词： 采集运维; 大数据; 多维度; 智能化
0引言
用电信息采集系统建设已经接近尾声，目前累计接入智能电能表 4.2 亿只、采集终端 1 263.84 万台，覆盖用户 3.86 亿户 [1]，因此，如何保证采集系统中各项业务的顺利开展，将是今后要解决的主要问题。 采集运维业务中主要存在如下问题。
1)缺乏故障处理优先级，运维效率低下。 各省电力公司平均每天产生 10 000 条异常工单，远远超过目前配备运维人员的工作能力。 大部分公司没有制定合理的消缺机制，无法依据故障的紧急程度和重要等级开展运维业务 [2]。
2)故障种类复杂多样，故障分析定位困难。 用电信息采集系统涉及的运维对象有： 智能电能表、采集终端、采集主站、本地通信信道和远程通信信道 [3]。
目前统计的异常现象共七大类59 种， 故障原因98 种。 故障分析定位非常困难，普通的运维人员通常不具备定位故障原因并确定消缺方案的技术能力。
3)缺少有效的考核评价体系。 目前采集运维工作大多采用“故障查询 – 线下派工” 的模式，缺少运维结果和故障信息的反馈环节。 采集设备、计量设备、现场运维工作质量等方面均缺乏相关的考核评价体系，无法进一步提高运维工作质量 [4]。
为了解决以上问题，本文从采集运维业务中工单智能派发、智能分析处理和多维度质量评价 3 个角度介绍了大数据分析技术在采集运维业务中的应用。
1采集运维大数据系统模型
1.1大数据分析关键技术
大数据在采集系统中的应用包括数据采集、数据清理、数据存储、数据分析、数据处理、数据解读和数据应用 6 个环节 [5]，本文针对数据分析环节中，引入关系型联机分析处理机制和多维分析技术进而优化整个系统进行论述。
1) 关 系 型 联 机 分 析 处 理(Relational Online Analytical Processing， ROLAP)。 关系型联机分析处理是联机分析处理(OLAP)的一种形式。 这种技术基于关系型数据库，以关系型结构进行多维数据的表示和存储，对存储在关系数据库(而非多维数据库)中的数据作动态多维分析。 使用关系数据库管理 系 统(Relational Database Management System，RDBMS)存储数据，数据文件大小受 RDBMS 限制;数据装载速度快; 存储空间耗费小; 维度数没有限制;可以通过 SQL 对数据进行处理 [6]。
2)多维联机分析处理(Multidimensional OnLine Analytical Processing， MOLAP)。 多维联机分析处理是 OLAP 的另一种形式，基于专门的多维分析数据存储结构。 MOLAP 使用专有多维结构存储
数据，数据文件大小可能受到操作系统平台文件大小限制，难以达到 TB 级; 规划存储时需要对数据量进行预测算，否则可能导致数据爆炸; 数据装载速度慢; 维数有限，无法支持维的动态变化; 缺乏数据模型和数据访问的标准; 分析查询响应速度高于其他传统 OLAP 技术，支持高性能的辅助决策计算 [7]。
1.2大数据运维业务架构
该业务架构收集采集、营销和运维数据，通过数 据 抽 取 转 换 加 载(Extraction-TransformationLoading， ETL)层对数据进行分类适配，向数据存储层提供数据，数据存储层对数据进行分类存储后向数据分析层提供所需数据。 数据分析层对数据进行优化、数据检索，为应用层的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。 大数据运维业务架构示意如图 1 所示。
数据源主要实现从采集主站、营销系统和采集运维闭环系统获取所需数据，如用户档案、采集成功 率和异常工单等数据。
数据ETL层的主要功能是使用ETL工具对数据源数据进行抽取、清洗、转换，并向数据存储层装载。
数据存储层采取混合型的大数据存储和处理架构，实现对多源异构电力大数据的多样性存储和处理功能。 混合存储可适应分布式文件系统、列式数据库、内存数据库等多种数据存储和管理形式，以满足不同应用的需求; 处理架构分别面向离线分析、实时计算、计算密集型数据分析等场景，采用分布式批处理、内存计算、高性能计算等技术实现 [8]。
数据分析层实现应用系统的基础功能，如分析模型管理、批量计算、实时查询等功能。 在数据分析层和数据处理层之间采用支持高并发、低时延事务操作的分布式内存数据缓存技术，以降低业务应用操作与数据处理层之间的耦合性，提高应用服务响应效率 [9]。
应用层构建异常工单智能化派发、异常工单智能处理和采集运维多维度质量评价 3 项业务，实现采集运维闭环管理的业务功能。 采用模块化软件设计方法实现 3 个模块功能的即插即用，并在充分考虑模块之间的信息联络及功能联合的基础上，遵循规范的接口，实现模块之间的功能融合，从而实现 3个业务模块之间既可独立运行，又可协作互补。
2大数据运维优化方案
2.1异常工单智能化派发应用
目前，异常工单主要由采集运维人员人工派发，本文在研究了大量文献 [10-12] 后发现： 人工派发工单
的问题在于不能充分对现场情况的紧急程度有合理的判断，并且在异常工单大量产生时，对于工单的消
缺没有合理的先后顺序，从而导致须紧急处理的故障不能在最短时间内修复，导致更大的经济损失。
本章提出对大量运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，用于判断异常处理的先后次序，逐步提升异常工单处理的完成率和工作成效的可控性，从而进一步提高采集系统设备可用率和数据完整性。
2.1.1 基于多维分析的采集运维效用值模型
对于单个表计效用值来说，主要有： 离下一抄表日天数、异常持续时间和月平均用电量 3 方面影响。
总体工单效用是该工单所包含的故障电表效益和的累加，即“故障电能表数量” 产生的影响。 将这些因素综合考虑得出具体公式。
2.1.2 采集运维效用值模型应用
依据 2016 年 1 月 1 日至 5 月 31 日某省 24 907 294 户低压用户每日采集成功率、抄表数据和 2016 年 3 月 1 日至 5 月 31 日采集异常运维数据，对共计 1 417 869 条数据、42 536 070 个数据项进行分析 [13]，数据项包括所属地区、管理单位、供电单位、台区编号、采集点编号、各类异常处理时限、应采电能表总数、采集成功率、各类采集模式下集中器挂接表计分布数量、台区月电量、居民 / 非居用户日平均电量等。
1)月平均用电量分析。 在对系统数据的分析过程中发现，如果仅使用电量作为效用值的单位，最后计算出的数值比较大，因此在整体模型中引入“标准月用电量” 作为最后数值单位。 标准用电户电量是在抽取大部分用户的实际用电情况基础上统计出各类用户的月平均用电量，然后依据用户最多类型的用电户的平均电量为标准用电户电量。 以居民用户和非居民单相表用户月用电量为标准户电量分界点：≤ 200 kWh 为 1 户标准户，大于 200 kWh 且小于等于 1 000 kWh 为 2 户标准户， >1 000 kWh 为 3 户标准户。
2)异常持续时间分析。 系统基于每个电表的故障异常每持续一天就会造成一天电量监控损失，其电量监控损失按照累加方式进行计算。 对 2016 年5 月 10 000 户居民和非居民的日用电量进行分析，其情况如下： 随机挑选 10 000 户居民用电情况，计算日用电量标准偏差，并从小到大排列，得出曲线图(见图 2)。
根据曲线拐点，其电量标准偏差值为17，小于17 的用户数占总数的 92%。 随机挑选 10 000 户非居民用电情况，计算日用电量标准偏差，并从小到大排列，得出曲线图(见图 3)。
根据曲线拐点，其电量标准偏差值为147，小于147 的用户数占总数的 88.75%。
由以上图可知，90% 左右的用户日均电量波动小，故本文暂时以 1 个月内的日平均电量作为故障
天数造成的单日损失监控电量。 为了能够更准确的预估指定用户当前月的用电量，参考该用户上一年 同月份用电量、上一个月用电量和前 3 日用电量，它们之间的比例是 5:2:3。 电量标准偏差值如公式 6 ;综合考虑后异常持续时间的效用值如公式4 和5。
3)距离下一抄表日天数分析。 距离下一抄表日越近，该用户损失监控电量的概率越大，故障维修紧急度越高，当距离抄表时间远时，该因数影响趋于零。 这里将系统中所有故障电表的故障处理时长作为距离下一抄表日因数影响的阈值。 距离天数超过阈值的，该因数影响为 0，距离天数在阈值内越小，其监控电量的缺省值越大。 故障时长统计截止于2016 年 6 月 1 日，统计持续 N 天无抄电能表数据的电能表数分布情况(见图 4)
从图中可以看出持续 2~8 天的故障电表用户占总故障用户数的 59.06%，持续 9~21 天无抄电能表数据的用户占总故障用户数的 30.72%，持续 22 天及以上占比 10.22%，。
由于抄表应用目前在采集系统应用率最高，持续 2~8 天无抄电能表数据的用户占总故障用户数的 59.06%，故从离抄表天数 8 天作为开始计算抄表日影响的阈值，离抄表日 8 天效用值为 1，离抄表日7 天效用值为 2，以此类推，离抄表日 1 天效用值为8。 则紧急程度 s(xi) 的数学模型如公式 3。
4)故障电能表数量效用值分析。 对该省采集系统内 5 个月产生的全部采集异常的电能表数及处理时长统计分析后发现，在运维时输出效用值需要考虑挂载故障电能表数，否则不能达到运维效用的最大化。 但系统通过分析各个处理工单下所有故障电表的效用值总和来判断其优先级，效用值高的工单优先处理。 总体效用值 (Y) 模型见公式 1。
2.2异常工单智能化分析处理
原来的采集运维工作由于缺乏系统大数据的支撑，在研究了大量文献和现场调研后发现，运维人员仅通过对所属地区的熟悉程度进行相对低效率的运维工作，缺乏对已发生故障的预分析能力，这导致运维人员仅能对现场故障类型进行逐个排查。 借鉴了前人研究 [14] 并引入对历史异常工单大数据分析技术后，运维人员可通过系统的异常预分析功能更快地判断现场故障原因，从而提高现场运维效率。
本章通过对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，从而对未来发生类似故障现象起到预分析作用，提升运维效率。
2.2.1 基于多维度分析异常原因概率比值
2.2.2 异常原因概率比值应用
通过对某个运维地区 1 个月 1 712 个历史异常工单的故障设备类型”、生产厂家和“国网招标批次3 个维度的分类筛选，运用单个异常原因概率比值概念对该地区新产生集中器与主站无通信故障进行故障原因分析。
1)基于设备类型异常分析。 该地区与集中器和主站无通信时有关的历史工单共有 761 条。 集中器发生无通信故障时很大部分都是由集中器 GPRS模块故障、主机故障、软件故障造成，占比分别为32.82%、28.21% 和 12.82%，且该地区集中器 GPRS模块故障偏多。
2)基于设备生产厂家异常分析。 该故障集中器为“某厂家” 生产设备，与其有关的工单共有 350 条。
发生无通信故障时很大部分都是由集中器 GPRS模块故障、主机故障、软件故障造成，占比分别为51.43%、13.71% 和 16.00%，且该厂家集中器 GPRS模块故障偏多。
3)基于国网招标批次异常分析。 该故障集中
器为“某批次招标” 供货设备，与之有关的工单共有 243 条。“某批次招标” 集中器发生无通信故障时很大部分都是由集中器 GPRS 模块故障、主机故障、软件故障造成，占比分别为 37.14%、14.29% 和17.14%，且该招标批次集中器 GPRS 模块故障偏多。
运用异常原因概率比值公式计算后可得： 集中器 GPRS 模块故障率 =(32.87%+51.43%+37.14%)/3=40.48%; 主机故障率 =(28.21%+13.71%+14.29%)/3=18.74%;
软件故障率 =(12.82%+16.00%+17.14%)/3=15.32%。
由以上可知该集中器与主站无通信异常工单很可能是由于 GPRS 模块故障导致，可指导现场运维人员优先排查是否为集中器 GPRS 模块故障。
2.3采集运维多维度质量评价
目前采集运维工作使用大数据技术，对终端、电能表和运维服务质量评价没有有力的数据支撑。 借鉴了前人研究 [15] 并引入大数据后，可在采集数据、营销数据、运维数据之间建立桥梁，实现采集运维多维度质量评价。
本章通过对某市级供电单位 217 万用户在 2016 年第 2 季度采集运维工单数据、采集成功率、采集抄表数据、工单归档数据等数据的分析梳理，建立采集终端、电能表、运维服务的质量评价指标计算规则，验证采集运维多维度质量评价的可行性。
2.3.1 采集终端产品质量评价
根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数、终端时钟异常数等数据，建立采集终端产品质量分析评价指标计算规则如下。
1)终端故障更换率： 终端故障更换率 = 周期内更换终端的数量 ÷ 周期内在运行的采集终端数量 ×100%。
2)终端时钟偏差超标占比： 终端时钟偏差超标占比 = 周期内终端时钟偏差超过 5 min 的终端数量 ÷ 周期内在运行的采集终端数量 ×100%。
3)各厂家终端故障率： 终端故障率 = 周期内终端发生故障的次数 ÷ 周期内在运行的采集终端数量 ×100%。
2.3.2 电能表产品质量评价
根据采集运维情况对各电表厂商的产品质量进行量化分析，利用各电表厂商的运行电表数、确认电表问题数、异常电表占比、更换电表数、电表时钟异常数等数据，开展各电表厂商的产品质量分析，建立电能表产品质量分析评价指标计算规则：
故障更换率 = 周期内更换电能表的数量 ÷ 周期内在运行的电能表数量 ×100%。
2.3.3 采集运维工作质量评价
根据采集运维情况对各运维人员的工作质量和工作效率进行综合评价，利用异常处理数量、异常处理率、异常处理时长等数据，对采集运维工作进行评价，建立分析评价指标计算规则。
1)异常工单派发率： 异常工单派发率 = 统计日期内派发工单数 ÷ 当期应派发的工单总数 ×100%。
2)异常工单反馈率： 异常工单反馈率 = 反馈工单数 ÷ 当期应反馈的工单总数 ×100%。
3)采集故障处理及时率： 采集故障处理及时率 =已处理并恢复的采集故障数 ÷ 当期应处理的采集故障电表总数 ×100%。
3结语
通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。
用电信息采集的运维管理是一项庞大而复杂的工作，本文提出的对异常工单智能化派发、异常工单智能处理和采集运维多维度质量评价只是对其中的一部分业务进行了优化应用，后续还将对采集异常智能化甄别、异常工单智能处理及异常工单智能化派发进行更深入的实践与研究，最终为满足国网营销部的“全覆盖、全采集、全费控” 目标要求提供强有力的技术保障。
作者团队：
中国电力科学研究院 曹永峰，翟峰，岑炜，孙志强；国网内蒙古东部电力有限公司 程春光。
原标题：大数据分析技术在采集运维业务中的应用研究
