聚类电力客户的精准化服务研究

聚类电力客户的精准化服务研究

刘堂胜 陶洋

国网吐鲁番供电公司 新疆 838000

摘要：智能电网是集数字信息技术、通信技术、计算机技术和电力设施为一体的现代化电网，智能电网可以提高能源效率、电源的安全性和可靠性。为满足越来越多的数据共享开放的要求，以及日渐增加的内外部数据灵活查询分析需要，需从数据服务模式全领域思考，规范数据服务的不同形式，通过统一的数据服务平台，推动基于全业务领域数据资产的数据服务能力，实现数据的可见、可用、可管的目标，从而促进数据价值全面释放，支撑“数字南网”建设，真正实现企业数据为企业运营赋能。

关键词：大数据；电力服务；系统应用

1 电力大数据平台的通用框架

通用大数据平台框架的重点是基于HDFS分布式文件系统的数据存储框架和基于Map-Reduce计算技术的数据处理框架。分布式文件系统和Map-Reduce计算技术都可以处理PB、ZB大小的数据。框架还包括商业智能应用、传统数据仓库、大数据访问框架、大数据调度框架、网络层、操作系统、服务器、备份与恢复和数据管理等模块。大数据存储框架和大数据处理框架基于普通计算机服务器、操作系统或虚拟机，具有低成本和高可拓展性。大数据访问框架通过网络层与大数据存储和处理框架相连接。大数据访问框架由并行计算机编程语言Pig、数据仓库工具Hive、开源数据传输工具Sqoop等子模块组成。

2 数据服务中台建设

2.1 统一数据共享服务

以One Data(公共数据)、One Entity(萃取数据)，One Service(统一服务)的分层体系架构数据服务中台，构建电力行业可用的数据资产，为统一数据服务提供支撑。

基于数据服务中台，完成ODS层内外部数据汇总管理；基于数据服务中台模型设计架构进行数据管理工作，梳理全业务域数据模型资产，通过模型支撑全局指标目录的建设，支撑全局报表业务需求；为数据建设各环节制订设计与技术规范，建立组织保证、制度保证、规范落地，通过专项数据治理机制和常态化资产运营管理机制，不断治理和提升数据质量，推动数据质量管理要求；基于数据服务中台One Service理念，建立“5个1”敏捷数据服务流程，最终以统一模型、接口、工具组件、应用等方式，为各业务应用提供一站式的数据供给。从全局角度监控数据资产、调度运行等进行整合，完成数据中心整体资产规模及运行状态监控。同时对应用监控、数据监控、作业监控、数据质量监控、平台检查、租户监控等垂直领域，建立监控指标，实现数据可看、可查、可控。

2.2 构建数据服务资产

以“原子—衍生—复合”指标构建可视化的共享服务模型，对服务模型进行技术分层后统一管理(ADS层、DWS层、DWD层)，形成统一的指标和模型资产体系，为数据服务提供一致的指标和模型支持。基于共享服务模型构建多层级指标体系(原子指标—衍生指标—复合指标)，形成可视化的模型管理体系。

2.2.1 指标资产体系建设

在模型梳理设计过程中，建设多层级指标体系，形成一致性指标定义。

一致性指标定义即描述原子指标、时间修饰词、时间周期和派生指标的含义、类型、命名、算法；明确定义原子指标，通过原子指标、时间周期修饰词以及其他修饰词组合派生指标。派生指标继承了原子指标所在的数据域、数据类型、算法，从而保障指标的一致性。可按业务性质归类，衍生指标和复合指标则跨业务类别组合复用，达到模型统一管理，解决数据字段定义不一致、数据模型不一致、数据模型分散、数据孤立存储、数据应用功能重复建设、数据模型管理困难等问题。最终构建多层级指标体系(原子指标—衍生指标—复合指标)，形成可视化的模型管理体系。

2.2.2 分层模型资产体系建设

建立模型技术分层架构，将不同模型成果放入对应层级进行统一管理。自顶向下分层：数据应用层ADS、公共中间层CDM(包含DWM、DWS、DWD)和数据接入层ODS。

ADS层存放个性化的统计指标数据，根据CDM层和ODS层加工生成。面向应用个性化指标加工、基于应用的数据组装。

CDM层：存放明细事实数据、维表数据及公共指标汇总数据，构建过程以维度建模为理论基础，构建总线矩阵，划分业务板块、定义数据域、业务过程、维度、度量、修饰类型、修饰词、时间周期、派生指标，进而确定维表、明细事实表、汇总事实表的模型设计。CDM层又细分为DWM、DWD层和DWS层，包含：

DWM层：宽表集市、跨过业务场景、行为数据组装；

DWS层：基于业务场景做行为数据组织、提升公共指标的复用性；

DWD层：标准化、维度补齐、异常处理。

ODS层：把来源于其他系统的业务流程数据，同步到数据仓库当中来，中间仅做简单整合、非结构化数据结构化处理或者增加标识数据日期描述信息，不做深度清洗加工。

基于统一数据共享服务架构，按照业务域进行指标体系和模型体系的梳理，形成了供电局指标清单和模型清单，基于统一的共享的指标和模型进行新一代数据服务提供。

2.3 配置场景化数据服务

(1)实时数据服务

相较于传统模式下，开发人员自行实现数据加工逻辑、制作成API、线下通知调用方接入的方式。对数据服务开发过程做了流程化梳理，通过数据源、数据服务模板、数据服务实例、请求响应参数等概念，固化和规范了数据服务开发流程，让这一过程清晰、简单、可管理。对于服务调用，通过统一的API标准，让调用方可以只做一次对接开发，后续新增的服务可以直接复用。

适用场景：用户实时操作、时间周期内的统计指标等。

(2)离线数据服务

离线数据服务指对实时性要求不高，在系统中已经存在或可通过离线数据计算生成的数据服务。离线数据采集支持通过数仓定时导入、实时数据推送的方式，提供离线数据定义、在线查询的服务。

适用场景：静态信息、历史记录信息、存量资产数据等。

(3) SQL数据服务

SQL数据服务主要面向有编码能力的企业用户，在某些特定场景下，企业会选用一些比较复杂的函数去做一些数据抽取或者数据查询的工作。数据服务平台从系统层面开放一个更加灵活的方式给拥有编码能力的客户或者企业，让企业能够以自定义的方式去定义自己所需的数据服务。

适用场景：需要进行数据加工的场景，如时间差等。

(4)第三方数据服务

第三方数据服务指由外部系统提供，需要调用外部系统接口查询获取的数据服务。平台提供完整、通用的第三方数据接入框架实现接口的快速定制开发完成上架，并按照数据的更新频率，对第三方数据服务进行缓存时长的设置。

适用场景：社会服务数据、个人信息校验/查询等。

2.4 搭建数据服务平台

构建“1+3”的数据开放和共享服务体系，其中“1”为数据共享服务平台，是数据开放共享的服务体系核心载体；“3”是数据服务的三类用户，数据服务开发人员、数据服务使用人员、数据服务应用系统。围绕数据服务平台，为各类用户构建起数据服务开发、使用、共享、提升的功能流程和生态环境，同时提供数据服务的实时监控功能，及时发现数据服务异常，对数据服务做到可看、可查、可控，提升数据服务运营水平。

4 结语

数据服务中台在面对大数据量、高并发、差异化数据类型等复杂场景时，能够快速完成全场景对接，系统运行水平可扩展。基于电力大数据资源，成功构建供电局数据服务中台，通过引入流计算、SQL解析、分布式缓存等技术，解决传统模式下存在的开发规范不统一、多数据源适配、API发布等问题，以“灵活、易用、整合”的思路，将孤立的数据信息集成起来形成有效的数据共享服务平台，建立了从数据源接入、数据服务研发、数据服务发布、数据服务授权的全生命周期管理体系。

参考文献：

[1]陈瑞兴，尹洪苓，安东升，等.大数据技术在配电网全时序运行效率分析中的应用[J].供用电，2021,38(3):22-30.

[2]任博.电力大数据在供电企业的应用研究[J].现代工业经济和信息化，2020,10(12):95-96.

[3]马博渊，姜淑芳，尹豆，等.图像分割评估方法在显微图像分析中的应用[J].工程科学学报，2021,43(1):137-149.

[4]姚煜涛.联合显着性和水平集的图像分割算法研究[D].南京：南京邮电大学，2020.