配用电大数据项目中的架构研究与思考

标签: bigdata | 发表时间:2017-06-14 00:00 | 作者:
分享到:
出处:http://itindex.net/admin/pagedetail

大数据

作者:穆晨

前言

智能电网(Smart Grid)是以物理电网为基础,将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网。

电力大数据(Power Big Data)是实现智能电网的关键技术之一,它通过挖掘数据之间的关系与规律,提高电网企业在生产、经营、管理等方面的质量与效率。如开展电网设备状态监测的大数据应用,实现电网设备状态的智能监测,实时分析电网线损、配电负载等等。

本文旨在跟读者分享某电网公司在配用电大数据项目中所采用的多维架构(包含数据架构、业务架构、技术架构等),为本系列的后续文章打下铺垫。

业务架构

大数据
配用电大数据项目的业务架构,是指从业务角度说明配用电大数据项目要做什么事。此架构不会过多牵涉技术细节,它的重要性要高于其他几类架构。一般来说,这类架构要在项目启动前,通过多次的调研、分析、专家研讨后方可决定。

上图的业务架构主要将业务划分为了五大层次,其中最为关键的是数据源层和应用层:

1. 数据源层:规定配用电大数据项目能从哪些地方获得数据资源。这是非常重要的一环,尤其是在电网领域。因为当前电力信息系统中的“网络孤岛”现象比较严重,要梳理清楚哪些数据能采、哪些数据采上来有意义,是非常不容易的。

2. 应用层:明确配用电大数据能为电力系统实现哪些业务。规划该层次时,行业化大数据从业人员需要和电力专业的人员进行多次深入地沟通交流。从笔者亲身经历来看,这一层切不可假大空,一定要确保落地。通俗点来说,若这层写得太虚,可能会把后续开发人员,甚至是自己给坑了…

至于其他几个层,则是从一个较为宏观的角度去设计系统组件。一般来说在业务架构的侧重点在系统的功能性方面,对于技术细节不过多纠结。

数据架构

大数据
电网企业的数据主要包括三类:

1. 电力设备数据:主要包括电网设备监测数据、设备地理位置数据、设备状态数据等;

2. 企业管理数据:主要包括跨单位、跨部门的电网企业职工数据、财务数据等;

3. 企业运营数据:主要包括客户信息、客户用电数据、电费数据等。

但是上述只是一个特粗略的分类。笔者在项目实施过程中发现,数据的分类在每一个环节都需要按照不同标准重新做一次。

为何要这么麻烦?这是因为,[数据类型]+[业务需求]将决定你选用何种大数据组件去处理它。

这里先以电网的拓扑结构数据为例:这类数据大都存在电力系统的RDBMS里,那么我们显然可以考虑使用Sqoop来做同步;而其后为高效实现电网拓扑分析业务,显然应将其放至HIVE这类数据仓库工具里合适。

再以电网设备检测数据为例:这类数据由于具有事实性,用Storm或者Spark Streaming来同步就显然更加合适了;而这类数据有部分业务环境是不需要做太多数据分析的,因此可考虑将其导入到HBase这类NoSql数据里,实现高效存取。

读者看到这里,应该明白了需要时刻思考数据分类的原因了吧?上述两个例子都属于电力设备数据,然而它们被处理的方式显然是不同的。在实际中,我们往往根据当前架构所在层次的属性来决定使用何种组件来处理数据。个人真心建议针对将来数据特别复杂的情况,可以考虑引入“数据画像”这个概念,根据不同的处理方式为各类数据打上标签,以便于管理。

技术架构

大数据
总的来说,针对配用电大数据的技术研究可以分为三个层面来展开:

1. 数据集成层面:研究电力系统中多源数据的分类方式、集成与融合方法,并设计出面向云环境的多源异构数据集成模型。

2. 基础架构层面:结合在线流处理与离线批处理的应用需求,研究可拓扑分解的流处理计算技术、分布式并行批处理计算技术,并提供应用编程接口。

3. 支持系统层面:研究电力大数据项目的建设规范,大数据集群系统的综合管理工具、大数据可视化组件,并提供多种形式的集成接口,以便支持不同上层应用对大数据以及分析结构的调用需求。

需要特别说明的是,在这三个层面之上是真正的“电力应用层”。本系列后续文章将对其进行较为深入的剖析,这部分将真正涉及到电力专业与信息类专业的结合,敬请期待。

实施架构

大数据
对于配用电大数据项目的具体实施,需要明确的主要是将计算机集群具体分成哪些区,每个区又具体采用哪些组件。

这部分内容比较繁杂,以下仅针对其中某类实时数据的处理做个大致的介绍:

1. 各业务系统和数据采集系统的秒级数据通过专线网络,经过加密压缩传输到总部的负载均衡器;

2. 负载均衡器将数据分发给Kafka集群落地;

3. Storm集群从Kalfa集群接收所订阅的数据,负责对数据进行清洗、按照设定的告警条件实时监测数据并发出告警;

4. Storm清洗和标注后的数据,直接存入HDFS落地;

5. HDFS中的数据同步到数据存储和查询模块(时序数据管理平台),方便在其中进行在线查询;

6. 数据分析平台上根据预订的作业队列,调度数据分析程序在Hadoop集群中运行,结果存入HDFS或者按用户程序定义写入相应存储位置;

7. 数据分析平台将秒级数据汇总成十分钟级数据、根据定义的数据种类、数据格式和存储方式将数据分发给计算存储群组及HBase数据库;统计报表程序通过Hive集群执行各种类SQL完成统计查询和报表生成。

-> 再强调一次,上述介绍仅是针对其中某类实时数据的处理,而不同类型数据的处理方式是不同的。

示范架构

大数据
在项目后期,需要将配用电大数据平台部署到部分地市局来进行试点,因而需要明确网 – 省两地,或者网 – 省 – 市三地的综合示范架构。

在本文给出的参考架构中,我们首先利用高速4G专网和GPRS /230M无线专网实现低压居民用户和专变/公变终端的采集;采集的数据通过智能一体化终端进行简单转换后,上传至区域分布式大数据中心;区域大数据中心将对电量和非电量数据,结构化与非结构化数据进行大数据集成与融合。

在区域大数据中心,可基于大数据聚类与分析技术,实现用电用户类型的精细化划分、分析用户的用电行为、评估非介入式用户的能效水平,形成一系列面向配用电网的通用知识模型与关键技术,为省级大数据中心提供数据与关键算法支撑。

小结

作为该系列博文的开篇,本文从各类架构的角度出发让读者对配用电大数据的项目有了全方位的整体认识。

后续的文章将涉及到真正的电力+大数据研究,这也是电力专业与计算机专业的综合领域,读者或许需要具备一定的电力系统知识才能消化。

简单回顾下电力系统相关的知识,然后一起开始智能电网之旅吧^_^。

End.

转载请注明来自36大数据(36dsj.com): 36大数据» 配用电大数据项目中的架构研究与思考

相关 [大数据 项目 架构] 推荐:

配用电大数据项目中的架构研究与思考

- - IT瘾-bigdata
智能电网(Smart Grid)是以物理电网为基础,将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网. 电力大数据(Power Big Data)是实现智能电网的关键技术之一,它通过挖掘数据之间的关系与规律,提高电网企业在生产、经营、管理等方面的质量与效率.

大数据架构hadoop

- - CSDN博客云计算推荐文章
摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求.

大数据Lambda架构

- - CSDN博客云计算推荐文章
1 Lambda架构介绍.          Lambda架构划分为三层,分别是批处理层,服务层,和加速层. 最终实现的效果,可以使用下面的表达式来说明. 1.1 批处理层(Batch Layer, Apache Hadoop).          批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据.

谈大数据-架构维度

- - 人月神话的BLOG
本篇作为在构思大数据平台架构时候维度方面的简单点滴思考记录. 前面关于大数据平台架构的核心功能的时候谈到过,基本应该包括数据采集和集成,数据存储,数据处理,数据分析这些核心层面. 我在前面谈大数据平台的时候也谈到过平台不仅仅是云和分布式相关技术的引入,其架构一方面和传统的BI相似,但是更加重要的则是对外部应用涉及到大数据的应用场景的支撑和大数据平台本身的大数据服务能力的开放问题.

典型的大数据架构

- - 数据库 - ITeye博客
“任何数据架构由主要的四个逻辑组件组成:”. “我不认为这是一个大数据架构的蓝图. 但这样一个图能给你一个关于可能包含的组件的大致的想法. 然后对工程师让事情变得简单,你开始在每个等级上添加需求,约束,和服务等级协议(SLAS Service-level agreement). 一旦你有了关于事情该怎么看的某种想法,你开始建立它并发现你将用到的一些组件不能很好的在一起工作,或者根本没有办法达到这些服务等级协议.

大数据架构和模式(一)——大数据分类和架构简介

- - 博客园_知识库
    大数据架构和模式(二)——如何知道一个大数据解决方案是否适合您的组织.     大数据架构和模式(三)——理解大数据解决方案的架构层.     大数据架构和模式(四)——了解用于大数据解决方案的原子模式和复合模式.     大数据架构和模式(五)——对大数据问题应用解决方案模式并选择实现它的产品.

安居客Android项目架构演进

- - SegmentFault 最新的文章
入职安居客三年从工程师到Team Leader,见证了Android团队一路走来的发展历程. 因此有心将这些记录下来与大家分享,也算是对自己三年来一部分工作的总结. 希望对大家有所帮助,更希望能得到大家宝贵的建议. 三年前入职时安居客在业务上刚完成了三网合并(新房、二手房、好租和商业地产多个平台多个网站合成现在的anjuke.com,这在公司的历史上称之为三网合并),因此app端也将原先的新房、二手房、好租和商业地产多个app合并成为了现在的安居客app.

大数据架构和模式(三)——理解大数据解决方案的架构层

- - 博客园_知识库
  这个 “大数据架构和模式” 系列的. 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法. 如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据解决方案,那么下一步就是识别定义项目的大数据解决方案所需的组件.   大数据解决方案的逻辑层.

大数据下的数据分析平台架构

- vento - 《程序员》杂志官网
随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”. 多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上.