水利枢纽监测数据汇集平台概述
来源:用户上传
作者:
摘 要：为实现广东省“互联网+现代水利”顶层设计提出的全面感知现代水利体系，运用物联网、大数据、云计算等技术手段，打通重点水利枢纽的信息化系统数据壁垒，建设水利枢纽监测数据汇集平台，实现数据的汇集共享管理。
关键词：现代水利;互联网+;数据汇集;数据管理
中图分类号：TP393 文献标志码：A 文章编号：2095-2945（2019）13-0172-03
Abstract： In order to realize the comprehensive perception of the modern water conservancy system put forward by the top-level design of "Internet Plus Modern Water Conservancy" in Guangdong Province， the Internet of things， big data， cloud computing and other technical means are used to break through the data barriers of the information system of key water conservancy projects. The monitoring data collection platform of water conservancy project is constructed to realize the collection and sharing management of data.
Keywords： modern water conservancy; Internet Plus; data collection; data management
自《國务院关于积极推进“互联网+”行动的指导意见》[1]出台以来，“互联网+”已在各行各业得到深入的研究和应用[2、3]，水利行业的学者也进行了相关应用的探讨[4-6]。为落实水利部提出水利工作重点转变到“水利工程补短板，水利行业强监管”等精神，广东省开展了以互联网技术为引领的“互联网+现代水利”系统研究[7、8]，先后出台了《广东省“互联网+现代水利”行动计划》《广东省“互联网+现代水利”顶层设计》，明确了广东省“互联网+现代水利”四大建设目标，其中打造全面感知体系是重要组成部分。为了全面感知体系能在全省范围内高效推广，决定以信息化基础条件较好、监测类型全面的重点水利枢纽作为试点开展工作，从实践中研究出可复制的建设模式，迈出全面感知的第一步。
1 目标与架构
1.1 建设目标
广东省重点水利枢纽已基本在本地建成信息化系统，具有完善的监测数据库。通过在乐昌峡、飞来峡等重点水利枢纽部署数据感知前置机，打造一个全省范围的信息资源高速互通数据感知网，将分散在不同工程信息化系统的信息资源进行整合。在省级建立水利枢纽智能感知数据管理中心，接入各水利枢纽的监测感知数据，实现各水利工程监测感知数据的传输及共享，提高信息资源的利用率，迈出全面感知的第一步。
1.2 总体技术架构
系统架构主要分为数据交换层和感知应用层，数据交换层承载全省重点水利枢纽工程数据的流转，感知应用层实现监测数据信息资源的统一管理和应用。
数据交换层由数据服务节点和数据管理中心组成，其中数据服务节点实现各个水利枢纽数据的接入及数据传输。整个数据交换层基于底层IP承载网提供可靠的点对点传输服务，具备路由选择、流量控制、压缩加密、鉴权管理、数据传输等功能[9]。
感知应用层：根据《广东省“互联网+现代水利”顶层设计》的要求，搭建基于微服务架构的省重点水利枢纽感知应用层，实现其信息资源的统一管理和应用。
2 数据归集
在各水利枢纽开展现场调研，进行感知数据梳理、数据目录设计等工作，完成信息化系统改造、数据服务节点和数据感知微服务的建设，使数据能顺畅地传送到智能感知数据管理中心。
2.1 感知数据梳理
数据资源梳理是水利枢纽智能感知过程的一个重要环节，对众多的数据进行科学合理的分类规划[10]，是实现全面感知目标的基础保证。通过数据资源梳理，能使分散的、标准不一的数据实现由数据到信息的转化。通过分析、梳理数据交换及应用所涉及的重要业务概念，同时考虑和其他系统数据模型之间的对接关系，建立业务模型。
数据规划采用自下而上的验证方法进行。总体信息资源分为基础数据、监测数据、文件数据、空间数据等多类。
（1）基础资源数据：存储水利枢纽的各项基本信息，如名称、地址、部门、各业务负责人、感知设备情况等等。
（2）监测感知数据：存储结构化的水利枢监测感知数据，通过与水利枢纽本地数据环境开放的数据接口进行对接，其中包括防洪调度感知监测、发电安全感知监测、工程安全感知监测三大类。
（3）业务资源数据：业务资源数据涵盖了防汛、气象、海事等成员单位共享的专业业务数据。通过合理的资源目录编制，对数据信息进行高效的分类分层管理，为水利工程枢纽感知和灾情评估工作提供相关的数据服务，并通过数据中心进行数据的交换和共享。
（4）空间地理数据：存储空间地理数据，主要将水利工程感知过程中用到的基础地理图、地形图、行政图、水利枢纽模型、河道水域、遥感影像、高清航拍以及相关的属性数据、多媒体等数据存入空间地理信息数据库中，方便各项功能的地图服务调用。
（5）文件资源数据：主要包括业务过程中所产生的相关文件数据，包括文档、文本。
2.2 数据目录设计 感知数据目录设计是在省重点水利枢纽智能感知体系建立的重要基础，将基于感知数据梳理的成果上，结合各个水利枢纽的自身特点进行设计，以满足感知数据分类存储及数据分析需求。通过元数据与分类表、主题词表的结合，组织信息资源分类目录、主题目录和其他目录，实现对感知资源的导航、检索、定位和交换服务。
2.3 数据服务节点
数据服务节点是基于广东省重点水利枢纽数据的标准对接规范，采用数据接口方式，实现数据的安全传输，主要功能如下：
（1）标准接口规范接入
构建省重点水利枢纽统一的数据的标准接口服务，具备推广至全省水利工程的扩展性。采用改造已建工程信息系统数据接口，在建、新建水利工程信息化系统按要求建设数据接口的方式，实现数据汇集上传。
（2）数据交换流程
数据服务节点前置机根据数据交换流程，支持部署不同协议的接口模块，完成数据感知过程，并转送到只能感知数据管理中心，实现数据交换过程。
（3）安全传输
数据服务节点通过消息加密和IP地址认证等技术手段，形成数据访问安全体系，实现水利工程感知数据向数据服务平台的安全传输。
3 智能感知数据管理中心
智能感知数据管理中心负责實现省重点水利枢纽感知数据的汇集，同时按防洪、发电、工程安全三大板块实现对集约化感知数据的标准化处理和分类分目录存储管理，并提供开放性的数据接口给上层业务应用进行调用。
3.1 数据服务设计
按照资源共享目录预设的数据模型，以微服务架构划分防洪调度、发电运行和水工安全三大服务中心，并实现分类别分目录进行存储、管理。
智能感知数据服务中心需提供多种数据源接口及数据共享接口，将相关业务领域的业务功能和数据进行集约化管理，将“烟囱”改变为“池”，把所有计算资源整合成云计算资源池，所有存储资源整合成存储资源池，再基于共享服务的核心能力去提供应用服务，最终实现以服务的方式去交付资源。
3.2 数据处理
（1）数据清洗：数据清洗是把采集回来的数据由零散状态转变成统一状态，在业务需要的时候从任意来源检索数据，编排格式后再提供给允许的对象使用。通过数据标准化，集成进而提供一致、及时、完整的信息，并且在数据的整个生命周期内控制数据质量。平台从数据源抽取出所需的数据并对数据进行清洗，涉及到数据的矢量化处理，并基于时空多维度进行记录管理，数据层次丰富、量级大，通过科学合理的数据规划、数据预处理、数据并行分治，实现数据有效融合展示。在叠加分析、缓冲区分析、拓扑分析等各种矢量数据分析过程中，通过矢量数据拓扑一致性处理。
（2）数据转换：按照数据源与目标数据的定义，将数据单位传输到目标数据。从数据源中抽取的数据不一定完全满足目的库的要求，例如数据格式的不一致、数据输入错误、数据不完整等等，因此需要对抽取出的数据进行数据转换和加工。数据的转换和加工可以在数据抽取过程中利用关系数据库的特性同时进行。
（3）数据加载：将已完成传输的数据加入数据仓库，采用增量数据加载，即仅加载有变化的数据，将转换和加工后的数据装载到目的库中是数据治理过程的最后步骤。
3.3 分布式数据存储
利用主流的分布式数据存储技术，协调管理所有资源节点中的数据文件，实现数据分类存放，可按业务划分为三大服务中心，分别为防洪调度服务中心、发电运行服务中心、水工安全服务中心。其中包括各种基础数据、监控数据、文件数据、空间数据等类别。经过以上的抽取、转换和清洗基础数据，对数据进行存储和管理，完善大数据存储结构标准，综合应用分布式关系型数据库、分布式对象存储和分布式文件系统等存储技术，针对应用按需设计多副本存储，同时对各类数据进行分析和展示，为用户提供数据中所需的服务。
4 结束语
水利枢纽监测数据汇集项目运用物联网、大数据、云计算等技术手段，对存在于不同水利工程的信息系统监测数据进行采集，经过梳理分析，设计出新的、可扩展的统一的编码进行存储管理，有效打破数据壁垒，整合各个信息孤岛。项目的建设模式可复制，理论上可快速推广至省内的各类水利工程。基于本项目的成果，可通过大数据和数据可视化的技术实现对全省水利水利工程的实时监控。未来亦可训练适用的人工智能模型，实现对全省水利工程智能安全评估、态势分析等功能，为调度决策提供参考。
参考文献：
[1]国务院.国务院关于积极推进“互联网+”行动的指导意见[A].北京：国务院，2015.
[2]薛丽.“互联网+旅游”背景下旅游业新型监管模式研究[J].中国行政管理，2018（5）：59-62.
[3]许欢，张诗亚，罗江华.国内高校在线课程建设理念演化——兼论“互联网+教育”生态体系构建[J].学术时空，2018（3）：59-65.
[4]庞靖鹏.关于推进“互联网+水利”的思考[J].中国水利，2016（5）：6-8.
[5]刘怀利，马浩，刘超，等.“互联网+安徽水利”体系建设探讨[J].江淮水利科技，2017（6）：40-41.
[6]赵彤，邱春.互联网思维及“互联网+水利”浅析[J].东北水利水电，2015（33）：59-62.
[7]王战友，李观义.广东省“互联网+现代水利”总体框架与关键内容[J].水利信息化，2018（2）：53-58.
[8]吕保强，李昼阳.浅谈“互联网+现代水利”总体设计思路[J].科技与创新，2017（12）：39-39
[9]董昭.NGBOSS互联技术研究[J].电信工程技术与标准化，2012，25（3）：53-58.
[10]张丽丽，宋阳，刘勇，等.数据资源规划在宏观环境督察业务领域应用研究[J].中国环境管理，2013，5（1）：52-60.
转载注明来源:https://www.xzbu.com/1/view-14852642.htm
