地质灾害数据集成关键技术研究

来源:用户上传      作者:

　　摘要：本文探讨了地质灾害数据集成和数据集成系统，分析了地质灾害数据集成工具的系统设计，研究了地质灾害数据集成关键技术。
　　关键词：地质灾害;监测;数据集成
　　中图分类号：TP311.1 文献标识码：A 文章编号：1007-9416（2020）03-0113-02
　　1 地质灾害数据集成和数据集成系统
　　数据集成的目的是通过数据集成操作为用户提供更好的数据服务，数据集成系统的操作包括查询优化与更新，数据集成包括了数据转化和数据清理，但却不是两者的相加，而是包括了数据清理和数据转化的操作，数据集成主要是在集成系统上进行操作。数据集成总体模型包括两种，一种是完全建立一个全新的信息系统，实现对遗留系统数据以及所有操作的转换，该方式不仅成本高而且实现难度很大，另一种方式是在原来的基础上进行扩展，使新的系统可以满足新的应用需要[1]。
　　地质灾害数据集成系统的主要功能是为实现对地质灾害相关信息数据的监测和控制管理，利用该系统的实时性、全方位性及时发现地质灾害情况并以此为依据给出相应的地质灾害防控方案。因此，地质灾害数据集成系统在设计时必须要求能够获得全方面的且真实可靠的监测指标，实现对地质灾害的自动化监测，利用自动化处理技术和相关集成数据操作软件。首先要利用数据库访问组件能够在需要的数据库中获取原始的监测数据，再利用算法对这些监测数据进行处理分析，最后获得的数据信息可汇总到数据库中用于综合评价分析所需。由于现有的数据库优化器以及执行引擎等已经不能适应新的集成系统应用所需，比如缺乏统计信息、数据到达时间不可预知、异构数据源数据重叠和冗余等，因此必须加强对数据集成系统设计的研究。
　　2 地质灾害数据集成工具的系统设计
　　数据集成包含数据转换、数据清理等操作，所以对于数据集成系统的设计和实现会遇到不少困难，目前在地质灾害数据集成系统设计方面存在的问题：首先关于语义的数据清理，一方面数据清理的精确度和效率得不到保证，而数据清理的效果和效率会对数据质量产生直接的影响，另一方面记录间算法的聚类函数也需要进一步研究才能实现高效聚类，只有提高数据清理的速度才能保证数据处理的精确度和效率。其次自动化或部分自动化的数据转换，存在转化效率和集成系统操作效率的问题，此外关于可视化界面的设计，主要功能集中在关系模型上，不具有数据清理功能，对于复杂的数据信息无法完成自动化转化工作[2]。
　　关于地质灾害数据集成系统设计，系统设计的主要目标是利用相关技术建立数据集成系统模型，从而为地质灾害数据监测提供高效可靠的服务。在进行该系统设计时需要满足几点原则：（1）要求利用组件化方式进行系统设计，系统必须要有良好的模块化与可移植性，且遵循软件工程的原理和方法。（2）要求有方便的接口，简单的操作就能对异构数据进行操作，实现数据清理、转化和集成。（3）要有可扩展性，能处理新的数据类型，具备二次开发的功能，且具备良好的用户可视化界面。
　　3 地质灾害数据集成关键技术研究
　　3.1 对原始数据的处理
　　在进行地质灾害数据集成系统设计过程中，首先必须采用自动化监测技术及其相关监测设备，但是监测手段所获得的数据信息都是原始信息，即频率值，频率值无法直接使用故而必须采用相应的算法公式进行计算，经计算获得的数据才能被用到地质灾害监测、灾害预警等工作中。因此，对原始数据进行计算处理、转化是整个地质灾害数据集成系统的关键技术之一，也是重要工作，为实现对监测数据处理的自动化，有必要采用和工作流相结合的配置文件，采用不同的计算公式和参数，结合配置文件可进行相关数据处理和数据库构建工作。
　　3.2 对异构数据的集成化处理
　　对异构数据进行集成化处理，指的是针对不同数据库中的不同数据，采用统一的数据标准对这些存储的监测数据进行集中化处理，需要用到数据转化、计算方式，然后将这些经过统一处理后的数据汇总到统一到监测数据库中。
　　3.3 数据标准
　　利用地质灾害数据监测技术获得的相关监测数据在一段时间内一般会对应相应的监测值，可通过映射关系将这些对应同一个监测值的监测数据集中到一个相互关系中，这个相互关系就是数据标准，可用一张表格实现对大部分监测数据的管理。而在进行实际地质灾害数据监测工作时，一般采集一次数据需要多个监测值，对于深部位移的监测，深度不同、位置不同都需要设置多个监测点，这时每一个时刻就会对应不同的位移值，因此必须要使用多个监测值。对于不同方向的两个位移值，监测设备的电压、温度等参数也不相同，因此需要对整个数据结构中的数据进行细分，这时编码一般要由多个字符构成。
　　3.4 多源数据库支持
　　地质灾害监测数据各种各样，包括结构性和非结构性数据，所以对于监测数据库的构建，也需要建立多源数据库，不同的数据库中包含了不同类型的监测数据，通过集成化处理使这些数据能够集中到相同的平台上进行分析处理，所建立的数据平台能够访问不同类型的数据库组件，并能够实现不同数据库之间的转换。
　　3.5 数据集成系统优化
　　地质灾害数据集成系统中，对监测数据存储进行优化是因为数据采集频率高、且进行数据监测时间持续长，随着数据监测时间的增加，地质灾害监测数据量将十分庞大，对数据存储提出了更高的要求，不仅要求数据存储的安全性还要提高数据响应效率，使这些数据能够及时为地质灾害相关工作提供服务。此外，地质灾害数据集成系统的目的之一是供地质灾害数据监测工作查询使用，因此除了监测数据存储优化外还应该做好查询优化，查询优化指的是在数据库中预先确定好策略，或者在数据库运行时进行调度和再优化，在虚拟数据库下数据分布在各个数据源上，因此查询需要重写，数据可能存在到达不可预知、规模和估计规模差异较大的问题，这时需要采用查询优化器对查询计划进行再次调度和再次优化，从而提高数据查询的效率和质量。在模拟模式下还存在数据冗余、重叠和镜像、噪音等问题，因此对数据查询进行优化十分必要[3]。
　　3.6 物化视图
　　地质灾害数据集成系统设计时要求实现可视化界面要求，视图实际上也是虚拟表格，无法实现对数据的存储和查询，只定义了可进行查询的语句，在访问数据库时碍事需要从其他表格中获取数据并进行相应的计算。因此，为避免对数据查询产生影响，采用物化视图不但可以保证数据访问的效率、提高用户体验，而且在庞大数据量的情况下尤其可以提高工作效率。
　　4 结语
　　综上所述，随着近年来社会经济的快速发展，环境问题也越来越多，尤其工程量的增多使得地质灾害问题成为影响人们生活和城市发展的最主要问题。这些因素引起的地质灾害如果可以提前进行数据监测并采取相应的防控措施，便可以有效降低发生率、降低危害程度。因此，采用数据集成技术，通过建立数据集成系统对地质灾害进行监测和预警十分必要。
　　参考文献
　　[1] 何朝陽，巨能攀，黄健.地质灾害监测数据集成系统设计及实现[J].工程地质学报，2014（03）：405-411.
　　[2] 韩煜，樊浩.多源地质灾害监测数据管理及预报系统的设计与实现[J].测绘技术装备，2016（02）：15-19.
　　[3] 张亮.地质灾害监测数据集成系统设计及实现[J].工程技术（引文版），2016（12）：281.
　　Abstract：This paper discusses the data integration and data integration system of geological disaster， analyzes the system design of data integration tools of geological disaster， and studies the key technologies of data integration of geological disaster.
　　Key words：geological disaster; monitoring; data integration
转载注明来源:https://www.xzbu.com/8/view-15232918.htm