大规模网络数据存储系统的设计与实现

来源:用户上传      作者:

　　摘  要： 传统网络数据存储系统存在各种各样的缺陷，因此设计并实现了大规模网络数据存储系统。该系统通过A/D网络数据采集模块使用A/D变换器转化网络模拟信号为数字信号，传递至FPGA网络数据接收模块展开接收并处理，处理后的网络数据传递至FLASH数据存储模块，该模块通过读取、擦除、编程等操作保证网络数据的完整性和可靠性实现网络数据存储。系统软件采用超高密度数据存储分布空间结构模型，通过尺度伸缩降低存储冗余，在网络数据集合空间范围内分割网络数据存储特征，优化网络数据存储。经实验分析，该系统大规模网络数据存储速度良好，响应速度快，负载均衡存储性能良好。
　　关键词： 网络数据存储; 系统设计; 数据采集; 数据处理; FLASH存储; 系统实现
　　中图分类号： TN711?34; TP311                   文献标识码： A                      文章编号： 1004?373X（2020）14?0062?05
　　Design and implementation of large?scale network data storage system
　　LUN Guanmin， KANG Huiying， WANG Niu
　　（Huaxin College Hebei University of Geosciences， Shijiazhuang 050700， China）
　　Abstract： As the traditional network data storage system has a variety of defects， a large?scale network data storage system is designed and implemented. The A/D converter is used in the system to convert network analog signals into digital signals by A/D network data acquisition module， and transmit it to FPGA network data receiving module for receiving and processing. The processed network data is transmitted to Flash data storage module to ensure the integrity and reliability of network data by means of the reading， erasure， programming and other operations， and realize the storage of network data. In the system′s software， the spatial distribution structure model of ultra?high density data storage is adopted to reduce the storage redundancy by scaling， segment the features of network data storage in the network data set spatial range， and optimize the network data storage. The experimental analysis results show that the system has high storage velocity， fast response speed and exellent load balancing storage performance for large?scale network data.
　　Keywords： network data storage; system design; data collection; data processing; Flash storage; system implementation
　　0  引  言
　　现今网络技术飞速发展，网络用户增长迅速，网络数据量呈现指数级上升，大规模网络数据快速聚合，云计算技术大量使用[1]。当前全世界已经进入数字信息时代，需要在网络中传输和存储的数据日益攀升，在这些前提下，对通信技术类产业技术能力也是重大挑战[2?3]。若对大规模网络数据进行处理，很容易增加处理时长，但是在当今的网络环境下，使用者无法接受数据响应时间过长的情况，大部分使用者认为，即使数据存储量不断增长，网络数据响应时间也应该不断缩短。在这种要求面前，需要不断优化系统性能，提升数据响应速度。大规模数据越来越多，各种因素导致系统设备存在一定程度的差异性，但是若要在这些设备中保证实时监控和快速管理却困难重重[4]。目前已有的研究表明，软件与硬件的兼容性也存在一定问题，数据存储呈现网络化发展趋势，云技术便是其中的代表，互联网媒介与网络数据存储相融合，有机结合共同存储大规模网络数据[5?7]。
　　已有研究中显示，大规模网络数据存储系统存在着各种缺陷。使用IP资源存储网络数据设计系统，在对网络数据资源展开存储时使用IP网络管理设备，使用控制手段对要求写入的网络数据做出反应实现网络存储，但是在这种IP资源存储网络数据系统中，IP数据网具有复杂性，系统不具备拓展性，不能满足现今的网络状态和存储需要[8]。传统的多模式下数据并行存储系统，安装多个中央处理器和同一时间下共同运行的硬件，并同时运行各硬件，实行最大化网络数据存储，但是该系统存在过多硬件的问题，会出现混乱分配资源的情况，常常出现数据丢失或存储失败的问题，实际使用时性能并不佳[9?10]。 　　为了满足日益升高的网络数据存储需求，研究适用于大规模网络数据存储的系统，是目前学界的主要研究方向。为了解决以上系统存在的问题，本文设计并实现了大规模网络数据存储系统。
　　1  大规模网络数据存储系统的设计
　　1.1  系统结构体系
　　为实现大规模网络数据存储，要求系统中具备高效网络数据采集模块和容量巨大的存储模块，系统整体架构见图1。
　　通过图1能够看出，系统主要分为3部分，包括A/D网络数据采集模块、FPGA网络数据接收模块以及FLASH网络数据存储模块。
　　1） A/D网络数据采集模块
　　A/D网络数据采集模块承担着采集网络数据的任务，其效率极高，能够达到1.5 GSPS。
　　2） FPGA网络数据接收模块
　　FPGA网络数据接收模块负责接收网络数据，并将各模块的信息交互。该模块分别连接互联网、电脑端、两个DDR2内存条和4个配备同步动态随机存取存储器（ADRAM）的数字信号接收器（DSO），DSO能够处理A/D网络数据采集模块采集到的数据并存储[11]。
　　3） FLASH网络数据存储模块
　　FLASH网络数据存储模块连接若干FLASH存储器，即使网络数据存储规模过大时也能够实现良好的存储效果，实用性高，最高存储量能够达到1 024 GB。
　　1.2  系统模块分析
　　1.2.1  A/D数据采集模块
　　A/D数据采集模块由A/D转换器、精密放大器、驱动电路和模拟多路转换器组成，具体工作流程见图2。
　　从图2可以看出，放大器放大模拟多路转换器收集到的模拟信号，可编程器件向A/D转换器提供一个转换控制信号后，A/D转换器将模拟信号转换，使其成为数字信号，传递给逻辑门驱动。
　　在A/D数据采集模块中，最重要的部分就是A/D转换器，在本文系统中选用深圳友利通电子有限公司提供的24位A/D转换芯片PCM1690DCAR，性能良好。该芯片有暂存/三态输出缓冲器，能够直接连接微处理器总线接口，该芯片内部具备10 V基准电压源、采样保持器（SHA）、时钟源等性能，采样分辨率和采样频率分别为14 bit和110 kHz，包含两种操作模式，分别为单一操作模式和全控制操作模式，支持四种单、双级电压输入。在设计本文系统时，采用的操作模式为单一操作模式，输入电压选择单级电压[12?13]。
　　1.2.2  FLASH数据存储模块
　　系统中FLASH数据存储模块包含两部分芯片，分别是NAND512W3A与XC3S1600E，由意法半导体公司和XILINX公司提供。A/D数据采集模块采集网络数据后传递至FPGA网络数据接收模块，再由FLASH数据存储模块存储，FLASH模块与返回的信号和片选信号实现模块控制。外围设备采集的数据与FLASH操作地址分别存储在数据存儲空间和地址存储空间。FLASH数据存储模块结构图见图3。
　　FLASH数据存储模块与FPGA网络数据接收模块相连部分包含：状态信号线、I/O接口、锁存信号线。其中状态信号线包含状态位信号（[CF]）与片选信号（[DK]）;锁存信号线包含读使能（[UK]）、写使能（[CK]）、指令锁存（[PQK]）和地址锁存（[SQK]）。状态位信号的高电平和低电平分别表示FLASH的忙碌和空闲。
　　FLASH数据存储模块与FPGA网络数据接收模块之间信息传递通过I/O接口实现，[SQK]表示地址锁存，[PQK]表示指令锁存，这两个锁存状态对通信内容实现判断。[SQK]高电平状态下地址信息为其传输内容，[PQK]高电平状态下表示指令信息为其传输内容，[SQK]和[PQK]均为低电平状态下，数据为其通信内容。低电平状态下片选信号有效，状态位信号在高、低电平状态下分别显示就绪（Ready）和忙碌（Busy）[14?15]。A/D数据采集模块采集数据传递至FPGA网络数据接收模块，FPGA网络数据接收模块将数据传递至FLASH数据存储模块存储。FLASH数据存储模块包含读取、擦除、编程等操作，其内部结构中的硬件决定擦除操作将块（Block）作为操作单位，读取和编程操作以页（Page）作为操作单位。FLASH数据存储模块实现网络数据的存储，前提是保证网络数据的完整性和可靠性。
　　1.3  网络数据存储优化
　　为了使本文设计的系统均衡性得到提高，网络数据存储优化，需将A/D数据采集模块采集到的网络数据中冗余部分施以特征压缩处理，再通过FLASH网络数据存储模块实现数据存储。详细的存储优化过程如下：
　　本文设计系统时，以负载均衡控制为基础，以大规模网络数据为对象，设计超高密度信息存储模型作为系统的软件。在大规模网络环境中，假设云存储空间里，大规模数据负载均衡响应函数[g]以式（1）表示：
　　式中：[n]和[xi]分别表示数据采集时间和大规模网络环境中超高密度数据存储发散幅值;[η]和[Ns]分别表示负载均衡控制响应函数和数量庞大的数据分布存储带宽。按照数据所具备的时间散布特性可以得到式（2），即大规模网络数据多普勒频率散布输出。
　　式中：[d0]为冗余数据的特征压缩维数表示;[u]和[c]是多普勒参数。使用频率标准差[O]表示特征压缩代价系数，如下：
　　式中：[ν]，[Fa]和[A（ν）]分别表示信息传递函数、大规模网络数据初始能量幅值和大规模网络环境中超高密度数据存储节点的负载。经控制负载均衡得到式（4），即压缩处理后大规模网络冗余数据特征所输出的特征子集。
　　式中，[Y]和[m]分别表示数据采样个数和随机概率分布维数。耦合控制大规模网络数据，数据存储自适应校验时使用多源近程节点管理方法，得出： 　　式中，大规模网络数据存储器中校验块存储节点管理模型以[f（n）]表示。该模型中包含负载均衡输出参量[m]个，输入负载均衡的控制参量[y]个，假设[a（n）]作为数据信息量，校验波束校验和特征约束时使用子集校验。由此得到式（6），即超高密度数据存储分布空间结构模型：
　　式中，冗余数据分布族表示为[δx，o]。使用[δ（n）]平滑处理数据，通过尺度伸缩保证存储冗余得到降低，使用式（7）定义大规模网络数据四阶累积量切片：
　　式中，对处于云存储内存储节点的分布空间加以分析，获得对角切片，该对角切片属于存储节点局部交叉项[b4a（?1，?2，?3）]。在网络数据集合空间[G]范围内，分割网络数据存储特征，优化网络数据存储，经循环分段计算实现特征压缩，将分布式缓存空间作为传输范围，在所有储存节点中展开数据传输，实现大规模网络数据存储优化。
　　2  大规模网络数据存储系统的实现
　　为验证本文系统性能，以河北省石家庄市某高校数字化图书馆为实验对象，验证本文系统性能。采用Windows 10服务器，物理磁盘驱动器：UDMA4，PENTIUM41G处理器，2 GB NEICUNning，200 Mb/s以太网。
　　网络数据存储速度是验证系统的重要指标，分析实验对象在本文系统与分布式网络数据存储系统、地海杂波数据存储系统内不同使用人数情况下大规模网络数据存储速度，结果见表1。
　　通过表1可以看出，本文系统大规模网络数据存储速度始终保持在900 KB/s以上，随着系统使用人数的增加，大规模网络数据存储速度只有微小波动，并没有发生明显变化，说明本文系统较稳定，数据存储情况良好，即使使用人数增加，也能保持良好的稳定情况，存储效率高。分布式网络数据存储系统在使用人数为50人时，大规模网络数据存储速度低于本文系统，且随着使用人数的不断增加，该系统的大规模网络数据存储速度不断下降，说明该系统不能承受使用人数过多的情况，存储效率低。地海杂波数据存储系统在使用人数为50人时，大规模网络数据存储速度低于本文系统和分布式网络数据存储系统，随着使用人数的增加，存储速度下降不断增高，当系统人数增加至500人时，数据存储速度下降至598.46 KB/s，与本文系统相比，数据存储速度缓慢，说明该系统分布式网络数据存储系统效率较差。
　　在实验对象实际使用时，系统响应时间是检验使用者满意度的一个重要指标，对比本文方法与分布式网络数据存储系统、地海杂波数据存储系统响应时间，结果见图4。
　　由图4可以看出，本文系统响应时间始终保持在3 s以内，随着系统使用人数的增加，响应时间趋势始终保持在平稳的范围内，说明本文系统性能良好，即使面对使用人数庞大的情况，依然能夠保持稳定的响应时间。分布式网络数据存储系统和地海杂波数据存储系统随着系统使用人数增加，响应时间不断上升，在使用人数达到50人时响应时间已经超过3 s，但是分布式网络数据存储系统响应时间始终保持在5 s以下，符合响应时间的允许范围内。地海杂波数据存储系统在使用人数达到300人时，响应速度已经超出了5 s的范围内，且随着使用人数的增加，响应时间依旧不断上升，说明该系统性能不稳定，如果使用人数继续增加，系统将面临崩溃的情况。
　　对比本文系统与分布式网络数据存储系统、地海杂波数据存储系统在大规模网络数据表条件下插入性能，通常情况下，大规模网络数据单条记录比较大，故本文展开测试时修改记录条数，根据记录条数不同，观察时间变化情况，对比结果见图5。
　　由图5可以看出，实验对象在大规模网络数据表条件下展开插入操作后，本文系统和另外两种系统的时间趋势呈现上升状态，但是本文系统时间略低于另外两种系统，说明本文系统设计合理性能优异。
　　标准差用于描述网络数据同平均数间差异的均数，可描述大型网络数据集的离散程度，该值大小同网络数据节点间的负载均衡程度具有反比例关系。通过实验分析本文与另外两种系统存储空间标准差，对比结果见图6。
　　通过图6可以看出，在网络数据量相同的情况下，随着网络数据量的增加，存储空间标准差呈现上升趋势，但是本文系统存储空间标准差较稳定，总体波动不大，在大规模网络数据存储时，实现了负载均衡存储。分布式网络数据存储系统和地海杂波数据存储系统随着网络数据量的增加，存储空间标准差增加较大，出现明显波动，在存储网络数据时不能达到负载均衡的效果，说明性能较差。
　　3  结  语
　　本文设计了大规模网络数据存储系统，通过A/D网络数据采集模块、FPGA网络数据接收模块、FLASH网络数据存储模块相互协作，并使用超高密度数据存储分布空间结构模型优化网络数据存储。该系统具备存储数据速度和响应速度快等特点，插入性能较高，存储空间标准差低，在同类系统中具有优势。
　　在本文系统中，未考虑时下最常用的大数据与云计算技术，在今后的研究中可以将这些技术加以考虑，以此为研究方向，添加云计算技术，提升数据存储速度;同时还需要注重系统使用者信息的私密性，在数据采集和传输过程中，展开加密处理，对用户数据安全实行保护。
　　注：本文通讯作者为王妞。
　　参考文献
　　[1] 杜文略，李红薇，高越，等.水下试验图像数据采集存储系统的设计与实现[J].电子器件，2019，42（3）：733?739.
　　[2] 谭喜堂，刘榕雄，朱琴跃，等.动车组机械师实训系统通信控制网络的设计与实现[J].计算机应用，2017，37（z2）：11?14.
　　[3] 郭会云，房俊，李冬，等.基于负载均衡的多源流数据实时存储系统[J].计算机工程与科学，2017，39（4）：641?647.
　　[4] 宿殿鹏，阳凡林，冯成凯，等.船载多传感器一体化测量数据实时存储方法研究[J].大地测量与地球动力学，2018，38（6）：591?597.
　　[5] 马涛，岳敏，袁超，等.基于MongoDB的HIAF Archive Engine设计与实现[J].原子能科学技术，2019，53（9）：1724?1728.
　　[6] 童一飞，王红亮.低功耗IEPE传感器数据采集系统的设计与实现[J].信息与能源，2019，56（5）：101?104.
　　[7] 吕卫，王粟瑶.三维成像激光雷达高带宽数据采集与存储系统[J].激光与光电子学进展，2019，56（10）：259?268.
　　[8] 季一木，张宁，尧海昌，等.HOS：一种基于HBase的分布式存储系统设计与实现[J].南京邮电大学学报（自然科学版），2019，39（5）：63?71.
　　[9] 曾洁，詹明，罗小红，等.一种低存储容量Turbo码译码器结构设计及FPGA实现[J].电子技术应用，2019，45（7）：72?76.
　　[10] 张浙东，田霞，夏晓云，等.基于集群架构的地海杂波数据存储系统[J].现代雷达，2019，41（5）：52?57.
　　[11] 钟凤艳，王艳，李念爽，等.异构环境下纠删码的数据修复方法综述[J].计算机应用研究，2019，36（8）：2241?2249.
　　[12] 冉晓斌，刘跃文，姜锦虎，等.社交网络活跃行为的大数据分析：网络外部性的视角[J].管理科学，2017，30（5）：77?86.
　　[13] 陈宇翔，郝尧，赵越，等.面向制造大数据的安全存储交换技术[J].电子技术应用，2019，45（12）：38?41.
　　[14] 徐毅，王建民，黄向东，等.一种基于最大流的分布式存储系统中查询任务最优分配算法[J].计算机学报，2019，42（8）：1858?1872.
　　[15] 万迪凯，丰大军.神经网络关联存储器的设计及应用[J].电子技术应用，2019，45（11）：10?12.
转载注明来源:https://www.xzbu.com/8/view-15283739.htm