基于PYNQ集群的内存负载分析系统设计

来源:用户上传      作者:华夏?柴志雷?张曦煌

　　摘 要：在分布式计算平台上研究脉冲神经网络（SNN）的工作负载特性时，快速确定SNN模型构建所需的内存消耗以及平台的网络承载能力，是提高工作负载研究效率的重要手段。针对该问题，文章搭建了PYNQ集群分布式计算平台，设计了集群内存负载分析系统。实验表明：内存负载分析系统在内存消耗的预测方面取得了97.98%的平均准确率，在预测集群网络承载能力方面取得了97.19%的准确率，通过分析集群承载SNN模型时的内存负载，有效提升了集群上的SNN工作负载研究效率。
　　关键词：脉冲神经网络（SNN）;分布式计算平台;计算能效;NEST仿真器
　　中图分类号：TP302 文献标识码：A文章编号：2096-4706（2022）08-0001-05
　　Design of Memory Load Analysis System Based on PYNQ Cluster
　　HUA Xia1， CHAI Zhilei1，2， ZHANG Xihuang1
　　（1.School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi 214122， China; 2.Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence， Wuxi 214122， China）
　　Abstract： When studying the workload characteristics of Spiking Neural Network （SNN） on distributed computing platform， it is an important means to improve the efficiency of workload research to quickly determine the memory consumption required for SNN model construction and the network carrying capacity of the platform. To solve this problem， PYNQ cluster distributed computing platform is built and a cluster memory load analysis system is designed. The experimental results show that the average accuracy of the memory load analysis system is 97.98% in the prediction of memory consumption and 97.19% in the prediction of cluster network carrying capacity. By analyzing the memory load when the cluster carries the SNN model， the research efficiency of SNN workload on cluster is effectively improved.
　　Keywords： spiking neural network （SNN）; distributed computing platform; computing efficiency; NEST simulator
　　0 引 言
　　SNN（Spiking Neural Network）[1]作为类脑计算的基础，被誉为第三代人工神经网络。追求卓越性能[2]、探索适合SNN运行的类脑系统结构是SNN研究的主要任务之一。这意味着需要深入研究SNN模型及系统的工作负载特性，以设计高效的类脑计算平台。由于SNN具有分布式计算特点，因此对SNN工作负载的研究需要合适的分布式计算平台。在分布式平台上进行SNN负载特性研究时，通常需要多次改变SNN模型规模，以及SNN工作负载与计算平台之间的映射方式，以获取不同情况下的工作负载数据。
　　因此，对分布式平台进行内存负载分析能有效提升SNN工作负载研究的效率。一方面，对于特定SNN模型，通过分析满足其内存需求的最小映射节点数，能够帮助研究者确定计算平台的可用映射方式的变化范围。另一方面，通过分析计算平台的网络承载能力，帮助研究者在平台网络承载能力范围内对其SNN模型进行网络规模放缩，以研究不同规模下的SNN模型负载特性。
　　近年来，专用类脑系统和芯片不断涌现，为SNN工作负载的研究提供了更多可选择的平台。2019年，施路平等人设计了Tianjic芯片[3]，该芯片的采用了多核架构，能承载大约1 000万个突触模型和4万个神经元模型。2020年，英特尔推出了包含768颗Loihi芯片[4]的神经拟态系统Pohoiki Springs[5]，该系统能够承载约1亿个神经元。
　　与专用类脑芯片一同发展的还有灵活性较强的SNN软件仿真器。部分软件仿真器构建的SNN模型能够灵活地部署到硬件平台中。文献[6-8]研究了使用NEST[9]等仿真器构建的SNN模型在类脑计算平台上的工作载特性。在这些研究中，使用者需要通过手动试探的方式获取平台的可用映射方式和网络承载能力，这大大降低了SNN负载特性研究的效率。
　　针对现有的类脑计算平台难以进行高效SNN工作负载研究的问题。本文首先对NEST仿真器进行工作负载特性分析，建立内存负载模型。其次搭建了PYNQ集群，并将NEST仿真器部署到集群中，实现了一种规模可扩展的分布式类脑计算平台。最后设计了集群内存负载分析系统，通过提供内存消耗预测和集群网络承载能力预测功能，帮助用户建立SNN模型内存消耗的初步印象、快速确定集群网络承载能力，以提高在类脑计算平台上研究SNN工作负载的效率。

nlc202208231644

转载注明来源:https://www.xzbu.com/1/view-15438111.htm