基于YOLOv3的大学生上课时间观念的研究

来源:用户上传      作者:

　　摘  要： 本文基于教室监控视频数据对大学生上课时间观念进行研究，采用“检测-跟踪-计数”框架对不同时间段学生到课人数进行统计分析。目标检测阶段是以YOLOv3网络作为目标检测的基础模型，通过构建教室出入学生样本库，训练出更适合检测教室行人的网络模型;目标跟踪阶段使用的是DSST算法进行目标跟踪，结合帧间质心匹配算法进行人数统计。最后，对各个时间点进出教室人数进行分析研究，实验结果表明了方法的有效性。
　　关键词： Yolov3;目标检测;DSST;人数统计
　　中图分类号： TP391.41    文獻标识码： A    DOI：10.3969/j.issn.1003-6970.2020.01.034
　　本文著录格式：程莎，王全民. 基于YOLOv3的大学生上课时间观念的研究[J]. 软件，2020，41（01）：156159
　　【Abstract】： This paper studies the concept of college students' class time based on video data of classroom monitoring，the "detection - tracking - counting" framework was used to analyze the number of students coming to class in different time periods. The target detection phase is based on the YOLOv3 network， through the construction of classroom access student sample database， a more suitable network model is trained to detect pedestrians in the classroom; In the target tracking phase， DSST algorithm is used for target tracking， combined with the inter-frame centroid matching algorithm， the number of people is counted. Finally， the number of students entering and leaving the classroom at each time point is analyzed and the experimental results show the effectiveness of the method.
　　【Key words】： YOLOv3; Object detection; DSST; People counting
　　0  引言
　　在校园数字化建设的大背景下，产生了大量可挖掘数据;随着深度学习的飞速发展，通过智能的识别与分析，我们可以充分挖掘数据里面的潜在价值，有助于优化教学管理提高教学质量。针对到课人数统计的研究主要涉及目标检测和目标跟踪算法。
　　传统目标检测方法主要分三步：区域选择、特征提取和分类器分类。深度学习的出现，使得特征提取和分类器分类合并一步实现。利用卷积神经网络提取行人特征进行检测的方法，在行人目标出现遮挡、形变问题的情况下，检测的准确度仍然得到一定程度的保证。目前CNN常用的目标检测模型有：Faster R-CNN、SSD和YOLO。Faster R-CNN提出了新的RPN网络代替了原来的对每个区域建议（region proposal）方法，准确度得到了提升但是检测速度仍然不够快;SSD的改进核心是使用小卷积滤波器预测边界框位置中的对象类别和偏移，使用单独的预测变量（滤波器）进行不同的宽高比检测，并将这些滤波器应用于网络后期的多个要素图以执行多尺度检测。SSD检测相比Faster R-CNN检测速度更快，检测精度更高;2018年Joseph Redmon和Ali Farhadi提出YOLOv3模型，该模型准确度与SSD模型相媲美，速度却是SSD模型的3倍多。YOLOv3是速度和精度最均衡的目标检测网络，它融合了多种先进方法，改进了YOLOv1和YOLOv2的缺点，且效果更优。因此，实验选用了YOLOv3作为目标检测模型。
　　根据工作原理，目标跟踪主要分为生成式模型和鉴别式模型两大类。鉴别式模型相对于生成式模型能够更好的处理遮挡目标，由于实验数据存在大量遮挡的情景，所以我们选择了鉴别式模型。鉴别式模型中相关滤波算法无论在准确率还是速度方面都有好的性能，而DSST是相关滤波的改进增加了尺度跟踪，更准确的对视频中行人进行跟踪。
　　采用帧间质心匹配算法最终实现计数功能。通过前面阶段获取目标检测状态集和目标跟踪状态集，采用欧式距离最近原则，来关联目标检测状态集和目标跟踪状态集，进而得到各个学生的运动轨迹。根据目标对象运动轨迹计算出目标移动方向。设置阈值，跟踪目标如果发现目标通过阈值，进行该目标的计数。
　　1  本文方法
　　1.1  YOLOv3原理
　　YOLOv3算法是物体检测算法YOLO系列第三个版本，可以检测出person、bicycle、car等80个类别物体。借助于GPUTitanX，YOLOv3在COCO数据上51 ms内实现了57.9的AP50[1]，检测性能表现非常优异。
　　YOLOv3首先将原图缩放到宽416高416大小，然后将其按照特征图的尺度大小划分为S X S大小单元格，每个单元格有三个anchor boxes预测三个边框，在在特征图为13×13、26×26、52×52三个尺度上依次进行检测。每个尺度预测3个box，使用聚类设计anchor，解出9个聚类中心，按照大小将其分成三种尺度。在训练过程中，YOLOv3损失函数包括三部分：目标置信度损失、目标定位损失和目标分类损失。目标置信度是预测目标矩形框内存在目标的概率，采用二值交叉熵损失;目标分类损失同样采用的是二值交叉熵损失;目标定位损失采用的是真实偏差值与预测偏差值差的平方和。 　　YOLOv3的模型结构是由Darknet53和三次采样输出构成。网络中大量使用残差连接，通过增加深度提高准确度。Darknet53网络结构的最小单元是由卷积层、Batch Normalization层和激活函数（LeakyRelu）组成。借鉴类金字塔输出，三次采样输出越来越小的检测目标，增强了对不同大小物体及复杂背景物体的检测效果。使用多个独立logistic分类器代替softmax，实现多标签分类，一定程度上保证检测到的物体多样性。
　　1.2  DSST原理
　　DSST跟踪算法是基于MOSSE滤波器的改進，增加了HOG特征进行目标跟踪，而且提出了快速尺度估计的方法。DSST算法用不同维度的滤波器来进行相应的目标尺度变化评估、目标位置变化评估以及用于详尽尺度空间的目标定位。算法的思想是设计两个滤波器，一个是位置滤波器用来给当前目标进行定位，另一个是尺度滤波器用来对当前目标进行尺度估计，结合两种滤波器实现目标跟踪，算法简洁相对于MOSSE算法更适合于纹理特征的场景。
　　1.2.1  位置过滤器
　　该算法将输入样本f设计为d维特征向量，那么最小均方误差和可以表示如下。
　　上式中，λ是正则项系数，参数λ可以消除f频谱中的零分量干扰，避免分子为零;上标l表示特征的维度;g是通过训练f得到的理想输出。式中当t=1时，结果如下。
　　由于求解d维线性方程非常耗时，可以通过对上式中的分子 和分母 进行分别更新，进而得到鲁棒的近似结果，公式如下。
　　其中，η为学习率，最大滤波器相应值y为。
　　1.2.2  尺度过滤器
　　在新的一帧图像中，先利用二维位置滤波器来确定目标物体的位置信息，然后再利用一维尺度滤波器进行尺度匹配。过程是以目标位置的中心位置为中心点，获取不同尺度的候选patch，然后找到最优的匹配尺度。目标样本尺寸选择原则：
　　上式中，P和R代表在前一帧的目标框的宽和高，S代表尺度个数，省略号代表区间为[–16， 16]之间的整数值，a代表尺度因子。
　　1.3  帧间质心匹配算法
　　学生上课时间统计实验的核心算法是目标检测和目标跟踪两大算法，但是要实现视频流数据统计，我们需要通过帧间质心匹配算法在帧间建立逻辑联系，关联目标检测结果和目标跟踪结果，然后通过学生运动轨迹流，实现进出教室人数计数功能。
　　假设在t时刻，目标检测列表为 ，目标跟踪链表为 ，设 为检测链表中第k个目标 的中心坐标，设 为跟踪链表中第l个目标 的中心坐标，定义 和 空间距离为。
　　计算出每个检测出的目标和所有的跟踪目标进行距离求解 ，设有K个检测目标和L跟踪目标，则可以得到距离关联矩阵。
　　通过距离矩阵λ，根据质心最近距离匹配原则，我们求得检测出来的学生以及其对应的跟踪状态集，从而我们可以得到视频中各的学生的运动轨迹。
　　根据视频里教室分配特点，我们设置计数阈值为第一排过道。当目标物体越界，计数器自动进行计数。假设学生轨迹点开始坐标值为（m1， n1），结束坐标为（m2， n2），如果m2–m1小于零，则表示轨迹方向是向上的，视频中反应的就是出教室，则设置的出教室数值加一，总数减一;反之，则表示轨迹方向是向下的，视频中反应的就是进教室，则设置的进教室数值加一，总数加一。
　　2  实验结果及和分析
　　2.1  实验数据介绍与预处理
　　2.1.1  数据说明
　　实验数据是某高校教室的监控视频。采集的数据包括了本科四个年级以及研究生三个年级的教室监控视频。相对于传统的问卷调查，本文实验数据覆盖面更广更全面。
　　2.1.2  数据处理
　　根据教室特点，为了减少不必要的干扰因素以及提高实验效率，我们将实验原数据通过视频剪裁分成左通道与右通道两部分，如下图所示。
　　2.2  实验设计细节与效果
　　检测试验数据集是从样本视频中采集的，使用labelImg标注工具，然后将数据集转化为Pascal VOC数据集的标准格式。完成了数据集的制作后，用YOLOv3检测器训练。
　　目标跟踪的实现使用OpenCV的pyimagesearch库中的trackableObjects类，其中包含了DSST算法。实验中，跟踪类的初始化中目标位置框参数由检测结果赋值。
　　结合帧间质心匹配算法，根据距离最近原则，我们将目标检测阶段的到的对象和目标跟踪阶段的到的状态集一一对应，从而得到每个进出学生的运动轨迹，通过运动轨迹，和我们设置的越界线（第一排过道），实现进出学生计数功能。其中，进教室则标志In加一，出教室则标志Out加一。实验效果如下图。
　　
　　2.3  结果分析
　　本文对大一、大二、大三、大四的课堂视频进行了实验，并进行了数据的统计。根据实验结果，我们在课前30分钟课后30分钟时间段内以及课程结束时刻，选取几个时刻统计人数，统计表格如下。
　　样本中大一某课堂总人数100，大二某课堂总人数110，大三某课堂总人数106，大四班级总人数90。根据数据统计结果，从大一至大四我们可以分别分析出缺课率是0、5.5%、5.6%、0，迟到率是3%、5.8%、10%、1.1%，早退率是1%、6.7%、18%、0。从数据我们可以看出来，样本中大一和大四课堂的时间观念较强，大三课堂的迟到率和早退率都较高于其他年级。在大数据时代，通过数据我们可以更加客观科学的分析事物。从数据着手，更加科学规范的管理学生和提高教学质量。
　　3  结论
　　本文主要研究内容包括目标检测、目标跟踪和轨迹分析等技术，研究对象是动态的学生上课视频，智能化的行人流量统计算法可以帮助使用者节省人力成本。本文所涉及的算法通过实际的测试验证了其实时性以及适用性都可以达到预期的目标。基于教室监控视频使用YOLOv3目标检测算法对不同时间点学生人数进行实时统计，可以客观统计学生的缺课率、迟到率和早退率，相应反应出学生的时间观念、学习风气以及对不同课程的兴趣情况等，方便学校更好的管理教务。 　　参考文献
　　[1] 基于视频监控的教室人数统计系统的研究与设计[D]. 重庆理工大学， 2017.
　　[2] 基于视频监控的教室人数统计[D]. 安徽大学， 2014.
　　[3] 尹本雄. 基于WEB的多媒体教室远程视频监控及控制系统的设计与实现[J]. 信息系统工程， 2014（12）： 35-35.
　　[4] 教室监控视频中人员异常行为检测研究[D]. 电子科技大学， 2018.
　　[5] 闫一鸣. 高校教室电子监控的合法性探究[D]. 广西大学， 2015.
　　[6] 哈图， 金永昌. 计算机远程监控系统在教学中的研究与实现[J]. 内蒙古农业大学学报（自然科学版）， 2015（3）： 141-146.
　　[7] 黄欣. 视频监控系统在教学管理中的应用[J]. 中国教育技术装备， 2015（10）： 18-20.
　　[8] 黎翠转. 视频监控系统及智能视频监控技术研究[J]. 机电信息， 2014（15）： 110-111.
　　[9] 黄岩. 基于计算机软硬件的视频监控系统设计与研究[J]. 计算机技术与发展， 2018， v.28; No.253（5）： 133-136+140.
　　[10] 邵志晨. 计算机网络技術在视频监控联网中的应用探究[J]. 计算机光盘软件与应用， 2014（1）： 107-107.
　　[11] 赵华， 钟志宏， 兰峰， 等. 浅析智能视频监控系统[J]. 计算机光盘软件与应用， 2014（19）： 45-45.
　　[12] 叶金岭， 王青峰， 余波. 网络视频监控在数字校园中的应用研究[J]. 计算机光盘软件与应用， 2014（11）： 251-251.
　　[13] 陈俊良， 葛俊锋， 叶林， 等. 基于海康威视SDK的视频监控软件的开发[J]. 工业控制计算机， 2015（7）： 97-98.
　　[14] 惠晓威， 王克. 移动视频监控系统的实现[J]. 计算机应用与软件， 2014（1）： 148-150.
　　[15] 面向智能视频分析的网络视频监控系统软件设计与实现[D]. 东南大学， 2016.
　　[16] 李晓飞. 探讨计算机网络技术在视频监控联网中的应用[J]. 电子技术与软件工程， 2013（23）： 31-31.
　　[17] 张亮. 计算机网络技术在视频监控联网中的应用[J]. 网友世界·云教育， 2014（19）： 23-23.
　　[18] 陈翔， 顾庆， 刘望舒， 等. 静态软件缺陷预测方法研究[J]. 软件学报， 2016， 27（1）： 1-25.
　　[19] 孙文荣， 周先春， 嵇亚婷. 基于直方图均衡化、PCA和SVM算法的人脸识别[J]. 软件， 2014， 35（8）： 11-15.
转载注明来源:https://www.xzbu.com/8/view-15120786.htm