基于视频跟踪的水下裂缝缺陷智能标注系统
来源:用户上传
作者:
摘 要： 當前水下裂缝缺陷检测中存在误检率高、漏检率高、实时性不强等问题，需要大量准确地标注数据集对识别模型进行训练。针对大量标注数据集的需求问题，提出一种目标智能标注系统，利用基于通道和空间可靠性理论改进的核相关滤波跟踪算法（CSR?KCF），对水下裂缝进行目标跟踪，结合标注系统功能需求，展开对该系统的设计与实现。实验结果表示，提出的目标智能标注系统符合设计需求，能够实现对水下裂缝缺陷准确、快速、可靠的智能标注。
关键词： 水下裂缝缺陷; 智能标注; 模型训练; 目标跟踪; 系统设计; 仿真实验
中图分类号： TN915.5?34 文献标识码： A 文章编号： 1004?373X（2020）12?0155?06
Abstract： At present， there are some problems in the detection of underwater crack defects， such as high error detection rate， high missed detection rate and weak real?time performance， which requires a large number of accurate annotated datasets to train the recognition model. In allusion to the requirement of a large number of annotated datasets， a target intelligent annotation system is proposed. The target tracking of underwater crack is performed by means of the improved kernel correlation filter tracking algorithm based on channel and spatial reliability theory （CSR?KCF）， and the design and implementation of the system are carried out according to the function requirements of the annotation system. The experimental results show that the intelligent annotation system proposed in this paper conforms to the design requirements and can achieve accurate， fast and reliable intelligent annotation of underwater crack defects.
Keywords： underwater crack defect; intelligent annotation; model training; target tacking; system design; simulation experiment
0 引 言
我国拥有丰富的水利资源，水库大坝是调控水资源时空分布、优化水资源配置的重要工程设施。在庞大数量的水库大坝中，诸多大坝存在坝体渗漏、混凝土裂缝、冲蚀冲坑等各类安全隐患与失事风险[1]。因此，需要对水库大坝进行安全检测，识别构筑物裂缝等缺陷问题，对裂缝缺陷进行标定、分析和识别是水下构筑物险情诊断的重要依据。如果不对其进行快速有效的修复，水下坝体表面裂缝会继续扩展，成为重大安全事故的主要隐患。
随着计算机视觉技术的发展，视觉检测技术作为计算机视觉的一个分支，在水下大坝裂缝识别中发挥了重要的作用，因其具有光谱敏感范围广、感知信息丰富、便于利用信息技术进行精细分析及可视化等优势，日益成为水下坝体表面裂缝检测的主流技术[2?3]。为了提供视觉检测技术所需的大量标注数据集，需要对大量水下视频中的裂缝进行快速准确的标注，传统的标注系统虽然有着较高的标注准确率，但整体智能化程度低，在对视频文件进行标注时，仍需要在多帧视频中手动框选目标，导致标注效率较低。所以本文设计出一种能够准确跟踪目标并自动生成标注数据集的系统具有十分重要的意义。
针对传统标注效率低下的问题，本文提出一种基于目标跟踪算法的智能标注系统。本系统基于核相关滤波跟踪算法，结合通道与空间可靠性对算法进行改进与优化，设计出适合用于水下缺陷检测的智能标注系统，标注结果作为水下裂缝缺陷检测的数据集。
1 目标跟踪算法设计
目标跟踪是计算机视觉技术中十分重要的一部分，一般有特征提取、运动模型、外观模型、在线更新机制等四个基本组成部分[4]。首先在第一帧获取目标的运动模型，之后通过机器学习或传统方式对特征进行提取，根据提取到的特征得到目标的外观模型，在下一帧对目标进行定位，根据不断定位结果对模型进行更新，连续的目标定位即为目标跟踪。
1.1 基于核相关滤波的KCF跟踪算法
核相关滤波（Kernelized Correlation Filters，KCF）目标跟踪算法是一种核相关滤波算法[5?6]。该算法跟踪过程步骤如下： 1） 在第一帧中框选出所需目标区域，在框选区域附近采集样本，对样本训练得到判别式分类器，应用该分类器计算图像像素位置中的响应值;
2） 在下一帧中，用分类器对上一帧中采样位置与图像进行相关计算，得到每个采样点对应的响应值;
3） 在给定阈值条件下响应值最大的采样区域即为此帧中跟踪目标区域。
在跟踪过程中设计一个滤波模板，使得当它作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。计算出傅域中的响应矩阵，之后进行傅里叶逆变换，得出响应矩阵，矩阵中极大值对应的区域即为目标区域。具体步骤如下：
1） 在初始帧中手动对尺寸为[M·N]的待跟踪目标位置进行框选。
2） 采用余弦加权放大后的矩形窗样本，计算样本的HOG特征，得到[t]维的HOG特征图，得到的每个特征维度为[M·N]大小的样本输入，记为[x1，x2，…，xt]。
3） 利用二维高斯函数生成和样本[M·N]大小一致的训练标签矩阵[y]。
9） 重复步骤6），计算新的响应矩阵对下一帧进行检测。
KCF算法利用循环矩阵对图像进行密集采样，增大分类器训练过程中的样本数，有更好的滤波效果;同时利用傅里叶变换，在跟踪过程中实现对目标的快速检测，提高跟踪算法的实时性。但在一定程度上，由于循环矩阵以及傅里叶变换，该算法对于目标尺度变换引起的干扰处理效果较差，导致跟踪框不能很好地适应目标尺寸的变化。
1.2 基于CSR的改进KCF算法
由于KCF算法存在样本训练数据不真实以及边界局限性的缺点，本文引入通道和空间可靠性算法（Channel and Spatial Reliability，CSR）[7]对KCF算法进行优化与改进，从而提高KCF算法的跟踪准确率。CSR算法中通道可靠性即通道可信度，由于每个通道有着不同的重要性比重，所以需要对每个通道进行加权;空间可靠性图将滤波器支持调整到适合于跟踪的对象部分，从而扩大图像中搜索范围。这两者都允许扩大搜索区域并改善非矩形对象的跟踪。根据CSR算法的特点，本文将该算法与KCF算法相结合，提出一种CSR?KCF算法，对KCF算法存在的边界局限性以及样本训练数据不真实的缺点进行优化，实现对不规则形状的物体的自适应，从而提高KCF算法的跟踪准确率。算法流程图如图1所示。
采用该方法对特征权重进行调整从而优化跟踪算法的性能，使算法准确度得到提高。综合可知，空间和通道可靠性能够在一定程度上对KCF算法存在的边界局限性以及样本训练数据不真实的缺点进行优化与改进，从而提高KCF算法的跟踪准确率。
2 智能标注系统
2.1 总体设计
针对水下缺陷智能标注平台的系统需求，本系统主要实现视频文件的导入、水下缺陷目标跟踪、目标自动标注以及标注结果导出等功能[8?9]。首先对待标注视频文件进行手动框选目标，之后选择标注模式，在自动标注模式中结合优化的目标跟踪算法对水裂缝缺陷进行准确跟踪，跟踪的结果区域即为标注区域。系统可对其进行自动标注并导出标注结果数据集，用于训练目标检测过程中的检测模块。系统整体设计框图如图2所示。
2.2 模块设计
本文设计的智能标注系统主要由五个模块组成，分别为：数据导入模块、图像显示模块、区域操作模块、任务管理模块以及数据导出模块。其中跟踪算法添加在区域操作模块，数据导出模块生成用于机器学习训练的数据集。
系统中数据导入模块可分为三个部分：文件数据库、属性获取以及文件导入。其中文件数据库包括待标注的图像以及视频文件。属性获取功能主要用于获得导入文件的格式，由于系统对于图像和视频有着不同的处理方式，所以在不同的功能键中对不同属性的文件进行选择。在文件导入过程中，图像文件可直接导入系统，而视频文件需拆分成图片导入系统。
区域操作模块是本系统的重点，将优化后得到的目标跟踪方法以交互标注的形式结合到此模块中，使标注系统能够对视频文件进行自动标注。该模块包括手动标注、自动标注以及修改标签三个主要功能。目标标注框如图3所示。
数据导出模块主要包括标注完成后的标注框结果以及视频和图像信息。导出结果用于后续机器学习的数据集。导出模块的主要任务是得到注释文件。为了使注释文件充分包含目标标注信息，具有直观性和适应性，系统采用XML格式对注释信息进行编写。XML为可扩展标记语言，更加便于控制数据的存储和传输，其包含信息如下：
1） 标注框对应原图片的文件夹名称;
2） 对应的具体图片名称;
3） 對应图片在文件夹中的路径;
4） 图片数据库来源;
5） 对图像尺寸进行长宽高说明;
6） 图片是否用于被分割，0表示用于，1表示不用于;
7） 被标注目标的信息，包括标注目标的标签类别、拍摄角度、是否被裁剪、是否容易被识别以及标注框的左下角以及右上角坐标信息。
3 实验与仿真
3.1 实验环境与评价指标
本文实验环境如下：硬件环境为CPU Inter i5?6300HQ，4 GHz配置的计算机;软件环境为Windows 10操作系统;算法开发平台为Matlab R2016a和Pycharm 2018;所用编程语言为Matlab和Python。
在算法性能测试实验中：首先在OTB公开数据集中对跟踪算法进行性能测试，其中定性测试为通过测试集中David，Sylvester，car及trellis四个分别具有目标尺度变化、光照强度变化、目标快速移动以及运动目标旋转的视频对本文算法和对比算法进行性能评价。在定量测试时，计算算法的距离精度和重叠精度，并对这些结果取平均值得到最终精度并绘制曲线。之后对水下构筑物裂缝视频进行实际标注测试，对标注结果的准确度以及标注时长进行分析，得出系统对于水下缺陷标注的可靠性和准确性。最后对系统进行稳定性测试，稳定性测试（可靠性测试）即给系统施加一定的工作负载，通过记录各功能的响应时间以及崩溃次数，检测系统是否能够稳定运行。 3.2 算法测试实验
3.2.1 系统性能测试
将本文提出的CSR?KCF跟踪算法和3种跟踪算法（基于统计学习的Boosting跟踪算法[10?11]、基于特征的TLD跟踪算法[12?13]和KCF算法）在目标尺度变化、光照强度变化、目标快速移动以及运动目标旋转等性能上进行对比试验，进行性能评价。四种跟踪算法在视频测试集的实验结果如图4所示。
综合4个测试序列中不同跟踪算法面对干扰时的跟踪结果，综合比较可知，本文提出的优化算法在面对目标尺度变化、目标快速移动、光照强度变化等挑战时具有较优越的性能，在跟踪鲁棒性以及准确度方面明显优于其他算法;而Boosting跟踪方法由于算法的单一性以及分类器的限制性，容易发生跟踪漂移从而导致跟踪失败。将算法在OTB100公开数据集中进行定量测试，由评价指标得到各算法的距离精度曲线和重叠精度曲线，结果如图5所示。
综合精度曲线结果，得出本文提出的优化CSR?KCF算法优于对比的3种跟踪算法，算法精度最高，能够在距离阈值为20时达到距离差值基本全部小于给定阈值，在重叠阈值为0.6时，精度达到80.2%。相比于KCF算法，距离精度提高0.015，重叠精度提高0.123，具有较好的跟踪性能和较高的准确度。
3.2.2 水下构筑物裂缝缺陷标注实验
针对水下裂缝视频存在着光照强度低、视野模糊、阴影较多等干扰因素，将水下缺陷标注结果的准确度作为实验测试中较为重要的指标。在水下裂缝视频标注过程中，系统整体操作界面如图6所示。
在测试过程中，选取分别具有目标区较显著、低光照强度、弱目标、视野模糊等4种水下构筑物裂缝的视频进行具体实验，如图7所示。测试结果如表1所示。
由表1结果可知，该系统在各类对水下裂缝缺陷视频的目标标注中，仍具有较高的准确度，并且能够将标注结果按指定格式存放，用于之后的水下裂缝检测的训练数据集，标注结果如图8所示。
由图8可知，标注框在目标运动过程中始终能够对目标区域进行较准确的框选，为之后裂缝的识别训练提供质量以及数量保证。根据测试结果可知，本系统能够实现智能化标注，并具有较强的普适性以及可运行性，可为机器学习提供大量可靠样本。
3.3 系统稳定性测试
系统稳定性对操作人员有着重要意义，稳定性的好坏直接影响到系统的响应时间以及系统的运行性能，所以稳定性测试是系统测试中非常重要的一环。在具体实验过程中，对系统各个主要功能按键稳定性进行测试，分别对各按键重复测试500次，得出各按键平均响应速度以及成功次数，结果如图9所示。
根据各按键响应时间折线图可知，系统各功能响应速度较快，均不超过0.6 s，同时响应时间均在一定阈值内小范围波动，具有较高的稳定性。对图中响应时间求平均值并综合系统测试效果可得系统稳定性测试结果，如表2所示。
对表2中实验测试结果进行分析可知，本文系统在一定程度上具有抗压能力，能够快速对系统操作产生响应，所以本文设计的水下缺陷智能标注系统能够在运行上满足用户操作的基本需求，具有一定的稳定性和高可靠性，可以推广使用。
4 结 语
本文集中研究并设计了基于跟踪算法的智能标注系统，在视频标注时结合跟踪算法，从而实现对水下裂缝缺陷的智能标注，能够在视频中对目标进行准确跟踪并成功标注。
基于跟蹤算法的智能标注系统在本文中虽然已经实现基本功能，但是在系统整体性能以及智能化程度方面，还有一些需要解决的问题，如下：
1） 加入目标智能识别技术，与目标跟踪技术相结合，实现系统对视频文件完全自动地进行目标标注;
2） 增加云标注功能，实现系统数据的实时共享;
3） 对系统进行管理员操作权限设置，提高系统数据的安全可靠性。
参考文献
[1] 李永龙，王皓冉，张华.水下机器人在水利水电工程检测中的应用现状及发展趋势[J].中国水利水电科学研究院学报，2018，16（6）：586?590.
[2] SHI Pengfei， FAN Xinnan， NI Jianjun， et al. A detection and classification approach for underwater dam cracks [J]. Structural health monitoring， 2016， 15（5）： 541?554.
[3] BOBKOV V A， KUDRYASHOV A P， MEL’MAN S V， et al. Autonomous underwater navigation with 3D environment modeling using stereo images [J]. Gyroscopy and navigation， 2018， 9（1）： 67?75.
[4] 卢湖川，李佩霞，王栋.目标跟踪算法综述[J].模式识别与人工智能，2018，31（1）：61?76.
[5] HENRIQUES Jo?o F， CASEIRO Rui， MARTINS Pedro， et al. High?speed tracking with kernelized correlation filters [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 583?596.
[6] 张微，康宝生.相关滤波目标跟踪进展综述[J].中国图象图形学报，2017，22（8）：1017?1033.
[7] 樊佳庆，宋慧慧，张开华.通道稳定性加权补充学习的实时视觉跟踪算法[J].计算机应用，2018，38（6）：1751?1754.
[8] 黎健成，袁春，宋友.基于卷积神经网络的多标签图像自动标注[J].计算机科学，2016，43（7）：41?45.
[9] 刘梦迪，陈燕俐，陈蕾.图像自动标注技术研究进展[J].计算机应用，2016，36（8）：2274?2281.
[10] GRABNER H， LEISTNER C， BISCHOF H. Real?time tracking via on?line boosting [C]// Proceedings of British Machine Vision Conference. Edinburgh： BMVC， 2006： 47?56.
[11] 李义翠，亓琳，谭舒昆.结合PN约束在线半监督boosting目标跟踪算法[J].计算机工程与应用，2017，53（23）：129?134.
[12] KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking?learning?detection [J]. IEEE transactions on pattern analysis&machine intelligence， 2011， 34（7）： 23?26.
[13] 吴忠文，费树岷.基于TLD目标跟踪算法的优化[J].工业控制计算机，2018，31（4）：77?79.
转载注明来源:https://www.xzbu.com/8/view-15248439.htm
