基于深度学习SERA-Net网络的糖网病病变检测模型研究

来源:用户上传      作者:张荣芬　宋鑫　蔡乾宏　刘宇红

　　摘 要：为了对糖尿病视网膜病变的严重程度进行更准确的分类，提出了一种基于深度学习的糖尿病视网膜病变（diabetic retinopathy， DR）程度分级模型SERA-Net。首先，对输入的眼底图像使用主干网络SE-ResNeXt-50进行特征提取，避免了网络深度和宽度不断增加所导致的模型收益递减，在保证网络参数的情况下增加了模型的准确率。其次，将提取到的特征图输入Attention-Net，利用通道注意力和空间注意力相互促进，让网络在关注有用特征信息的同时忽略无用的背景噪音信息，使得DR分级结果更准确。再次，将特征图和注意力图通过乘法操作进行融合得到掩膜，进一步将注意力图和掩膜各自全局平均池化后再将两者的池化结果相除。最后，通过Softmax函数对结果进行五分类。实验结果表明：所得模型在EyePACE数据集上测试的二次加权Kappa分数为0.760 6、分类准确度的平均值（average of classification accuracy， ACA）为0.557 4、平均ROC曲线下的面积（area under curve， AUC）为0.871 9，在糖尿病视网膜病变五分类任务里拥有较好的分类性能。
　　关键词：糖尿病视网膜病变分级;深度学习;注意力机制
　　中图分类号：TP391 文献标志码：A
　　随着信息技术和经济的快速发展，人们的生活水平越来越高，生活方式也发生了很大的变化。近年来，电子产品已经成为现代人生活中不可分割的一部分，通过手机可以点外卖、打车、看电视，通过平板电脑可以进行线上学习，通过笔记本电脑可以线上办公，可以说人们每天都会花大量时间来与电子产品打交道。但是这种长时间与手机电脑做伴的现代生活方式，导致长期运动量不足，加之高糖分、高热量的饮食习惯，导致糖尿病患病率逐年上升。糖尿病会引起多种并发症，糖尿病视网膜病变（diabetic retinopathy， DR）又称糖网病即为其中之一。它是糖尿病常见的微血管并发症，是指由糖尿病导致视网膜微血管损害所引起的一系列病变，严重会造成人视力低下及失明[1-2]。一个人患糖尿病时间越长，引发糖网病的几率就越大。研究发现，提前发现和早期预防是防止糖尿病视网膜病变造成视力障碍和失明的主要方法[3]。
　　糖网病患者视网膜上的病变包括视网膜出血、渗出物、糖尿病性黄斑水肿、棉絮斑、静脉或动脉病变等[4]。一般根据病变特征的大小、位置、类型等进行糖网病病变等级的划分，按其严重程度划分为正常、轻度、中度、重度和增殖型糖网病[5]。轻度糖网病仅能在眼底图像上观察到微血管瘤，中度糖网病患者的眼底图像上会观察到渗出和轻微出血。到了重度糖网病时期，视网膜上出现棉絮斑，微血管瘤增多，不久之后就会发展为增殖型糖网病，导致弱视及失明。目前，临床的糖网病筛查主要是依靠有经验的眼科专家对病变图像进行人工筛查，其检测流程复杂，对医生临床经验和专业素养要求较高。我国糖尿病患者群体庞大，给有限的医疗资源带来极大的压力。若能在早期对眼底图像进行自动化分析与病变分级检测，则可以为患者节省大量的时间，还可以减轻医疗体系的负担，具有重大的研究意义。
　　近年来，随着机器学习[6]及深度学习在医疗图像分类任务中取得显著成果，基于深度学习方法的糖尿病视网膜病变检测方法被不同学者相继提出。主流方法有两类：第一类是使用局部病变特征（如微动脉瘤、出血等）的位置信息来确定糖网病的等级。例如PRATT等[7]搭建了具有数据增强功能的卷积神经网络（convolutional neural networks， CNN）网络结构，能够在分类过程中识别微动脉瘤、渗出液及出血等复杂病变特征，从而实现自动诊断分类。VAN GRINSVEN等[8]通过动态选择错误分类的阴性样本进行出血检测，加快了模型训练的速度。DAI等[9]利用文本报告和彩色眼底图像的专业知识，提出了一种用于微动脉瘤检测的多模式框架。YANG等[10]使用微动脉瘤出血和渗出液的位置信息，设计了一个两阶段病变检测与分类框架。LIN等[11]提出了一种先提取病变特征信息，然后将提取的特征信息与原始图像融合的DR分级网络。第二类则是基于全局图像的监督训练分类模型来对DR进行分级。GULSHAN等[12]提出了使用Inception-V3网络对DR进行分级。BRAVO等[13]使用了VGG16和Inception-V4预训练模型，并对糖网病分类。GARGEYA等[14]设计了基于CNN的DR严重性检测模型。WANG等[15]使用注意力机制着重关注可疑区域，并根据整幅图像以及可疑的病变斑块准确预测疾病等级。连先峰等[16]提出一种基于多特征融合的深度学习视网膜病变图像识别方法，增强模型的特征提取能力。总的来说，基于局部病变特征的深度学习分类方法需要提取眼底图像中的病变特征，能为DR分级提供合理的依据。而全局图像的深度学习分类方法省去了复杂的特征提取步骤，使得模型的泛化能力更强，分类效果更好。
　　本文提出了一种新颖的DR五分类SERA-Net模型。该模型通过将ResNeXt-50、SE-Net和Attention-Net结合，实现了空间注意力机制和通道注意力机制的相互促进，使网络更加关注眼底图像的病变特征而忽略背景噪音，分级结果更准确。
　　1 病变分类的网络模型设计
　　1.1 整体结构设计
　　本文DR病变检测的五分类SERA-Net模型选用SE-ResNeXt-50为主干网络。SERA-Net模型网络结构如图1所示。
　　SE-ResNeXt-50Y构是在每个残差ResNeXt单元都结合了SE-Net模块的一种结构。对输入眼底图像预处理，用SE-ResNeXt-50结构提取图像的特征得到特征图F，之后将特征图F输入到Attention-Net模块中生成注意力图A。接着将特征图F和注意力图A逐元素相乘得到掩膜M，将注意力图A和掩膜M分别进行全局平均池化（global average pooling， GPA）操作，并将池化结果进行逐元素相除。最后逐元素相除的结果通过Softmax层输出分类的结果。整个模型可以用公式表示为
转载注明来源:https://www.xzbu.com/1/view-15422190.htm