基于卷积神经网络和胶囊神经网络的宫颈病变图像分类方法研究

来源:用户上传      作者:宋丹 张育钊

　　摘   要：为了更好地治疗宫颈癌，准确确定患者的宫颈类型是至关重要的。因此，用于检测和划分宫颈类型的自动化方法在该领域中具有重要的医学应用。虽然深度卷积神经网络和传统的机器学习方法在宫颈病变图像分类方面已经取得了良好的效果，但它们无法充分利用图像和图像标签的某些关键特征之间的长期依赖关系。为了解决这个问题，文章引入了胶囊网络（CapsNet），将CNN和CapsNet结合起来，以提出CNN-CapsNet框架，该框架可以加深对图像内容的理解，学习图像的结构化特征，并开展医学图像分析中大数据的端到端训练。特别是，文章应用迁移学习方法将在ImageNet数据集上预先训练的权重参数传输到CNN部分，并采用自定义损失函数，以便网络能够更快地训练和收敛，并具有更准确的权重参数。实验结果表明，与ResNet和InceptionV3等其他CNN模型相比，文章提出的网络模型在宫颈病变图像分类方面更加准确、有效。
　　关键词：宫颈癌;卷积神经网络;胶囊神经网络;迁移学习
　　研究表明，宫颈病变图像的分类预测对于宫颈癌症诊断具有重要的意义，准确预测宫颈病变类型可以辅助医生判断患者的病情，制定更有针对性的治疗方案，从而有助于提高癌症患者的治疗质量[1-2]。现有的宫颈病变图像分类预测方法大多局限于使用卷积神经网络，尚无使用胶囊神经网络的细胞分类预测研究。因此，本研究提出了一个基于胶囊神经网络的方法CNN-CapsNet，对宫颈病变图像进行分类预测。首先，对人工神经网络、卷积神经网络和胶囊神经网络等神经网络模型进行介绍;其次，对CNN-CapsNet算法进行详细的说明和阐述;再次，评估了CNN-CapsNet算法在宫颈病变图像分类预测中的性能;最后，通过与其他预测方法进行比较，对实验结果进行分析。
　　1    胶囊神经网络
　　胶囊神经网络是由国外学者于2017年在神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems，NIPS）上提出的，其核心思想是使用胶囊来代替卷积神经网络中的神经元，使网络可以保留对象之间详细的姿态信息和空间层级关系。胶囊神经网络弥补了卷积神经网络的缺陷。例如，在有相对位置的情况下，一旦卷积核检测到了类似于眼睛、鼻子、嘴巴这种特征，卷积神经网络将图像分类到人脸这一类。同时，一张非人脸图像虽然包含了眼睛、鼻子、嘴巴，但卷积神经网络也将它归于人脸。
　　胶囊神经网络的工作原理如图1所示，都需要经过加权求和与非线性激活步骤，但是相比于神经元，胶囊需要一个额外的转换步骤，目的是在网络中考虑对象间的空间和层级关系。
　　2    胶囊神经网络结构
　　一个简单的CapsNet网络只用到了一层胶囊，但是也很好地展现了CapsNet的工作原理，如图2所示。
　　（1）Capsule神经网络算法：动态路由算法。
　　（2）Capsule特性：一个向量神经元可包含任意个值，每个值代表了当前需要识别的物体的一个特征。（加权求和结果为标量）这个向量不仅可表示物体的特征，还可以表示物体的相对位置关系等。
　　（3）分类原理：用向量模的大小衡量某個实体出现的概率，模值越大，概率越大。
　　（4）分类依据：Digit Caps中一共3个向量，每个向量中元素的个数为16。对这3个向量求模，求得模值最大的那个向量代表的就是图片概率最大的分类。
　　网络的输入为宫颈病变图像数据，该数据来自于福建省妇幼保健医院，作为训练数据对网络进行训练。宫颈病变图像数据共分为3个类型，包括CIN1，CIN2和CIN3，图像的尺寸为256×256像素。CNN-CapsNet方法的网络结构为一个4层的结构，包括了2个卷积层和2个胶囊层，相比于原始胶囊神经网络，具有更深的网络结构，因此可以提取出更高层的宫颈病变图像语义信息，有助于图像的分类预测。除此之外，网络中还具有一个重构部分，为一个3层全连接层结构，由胶囊层的胶囊值为输入，实现对输入图像的重构，以增加网络的鲁棒性。
　　3    实验结果与分析
　　本实验是基于深度学习框架Keras，在NVIDIA RTX2070下进行的，在图形处理器（Graphics Processing Unit，GPU）下进行训练，实验效率相对于中央处理器（Central Processing Unit，CPU）要高很多，经过多次实验调整训练参数，CNN-CapsNet，ResNet[3]和InceptionV3[4-5]实验结果对比如表1所示。
　　最后利用CNN-CapsNet训练阶段学习到的模型搭建一个简易的宫颈病变图像分类系统，该系统使用python编程语言和keras + flask框架，对上传的宫颈病变图像进行预测。将预测的过程作为一个Web服务，实现在网页上上传一张宫颈病变的图像，然后返回预测结果，给出分类级别供医生参考，辅助医生诊断，考虑到阴道镜医生在长期阅读阴道镜图像时容易疲惫，从而导致不必要的漏判、误判，而系统在这方面具备优势。系统操作界面如图3所示。
　　4    结语
　　通过对胶囊神经网络的网络结构及其参数进行调整与优化，提出了一个基于胶囊神经网络的宫颈病变图像分类预测方法CNN-CapsNet，用于宫颈病变图像的分类任务。为了评估该方法在宫颈病变图像中的性能，使用宫颈病变图像数据集，对CNN-CapsNet方与ResNet和InceptionV3等其他CNN模型进行比较，发现CNN-CapsNet均取得了最佳的预测性能，此外，搭建简易的宫颈病变图像分类系统，展示了其在细宫颈病变图像预测中的有效性与实用性。 　　[參考文献]
　　[1]VACCARELLA S，LORTET T J，PLUMMER M，et al.Worldwide trends in cervical cancer incidence： impact of screening against changes in disease risk factors[J].European Journal of Cancer，2013（15）：3262-3273.
　　[2]CHEN W，ZHENG R，BAADE P，et al.Cancer statistics in China， 2015[J].CA-A Cancer Journal for Clinicians，2016（2）：115-132.
　　[3]KAIMING H，XIANGYU Z，SHAOQING R，et al.Deep residual learning for image recognition[C].Las Vegas：2016 IEEE Conference on Computer Vision and Pattern Recognition，2015.
　　[4]SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[J].CoRR，2015（2）：1512.
　　[5]SABOUR S，FROSST N，HINTON G E.Dynamic rounting between capsules[J].Advances in Neural Information Processing Systems，2017（10）：3856-3866.
　　Research on image classification of cervical lesions based on
　　convolution neural network and capsule neural network
　　Song Dan1， 2， Zhang Yuzhao1， 2*
　　（1.College of Technology， Huaqiao University， Quanzhou 362021， China;
　　2.Fujian University Engineering Research Center of Industrial Intelligent Technology and System， Quanzhou 362021， China）
　　Abstract：In order to better treat cervical cancer， it is very important to accurately determine the cervical type of patients. Therefore， the automatic methods for detecting and classifying cervical types have important medical applications in this field. Although deep convolution neural network （CNN） and traditional machine learning methods have achieved good results in cervical lesions image classification， they can not make full use of the long-term dependence between some key features of image and image tag. To solve this problem， the CapsNet is introduced. Specifically， this paper combines CNN and CapsNet to propose the CNN-CapsNet framework， which can deepen the understanding of image content， learn the structural features of images， and carry out end-to-end training of big data in medical image analysis. In particular， this paper uses the migration learning method to transfer the weight parameters trained in advance on the Imagenet dataset to CNN， and use the custom loss function， so that our network can train and converge faster and have more accurate weight parameters. The experimental results show that compared with other CNN models such as ResNet and inception V3， our network model is more accurate and effective in cervical lesions image classification.
　　Key words：cervical cancer; convolution neural network; capsule neural network; migration learning
转载注明来源:https://www.xzbu.com/8/view-15197560.htm