基于纹理滤波和颜色聚类的提花织物纹样自动提取方法

来源:用户上传      作者:傅艺扬　刘妹琴　樊臻　张森林

　　摘要：为了提高提花织物纹样提取的准确性，消除织物组织结构对提取结果的干扰，文章提出了一种基于纹理消除滤波算法和密度峰聚类算法的纹样提取方法。通过统计图片区域梯度信息分离提花织物组织纹理区域和图案边缘结构，并利用非极大值抑制获得纹样边缘结构作为滚动引导滤波器的引导图，经过多次迭代计算实现织物纹理滤波。然后将图片从RGB颜色空间转换为CIELab颜色空间，利用密度峰聚类算法对织物色彩空间分割聚类，最终提取出织物纹样。实验结果表明，文章提出的方法快速准确地实现了提花织物纹样的自动分割与提取。
　　关键词：提花织物;滚动引导滤波器;密度峰聚类;图像分割;颜色提取
　　中图分类号：TS941.2;TS101. 91
　　文献标志码：A 文章编号：l001-7003（2019）12-0009-07 引用页码：121102
　　织物产品内容和风格的重要组成成分包括纹样形状和色彩搭配，它们影响了消费者对纺织品的直观视觉感受，也暗含了一定的文化和美学价值[1]。同时随着高精度数码纺织的出现，纹样和颜色分析的准确和高效在现代制造技术的产品质量控制中发挥着重要作用[2]。因此织物纹样提取与分割对织物设计和生产有重要意义，分割的准确性是织物图像组织结构提取、计算机辅助纹样设计的基础[3]。
　　目前织物纹样图像提取方法主要为特征聚类方法。MO等[4]提出了基于自组织映射神经网络（ self-organizing-map，SOM）算法的织物颜色聚类方法。李俞霏等[5]利用K-means算法对织物颜色区域进行划分，并利用Calinski-Harabasz指标辅助确定聚类最佳数目，实现了对明代织物的色彩提取和纹样分割。邢乐等[6]首先利用白适应阈值算法分割被测织物图像的纹样与底纹，后利用Mean-shift聚类算法自动获取织物实物的主色数目和分割结果。
　　上述方法在织物图像预处理时一般只考虑纱线纹理和噪声对后续分割的影响，但是对于含有多种组织结构且纹样复杂的提花织物，其复杂的纹理信息会对图案区域的分离造成干扰，导致误分割。为了能得到准确的纹样提取结果，本文针对经纬纱线异色的机织提花织物提出如下方法：1）获取清晰完整的提花织物图像。2）利用双边滤波算法对采集得到的织物图像进行预处理。3）通过改进的滚动引导滤波算法（ rolling guidance filter，RGF）去除提花织物组织纹理对纹样分割的影响。4）采用密度峰聚类算法（ density peaks clustering，DPC）通过颜色空间的无监督聚类得到清晰完整的纹样提取结果。
　　1 研究框架
　　1.1 噪声平滑与纱线纹理消除
　　织物图像获取过程中引入的噪声信号和织物纱线包含的纹理结构给提取带来了不便，本文采用双边滤波器对提花织物图片进行预处理。双边滤波[7]是一种非线性滤波技术，它结合了不同点间的空间距离和像素差值信息，为了达到这一目的，双边滤波算法将颜色域的高斯滤波函数和空间域的滤波函数结合，最终在平滑噪声的同时保持图像细小的颜色边界信息完整。双边滤波算法如下式所示：式中：N（p）是以点p为中心大小为kxk的矩形窗口;I（p）代表点p处的像素值;，Ibf（p）代表点p滤波后输出的像素值;Wp用于标准化输出值。
　　1.2提花织物组织纹理去除
　　织物图像具有许多层次的结构和边缘，如纹样图案边缘和织物组织结构，组织组织纹理会对织物纹样提取的准确性产生影响，因此需要对织物组织结构进行一定的处理来消除这些影响。中值滤波算法、高斯滤波算法等常见的滤波算法对所有结构采用统一的滤波参数，无法在平滑组织结构的同时保证纹样边缘清晰。为了在去除图像纹理区域的同时，还能保证图案结构的清晰准确，本文基于滚动引导滤波算法[8]提出了一种纹理滤波方法。
　　滚动引导滤波器是一种有效的尺度感知滤波器，该算法首先利用高斯滤波去除图像组织纹理结构，之后以原始图像为参考，引入联合双边滤波公式，通过多次迭代计算恢复被模糊的纹样边缘结构。式中：G（p）为高斯模糊后点p处输出像素值;Kp用于标准化输出值。
　　通过式（4）的迭代计算，每次计算得到的图片，其纹样边缘结构清晰程度会优于上一次的计算结果，一般3～5次迭代后，图片的纹样边缘结构能恢复到原始图片水平。在迭代过程中虽然模糊的纹样边缘信息会被恢复，但是已经被完全消除的织物组织结构不会复原。式中：初始Jo为高斯模糊后图像G，Jt（p）为第t次迭代输出图点p处的像素值。
　　如图l所示，由于滚动引导滤波算法只能恢复被模糊的信息而不能恢复被消除的信息，在算法的第一步高斯滤波算法平滑图像时，一些和织物组织结构一起去除的纹样边缘信息不能在第二步时恢复，影响织物纹样提取的完整度。
　　为了能更好地保证织物图案轮廓的完整性，本文提出一个新的引导图计算方法，来代替高斯模糊图片G0该引导图可以帮助滚动引导滤波器更好的区分纹样边缘和织物组织区域，获得更清晰的纹理滤波图案。
　　1.2.1引導图的计算
　　如图2所示，纹样边缘附近的梯度信息类似阶跃信号，梯度方向大体相同：而织物组织区域的梯度信息类似震荡信号，梯度方向具有随机性。相对总变差模型（ relative total variation，RTV）[9]利用该特点，通过统计织物图片区域梯度矢量和来区分组织区域和纹样边缘。
　　1）计算织物图片每个像素点的梯度信息。将Sobel边缘检测算子与图像进行平面卷积计算，利用纵向模板和横向模板分别得到每个像素点的纵向梯度值和横向梯度值。式中：Fx、Fy分别为水平和竖直方向梯度值;♁为卷积运算符。
　　2）统计区域梯度信息，计算kxk窗口中所有像素点的梯度矢量和。式中：Kx、K，用于标准化输出值;θp为以p为中心k×k矩阵内梯度总方向;T（p）即为以p为中心kxk矩阵内梯度总强度值，T（p）越大代表点p是纹样边缘点的可能性越大。 　　3）使用非极大值抑制[10]来抑制纹样边缘附近的次强点，从而获取更精确的纹样边缘作为引导图。
　　T（p）获取的窗口梯度信息会在边缘附近产生较宽的响应，影响纹样边缘定位的准确性，需要进一步提取纹样边缘位置得到引导图TNMS。对于点p沿其窗口梯度方向θp比较其与邻近两点的大小，如果p不是其梯度方向局部最大值，则令其强度值为零。
　　T（p）为离散点组成的二维矩阵，当点p在其窗口边缘梯度方向上没有对应点时，需要利用点p周围点进行插值计算，近似得到梯度方向pe1和pe2的值。如图3所示，T（pe1）=T（pe3）×tan（90°-θp）+T（P2） x[l - tan（90°-θp）]，T（Pe2）=T（p6）×tan（90°-θp）+T（p7）×[1- tan（90°-θp）]。
　　如果p是局部最大值，即p>pe1且p>Pe2，TNMS（p）=T（p），否则TNMS（p） =0。对于窗口梯度强度值矩阵T的每个点进行非极大值抑制，得到纹样边缘强度矩阵TNMS（图4）。
　　1.2.2纹理滤波算法
　　计算得到细纹样边缘强度矩阵TNMS后，利用该矩阵代替高斯模糊图片G，即令式（4）中初始Jo=TNMS，通过多次迭代计算得到最终滤波结果。改进后的纹理滤波算法流程如图5所示。
　　从图6可以看出，TNMS更好地体现了图案的边缘信息，纹理滤波在消除织物组织结构的同时，完整且清晰地保留了织物纹样轮廓结构。
　　1.3颜色空间转换
　　RGB颜色空间利用三原色的叠加来表示色彩信息，其优点是直观易懂，但R、G、B分量高度相关且均匀性差，空间内两种颜色间的距离不能代表人眼对两种颜色的感知差异。CIELab颜色模型是一种基于人眼生理特征的模型，可以用颜色空间内两点间距离的远近来表示人眼感知这两种颜色相似程度的大小。CIELab颜色空间可以更好地表示不同像素点的色差值，因此本文将图片的颜色空间由RGB转换为CIELab，具体转换公式见文献[11]。像素点i与j间的距离和色差计算公式如下：
　　1.4密度峰聚类算法
　　本文采用密度峰聚类算法[12]对织物图片颜色进行搜索和聚类。该算法无需确定聚类数目和聚类中心，通过统计数据的密度分布对数据进行自动划分，分类准确度高，且该算法无需迭代寻求最优解，对于量级较大的图像数据处理速度较快。密度峰值聚类算法的步骤如下：
　　1）估计每个像素点的密度值。本文利用高斯核函数密度估计方法，利用所有像素点的分布信息估计像素点i的密度，可以得到更准确的估计值。式中：dij为像素点i和j的色差值，由式（11）计算得到;de为高斯函数带宽值。
　　2）计算像素点i与任何其他密度较高的点之间的最小色差δi。
　　δi= mm（ dij）
　　（13）
　　j：p i>p1
　　对于密度最大的点，δi取与其他像素点色差的最大值。
　　δi= maxi（dij）
　　（14）
　　3）花出决策图并依据决策图选取聚类中心。DPC算法将局部密度峰值点作为聚类中心，即该点密度值较大且与其他点距离较远。为了能更直观地挑选出这些点，算法以密度值pi和色差值δi为坐标绘制决策图，决策图上与两个坐标轴距离较远的点即为聚类中心点。
　　4）依据决策图选取聚类中心后，计算每个点距各个聚类中心点的距离，并将其归类到距离最近的聚类点。
　　2 实验结果及参数优化
　　2.1 图像获取
　　本文使用爱普生的Epson Perfection V500平面扫描仪，采用1200 dpi的分辨率获取提花织物图像，图7为一幅大小为1044×786像素的提花织物图像。
　　2.2双边滤波参数选择
　　通过实验发现（图8），双边滤波算法的滤波窗口大小选择max（3，max（w，h）/200），σs等于或略小于滤波窗口大小，σr取值在0. 08～0.15，可以适应大部分提花织物的预处理需求。其中w、h分别为织物图像的宽和高。
　　2.3 织物组织纹理滤波
　　首先利用边缘检测算子提取图片梯度信息。通过实验发现，常见的边缘检测算子中，Sobel算子提取出的边缘梯度信息更加完整准确且运行速度较快。之后利用式（7）～（10）提取轮廓边缘强度信息，式（7）～（8）中的窗口大小应该和织物组织纹理尺度近似，一般取Sx5。最后利用非极大值抑制得到较为准确的边缘轮廓图。图9为窗口大小5 x5、σs=5、σr=0.1的纹理滤波结果。
　　将边缘轮廓图TNMS.代入迭代式（4），经过5次迭代后得到纹理消除后的织物图，如图10所示。在进行迭代时，高斯滤波窗口大小一般与式（7）～（8）中的窗口大小相等，高斯空间带宽σs可以取等于或略小于滤波窗口大小，引导图带宽σr一般取0.1左右。
　　2.4顏色聚类与纹样分割
　　式（12）在估计像素点密度值时，要先确定参数de的大小，如过大或者过小都会影响后续颜色聚类的准确性。本文利用人眼对颜色差异的感知程度来确定de值，表l展示了NBS单位色差与人眼色彩感知关系，可以看出当色差值差异大于3NBS时，人眼可以明显分辨。工业上常常利用表l作为产品颜色质量的评价标准，即在CIELab颜色空间中，当成品颜色与样本颜色利用式（11）计算得到的色差值大于3时，认为两者是不同颜色。因此本文将de值定为3，即与像素点色差为3以内的点纳入密度计算的范围内。
　　计算出所有点的密度值和最小色差后，以Pi为横坐标，δi为纵坐标绘制决策图，如图11所示。通过图11可以得到4个聚类中心，这4个点与其他点相互独立且差异较大，并与织物所用颜色一致，可以看出算法通过决策图直观准确地获得了聚类中心。 　　对于剩余点计算其与4个聚类中心的距离，按距离远近进行分类，得到如图12所示的提花织物纹样分割结果。可以看出，最终得到的纹样提取结果轮廓完整且边缘结构准确清晰。
　　2.5 实验结果分析与对比
　　本文利用手工标注的方法对图7（a）和另外19幅经纬纱线异色的机织提花织物提取结果进行分割，作为标准分割样本，比较本文方法和其他方法对这20幅织物纹样分割的平均准确性。常见的图像分割性能检测指标[13]为均交并比（ mean intersectionover union.MIoU）和均像素精度（mean pixel accura-cy，MPA），数值越高则表示分割结果越精确。统计出每幅提花织物的MPA和MIoU值后，再计算每个方法对20幅织物分割准确度的平均值，即MAP和MIoU作为最终评价指标。式中：k表示分类数目，pij为所有分类正确的像素点数量，pij为所有被错误归为j类的i类像素点数量，pji为所有被错误归为i类的j类像素点数量。
　　实验先比较了纹理滤波对纹样提取效果的影响。表2第一行展示了在提花织物预处理时，不进行纹理滤波纹样提取的平均准确度。第二行展示了本文方法，即进行纹理滤波时，纹样提取的平均准确度。可以看到，纹理滤波有效地去除了组织纹理对纹样分割的影响，大幅提升了纹样提取的准确度。同时实验将MO等[4]、李俞霏等[5]、邢乐等[6]提出的方法与本文提出方法进行了比较，本文提出的方法相较于其他方法获得了更好的提花织物纹样提取效果。
　　3结论
　　为了消除提花织物复杂的组织结构对纹样提取准确性的影响，本文提出了一种基于纹理滤波和颜色聚类的提花织物纹样白动提取方法。该方法通过改进的滚动引导滤波算法识别和平滑织物组织结构，利用密度峰聚类算法分割图像颜色信息，最终提取出清晰完整的织物纹样。实验结果表明，该方法在提花面料颜色提取与纹样分割中具有良好的效果和实用性，与常用聚类方法相比大幅提高了纹样提取的准确性。本文提出方法适用于纹样色彩多变且组织结构复杂的提花织物，但是对于纹样颜色单一的织物，比如经纬纱线同色的提花织物无法取得理想的分割效果，纹样提取准确度会有所下降。后续工作将针对这一问题，同时结合织物颜色特征和纹理特征进行改进。
　　参考文献：
　　[1]陈洁，陈玉红.丝绸文化在丝绸品牌建设中的传承与创新[J].丝绸，2013，50（9）：70-74.
　　CHEN Jie， CHEN Yuhong. Inheritance and innovation of silkculture in silk brand building[J].
　　Joumal of Silk， 2013， 50（9）：70-74.
　　[2] ZHENG D J.A new method for automatic separation of fabriccolor[J]. Textile Research Joumal， 2015， 85 （14）： 1520-1538.
　　[3]丁莉，周群娣，眭建华.基于纹织CAD软件的提花织物纹样表现技法探讨[J].丝绸，2010 （1）：39-41.
　　DING Li， ZHOU Qundi， SUI Jianhua. Jacquard fabrie'spatterns basded on jacquard CAD software[J]. Journal ofSilk， 2010（1）：39-41.
　　[4] MO H F，XU B G，OUYANC W B，et al.Color segmentationof multi-colored faMcs using self-organizing-map basedelustering algorithm[J]. Textile Researeh Journal， 2017，87（3）：369-380.
　　[5]李俞霏，梁惠娥.明代织物纹样的智能提取：以斗牛袍为例[J].丝绸，2018，55 （11）：53-58.
　　LI Yufei， LIANC Hui'e. Intelligent extraction of pattemsfroru Ming dynasty faMcs： the case study of the hullfight rohe[J]. Journal of Silk， 2018， 55（ 11）： 53-58.
　　[6]邢乐，张杰，梁惠娥，等.传统服饰云肩实物图像主色的智能检测[J].纺织学报，2017，38 （11）：110-115，
　　XING Le， ZHANG Jie， LIANG Hui'e， et al. Intelligentinspection of dominant colors for Chinese traditional folkYunjian[J].
　　Joumal of Textile Researeh， 2017， 38（ 11）：110 -115.
　　[7]CHAUDHURY K N， SACE D， UNSER M. Fast 0（1）bilateral filtering using trigonometrie range kernels[J].Transactions on Image Processing， 2011， 20（ 12）：3376-3382.
　　[8] ZHANG Q， SHEN X Y， XU L，et al. Rolling guidance. filter[J]. Computer Vision-ECCV， 2014， 8691（3）：815-830.
　　[9] XU L，YAN Q， XIA Y， et al.Strueture extraction from texturevia relative total variation [J]. ACM Transactions onGraphies（ TOC）， 2012， 31 （6）： 1-10.
　　[10]NEUBECK A， GOOL L V. Efficient Non-MaximumSuppression [Cl.
　　Hongkong： The 18th IntemationalConference on Pattern Recognition， 2006： 850-855.
　　[11]邓廷权，张守龙.融合模糊Histon阈值和FCM的Lab空间色彩分割算法[J].计算机工程与应用，2015， 51（11）：162-166.
　　DENG Tingquan， ZHANC Shoulong. Lab spaces colorsegmentation algorithm based on fuzzy Histon threshold andFCM elustering [J].
　　Computer Engineering andApplie，ations， 2015， 51（ 11）：162-166.
　　[12] RODRIGUEZ A， LAIO A.Clustering hy fast search and findof density peaks[J].Science， 2014， 344（ 6191）：1492-1496.
　　[13] UNNIKRISHNAN R， PANTOFARUC， HEBERTM. Towardobjective evaluation of image segmentation algor ithms[J].IEEE Transactions on Pattern Analysis and MachineIntelligenee， 2007， 29（6）：929-944.
　　收稿日期：2019-03 -19;修回日期：2019-10-31
　　基金項目：江苏省科技支撑计划项目（BE2014099）
　　作者简介：傅艺扬（ 1993 ），女，硕士研究生，研究方向为织物图像处理、织物CAD系统。
转载注明来源:https://www.xzbu.com/1/view-15144823.htm