简单背景先验下的显著性目标检测算法

来源:用户上传      作者:

　　摘  要： 针对当前算法中采用过强的背景假设和中心偏置会造成错误检测，以及借助机器学习方法会大大增加复杂度的问题，提出使用过分割后的图像4个顶点超像素块作为背景先验信息，将其与改进的高斯模型相融合，然后对其进行空间优化，并使用元胞自动机将多个尺度下的显著结果进行融合。在公开数据库上与多种主流算法进行对比评测中，所提算法表现出明显的优越性。相较于以往算法将图像四周选为背景信息，文中算法所选取的背景信息则更为简单准确，同时也降低了计算复杂度，能够快速准确地提取出显著目标区域。
　　关键词： 目标检测; 背景定位; 模型融合; 空间优化; 背景先验; 显著性计算
　　中图分类号： TN911.7?34; TP391                   文献标识码： A                    文章编号： 1004?373X（2020）07?0039?04
　　Saliency target detection algorithm based on simple background prior
　　WANG Zizhou1， WU Jiaying1， YANG Sai1， 2， DU Jun1
　　（1. School of Electrical Engineering， Nantong University， Nantong 226019， China;
　　2. Nantong Research Institute for Advanced Communication Technologies， Nantong 226019， China）
　　Abstract： A method is proposed to solve the problems that too strong background assumption and center offset used in the current algorithm may cause error detection， and that the use of machine learning may greatly increase the complexity. In the method， four vertex super?pixel blocks of the over?segmented image are taken as background prior information， and the space optimization is done for it after it is fused with the improved Gaussian model to obtain the initial significant results， which would be spatially optimized and fused by the cellular automata in multiple scales. The results of comparison and testing on four public databases show that the proposed method outperforms several mainstream algorithms， which select the all around an image as the background information. The background information selected in this paper is simpler and more accurate， and has lower computational complexity. The method can extract the saliency area quickly and accurately.
　　Keywords： target detection; background positioning; model merging; space optimization; background prior; saliency calculation
　　0  引  言
　　人类视觉在处理数量庞大的输入信息时，往往先利用自身注意机制优先处理最有价值的数据。为了使计算机能够效仿人类这种视觉注意机制，优先处理信息中的重要成分，更高效地处理输入信息，显著性目标检测模型应运而生。目前研究人员大多借鉴这种视觉注意机制构建有效的视觉显著性模型来解决计算机视觉感知首要解决的信息冗余问题。早期的显著性模型倾向于人眼视觉关注点，显著性目标检测由于能够得到较为完整的整体目标，在图像分割、目标识别和图像检索等领域有着广泛的应用而得到更多的关注。近两年来，很多研究学者力图寻找一些先验的前景或者背景知识，从而提高显著性目标检测的精度。其中，与本文最为相关的是使用背景先验的工作。自从背景先验概念的提出，图像四周区域在多个显著性检测模型中充当了背景先验。例如，方法GS[1]以图像四周区域为背景基准，定义了一种用测地线距离表示显著性的计算方法;RBD[2]和BFS[3]等方法分别利用边界连通性和边缘性进一步判定图像四周中的超像素是否属于背景;方法GL[4]先利用对比度先验计算初始显著图，在此显著图基础上分别构建背景和前景词典计算重构残差;方法BL[5]同样以图像边缘为背景，计算所有区域与背景区域的对比度，构建弱显著图，得到正负样本训练集合，进而得到强显著图。为了利用超像素之间的空间信息来进一步提高显著性检测准确率，基于图模型的传播机制也被应用于显著性检测领域中。例如，方法GBMR[6]采用4个边缘的超像素分别作为背景种子点，利用流形排序算法计算显著性;方法AMC[7]将图像显著性看成是一个随机游走的过程，把每个节点即随机游走者走到图像的边界所用的时间看作是该元素的显著性值;而方法MAP[8]则是将图像四周作为背景点改为选取图像的左边界和上边界作为图像的背景点，定義每一个节点的显著性为被图像的左边界和上边界上所有与该节点相似的虚拟吸收节点吸收的概率之和。与上述方法不同的是，本文提出将图像的4个顶点超像素块作为背景种子点从而完成背景的更精确定位，并且将利用目标性来改进高斯模型从而完成目标的更精确定位。 　　1  基于背景和前景定位的显著性计算
　　对于一幅给定的输入图像，首先，使用SLIC方法对其进行过分割，提取分割后的所有超像素块的RGB、CIELab以及LBP特征，将图像的4个顶点超像素块作为背景种子点，假设第[j]个超像素（Superpixel）记为[Sj]，[j=1，2，…，n]，背景（Background）种子点记为[Bk]，[k=1，2，3，4]。计算每个超像素与4个背景超像素之间的欧氏距离，即可得到该超像素的显著值[Sal（Sj）]，计算公式如下：
　　[Sal（Sj）=k=14d（Sj，Bk）4] （1）
　　其次，将通过文献[9]所得目标先验图的形心代入二维高斯模型进行求解，对目标位置进行优化。用目标先验图中的目标位置坐标[xM，yM]代替高斯模型的中心坐标，优化后的高斯模型计算如下：
　　[Gsz=exp-xz-xM22σ2x+yz-yM22σ2y] （2）
　　式中：[xM]和[yM]代表目标先验图的目标[I]的位置坐标，[I=max（Of（i））]，[i=1，2，…，N]，[N]是输入图像总像素点个数。优化后的高斯模型由于目标先验的作用，得到了很好的偏置效果。将上述得出的先验模型[Gs（z）]与基于背景定位的显著值相乘得到初始显著图[Ofs]，即：
　　[Ofs（Sj）=Sal（Sj）×Gs（z）（Sj）] （3）
　　2  显著性空间优化
　　将图像表示为图模型[GV，E]的形式，其中，[V]代表所有节点的集合，边[E]表示任意两个节点连接成的边，其权重可用相似度矩阵[W=[wij]m×m]表示。其中，第[ij]个元素权重[wij]的计算公式为：
　　[wij=exp-c（m）i-c（m）j22σ2，    d（m）j∈N（d（m）i）0，     其他] （4）
　　式中：[c（m）i]，[c（m）j]分別表示图像中第[i]个和第[j]个超像素的颜色均值;[dmi]和[dmj]分别为其相应的平均坐标;[Ndmi]为第[i]个超像素的[K]个空间近邻;[σ2]为方差。假设初始显著图[Ofs]中各像素的显著值矩阵为[Sfs=[Sfsrn1，Sfsrn2，…，SfsrnRn]∈R1×Rn]，空间优化后的各像素显著值矩阵为[So=[So（rn1），So（rn2），…，So（rnRn）]∈R1×Rn]，定义如下能量函数：
　　[ESo=i，jwijSornidii-Sornjdjj2+γiSfs（rni）-So（rni）2] （5）
　　式中：[So（rni）]和[So（rnj）]分别为第[i]和第[j]个超像素经过空间优化后的显著性值;[Sfsrni]为初始显著图中第[i]个超像素的显著值;[γ]控制着优化前后显著值的误差以及相邻像素之间的显著值这两项权重。对式（5）进行求导并令其为0，得到其能量最低时的最优解为：
　　[So=（D-αW）-1Sfs] （6）
　　式中：[α=1（1+μ）];[W]为权值矩阵;[D]为度矩阵;对角线上的元素为[d=jvij]。
　　3  多尺度融合
　　为了进一步提高显著结果，本文使用多层元胞自动机同步更新[10]的方法对不同尺度上的显著结果进行融合优化，对于不同尺度上的显著图，从以下几个方面分析，计算最终显著结果：
　　1） 元胞邻居。对于输入图像，首先定义图像中的每个像素点代表一个元胞，不同尺度显著图中处于相同位置的像素点互为邻居，且每个邻居对元胞下一时刻的状态的影响相同。
　　2） 先验概率。对于图像中的像素点[i]，定义其属于显著区域（Salient）的概率为[Pi∈S=Si]，属于背景区域（Background）的概率为[Pi∈B=1-Si]，为了避免归一化常数，定义先验概率比例[Ki∈S]如下：
　　[Ki∈S=Pi∈SPi∈F=Si1-Si] （7）
　　3） 后验概率。采用OTSU[11]算法产生的适应阈值对所有图像进行二值分割，记属于前景区域的像素点[i]为[ηi=+1]，属于背景区域的则为[ηi=-1]。由此可知，像素点[i]为前景时，它的邻居属于前景的概率为[λ=Pηj=+1i∈S]，同样，当像素点[i]为背景时，它的邻居属于背景的概率为[μ=Pηj=-1i∈B]。后验概率[Pi∈Sηj=+1]的计算公式为：
　　 [Pi∈Sηj=+1∝Pi∈SPηj=+1i∈S=Si?λ] （8）
　　其比例[Ki∈Sηj=+1]为：
　　[Ki∈Sηj=+1=Pi∈Sηj=+1Pi∈Bηj=+1=Si1-Si?λ1-μ] （9）
　　4） 更新机制。先验概率和后验概率的比例为：
　　[Ki∈S=Sti1-Sti] （10）
　　[Ki∈Sηj=+1=St+1i1-St+1i] （11）
　　式中[Sti]表示像素点[i]在[t]时刻的显著值。这里的显著值即为上述所得的各个尺度下的显著初值[So]，采用对数计算，得到[f：SN-1→S]的更新机制为：
　　[gSt+1m=gStm+ k=1k≠mNsgnStk-γk?1?lnλ1-λ] （12）
　　因而，[N]个尺度分割图时，[M]个时间步之后，最终的显著结果计算公式为：
　　[SM=1Nm=1NSMm] （13）
　　4  实验与分析
　　4.1  数据库及评价准则
　　本文在显著性目标检测公开数据库上与基于对比度先验的算法、基于中心先验的算法以及基于背景先验的算法进行对比。
　　1） 采用准确率?召回率（[P]?[R]）曲线对本文与其他算法进行评测。在此标准中，一般采用固定阈值分割的方法计算得到[P]?[R]曲线。用取值范围在0～255之间的固定阈值[t]对显著图进行分割，得到二值分割后的图像。 　　2） 将二值分割图像与人工标注的真值图像进行对比，得到查准率（Pre）和查全率（Re），计算公式为：
　　[Pre=x，yGTx，yBSx，yx，yBSx，y] （14）
　　[Re=x，yGTx，yBSx，yx，yGTx，y] （15）
　　式中BS和GT分别表示二值分割后的显著图像和人工标注的真值图像。随后，由上述结果计算出相对应的平均查准率和查全率，以查全率（Recall）为横坐标，以查准率（Precision）为纵坐标，绘制[P]?[R]曲线。
　　3） 使用[F]值对各个算法所得图像进行评测，计算公式如下：
　　[Fβ=1+β2×Precision×Recallβ2×Precision+Recall]     （16）
　　本文将[β2]设为0.3，为了进一步评价[F]值的综合性能，本文采用[Fβ?K]曲线对其进行评测，在区间[[0.1，6]]中以0.1为采样步长均匀选取一系列[K]的值，利用式（16） 计算不同[K]值对应的平均[F]值，然后以[K]值为横坐标，[F]值为纵坐标，画出[Fβ?K]曲线。
　　4） 本文使用了平均绝对误差（MAE）对各个显著性检测算法进行更进一步的综合评价，取未进行二值分割的连续显著图[S]与人工标注图GT所有像素之间的绝对误差的平均值，计算公式为：
　　[MAE=1W×Lx=1Wy=1LSx，y-GTx，y]   （17）
　　式中：[W]和[L]与计算[F]值时相同，分别表示[S]以及GT的宽度和长度，通常来说，MAE值越低，算法的显著效果越好。
　　4.2 定量对比
　　本文算法与背景先验算法的[P?R]曲线和[Fβ?K]曲线如图1所示。
　　当查全率为0.85时，本文算法在ASD数据库上的查准率基本保持在0.95以上，表明本文方法能够以更高的准确率达到更好的显著效果。[Fβ?K]曲线在每个[K]值处均具有最高的[F]值，说明本文算法能够以更高准确率去判断显著目标的位置，也充分说明在处理复杂图像时，精确定位弥补了过少的先验信息的不足。各种算法的平均查准率、查全率、[F]值以及MAE值如表1所示，本文算法与对比的所有算法相比，具有最高的查准率和[F]值，说明本文算法能够快速、准确地突出显著区域。而且本文算法具有最低的MAE值，对比算法中MAE值最低的RBD算法降低了42%。由以上评价标准充分说明本文算法的全面性。
　　4.3  视觉效果对比
　　本文算法与基于背景先验算法的视觉效果对比如图2所示。从图2b）可以看出，GS算法的显著图上对目标基本上都进行了显著的突出，还将少许背景信息作为显著部分进行了突出;从图2c）可以看出，RBD算法在背景先验的基础上，使背景信息更具有鲁棒性;BFS算法能够看出显著部分轮廓，但是并没有将目标全部突出，容易丢失目标的部分信息;BL和GL算法，目标位置明显;从图2j）可以看出，本文方法对前景目标以及背景目标都进行了合理的定位，能够一致高亮地突出显著部分。
　　5  结  语
　　本文提出一种基于简单背景先验下的快速显著性目标检测算法。首次仅选取图像4个顶点作为图像背景信息进行对比度计算，并与改进后的高斯模型定位的前景目标相融合，得到初始显著结果;并在此基础上，利用空间信息对显著结果进行优化;最后使用多元胞自动机将多个尺度得到的显著结果相融合，能够快速准确获取显著目标位置。虽然显著目标出现在顶点处的图像检测稍显不足，但在多个公开数据库上与多种主流算法和先进算法的对比中，仍然能够表现出明显的优越性。
　　注：本文通讯作者为杨赛。
　　参考文献
　　[1] WEI Yichen， WEN Fang， ZHU Wangjiang， et al. Geodesic saliency using background priors [C]// European Conference on Computer Vision. [S.l.： s.n.]， 2012： 29?42.
　　[2] ZHU Wangjiang， LIANG Shuang， WEI Yichen， et al. Saliency optimization from robust background detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE Computer Society， 2014： 2814?2821.
　　[3] WANG J， LU H， LI X， et al. Saliency detection via background and foreground seed selection [J]. Neurocomputing， 2015， 152： 359?368.
　　[4] TONG N， LU H， ZHANG Y， et al. Salient object detection via global and local cues [J]. Pattern recognition， 2015， 48（10）： 3258?3267.
　　[5] LU H， ZHANG X， JINQING Q， et al. Co?bootstrapping Saliency [J]. IEEE transactions on image processing， 2016， 26（1）： 414?425.
　　[6] ZHANG Lihe， YANG Chuan， LU Huchuan， et al. Ranking saliency [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（9）： 1892?1904.
　　[7] JIANG B， ZHANG L， LU H， et al. Saliency detection via absorbing Markov chain [C]// IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2014： 1665?1672.
　　[8] SUN J， LU H， LIU X. Saliency region detection based on Markov absorption probabilities [J]. IEEE transactions on image process， 2015， 24（5）： 1639?1649.
　　[9] ALEXE B， DESELAERS T， FERRARI V. Measuring the objectness of image windows [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2189?2202.
　　[10] QIN Y， LU H， XU Y， et al. Saliency detection via cellular automata [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2015： 110?119.
　　[11] OTSU N. A threshold selection method from gray?level histograms [J]. IEEE transactions on systems man & cybernetics， 2007， 9（1）： 62?66.
转载注明来源:https://www.xzbu.com/8/view-15245629.htm