基于引导图像滤波的素描人脸图像合成技术

来源:用户上传      作者:

　　摘  要： 针对传统人脸图像合成算法存在过度平滑的问题，文中提出一种使用引导图像滤波的改进合成算法。通过引入K近邻基准算法和机器学习等理论，测试人脸图像可以得到训练图像块的线性组合表示，从而获取初始的合成结果。并在此基础上，利用引导图像滤波的方法，增强人脸素描图像的细节特征，进一步优化人脸细节纹理的展示。相关的仿真结果表明，文中所提出的合成算法有效回避了传统合成算法过度平滑的弊端，能够合成效果更加优秀的人脸素描图像。
　　关键词： 人脸图像合成; 引导图像滤波; 人脸图像测试; 特征检测; 细节增强; 仿真实验
　　Abstract： In allusion to the excess smoothness in the traditional facial image synthesis algorithm， an improved synthesis algorithm using guided image filtering is proposed. By introducing the k?nearest?neighbor benchmark algorithm and machine learning theory， the face image is tested to get the linear combination representation of the training image block， so as to obtain the initial synthesis results. On this basis， the detail features of the face sketch image is enhanced by means of the method of guided image filtering， and the display of the face detail texture is further optimized. The simulation results show that the proposed synthesis algorithm can effectively improve the excess smoothness of the traditional synthesis algorithm， and can synthesize excellent face sketch images.
　　Keywords： facial image synthesis; guided image filtering; facial image test; feature detection; detail enhancement; simulation experiment
　　0  引  言
　　在互聯网不断发展的背景下，图像与视频处理技术获得了广泛的普及和应用，为人类的娱乐及生活带来了更加优秀的体验。与指纹、掌纹等生理特征相比，人脸图像具有容易获取和处理的优点，因此被推广到公共安全、动漫制作等领域中。在这些领域的应用中，跨越多种类别的图像转换，即跨模态人脸图像转换属于人脸图像的重点研究内容。在这些研究中，如何利用照片生成素描风格的人脸图像，逐渐成为一个热点研究方向。
　　为了解决这一问题，国内外的众多学者做出了大量值得借鉴的工作[1?3]。然而这些算法并未彻底解决这一问题[4?6]，均存在过度平滑的情况。换言之，人脸照片与素描图像之间的转换效果依旧存在较大的优化空间，本文则是致力于研究此问题[7?8]。
　　为了避免经典合成算法产生的过度平滑效果，本文选取基准算法K近邻（K?Nearest Neighbor，KNN），使用线性组合表示的方法实现图像块的估计与测试。在这些技术的基础上，基于引导图像滤波的细节增强效应，本文优化了算法的初始转化结果，显著地丰富了素描图像的细节与纹理。
　　1  基准算法
　　为了生成较好的初始合成结果，本文引入基于K近邻的基准算法。该算法包含两个关键步骤，即K近邻查询和线性组合表示计算，具体说明如下：
　　1） 算法需要将人脸照片的训练图像和测试图像划分为若干个图像块，并查询与测试图像最接近的[K]个图像块。其详细过程为：对于某张测试照片，算法平均地将其分割为若干个图像块，设某一个图像块的中心坐标点为[i，j]，这一点的像素值为[pij]。同时，搜索半径为[r]范围内的[N]个图像块，计算这些图像块与训练图像的中心像素值之间的欧氏距离，获取搜索范围内与训练图像最接近的[K]个图像块，并利用共轭梯度法计算线性映射的系数。
　　2） 利用获取的[K]个图像块的线性组合，得到初始素描图像。其详细过程为，设[Is，p]是测试图像中像素值为[p]的某一图像块估算结果，其计算公式为：
　　式中：[Bks，p]表示第[k]个与测试图像最接近的图像块;[lkp]表示其线性组合的系数。而对于任意的[p]，所有系数均满足[k=1Klkp=1]。由式（1）分析可知，线性组合系数[lkp]必然与训练和测试图像块之间的欧氏距离呈现反比的关系。因此，本文利用式（2）计算未知的线性组合系数。
　　式中：[v]表示已定义的常量;[L]表示具有归一化作用的因子，是众多项之和。其计算公式如下：
　　经过反复的迭代与优化，算法可以获取测试图像的初始合成结果，其表达式为：
　　式中：[It，p]表示测试图像的初始合成结果;[Bkt，p]（[1≤k≤K]）表示训练图像中与测试图像接近的[K]个图像块;[lkp]（[1≤k≤K]）表示初始的线性组合系数，基准算法的完整描述如下：
　　Input：训练图像[X]，测试图像[Y]，估算结果[Is，p]，图像块大小[s]，半径[r]和邻近图像块数量[K]。 　　Output：初始合成结果[It，p]。
　　1） 将训练图像[X]、测试图像[Y]划分为若干个图像块，利用式（1）计算其估算结果[Is，p];
　　2） 在测试图像[Y]中，寻找[K]个最接近的中心像素值为[p]图像块;
　　3） 利用式（2）计算测试图像的线性组合系数;
　　4） 利用式（4）计算测试图像的初始合成结果。
　　2  细节增强算法
　　使用KNN的基準算法，本文可以得到测试图像的初始合成结果。通常该合成结果存在过平滑的效果，缺少细致的人脸展示，例如眼睫毛、头发和嘴唇等人脸细节[9?10]。为了更加细致地展示人脸的诸多特征，本文引入了引导图像滤波的算法。在KNN基准算法的基础上，进一步优化算法的合成效果，增强人脸素描图像的细节。
　　2.1  引导图像滤波
　　引导图像滤波是一种新型有效的图像滤波算法，其灵感最初来自于图像的局部线性变换模型[11]。该算法的优势在于可以同时保留图像的整体结构与细节纹理，其详细说明如下：
　　通常在滤波过程中，不妨使用[u]表示引导图像，[I]表示输入图像，[O]表示输出图像。在这3个指标中，引导图像[u]与输入图像[I]是已知的，则令[i]和[j]表示像素的索引。[nij]表示引导图像[u]的滤波核函数，且该函数与输入图像[I]存在线性关系，则第[i]个像素位置的输出图像的计算公式为：
　　由于输出图像[O]与引导图像[u]之间满足局部线性关系，在以像素值[k]为中心的窗口[wk]，第[i]个像素位置（[i∈wk]）的滤波输出公式可以简化为：
　　式中，对于半径为[r]的窗口[wk]，[ak]和[bk]是不变的线性系数。其计算方式为，已知输出图像[Oi]与输入图像[Ii]，设[vi]为噪声，则存在以下公式：
　　令[ε]为正则化的参数，则最小化函数的数学定义为：
　　令[μk]表示窗口[wk]中[u]的均值，[σ2k]表示其方差，[w]表示窗口[wk]中像素个数，[Ik]表示窗口[wk]中输入图像的平均值，则其线性系数[ak]和[bk]的计算公式为：
　　经过推导、简化和变换，本文得到了线性函数的计算方法，如下：
　　此时，线性系数[ai]和[bi]的计算公式分别为：
　　2.2  算法步骤
　　基于引导图像滤波的算法原理，本文以基准算法的初始合成结果为输入。使用引导图像滤波方法进行精细地调整和优化，逐渐合成细致的素描人脸图像。根据上述研究目的，本文设计了处理算法的具体步骤：
　　Input：基准算法结果[It，p]，测试图像[Y]，搜索半径[r]，中间参数[ε]。
　　Output：最终合成图像结果[u″]。
　　1） 计算测试图像[Y]和初始结果[It，p]的均值[meanY=fmY]，[meanIt，p=fmIt，p]，同时计算两者之间的相关函数值[corI=fmY·Y]，[corIt，p=fmY·It，p];
　　2） 计算中间参数[var=corY-mean2Y]，协方差[covY=corY-meanY·meanIt，p];
　　3） 计算线性系数[a=covYvar+ε]，[b=meanIt，p-a·meanY];
　　4） 计算线性系数的均值[meana=fma]，[meanb=fmb];
　　5） 计算最终合成结果[u″=meana·Y+meanb]。
　　3  仿真与分析
　　为了验证算法的有效性，本文分别使用K近邻基准算法与引导滤波算法进行了仿真和比较。为了比较这两种算法的合成效果，本文引入香港中文大学的CUHK数据集作为算法的输入图像[12?13]。在该数据集中，训练图像的数量为88对，其他图像均为测试图像。
　　基于Matlab软件平台，本文实现了这两种算法，分别对图1给出的人脸照片进行相应的处理，得到K近邻基准算法与引导图像滤波算法的运行结果，如图2、图3所示。
　　为了对比这两种算法的运行效果，本文截取这3张人脸图像的特定位置进行更加细致的对比，如图4～图6所示。
　　由图5和图6对比可知，引导图像滤波算法的运行结果更加细腻，展示了更多人脸的细节。而基于K近邻的基准算法运行结果相对较为粗糙，其细腻度明显弱于引导图像滤波算法的运行结果。
　　4  结  语
　　基于引导图像滤波的原理，本文提出一种人脸素描图像的合成算法。该算法在K近邻基准算法的基础上，进一步丰富人脸素描图像的细节，更多地保留人类面部的细节特征。然而由于计算资源的限制，本文未使用大量的人脸照片测试文中所提出算法的稳定性，也未对该算法进行必要的推广。因此，下一步将致力于解决这一问题。
　　参考文献
　　[1] 刘光蓉，王文靖，李诗高，等.一种图像素描特效处理算法及实现[J].武汉轻工大学学报，2015，34（4）：51?55.
　　[2] 周汐，曹林.分块LBP的素描人脸识别[J].中国图象图形学报，2015，20（1）：50?58.
　　[3] 李伟红，付伟锋，张镇，等.素描梯度方向直方图用于人脸画像识别[J].仪器仪表学报，2015，36（2）：368?376.
　　[4] 吴仕超，刘满禄，朱波，等.基于图像层级的机器素描研究[J].计算机系统应用，2017，26（9）：264?268.
　　[5] 吉娜烨，柴秀娟，山世光，等.局部回归模型驱动的人脸素描自动生成[J].计算机辅助设计与图形学学报，2014，26（12）：2232?2243.
　　[6] 赵艳丹，赵汉理，许佳奕，等.基于人脸特征和线积分卷积的肖像素描生成[J].计算机辅助设计与图形学学报，2014，26（10）：1711?1719.
　　[7] 姚敏，赵振刚，高立慧，等.基于离散小波变换的图像素描生成算法[J].计算机与数字工程，2017，45（6）：1207?1210.
　　[8] 赵京晶，方琪，梁植程，等.超分辨率重建的素描人脸识别[J].中国图象图形学报，2016，21（2）：218?224.
　　[9] 曹林，李猛，张华.结合改进Surf特征的素描人脸识别[J].计算机工程与应用，2018，54（21）：188?193.
　　[10] 高晨昊.基于深度神经网络特征表达的人脸素描合成[D].上海：上海交通大学，2018.
　　[11] 孙会强，吕佳，吴秀敏.基于最小二乘法的人脸素描卡通图像算法[J].现代电子技术，2019，42（18）：143?146.
　　[12] 孙玉红，张元科，孟静，等.基于纹理和草图的图像铅笔画绘制[J].计算机应用，2016，36（7）：1976?1980.
　　[13] 黄双萍，王卫星，吴伟斌，等.基于特征融合的人脸素描自动生成系统研究[J].计算机应用与软件，2015，32（4）：175?180.
　　[14] 杨旭.人脸素描生成与加强[D].南京：东南大学，2016.
　　[15] 郑华昌.基于智能移动终端的人脸识别技术在高校课堂考勤中的应用研究：以江门职业技术学院为例[J].计算机产品与流通，2019（10）：222.
　　[16] 黄绍伦，孙东旭.人工智能在校园智慧图书馆中的应用与研究：基于人脸识别与RFID技术[J].现代信息科技，2019（19）：133?135.
　　[17] 左国才，韩东初，苏秀芝，等.基于深度学习人脸识别技术的课堂行为分析评测系统研究[J].智能计算机与应用，2019（5）：135?137.
转载注明来源:https://www.xzbu.com/8/view-15290352.htm