基于正则化理论的老人小孩高效SVM分类器的研究
来源:用户上传
作者:王国庆 李克祥 郑国华 邵卫华 夏文培
摘要：利用（基于保持稀疏重构的半监督字典学习）中学习得到的字典，得到区域的稀疏编码系数，用该系数作为特征能够有效地区分目标间的形状差异。由于SVM在分类过程中需要计算测试样本与所有支持向量之间的核函数，故实时性较差。所以采用基于正则化的集成线性SVM分类方法，既实现了快速分类，又能避免过拟合情况的发生，融合CNN深度学习算法更体现其良好性能。
关键词：正则化 支持向量机 分类器 机器学习
Research on High-Efficiency SVM Classifier for the Elderly and Children Based on the Regularization Theory
WANG Guoqing LI Kexiang ZHENG Guohua SHAO Weihua
XIA Wenpei
（Zhejiang Sostech Co.， Ltd.， Wenzhou， Zhejiang Province， 325000 China）
Abstract： By using the dictionary learned in （Semi-supervised dictionary learning based on preserving sparse reconstruction）， the sparse coding coefficients of the region are obtained.We can effectively distinguish the shape difference between the targets by using this coefficient as a feature. Since the SVM needs to calculate the kernel function between the test sample and all the support vectors during the classification process， the real-time performance is poor. Therefore， the integrated linear SVM classification method based on regularization not only achieves fast classification， but also avoids the occurrence of over-fitting. The fusion of CNN deep learning algorithm more reflects its good performance.
Key Words： Regularization; Support vector machine; Classifier; Machine learning
1. 基于正则化SVM分类器
对于提取的目标区域，需要对其进行快速判断是否为检测目标对象。SVM由于高准确率而成为目标识别分类的常用方法，然而其对新样本进行预测判断时，需要计算此样本与所有支持向量之间的核函数，故实时性比较差。针对上述问题，本项目拟提出一种新型的SVM分类器，以实现快速、准确分类，具体可分为以下几步。
1.1正则化理论
正则化[1]（Regularization）是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目标函数变成了原始损失函数+额外项，常用的额外项一般有两种，英文称作?1?norm?1?norm和?2?norm?2?norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数（实际是L2范数的平方）。正则化又称为规则化、权重衰减技术，在不同的方向上有不同的叫法，在数学中叫作范数。以信号降噪为例公式（1-1）：
（1-1）
其中，x（i）为原始信号，或者小波或者傅里叶等系数，R（x（i））为惩罚函数，λ是正则项，y（i）是噪声的信号， 为降噪后的输出。
范数，是衡量某个向量空间或矩阵中的每个向量长度或大小，范数的一般化定义为：对实数p>=1，范数定义如公式（1-2）：
（1-2）
L1范数：当p=1时，是L1范数其表示某个向量中所有元素绝对值的和。
L2范数：当p=2时，是L2范数表示某个向量中所有元素平方和再开根，也就欧几里得距离公式。
1.2 混合线性SVM分类器
对于提取的目标区域，需要对其进行快速判断是否为目标对象。SVM由于高准确率而成为目标识别分类的常用方法，然而其对新样本进行预测判断时，需要计算此样本与所有支持向量之间的核函数，故实时性比较差。针对上述问题，本项目拟提出一种新型的SVM分类器，以实现快速、准确分类。
混合线性模型（Mixed linear model）是方差分量模型中既含有固定效应，又含有随机效应的模型。采用最大似然估计法（maximum likelihood，ML）和约束最大似然估计法原理计算协方差矩阵。
●总的混合线性模型（Mixed effect model，MLM）的模型方程为公式（1-3）：
（1-3）
MLM在GLM基A上引入随机变量设计矩阵Z。式（1-3）中Y表示反应变量测量值的矩阵向量， 为固定效应参数设计矩阵向量，X为固定效应自变量设计矩阵向量， 为随机效应参数设计矩阵向量，Z为随机效应自变量设计矩阵向量，其中 服从均值向量为0，方差协方差矩阵向量为G的正态性分布，表示为 ， 为随机误差设计矩阵向量，服从均值向量为0，方差/协方差矩阵向量为R的正态分布，即 。
转载注明来源:https://www.xzbu.com/1/view-15424875.htm
