基于多元正态概率模型的贝叶斯决策理论浅析

来源:用户上传      作者: 樊　超

　　摘要: 在模式识别中,贝叶斯决策理论以其分类错误发生概率最小的特点得到了广泛应用。本文根据原始的贝叶斯公式,分两种情况推导了基于多元正态概率模型的贝叶斯判别函数及其决策面,并通过实验验证和分析了所推导的结论。
　　关键词: 贝叶斯决策;多元正态概率模型; 决策面
　　
　　1 贝叶斯决策理论概述
　　模式识别是通过对待识别模式的多种观察或测量,将观测数据构成其特征向量,作为输入,然后按照某一种判决法则来进行分类的。然而客观实际是十分复杂的,许多现象在观察与测量时都具有某种不确定性和随机性,如卫星遥感影像。由于这种不确定性,各个类别之间呈现混淆、混沌的表象,给分类带来了困难。这时,需要采取统计的方法,对模式的统计特性进行观测,并采用统计判别的分类器,分析归属概率的大小,按照某种方法进行分类。贝叶斯决策理论和方法就是在分类错误发生概率最小的前提下进行分类的一种统计模式识别的基本方法。
　　在实际工作中常常讨论正态分布模式。由于很多随机变量都具有正态分布或近似正态分布,而正态分布概率模型在数学上实现也比较方便,所以以正态分布的概率密度函数作为分类器设计的依据,并按照正态分布概率模型抽取样本集和进行样本分析是可行的。
　　2 多元正态概率模型的贝叶斯判别函数与决策面
　　由最小错误率贝叶斯判别函数取对数形式,得
　　当x的类概率密度函数服从多元正态概率模型时,x的类概率密度函数为:
　　
　　 p (x | wi) = 1/ [(2π)n/2 |∑i|1/2]exp{-1/2 (x-u i)T ∑i-1 (x-u i)} 式(2)
　　
　　代入式(1),有
　　式(3)
　　式(3)即为多元正态概率模型的贝叶斯判别函数,其决策面方程应是,即
　　式(4)
　　
　　2.1协方差矩阵相等
　　当各类协方差矩阵相等时,从几何上看,相当于各类样本集中于以该类均值点为中心的同样大小和形状的超椭球内。
　　这时,为了对x进行分类,只要计算出x到每类的均值点的马氏距离平方,最后把x归于距离最小的类别。这种情况下的贝叶斯判别函数是一个线性判别函数,二维情况的决策面是一条直线。
　　
　　2.2 协方差矩阵不相等
　　当各类协方差矩阵不相等时
　　这时,对于某一模式x计算判别函数的值,最后把x归于判别函数最大的类别。这种情况下的贝叶斯判别函数是一个非线性判别函数,二维情况的决策面是曲线。
　　3 实验与分析
　　3.1 实验数据
　　有训练集资料矩阵表1所示,现已知样本总数N=9、每类样本数N1=N2=N3=3、维数n=2、类别数M=3。试在直角坐标系中分别绘出以下两种情况的分界线。
　　三类协方差相等;
　　三类协方差不等。
　　3.2 程序运行结果与分析
　　3.2.1 协方差相等时的分界线
　　3.2.2 协方差不等时的分界线
　　程序的基本思想就是对坐标系范围内的所有点进行遍历,依次代入判别函数。当某一点代入判别函数后,任意两个判别函数的差值足够小时,认为该点就是这两类的分界线,并把这个点画出来。可以看出,在二维情况下,当协方差相等时,三个类别的决策面为三条直线;而当协方差不等时,三个类别的决策面为曲线,从而从实验方面验证了理论推断。在实现的过程中还应给马氏距离R设定阈值,屏蔽掉不合理的R值,如超出坐标范围等。
　　
　　参考文献:
　　[1]舒宁,马洪超,孙和利. 模式识别的理论与方法[M]. 武汉:武汉大学出版社,2004.
　　[2]边肇祺,张学工. 模式识别(第二版)[M]. 北京:清华大学出版社,2000.
　　
　　作者简历:
　　樊超,女,生于1988年,辽宁抚顺人。现就读于武汉大学遥感信息工程学院,精通钢琴、架子鼓、吉他等乐器,专业成绩优异,曾获武汉大学新生奖学金以及历年奖学金,全国大学生英语竞赛三等奖。勤于研究,目前正协助老师做网络GIS相关研究工作。

转载注明来源:https://www.xzbu.com/2/view-427396.htm