• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

贝叶斯分类器概念

ml admin 3年前 (2016-12-29) 1012次浏览 0个评论 扫描二维码

好久没更新了,最近经常加班时间上也跟不上,但是每天晚上回来坚持看点书,但是自己也没动手写过,现在回头想想之前看过啥感觉有点茫然,还是得自己动手写点东西,虽然现在很晚了。。。开始步入正题

概念

讲到贝叶斯瞬间想到先验概率、后验概率和联合概率分布等相关概率概念,当然贝叶斯分类器也是基于概率的模型来分类,之前写过的混合高斯模型,就是用指定 M 个子高斯模型去表征当前的样本特征的分布,每个高斯子模型都有一个权重概率,权重概率之和为 1

假设当前样本 X 有 N 个分类类别{y1,…..yN},K(i,j)表示属于 yj 的样本被误分类为 yi 的损失,那么根据后验概率可以推断出样本 x 被分类为 yi 的期望损失

Risk(yi|x)=K(i,j)p(yi|x) j=1:N

如果上述的期望值越大表示被误分类的风险越大,因此需要最小化当前的风险,上述只是描述了一个样本的期望损失,对于整个样本集而言的话需要所有的样本都满足那个条件,因此衍生了贝叶斯判定准则:在每个样本上选择使损失最小的类别标记,也就是后验概率估计

min Risk(yi|x)

上述优化问题就是贝叶斯最优分类器

假设当前的 k(i,j)在 i=j 时为 0,其余为 1,Risk(yi|x)=1-p(yi|x),公式的推导可以这么想,就是对 x 样本正确分类的对立事件错误分类,所以直接使用 1 减去相应的正确分类就得到错误分类的概率,这就是公式的理解。

所以 min Risk(yi|x)最优化问题可以变化为 max p(yi|x),最大化后验概率问题了

后验概率在现实生活中难以直接得到,因此需要想法计算,一种直接建模,另外一种利用贝叶斯公式,考虑联合概率等

这个涉及到对样本和分类结果进行建模,然后估计参数,这就会用到最大似然估计方法,最大似然估计可以见 https://www.deeplearn.me/704.html


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明贝叶斯分类器概念
喜欢 (0)
admin
关于作者:
互联网行业码农一枚/业余铲屎官/数码影音爱好者/二次元

您必须 登录 才能发表评论!