• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

beta分布原理

Alg admin 来源:小杰 3个月前 (09-08) 145次浏览 0个评论 扫描二维码

说道这个分布,之前有段时间再看 LDA 的原理了解过,最近组内用人用贝叶斯和威尔逊区间等用于 CTR 平滑做推荐排序,目前 ABTEST 效果不是太好,提升也不是太大。然后分析了下不好的原因,顺带了解了下其中涉及到的这个 BETA 分布内容。

相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了,但是却鲜少有人去介绍beta 分布的。

用一句话来说,beta 分布可以看作一个概率的概率分布,当你不知道一个东西的具体概率是多少时,它可以给出了所有概率出现的可能性大小。

举一个简单的例子,熟悉棒球运动的都知道有一个指标就是棒球击球率(batting average),就是用一个运动员击中的球数除以击球的总数,我们一般认为 0.266 是正常水平的击球率,而如果击球率高达 0.3 就被认为是非常优秀的。

现在有一个棒球运动员,我们希望能够预测他在这一赛季中的棒球击球率是多少。你可能就会直接计算棒球击球率,用击中的数除以击球数,但是如果这个棒球运动员只打了一次,而且还命中了,那么他就击球率就是 100%了,这显然是不合理的,因为根据棒球的历史信息,我们知道这个击球率应该是 0.215 到 0.36 之间才对啊。

对于这个问题,我们可以用一个二项分布表示(一系列成功或失败),一个最好的方法来表示这些经验(在统计中称为先验信息)就是用 beta 分布,这表示在我们没有看到这个运动员打球之前,我们就有了一个大概的范围。beta 分布的定义域是(0,1)这就跟概率的范围是一样的。

接下来我们将这些先验信息转换为 beta 分布的参数,我们知道一个击球率应该是平均 0.27 左右,而他的范围是 0.21 到 0.35,那么根据这个信息,我们可以取α=81,β=219

之所以取这两个参数是因为:

  • beta 分布的均值是\( \frac{a}{a+b}=\frac{81}{81+219}=0.27\)
  • 从图中可以看到这个分布主要落在了(0.2,0.35)间,这是从经验中得出的合理的范围。

在这个例子里,我们的 x 轴就表示各个击球率的取值,x 对应的 y 值就是这个击球率所对应的概率。也就是说 beta 分布可以看作一个概率的概率分布。

那么有了先验信息后,现在我们考虑一个运动员只打一次球,那么他现在的数据就是”1 中;1 击”。这时候我们就可以更新我们的分布了,让这个曲线做一些移动去适应我们的新信息。beta 分布在数学上就给我们提供了这一性质,他与二项分布是共轭先验的(Conjugate_prior)。所谓共轭先验就是先验分布是 beta 分布,而后验分布同样是 beta 分布。结果很简单:

\mbox{Beta}(\alpha_0+\mbox{hits}, \beta_0+\mbox{misses})

$$Beta(a_0+hits,b_0+misses)$$

中\(α_0\)和\(β_0\)是一开始的参数,在这里是 81 和 219。所以在这一例子里,α增加了 1(击中了一次)。β没有增加(没有漏球)。这就是我们的新的 beta 分布 Beta(81+1,219),我们跟原来的比较一下:

可以看到这个分布其实没多大变化,这是因为只打了 1 次球并不能说明什么问题。但是如果我们得到了更多的数据,假设一共打了 300 次,其中击中了 100 次,200 次没击中,那么这一新分布就是:

$$beta(81+100,200+219)$$

注意到这个曲线变得更加尖,并且平移到了一个右边的位置,表示比平均水平要高。

一个有趣的事情是,根据这个新的 beta 分布,我们可以得出他的数学期望为:

$$\frac{82+100}{82+100+200+219}=0.303$$

,这一结果要比直接的估计要小 0.333 。你可能已经意识到,我们事实上就是在这个运动员在击球之前可以理解为他已经成功了 81 次,失败了 219 次这样一个先验信息。

因此,对于一个我们不知道概率是什么,而又有一些合理的猜测时,beta 分布能很好的作为一个表示概率的概率分布。

beta 分布与二项分布的共轭先验性质二项分布二项分布即重复 n 次独立的伯努利试验。在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,则这一系列试验总称为 n 重伯努利实验,当试验次数为 1 时,二项分布服从 0-1 分布

二项分布的似然函数:

beta 分布

在 beta 分布中,B 函数是一个标准化函数,它只是为了使得这个分布的概率密度积分等于 1 才加上的。

贝叶斯估计我们做贝叶斯估计的目的就是要在给定数据的情况下求出θ的值,所以我们的目的是求解如下后验概率:

注意到因为 P(data)与我们所需要估计的θ是独立的,因此我们可以不考虑它。

我们称 P(data|θ)为似然函数,P(θ)为先验分布

共轭先验现在我们有了二项分布的似然函数和 beta 分布,现在我们将 beta 分布代进贝叶斯估计中的 P(θ)中,将二项分布的似然函数代入 P(data|θ)中,可以得到:

我们设 a′=a+z,b′=b+N−z
最后我们发现这个贝叶斯估计服从 Beta(a’,b’)分布的,我们只要用 B 函数将它标准化就得到我们的后验概率:


参考资料:1.Understanding the beta distribution (using baseball statistics)
2.20 – Beta conjugate prior to Binomial and Bernoulli likelihoods

 


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明beta 分布原理
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!