• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

逻辑回归最大似然与最小化损失函数

Qt admin 8个月前 (02-26) 801次浏览 0个评论 扫描二维码

逻辑回归中极大似然函数与最小化对数损失函数本质上是一致,现在就开始论证

Log损失函数的标准形式

$$L(Y,P(Y|X))=-logP(Y|X)$$

使用极大似然估计,公式中涉及到数的连乘,如果使用对数可以将其转化为加减法,方便运算

在逻辑回归中P(Y|X)的公式定义如下所示

 
\[ P(Y=y|x)= \begin{cases}
h_\theta(x)=g(f(x))=\frac{1}{1+exp^{-f(x)}},\quad y= 1 \\
1-h_\theta(x)=1-g(f(x))=\frac{1}{1+exp^{f(x)}},\quad y=0
\end{cases}  \]
将上述式子带入到对数损失函数中可以得到
\[ L(Y,P(Y|X))= \begin{cases}
log(1+exp^{-f(x)}),\quad y= 1 \\
log(1+exp^{f(x)}),\quad y=0
\end{cases} \]
最终得到基于对数代价函数
\[ J(\theta)=-\frac{1}{m}[\sum_{i=1}^n y^{(i)}log h_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]
 
上面公式中的方括号中间的部分就是最大似然估计,所以到这里应该可以明白最小化负的似然估计就是最大熵估计


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明逻辑回归最大似然与最小化损失函数
喜欢 (2)
admin
关于作者:

您必须 登录 才能发表评论!