逻辑回归最大似然与最小化损失函数

4,409次阅读
没有评论

逻辑回归中极大似然函数与最小化对数损失函数本质上是一致,现在就开始论证

Log损失函数的标准形式

$$L(Y,P(Y|X))=-logP(Y|X)$$

使用极大似然估计,公式中涉及到数的连乘,如果使用对数可以将其转化为加减法,方便运算

在逻辑回归中P(Y|X)的公式定义如下所示

 
\[ P(Y=y|x)= \begin{cases}
h_\theta(x)=g(f(x))=\frac{1}{1+exp^{-f(x)}},\quad y= 1 \\
1-h_\theta(x)=1-g(f(x))=\frac{1}{1+exp^{f(x)}},\quad y=0
\end{cases}  \]
将上述式子带入到对数损失函数中可以得到
\[ L(Y,P(Y|X))= \begin{cases}
log(1+exp^{-f(x)}),\quad y= 1 \\
log(1+exp^{f(x)}),\quad y=0
\end{cases} \]
最终得到基于对数代价函数
\[ J(\theta)=-\frac{1}{m}[\sum_{i=1}^n y^{(i)}log h_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]
 
上面公式中的方括号中间的部分就是最大似然估计,所以到这里应该可以明白最小化负的似然估计就是最大熵估计

admin
版权声明:本站原创文章,由 admin 2018-02-26发表,共计563字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)