逻辑回归最大似然与最小化损失函数

3,284次阅读
没有评论

逻辑回归中极大似然函数与最小化对数损失函数本质上是一致,现在就开始论证

Log损失函数的标准形式

$$L(Y,P(Y|X))=-logP(Y|X)$$

使用极大似然估计,公式中涉及到数的连乘,如果使用对数可以将其转化为加减法,方便运算

在逻辑回归中P(Y|X)的公式定义如下所示

  \[ P(Y=y|x)= \begin{cases} h_\theta(x)=g(f(x))=\frac{1}{1+exp^{-f(x)}},\quad y= 1 \\ 1-h_\theta(x)=1-g(f(x))=\frac{1}{1+exp^{f(x)}},\quad y=0 \end{cases}  \] 将上述式子带入到对数损失函数中可以得到 \[ L(Y,P(Y|X))= \begin{cases} log(1+exp^{-f(x)}),\quad y= 1 \\ log(1+exp^{f(x)}),\quad y=0 \end{cases} \] 最终得到基于对数代价函数 \[ J(\theta)=-\frac{1}{m}[\sum_{i=1}^n y^{(i)}log h_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]   上面公式中的方括号中间的部分就是最大似然估计,所以到这里应该可以明白最小化负的似然估计就是最大熵估计

admin
版权声明:本站原创文章,由admin2018-02-26发表,共计563字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)