• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

逻辑回归与最大熵之间关系

ml admin 4个月前 (02-26) 179次浏览 0个评论 扫描二维码

关于这两个之间的关系推导也有很多篇文章,现在从一个稍微简单的地方推导最大熵和逻辑回归之间的关系

最大熵定义了在给定变量 x 之后对应的条件分布

\[ P(y|x,\theta)=\frac{exp^{\theta*f(x,y)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \]
假设我们设定 y 的是二元变量,也就是只有两种可能
\[ D_y=(y_0,y_1) \]
因此对应的 f(x,y)如下所示:
\[ f(x,y)= \begin{cases}
g(x),\quad y=y_1 \\
0,\quad y=y_0
\end{cases} \]
由此可以推导对应的 P(y=y1|x)的结果如下:
\begin{aligned}
P(y=y_1|x) &=\frac{exp^{\theta*f(x,y_1)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \\
&=\frac{exp^{\theta*g(x)}}{exp^{\theta*0}+exp^{\theta*g(x)}} \\
&=\frac{1}{exp^{-\theta*g(x)}+1}
\end{aligned}
同理 y=y0 时也可以推导出来,不难发现推导出来的结果与逻辑回归二分类情况一模一样
对于最大熵模型二样。当类别数只有两种的时候就退化成逻辑回归模型


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明逻辑回归与最大熵之间关系
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!