逻辑回归与最大熵之间关系

3,180次阅读
没有评论

关于这两个之间的关系推导也有很多篇文章,现在从一个稍微简单的地方推导最大熵和逻辑回归之间的关系

最大熵定义了在给定变量x之后对应的条件分布

\[ P(y|x,\theta)=\frac{exp^{\theta*f(x,y)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \]
假设我们设定y的是二元变量,也就是只有两种可能
\[ D_y=(y_0,y_1) \]
因此对应的f(x,y)如下所示:
\[ f(x,y)= \begin{cases}
g(x),\quad y=y_1 \\
0,\quad y=y_0
\end{cases} \]
由此可以推导对应的P(y=y1|x)的结果如下:
\begin{aligned}
P(y=y_1|x) &=\frac{exp^{\theta*f(x,y_1)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \\
&=\frac{exp^{\theta*g(x)}}{exp^{\theta*0}+exp^{\theta*g(x)}} \\
&=\frac{1}{exp^{-\theta*g(x)}+1}
\end{aligned}
同理y=y0时也可以推导出来,不难发现推导出来的结果与逻辑回归二分类情况一模一样
对于最大熵模型二样。当类别数只有两种的时候就退化成逻辑回归模型

admin
版权声明:本站原创文章,由 admin 2018-02-26发表,共计567字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)