逻辑回归与最大熵之间关系

1,628次阅读
没有评论

关于这两个之间的关系推导也有很多篇文章,现在从一个稍微简单的地方推导最大熵和逻辑回归之间的关系

最大熵定义了在给定变量x之后对应的条件分布

\[ P(y|x,\theta)=\frac{exp^{\theta*f(x,y)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \] 假设我们设定y的是二元变量,也就是只有两种可能 \[ D_y=(y_0,y_1) \] 因此对应的f(x,y)如下所示: \[ f(x,y)= \begin{cases} g(x),\quad y=y_1 \\ 0,\quad y=y_0 \end{cases} \] 由此可以推导对应的P(y=y1|x)的结果如下: \begin{aligned} P(y=y_1|x) &=\frac{exp^{\theta*f(x,y_1)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \\ &=\frac{exp^{\theta*g(x)}}{exp^{\theta*0}+exp^{\theta*g(x)}} \\ &=\frac{1}{exp^{-\theta*g(x)}+1} \end{aligned} 同理y=y0时也可以推导出来,不难发现推导出来的结果与逻辑回归二分类情况一模一样 对于最大熵模型二样。当类别数只有两种的时候就退化成逻辑回归模型

admin
版权声明:本站原创文章,由admin2018-02-26发表,共计567字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)