• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

机器学习导论(3)–Logistic回归

ml admin 3年前 (2015-05-30) 1197次浏览 1个评论 扫描二维码

引言

在上一篇文章机器学习导论—梯度下降法中介绍了最小二乘法线性回归和梯度下降法,这篇文章会介绍使用 Logistic 回归。文章得到额结论可能与之前描述的相似,但是要注意本文使用的预测函数与之前是不一样的,本文使用的是非线性函数作为预测函数,欲知详情请继续往下看吧~

Logisitic 回归

下面要介绍的内容基于对目标的分类。在梯度下降法那篇博文中我们得到的预测值很多时候都是比较大数值,然而对于一个二分类问题来说,只需要预测的结果为 0 或者 1(一般情况下 0 表示负样本,1 为正样本),为了达到这样的效果我们必须要修改我们之前定义的预测函数,不能使用简单的多项式函数来表示,因此新的预测函数的定义如下所示:

上面的公式就被称为 Logistic 函数或者 Sigmoid 函数。

下面给出 Sigmoid 函数的函数示意图:

由上面的图可以看出无论横坐标 Z 如何变换,纵坐标的范围都在[0 1]范围之内,因此可以很好的用于二分类的情况。

注意:(1)读者会很好奇为什么预测函数就选择 Sigmoid 函数而不选择其他函数?

答:其实预测函数的选择并不局限于 Sigmoid 函数,只要保证函数能够平滑的从 0 到 1 变换即可,因此只要读者找到其他的函数可以达到这个要求即可,不过目前来看使用 Sigmoid 函数居多。

给出部分 Sigmoid 函数的特性:

由之前的介绍知道预测函数的范围是在[0 1],因此我们对给定的样本进行预测的概率为可以定义如下:

上面的式子使用了后验概率估计的知识,对于给定的样本数据信息 X 和θ预测当它是正样本或者负样本的概率。上面的两个式子可以简化为一个公式:

假设存在 m 个训练样本,我们可以得到参数θ的最大似然估计函数为:

为了方便最大似然估计函数的计算,我们对上述的式子两边取对数 Log 得到如下表达式:

与之前线性回归中使用的求取最大值的方法一致,使用随机梯度下降法计算步骤如下:

根据之前介绍的预测函数的相关特性,上面的结论可以变换为如下公式:

注意:上面的代价函数中的参数θ的更新过程看起来与之前的最小二乘法介绍的更新公式很相似,几乎一模一样。但是我们要注意到预测函数的定义是完全不一样的!本文的预测函数是个非线性函数!

 


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明机器学习导论(3)–Logistic 回归
喜欢 (2)
admin
关于作者:

您必须 登录 才能发表评论!

(1)个小伙伴在吐槽