• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

网易云课堂-0x2深度学习激活函数

ml admin 1年前 (2018-03-25) 852次浏览 0个评论 扫描二维码

:mrgreen:博主今天跑完微马拉松,回来之后躺在沙发上就睡着了,醒来洗个澡开始学习了,网易云课堂的视频最近也在看,今天来说下几个激活函数吧,在没有深度学习之前基本上常用的就是 sigmoid 函数,主要还是在 lr 中用到的比较多。

在吴恩达的 DeepLearning 视频中给出了四个激活函数,分别是 sigmoid,tanh 和 relu leakyrelu。

sigmoid 函数

导数的特性就是
\[ g'(z)=g(z)(1-g(z)) \]

tanh 函数

导数的特性
\[ g'(z)=1-g(z)^2 \]

relu 函数和 leakyrelu

relu 函数在 z>0 时的导数都是为 1,其余为 0,所以在反向传播的时候会出现梯度消失的情况。leaky relu 就是在 z<0 的时候设置一个很小的斜率,参数可以设置 0.01 等类似参数,这样你得到的导数不会是 0。

一般情况下 relu 函数的效果较好,sigmoid 会一般会用在输出层的激活函数中,在隐含层 relu 函数用的比较多,sigmoid 会出现梯度消失的情况,消失的原因是链式求导


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明网易云课堂-0x2 深度学习激活函数
喜欢 (1)
admin
关于作者:
互联网行业码农一枚/业余铲屎官/数码影音爱好者/二次元

您必须 登录 才能发表评论!