网易云课堂-0x2深度学习激活函数

1,621次阅读
没有评论

网易云课堂-0x2深度学习激活函数

:mrgreen:博主今天跑完微马拉松,回来之后躺在沙发上就睡着了,醒来洗个澡开始学习了,网易云课堂的视频最近也在看,今天来说下几个激活函数吧,在没有深度学习之前基本上常用的就是sigmoid函数,主要还是在lr中用到的比较多。

在吴恩达的DeepLearning视频中给出了四个激活函数,分别是sigmoid,tanh和relu leakyrelu。

sigmoid函数

网易云课堂-0x2深度学习激活函数

导数的特性就是 \[ g'(z)=g(z)(1-g(z)) \]

tanh函数

网易云课堂-0x2深度学习激活函数

导数的特性 \[ g'(z)=1-g(z)^2 \]

relu函数和leakyrelu

网易云课堂-0x2深度学习激活函数

relu函数在z>0时的导数都是为1,其余为0,所以在反向传播的时候会出现梯度消失的情况。leaky relu就是在z<0的时候设置一个很小的斜率,参数可以设置0.01等类似参数,这样你得到的导数不会是0。

一般情况下relu函数的效果较好,sigmoid会一般会用在输出层的激活函数中,在隐含层relu函数用的比较多,sigmoid会出现梯度消失的情况,消失的原因是链式求导

admin
版权声明:本站原创文章,由admin2018-03-25发表,共计443字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)