• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

网易云课堂-深度学习笔记0x1

bigdata admin 9个月前 (03-12) 395次浏览 0个评论 扫描二维码

深度学习目前基本上已经被很多行业使用,博主每天也会逛技术论坛或者 sf 等网站都会对此有有很多的文章讨论,从工作以来由于接触的平台原因,深度学习暂时使用不到,但是技术一直在持续的发展。之前看过吴恩达教授斯坦福的机器学习课程,现在在网易的云课堂上也有了深度学习的课程,正好也当是入门,对这个技术有入门的了解,现在从事的大数据行业也会用得上。

今天快速学习了神经网络的基础课程,算是快速了解了神经网络的基本组成结构,主要包含三个方面:输入 ,隐含层 与输出。输入的数据与我们日常的数据特征一样,但是在隐含层会使用到激活函数,激活函数常见的有 sigmoid、relu 等,在视频中不建议使用 sigmod 函数,考虑到参数迭代更新的时候,sigmoid 函数在两端的导数变化较为缓慢,直接影响的神经网路参数的更新,因此这也会他的缺点。同时 sigmoid 函数还会导致梯度消失的情况,因为 sigmoid 函数的导数最大值也是 0.25,所以在反向传播链式求导的时候会出现连乘趋于 0 的现象,相反 relu 函数就不会出现这种情况,这也是 relu 作为激活函数的优化方案。

课程视频中讲解了逻辑回归的基本概念,也打算是使用逻辑回归的例子来引入神经网络,描述了逻辑回归的损失函数和代价函数,视频中是直接给出了对数损失函数,然后对所有的样本计算总的损失也就是代价,但是对于逻辑回归的理解还是可以通过其他的角度去理解,知道逻辑回归的原理。你可以从最基本的最大似然估计来推导出逻辑回归的损失函数以及代价函数的计算,然后思考最大似然估计与最小化损失函数之间的关系。另外可以考虑最大熵与逻辑回归之间的关系,这个会帮助你更好的理解逻辑回归以及其他的概念。

2018 年 3 月 12 日夜


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明网易云课堂-深度学习笔记 0x1
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!