共计 709 个字符，预计需要花费 2 分钟才能阅读完成。
深度学习目前基本上已经被很多行业使用，博主每天也会逛技术论坛或者sf等网站都会对此有有很多的文章讨论，从工作以来由于接触的平台原因，深度学习暂时使用不到，但是技术一直在持续的发展。之前看过吴恩达教授斯坦福的机器学习课程，现在在网易的云课堂上也有了深度学习的课程，正好也当是入门，对这个技术有入门的了解，现在从事的大数据行业也会用得上。
今天快速学习了神经网络的基础课程，算是快速了解了神经网络的基本组成结构，主要包含三个方面：输入 ，隐含层 与输出。输入的数据与我们日常的数据特征一样，但是在隐含层会使用到激活函数，激活函数常见的有sigmoid、relu等，在视频中不建议使用sigmod函数，考虑到参数迭代更新的时候，sigmoid函数在两端的导数变化较为缓慢，直接影响的神经网路参数的更新，因此这也会他的缺点。同时sigmoid函数还会导致梯度消失的情况，因为sigmoid函数的导数最大值也是0.25，所以在反向传播链式求导的时候会出现连乘趋于0的现象，相反relu函数就不会出现这种情况，这也是relu作为激活函数的优化方案。
课程视频中讲解了逻辑回归的基本概念，也打算是使用逻辑回归的例子来引入神经网络，描述了逻辑回归的损失函数和代价函数，视频中是直接给出了对数损失函数，然后对所有的样本计算总的损失也就是代价，但是对于逻辑回归的理解还是可以通过其他的角度去理解，知道逻辑回归的原理。你可以从最基本的最大似然估计来推导出逻辑回归的损失函数以及代价函数的计算，然后思考最大似然估计与最小化损失函数之间的关系。另外可以考虑最大熵与逻辑回归之间的关系，这个会帮助你更好的理解逻辑回归以及其他的概念。
2018年3月12日夜
