• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

LDA线性判别分析–python代码实践

ml admin 2年前 (2016-11-12) 1519次浏览 6个评论 扫描二维码

1. 问题

之前我们讨论的 PCA、ICA 也好,对样本数据来言,可以是没有类别标签 y 的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用 PCA 来降维,但 PCA 没有将类别标签考虑进去,属于无监督的。

比如回到上次提出的文档中含有“learn”和“study”的问题,使用 PCA 后,也许可以将这两个特征合并为一个,降了维度。但假设我们的类别标签 y 是判断这篇文章的 topic 是不是有关学习方面的。那么这两个特征对 y 几乎没什么影响,完全可以去除。

再举一个例子,假设我们对一张 100*100 像素的图片做人脸识别,每个像素是一个特征,那么会有 10000 个特征,而对应的类别标签 y 仅仅是 0/1 值,1 代表是人脸。这么多特征不仅训练复杂,而且不必要特征对结果会带来不可预知的影响,但我们想得到降维后的一些最佳特征(与 y 关系最密切的),怎么办呢?

2.线性判别分析(二类情况)


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明LDA 线性判别分析–python 代码实践
喜欢 (4)
admin
关于作者:

您必须 登录 才能发表评论!

(6)个小伙伴在吐槽
  1. :?: 大神,图片还是看不到额 (⊙o⊙)…
    • 更新了下你再试试应该可以了
      admin2017-03-01 09:46
      • 棒棒哒 O(∩_∩)O谢谢
        • 我也是初学者,有问题可以留言互相学习
          admin2017-03-01 10:16
          • 想问一下 这个里面 sw的维度是[d,d]对么?? 我的数据就求解之后说是s是singular matrix 感觉好奇怪  ps 同样的数据用pca跑起来毫无压力  
        • 在这楼回复下吧,你说的Sw是d*d矩阵,这是计算代价函数中间那项,你的代码跑出来不对的话,可以的话发送到邮箱boostcj@126.com,或者本站投稿可以一起看下代码
          admin2017-03-01 13:10