LDA线性判别分析–python代码实践

4,629次阅读
6条评论

1. 问题

之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。

比如回到上次提出的文档中含有“learn”和“study”的问题,使用PCA后,也许可以将这两个特征合并为一个,降了维度。但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。那么这两个特征对y几乎没什么影响,完全可以去除。

再举一个例子,假设我们对一张100*100像素的图片做人脸识别,每个像素是一个特征,那么会有10000个特征,而对应的类别标签y仅仅是0/1值,1代表是人脸。这么多特征不仅训练复杂,而且不必要特征对结果会带来不可预知的影响,但我们想得到降维后的一些最佳特征(与y关系最密切的),怎么办呢?

2.线性判别分析(二类情况)

LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践 LDA线性判别分析--python代码实践

admin
版权声明:本站原创文章,由admin2016-11-12发表,共计392字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(6条评论)
好看机智的糖糖 评论达人 LV.1
2017-03-01 04:14:46 回复

:?: 大神,图片还是看不到额 (⊙o⊙)…

    admin 博主
    2017-03-01 09:46:01 回复

    更新了下你再试试应该可以了

      好看机智的糖糖 评论达人 LV.1
      2017-03-01 09:47:04 回复

      棒棒哒 O(∩_∩)O谢谢

        admin 博主
        2017-03-01 10:16:46 回复

        我也是初学者,有问题可以留言互相学习

          好看机智的糖糖 评论达人 LV.1
          2017-03-01 11:19:46 回复

          想问一下 这个里面 sw的维度是[d,d]对么?? 我的数据就求解之后说是s是singular matrix 感觉好奇怪  ps 同样的数据用pca跑起来毫无压力  

        admin 博主
        2017-03-01 13:10:03 回复

        在这楼回复下吧,你说的Sw是d*d矩阵,这是计算代价函数中间那项,你的代码跑出来不对的话,可以的话发送到邮箱boostcj@126.com,或者本站投稿可以一起看下代码