注册 登录
    • 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

特征选择(7)-基于树模型的选择

bigdata admin 152次浏览 0个评论 扫描二维码

上一篇文章使用基于模型的方法进行特征选择,其中主要描述了使用正则项、lasso等方法实现的特征选择,这篇文章是这个主题的最后一篇,主要是通过树模型来选择特征。

常见的决策树模型原理基本知道,从单棵树到多棵树,过渡到随机森林和GBDT,这些在实际中都有很大用途,尤其是在陈天奇博士的xgboost中,完全将决策树提升到一个新的层次。

sklearn函数剖析

 

from sklearn.ensemble import  ExtraTreesClassifier
tree=ExtraTreesClassifier()
tree.fit(irisdata.data,irisdata.target)
SelectFromModel(tree,prefit=True).transform(irisdata.data)

输出

array([[ 1.4,  0.2],
       [ 1.4,  0.2],
       [ 1.3,  0.2],
       [ 1.5,  0.2],
       [ 1.4,  0.2],
       [ 1.7,  0.4],
       [ 1.4,  0.3],
       [ 1.5,  0.2],

当然也可以使用GBDT来作为estimator

from sklearn.ensemble import  GradientBoostingClassifier
gb=GradientBoostingClassifier()
SelectFromModel(gb).fit_transform(irisdata.data,irisdata.target)

输出

array([[ 1.4,  0.2],
       [ 1.4,  0.2],
       [ 1.3,  0.2],
       [ 1.5,  0.2],
       [ 1.4,  0.2],
       [ 1.7,  0.4],
       [ 1.4,  0.3],

Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明特征选择(7)-基于树模型的选择
喜欢 (0)
[xiaocui]
分享 (0)

您必须 登录 才能发表评论!