深度模型特征重要性的研究

136次阅读
没有评论

以前在做机器学习的时候,模型的可解释性还是比较强的,这也跟ML时代的应用的方法有很大的关系。比如最开始的时候使用LR,通过对应的权重信息可以直观的去解释对应特征的重要性。在之后Xgboost可以配套xfi 可以做特征重要性的分析,这些数模型都是可以使用这样的一些方法等,比如某天出现了异常,你可以case by case的方式去解释,而且提问的人也比较容易接受你的解释。

But 现在DL,要是大佬们问你为什么出现这个现象,你也许解释不出来,END TO END似乎这个黑盒你看不透也分析不明白。

炼丹术士想要判断特征的有效性,最简单的方法就是加上模型,然后基线与新模型作对比,然后在评测指标上如果有胜出,那么至少在线下保证是有效的,可以考虑划分一点流量做线上的AB测试。

那么怎么去想些办法去做类似的事情? 1. 使用的MLP 第一层的L2权重 1. attention中的soft权重 1. SE block这个在FiBinet和阿里的COLD都有提 1. FSCD 阿里新鲜出炉的论文,Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach

上述3和4是从其他的网上信息获取,1 有点 LR 的味道,attention的网络结构的设计天然的有这个意思。

然后网上搜索搜到谷歌的XAI 白皮书,目前还在拜读,已经感觉很牛皮了。对 DL 的可解释性做了非常详细的描述。 下面这个是下载好的XAI的PDF,有兴趣的可以看看。 ai_explainability_whitepaper_google

admin
版权声明:本站原创文章,由admin2021-08-18发表,共计699字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)