• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

2020年04月4日的内容

self attention 使用的一小段经历

self attention 使用的一小段经历

引子大名鼎鼎的NLP论文《all in attention》诠释了attention的厉害。attention这种注意力机制的确在一些自然语言任务如机器翻译等取得了非凡的成就。Bert 的出现横扫业界主流评测数据集上的得分,当然这也跟transformer架构有关,这里面也是存在attention。去年组内同事花了两个晚上大约4小时给我们讲解 bert ……

机器学习id类特征实用性

机器学习id类特征实用性

ID类特征在很多应用场景下都会遇到,电商里面的物品id,信息流里面资讯id,用户的id等等。id 类特征可以直接onehot编码使用,也可以进行embedding使用,前者是巨大的稀疏onehot编码向量,后者面临embedding varaiable 问题。提到这个id类特征是我在进行baseline模型训练的时候前后对比,发现在AUC上竟然可以提升一个点……

wordpress 主题错误后台无法打开修复方案

真的是好久没有来看自己的博客,刚打开懵逼,网站报错了,随后ssh去看了下感觉像是被黑了一样,网站文件里存在好几个可疑文件且wp配置文件也被修改了,赶紧修复了下。升级Wordpress修复好了发现自己的wp版本还是4.9.12版本,估计会存在一定的安全隐患,毕竟现在都已经5.4版本了,先去官网下载最新的5,4中文版本,下载后把wp-content文件夹删掉……