2020年04月4日的内容
self attention 使用的一小段经历
引子大名鼎鼎的NLP论文《all in attention》诠释了attention的厉害。attention这种注意力机制的确在一些自然语言任务如机器翻译等取得了非凡的成就。Bert 的出现横扫业界主流评测数据集上的得分，当然这也跟transformer架构有关，这里面也是存在attention。去年组内同事花了两个晚上大约4小时给我们讲解 bert ……
04-04 立刻查看
机器学习id类特征实用性
ID类特征在很多应用场景下都会遇到，电商里面的物品id，信息流里面资讯id,用户的id等等。id 类特征可以直接onehot编码使用，也可以进行embedding使用，前者是巨大的稀疏onehot编码向量，后者面临embedding varaiable 问题。提到这个id类特征是我在进行baseline模型训练的时候前后对比，发现在AUC上竟然可以提升一个点……
04-04 立刻查看
wordpress 主题错误后台无法打开修复方案
真的是好久没有来看自己的博客，刚打开懵逼，网站报错了，随后ssh去看了下感觉像是被黑了一样，网站文件里存在好几个可疑文件且wp配置文件也被修改了，赶紧修复了下。升级Wordpress修复好了发现自己的wp版本还是4.9.12版本，估计会存在一定的安全隐患，毕竟现在都已经5.4版本了，先去官网下载最新的5,4中文版本，下载后把wp-content文件夹删掉……
04-04 立刻查看