总体结构 重点来看下 TinyBERT,它是由华为出品,非常值得深入研究。TinyBERT 对 embeddi…
1 前言 近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域,不断刷新传统模型性能,并得到了…
很早之前看B站up主稚辉君的一些视频,有个视频说到他在华为那边的搞边缘计算,当时没有这个好奇心去查这个边缘计算…
IFTTT 在什么都讲究「智能」的今天,互联网服务日新月异的变化可能会使你眼花缭乱。社交网络、云服务、网络媒体…
提前说一句不太好听的话,其实这个论文这个环节我看的懵逼,不是太懂。公式推理看起来都是对的,从上往下推是可以推的…
这篇继续接上篇文章ips,讨论下ips如何去解决IEB问题的。论文里给出的大的标题是对IPS的描述是在一个叫“…
又耽搁了一段时间,这篇是杨康之后的第一篇吧,也是2023年的第一篇,一下子感觉激情澎湃。 今天还是继续捣鼓es…
今天继续ESCM的研究,考虑到latex打公式挺麻烦的(我偷懒),我直接粘贴论文里的图,但是我会用白话文来说明…
最近一周有个课程培训需要选一个课题进行ppt汇报,排序这块选了多目标任务,想起之前做esmm这块有点经验,然后…
前言 最近看到一篇文章,讨论如何通俗易懂的理解nce loss ?看完了之后有点新的体会,顺便唠嗑一下一些实践…
现在在做的一个项目里面的场景比较多,每一个小场景都会有一个策略,也有是模型的,目前是部分场景共用一个,但是也存…
前言 这一讲算是粗排后续的总结篇,之前三讲的时候就已经介绍了粗排层的整体设计方案。 你真的需要粗排? 一般情况…
前言 好吧,继续开整粗排,在前面的两讲中,我们得到的收获是粗排训练样本的生成。那么接下来就是讲模型训练了。今天…
前言 第二讲也是拖了蛮久的,现在也开始缓缓登场了,接这上一次的第一讲这一篇会讲粗排样本的生成,今天这一篇会讲一…
为什么突然会聊到这个话题呢,最近负责的这个项目有这个环节,也是有机会去学习这块的知识,顺便在实际的项目中实践一…
特征维度 1.架构设计和工程问题导致的特征分布不一致 在线特征大都是服务实时抽取,上下文等由redis等实时读…
前言 Embedding table 优化关键的一点是内存空间占用的优化,比如一个id类特征几个亿,维度32维…
前言 在之前的一篇文章中介绍了 Hinton 的胶囊网络,MIND 中也是使用了胶囊网络不过做了一些修改。 M…