S3-Rec

S3-Rec

这篇文章最大的看点在于利用最大化互信息来优化模型的表示。对预训练以及推荐中多层次表达都有一定的借鉴意义。而且很惊喜的在于互信息模型的可解释性很强。

什么叫互信息:“互”是一个交互的过程,表示信息间的关联性,其实这种关联性在representation中的应用非常多,最初的embedding也是通过文本上下文关联性来得到一定的表示的,而这里的“互”不只在一个层级间,同样在于不同的层级,在推荐系统中,关注细粒度的信息,我们通常会注意到item attributes层面的内容,而本身item也是一个更上面的层次,并且如果我们看到一个item–song,那么联想到的item attributes可能有artict等,并且我们希望item attribute和item的表达贴合度越好越准确,也就是两者之间的互信息要足够高,因此这里就产生了最大化互信息的模型,意图通过缩小这些互层次之间的差距来使得各层次的表达都更为准确。

文章的还有一个亮点在于其embedding的层级表达十分清晰,并且结合了丰富的信息。其主要分为这几个部分:

  • Item embedding
  • Attribute embedding
  • 由item embedding得到的整个序列的Ei
  • 由序列间位置关系得到的position embedding
  • 最后还要结合一些attribute层级的信息

然后将互信息应用到推荐系统中,作者设计了以下4个互信息模型:

FocalLoss
BSNN
iceberg

iceberg

大数据处理平台里的n多名词对我来说都很陌生,😔这篇主要是普及的东西,还没有形成自己的体系很乱有些东西也还没来得及写上去,持续补充…..

阅读更多
图

之前关于算法的文章都是比较随意,这次想按照专题的方式来记录做算法题的一些体会和学习到的知识点。

这篇是图论相关。

阅读更多
决策树
动态规划

动态规划

动态规划,我的难点在于不知道什么时候是dp,二是转移方程我还不熟练,自己不太能写出来,最后就是代码阶段了,不过多见些题,经典的题目搞懂的话,问题应该不是很大。

阅读更多
假设检验

假设检验

假设检验是统计推断的重要形式,分为两类问题,一类是参数的假设检验,一类是分布的假设检验。作出假设、根据样本所提供的信息,运用统计分析的方法进行判断,从而提出是接受还是拒绝$H_0$的决定,这就是假设检验问题。

阅读更多
docker,k8s,虚拟机

docker,k8s,虚拟机

因为项目原因,使用过docker,tke(腾讯云)的k8s,平时用虚拟机也挺多,但是一直对容器,云服务这块的概念不是很深,这篇文章就是想要梳理一下这些概念,同时完成本地的一个k8s部署环境。

阅读更多
lq决赛题练习