论文是facebook(现更名meta)提出的,发表于ICML2024。 1 提出背景 论文从推荐模型底层的设计思路上进行创新,受Transformer在语言和视觉领域应用启发,提出Generative Recommenders(GRs),从用户行为的时序视角出发,将推荐问题作为序列转换任务进行建模,以生成的方式训练。这种底层范式设计上的创新,有可能带来推荐方向上的重大突...
序列建模、生成式自回归、特征交叉统一起来。 推荐系统的scaling law, 具体怎么scaling还需要论文的后续揭秘。感觉序列中画像、目标、item、行为的scaling是关键。这个可能需要和样本的scaling按比例放大。 一、摘要 重新定义推荐问题:论文提出了生成式推荐(Generative Recommenders)这一新范式,将推荐系统的主要任务(排名和...
之前有AutoInt等用transformer做特征自动交叉的工作,也有Transformers4Rec等把transformer用到序列建模的工作,这个工作把用户画像和用户行为甚至target信息都放到超长序列中,结合多层(应该是精排3层,召回6层,最多24层)transformer进行建模,很简洁。 看文章有可能是meta的短视频推荐业务,由于不知道线上baseline的具体情况,因...
- Meta的新推荐算法使用统一的生成式推荐方法,击败了分层架构的深度推荐系统。 - 该算法将用户画像、用户行为和目标信息放入超长序列中,结合多层transformer进行建模。 - 该算法具有更强的特征交叉能力,更充分利用信息,以及更强的序列建模能力。 - 论文中的cross attention实现方法可以将曝光和点击行为放入一条序列中,...
最近,Meta发表了两篇和推荐系统相关的大模型工作,这类工作不是讲NLP等领域的大模型应用到推荐系统,而是直接使用推荐系统的数据训练大模型。一直以来,阻碍CTR预估等模型朝大模型发展的一个阻碍是,这类模型并不存在像NLP、CV领域模型中的scaling law,即模型的效果随着模型尺寸增大、训练数据增加而效果提升,单纯增加模型...
南开大学最新研究,卷积加注意力机制构建高效多元时序预测模型,同时提取长短期和变量间关系#人工智能 #机器学习 #论文 #南开大学 圆圆的算法笔记 597 0 ICLR2024杰出论文,不要从头训练Transformer模型!#人工智能 #机器学习 #论文 #计算机 #大模型 圆圆的算法笔记 2151 0 展开 种草优质动画,现金等你拿!
大模型在推荐系统首次端到端落地!Meta最新工作,生成式推荐系统颠覆传统推荐系统架构#机器学习 #人工智能 #算法 #互联网 #大模型 - 圆圆的算法笔记于20240326发布在抖音,已经收获了9599个喜欢,来抖音,记录美好生活!
确实是大模型在工业界推荐系统的范例，带了这个方向极大的信心和曙光。最近也整体看了一下这个方向的工作...
Jiaqi Zhai 是 Meta 的杰出工程师。他领导了各种开发基础技术的计划,以改善 Facebook 和 Instagram 的推荐系统,其使命是将数十亿人连接到信息丰富、有趣且富有洞察力的内容。这导致了在过去几年中推出的数百次,并取得了多项突破,包括生产中首次使用的万亿参数尺度生成推荐器。在加入 Meta 之前,佳琪在 Google 工作...
生成式大模型代表了一种颠覆性的变化,它从传统的多级过滤判别模式转变为端到端的生成模式,为推荐系统提供了全新的数据处理和内容生成能力,代表作就是 meta 最新的论文 Trillion-Parameter Sequential Transducers for Generative Recommendations. 2. 视角 2:大语言模型如何去解“推荐”曾经的发展瓶颈 ...