为了解决上述挑战,实现推荐系统的scaling,Meta提出了一种新架构HSTU (Hierarchical Sequential Transduction Unit,层次化序列直推式单元) ,专为高基数、非平稳分布的流式推荐数据而设计。核心贡献如下[1]: 统一的生成式推荐(GR) 第一次在核心产品线替换掉了近十年推荐工业界长期使用的分层海量特征建模范式;此处个人理解...
论文是facebook(现更名meta)提出的,发表于ICML2024。 1 提出背景 论文从推荐模型底层的设计思路上进行创新,受Transformer在语言和视觉领域应用启发,提出Generative Recommenders(GRs),从用户行为的时序视角出发,将推荐问题作为序列转换任务进行建模,以生成的方式训练。这种底层范式设计上的创新,有可能带来推荐方向上的重大突...
“统一的生成式推荐”(GR) 第一次在核心产品线替换掉了近十年推荐工业界长期使用的分层海量特征的模型范式; 新的encoder (HSTU) 通过新架构 + 算法稀疏性加速达到了模型质量超过Transformer + 实际训练侧效率比FlashAttention2 (目前最快的Transformer实现)快15.2倍; 我们通过新的推理算法M-FALCON达成了推理侧700倍...
清华大学最新发布,统一生成式时序预测模型,适配多类型时间序列数据#人工智能 #机器学习 #论文 #清华 #ai 圆圆的算法笔记 1146 0 KDD’24 腾讯&厦大联合发表多模态推荐系统去噪工作,显示行为和多模态表征对齐#人工智能 #机器学习 #计算机 #互联网 #腾讯 圆圆的算法笔记 550 0 KDD2024美团提出在推荐系统中建模用...
今天就跟大家讨论2篇近期Meta发表的大模型推荐系统工作,这两篇工作设计了不同的方法,建立了推荐系统模型的scaling law。 1 大模型生成式推荐系统 论文标题:Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations ...
大模型在推荐系统首次端到端落地!Meta最新工作,生成式推荐系统颠覆传统推荐系统架构#机器学习 #人工智能 #算法 #互联网 #大模型 - 圆圆的算法笔记于20240326发布在抖音,已经收获了9599个喜欢,来抖音,记录美好生活!
确实是大模型在工业界推荐系统的范例，带了这个方向极大的信心和曙光。最近也整体看了一下这个方向的工作...
Jiaqi Zhai 是 Meta 的杰出工程师。他领导了各种开发基础技术的计划,以改善 Facebook 和 Instagram 的推荐系统,其使命是将数十亿人连接到信息丰富、有趣且富有洞察力的内容。这导致了在过去几年中推出的数百次,并取得了多项突破,包括生产中首次使用的万亿参数尺度生成推荐器。在加入 Meta 之前,佳琪在 Google 工作...
Meta 那篇生成式推荐你觉得如何?【转发】@塞冬的笔记:这段时间的个人感觉,不一定对 —— 新一轮流量商业化加速期正在到来,无论中美,各大厂会进一步提升流量变现的重要性。原因如下:1、对国内而言,流量、GMV...
【生成式 AI 的热闹一天】美国当地时间 1 月 10 日,OpenAI 推出 GPTs 商店,Meta、亚马逊、沃尔玛等大公司发布了多款生成式 AI 或者大模型产品,同日 CES 上也有多款相关产品发布。 OpenAI 原计划去年 11 月推出 GPTs 商店,但因管理层变动推迟到今年,这也让用户自定义的 GPT 数量达到了 300 万个。《晚点财...