媒体与内容 / 在线视频
Netflix：把统一的推荐模型接入多个服务
- 企业
- Netflix
- 国家
- 美国
- 实施阶段
- 运营中
- 资料发布
- 日期依据
- 资料发布的时间，可能与启用日期不同。
- 依据核验方式
- 阅读原文正文
业务问题
Netflix首页由多个专用模型分工负责。逐一维护和改进这些模型耗费大量时间和资源。于是公司决定把会员偏好的学习集中到一处，让一个大模型把学到的东西分享给其他模型。而关于如何把大模型接入已在运行的生产系统，可参考的资料很少。
使用的技术与数据
Netflix尝试了三种接入方式，如今按用途全部在用。第一种是embedding。取最后一次用户事件的hidden state作为用户画像embedding，取item tower的权重作为物品embedding。Foundation Model每月从头预训练一次，每天用最新数据微调。通过batch推理重新生成embedding并上传到Embedding Store。由于每次重新训练embedding空间都会变化，团队使用对齐到同一空间的稳定化方法。第二种是subgraph。把Foundation Model的decoder stack放进应用模型的计算图中，直接处理原始的用户行为序列。第三种是微调。像Trending now这类更看重近期行为的版块，直接使用按产品数据微调过的模型。
成果
Netflix表示，这三种方式都已用于实际的推荐服务。embedding方式成本低、效果大，大多数工作都从这里入手。团队十分重视这一底座，还额外建设了准实时embedding生成体系，使得可以用会话内的行为更新embedding。
局限与待解问题
原文中没有观看量增长之类的服务指标。Netflix同时说明了缺点：embedding的时效性下降、subgraph会增加模型体量和推理时间、微调会增加需要维护的模型数量。
来源
- integrating netflixs foundation model into personalization applicationsnetflixtechblog.medium.com, 查阅
本案例根据公开资料整理，并非 ATF Works 客户的成果。