媒体与内容 / 在线广告
Meta：升级广告推荐模型
- 企业
- Meta
- 国家
- 美国
- 实施阶段
- 运营中
- 资料发布
- 日期依据
- 资料发布的时间，可能与启用日期不同。
- 依据核验方式
- 阅读原文正文
业务问题
Meta旗下应用每天积累数十亿次用户与广告之间的互动，其中点击或转化这类有意义的信号却很稀少。系统必须同时处理性质各异的资料：广告主目标、素材格式、衡量信号和用户行为。原有做法在把长行为记录压缩成短向量的过程中，丢失了重要信号。
使用的技术与数据
GEM是面向广告推荐的基础模型，按LLM的方式设计，在数千块GPU上训练。训练素材是广告内容和用户互动记录，不仅用广告，也用对普通帖子的互动。特征被分为有顺序的行为记录和无顺序的属性，分别施加相应的attention，并同时学习两组之间的关系。训练完成后，知识被迁移到下游模型。GEM有时直接传给主力模型，有时经由各领域的基础模型再传递。在蒸馏环节，Student Adapter用最新的真实结果校正教师模型的输出。
成果
Meta表示，GEM于今年年初推出并应用到Facebook和Instagram。公司宣布，第二季度Instagram的广告转化因此提升5%，Facebook Feed的广告转化提升3%。公司说明，在相同数据和算力下，新架构的效率是原有广告排序模型的4倍。知识传递方式的效果是普通蒸馏的2倍。公司写到，第三季度又改进了架构，把相同数据和算力下获得的性能收益提高了一倍。
局限与待解问题
转化提升幅度是Meta给出的自我评估。这与自动生成广告素材的案例不同，也不是收入或净利润的增长率。
来源
本案例根据公开资料整理，并非 ATF Works 客户的成果。