导读
本次分享的核心话题是大模型在推荐系统中的应用及其独特的“伸缩法则（Scaling Law）”特性。我们先对现有的推荐模型状况进行剖析，指出我们对于大模型的期待以及所面临的挑战。接着，我们会解读大语言模型的“伸缩法则”特性，以及这一特性对推荐模型的启示。再介绍一种名为HCNet的记忆系统及其构成的CTR预估模型MemoNet。这个模型旨在让推荐模型拥有大模型的特点，增强记忆能力。我们已经通过一系列实验验证了MemoNet的效果，同时对未来的研究方向进行展望。
一、推荐模型的现状
当前的推荐模型存在过度参数化的问题，即模型参数规模远超训练样本规模。在这种情况下，单纯增大模型参数规模对效果的提升有限，推荐模型并不具备Scaling Law特性。为了改变这一现状，我们需要对推荐模型进行优化，使其具有大模型的特点。
二、大模型的启示：伸缩法则特性
大语言模型的一个显著特点就是其“伸缩法则”特性，即随着模型规模增大，模型效果持续优化。这一特性为推荐模型的设计提供了宝贵的启示。我们可以借鉴大语言模型的记忆机制，在推荐模型中引入独立的记忆模块，用于存储、学习和记忆任意组合特征，从而强化推荐模型的记忆能力。
三、HCNet与MemoNet：特征组合记忆的新机制
HCNet是一种可以灵活加入CTR模型中的通用模块，用于记忆特征组合。通过构造一阶特征的所有可能组合并输入到HCNet中，HCNet会返回这些组合特征的embedding表示。然后，我们将这些embedding表示与一阶特征的embedding融合，再输入到深度网络中进行最终预测。HCNet的核心是一个多哈希编码的记忆系统，通过寻址、记忆恢复和特征压缩三个阶段，实现特征组合的高效记忆和恢复。
四、MemoNet的效果验证
通过实验验证，MemoNet已经初步展现出Scaling Law特性，即随着模型参数规模的扩大，其效果持续增强。当HCNet作为插件嵌入到多个CTR预估模型中时，这些模型的效果都有显著提升。我们通过关键特征识别方法，有效地筛选出对模型效果影响最大的特征，进一步提升了MemoNet的效果。在线实验显示，使用HCNet的线上排序模型在CTR和用户时长上都有显著的提升。
五、结语与未来展望
HCNet通过实现一种独立高效的记忆机制，能够灵活地增强CTR模型的记忆能力。MemoNet已经初步展现出其Scaling Law特性，随着模型的发展，其效果将持续提升。未来的研究方向包括探索更加高效的记忆机制和适配的特征组合建模机制。
本次分享到此结束，感谢大家的聆听和交流。
