为生成式推荐构建和标记化分布式用户兴趣上下文

论文信息

标题: Structuring and Tokenizing Distributed User Interest Context for Generative Recommendation

作者: Ruizhong Qiu, Yinglong Xia, Dongqi Fu, et al.

发布日期: 2026-06-18

arXiv ID: 2606.20554v1

PDF 链接: 下载 PDF

生成式推荐的新范式：G2Rec 如何构建和标签化分布式用户兴趣上下文

论文背景与研究动机

在当今工业级推荐系统中，生成式推荐正逐渐成为一种极具潜力的新范式。其核心思想借鉴了大语言模型的自回归特性，将用户的历史行为序列作为输入，直接预测用户下一次可能交互的物品。这种方法的优势在于能够捕捉用户行为的时序依赖性，从而提供更个性化和响应更快的用户体验。

然而，生成式推荐面临一个根本性挑战：如何将复杂的用户行为上下文和物品语义信息有机地注入推荐模型。当前的解决方案主要分为两条技术路线，但它们各自存在明显的局限性。

第一条路线是基于图的集成方法。这类方法试图利用用户-物品关系图来捕捉协同信号。图序列化方法将图转化为序列，但当序列过长时会导致大语言模型计算成本急剧上升；图神经网络方法虽然能感知图结构，但通常只能利用局部子图信息，无法充分利用全图的结构化知识。

第二条路线是语义标签化，即将每个物品表示为若干语义标签。然而，这类方法通常依赖启发式学习目标，缺乏对语义标签的显式监督信号，从而导致学习到的语义表征不够精确，甚至次优。

针对上述双重困境，来自伊利诺伊大学厄巴纳-香槟分校和 Meta 的研究团队提出了 G2Rec（Sparse Co-Engagement Graph Schema for Generative Recommendation）——一个可伸缩的框架，它首次统一了全局图协同建模与语义标签化，专门面向工业规模的生成式序列推荐。

核心方法：三步构建从图到标签的桥梁

G2Rec 的整体架构分为三个精心设计的阶段，形成一个从原始用户行为数据到可用于训练生成推荐模型的兴趣感知序列的完整流水线。

第一步：构建稀疏的协同互动图

传统的基于用户-物品二部图的方法在大规模用户基数的场景下计算成本极高。G2Rec 的解决方案是消除用户节点，直接构建物品-物品协同互动图。其核心直觉是：如果两个物品被同一用户交互过，它们之间就存在一条协同互动边。这张图天然地编码了用户兴趣的转移模式：用户的交互历史序列可以被视为图上的一条路径。

然而，原始协同互动图的边数可能高达 $O(M^2)$（$M$ 为总交互数），这在工业场景中是无法接受的。为此，G2Rec 采用了一种理论上有保障的图稀疏化策略。论文中的定理 2 证明：仅需采样 $O(M \log M)$ 条边，就能以高概率近似保留原始图的拉普拉斯矩阵——这是图的谱结构信息的核心载体。具体来说，对于每个用户的交互序列，它只随机采样 $m$ 条协同互动边，而非全连接该序列中的所有物品对。这使得图的规模保持在线性对数级别，为后续的可伸缩处理奠定了基础。

第二步：可微的软图聚类算法

获得稀疏的协同互动图后，下一个关键问题是如何从图中提取用户兴趣原型。直觉上，图中经常被共同交互的物品群组可能代表了某种潜在的兴趣类别。传统的图聚类算法（如 Louvain、Leiden）假定每个节点只属于一个簇，但这在现实推荐场景中是不成立的——一个物品完全可能同时满足多种兴趣。

为了更真实地建模这种复杂的兴趣分布，G2Rec 引入了软图聚类。每个物品 $i$ 被赋予一个在 $C$ 个兴趣原型上的概率分布 $p_i \in \mathbb{R}^C$，称为该物品的兴趣画像。为了高效且可微地优化这个分布，研究者提出了一个重要的创新：软模块度。他们证明，经典的图模块度 $Q_{\text{hard}}$ 在软隶属度分布 $P$ 下的期望存在一个简洁的闭型表达式：

$$Q_{\text{soft}}(P) = \left(\frac{1}{|\mathcal{E}|}\sum_{(i,j)\in\mathcal{E}} p_i^\top p_j\right) - \gamma \frac{\|P^\top k\|_2^2}{|\mathcal{E}|^2}$$

这个目标函数完全可微，并且能够非常直观地解释：第一项鼓励频繁协同互动的物品对具有更高的共簇概率（$p_i^\top p_j$ 大），第二项则根据零模型理论惩罚过度的全局共簇。更重要的是，当 $P$ 的每一行仅保留 $\rho$ 个非零项时，该目标函数的计算复杂度仅为 $O(\rho M \log M)$，在 GPU 上即可高效执行。

第三步：兴趣画像的标签化与序列生成

得到物品的兴趣画像 $p_i$ 和各兴趣原型（簇中心）的嵌入 $v_a$ 后，G2Rec 定义了一种全新的用户序列格式。对于用户历史交互序列 $[i_1, \dots, i_N]$，它被转换为一个交替出现的兴趣转移序列：

$$\mathcal{R}_u := [\langle\text{BOS}\rangle, x_{i_1}, y_{i_1}, \dots, x_{i_N}, y_{i_N}]$$

其中，$x_{i_t}$ 是物品 $i_t$ 的嵌入向量，而 $y_{i_t} = \sum_{a=1}^C p_{i_t, a} v_a$ 则是该物品的兴趣画像标签——它是该物品所属兴趣原型嵌入的加权平均。这种设计使得生成式推荐模型不仅能学习 “用户接下来会看什么物品”，还能同时学习 “用户接下来会转向什么兴趣”。

训练时，模型在每一步不仅要预测下一个物品（$\mathcal{L}_{\text{item}}^t$），还要以物品的兴趣画像为软标签，预测用户当前的兴趣分布（$\mathcal{L}_{\text{profile}}^t$）。总损失为两者的加权组合：$\mathcal{L}^t = \mathcal{L}_{\text{item}}^t + \lambda \mathcal{L}_{\text{profile}}^t$。这种多任务学习机制无需任何预先定义的用户兴趣标签，完全由协同互动图的结构自主涌现出兴趣语义，巧妙地解决了监督信号缺失的难题。

创新点与核心贡献

G2Rec 的创新是多层次的，其贡献可以归纳为以下几点。首先是架构创新：它是首个将稀疏化图协同建模与软语义标签化统一的生成式推荐框架，克服了长期以来两类方法各自为战、无法同时利用全局行为结构和语义信息的困境。其次是理论贡献：证明了用 $O(M \log M)$ 条边即可保谱地稀疏化协同互动图，并提出了可微的软模块度目标函数，为后续研究提供了坚实的理论基础。再者是算法设计：设计了时间复杂性为 $O(\rho M \log M)$ 的软图聚类算法，使其能够通过 GPU 加速，真正具备工业级可伸缩性。最后是应用实践：提出了 “物品-兴趣画像” 交替序列的新格式和无需真实兴趣标签的多任务训练策略，这在工程上极具巧思。

实验效果：离线霸榜与在线增效

在离线实验中，G2Rec 在 Beauty、Sports、Toys 和 Yelp 四个公开数据集上，全面碾压了包括经典序列方法、普通生成式方法以及基于图的图神经网络方法等六类基线模型。例如，在 Sports 数据集上，其 NDCG@5 相比最强基线提升了 14.9%；平均排名在所有数据集上均位居第一。值得注意的是，G2Rec 在训练和推理阶段引入的计算开销几乎可以忽略不计（每批仅增加 0.043 秒训练时间和 0.0027 秒推理时间），证明了其极高的部署价值。

在线 A/B 测试更是直接验证了其商业价值。论文披露，在 Meta 旗下产品（如 Instagram Reels）的成功部署带来了用户互动时长、点赞、分享等多项核心指标的统计显著提升（整体积极提升超过 0.03%，部分指标提升幅度在 0.06% 到 0.19% 之间）。在亿级月活用户的量级下，这种持续的正向效果充分证明了 G2Rec 捕获全局兴趣转移模式的有效性。

实践应用与未来展望

对于从事量化交易、人工智能或推荐系统落地的实践者而言，G2Rec 提供了非常有价值的启示。在量化交易中，可以将金融资产视为 “物品”，投资者的持仓或关注行为视为 “交互”。协同互动图可以捕捉资产之间在特定市场环境下的共现模式，而软聚类能够识别出资产背后由资金流或风险偏好定义的分布式 “主题”。生成的兴趣转移序列则可类比为市场状态转换序列，用于训练一个能预测下一阶段优势资产配置的生成式模型。

在通用人工智能系统的构建上，G2Rec 提出了一种将图信号（行为结构）可微地转化为序列信号（语义标签）的通用范式。任何存在大规模实体间共现关系的场景——如社交网络的话题聚类、电子商务的类目拓展、内容流的主题发现——都可以借鉴这种 “稀疏图+可微软聚类+序列化注入” 的思路，将全局结构知识融入现代自回归模型。

未来，该框架可以从几个方向进行深化和拓展。第一，动态度图与实时更新：目前兴趣原型是离线周期计算的，如何处理流数据以及图结构的快速漂移是一个重要的研究点。第二，层次化兴趣建模：人类兴趣天然具有层次性，将单层软聚类扩展到多层可微聚类，有望捕捉更细粒度和更抽象的兴趣结构。第三，多模态信息融合：将物品的多模态特征（文本、图像）显式地融入软聚类过程，使兴趣原型不仅反映行为共现，也反映内容语义的聚合。第四，与更复杂的大语言模型架构结合：探索将这种兴趣感知的序列格式应用于更复杂的 Transformer 变体或检索增强生成流程中。

总结与展望

G2Rec 通过构建稀疏化的协同互动图、设计可伸缩的软图聚类算法以及发明新颖的兴趣画像标签化序列，成功地将全局行为结构信息与语义表征统一于生成式推荐的框架中。它不仅在理论上证明了其图稀疏化和目标函数设计的合理性，在算法上实现了近线性时间复杂度，更在工业实践中验证了其巨大的商业价值。

这项工作标志着生成式推荐从单纯利用物品协同过滤或语义相似，迈向了更深层的、由数据自身涌现的分布式用户兴趣上下文建模。它为大规模推荐系统如何更自然、更高效地理解和预测人类复杂的兴趣变迁，提供了一个优雅而强大的范本。随着未来更多结构化与生成式方法融合的探索，我们有理由相信，这类模型将在越来越广泛的应用场景中扮演关键角色。